대형 언어 모델(LLM)이 자연어 처리, 번역, 보안 등 다양한 분야에서 활용되면서 자동차 산업에서도 자율주행과 차량 내 인공지능 기능을 강화하는 기술로 주목받고 있다.

그러나 차량 내 컴퓨팅 환경은 한정된 연산 자원을 갖고 있어, 고성능 LLM을 직접 적용하는 데 기술적 어려움이 따른다.

이러한 문제를 해결하기 위해 엔비디아(NVIDIA)는

자율주행차 플랫폼에서 대형언어모델(LLM)과 비전 언어 모델(VLM)의 효율적인 배포를 지원하는 ‘드라이브OS LLM 소프트웨어 개발 키트(DriveOS LLM SDK)’를 10일(현지시간) 공개했다.

새롭게 선보인 SDK는 엔비디아의 고성능 추론 엔진인 텐서RT(TensorRT)를 기반으로 개발되었으며, LLM 실행을 최적화하는 다양한 기술이 포함됐다.

특히, 맞춤형 어텐션 커널과 양자화(Quantization) 기법을 적용해 차량 내에서도 안정적인 LLM 운용이 가능하도록 설계되었다.

드라이브 AGX(Drive AGX) 플랫폼과 연동되는 이 툴킷은 C++ 기반 라이브러리를 제공해 사용자가 모델 변환부터 성능 평가까지 전체 배포 과정을 쉽게 진행할 수 있도록 지원한다.

개발자의 편의를 고려해 다양한 예제 코드도 함께 제공된다.

LLM 추론, 성능 벤치마킹, 실시간 AI 애플리케이션 구축 등을 위한 C++ 기반 샘플 코드가 포함되어 있으며, 이를 활용해 연구자와 엔지니어들은 다양한 모델의 성능을 비교하고 최적화할 수 있다.

챗봇 기능을 구현하는 과정도 단순한 명령어 한 줄로 실행할 수 있도록 지원된다.

(중략)...