온디바이스 추론을 위해 PyTorch 생성형 AI 모델 변환

LiteRT Torch Generative API는 트랜스포머 기반 PyTorch 모델을 LiteRT/LiteRT-LM 형식으로 작성하고 변환하도록 설계된 고성능 라이브러리입니다. 이를 통해 개발자는 생성형 AI 모델, 특히 대규모 언어 모델 (LLM)을 손쉽게 온디바이스 텍스트 및 이미지 생성에 배포할 수 있습니다.

Torch Generative API는 CPU 및 GPU 실행을 위한 모델 변환을 지원하며 NPU 지원은 개발 중입니다. Torch Generative API를 LiteRT-LM과 페어링하면 생성형 모델을 완전히 온디바이스로 실행하는 반응형 개인 정보 보호 중심 애플리케이션을 빌드할 수 있습니다.

자세한 내용은 생성형 Torch API GitHub 저장소를 참고하세요.