생성형 PyTorch 모델 변환

AI Edge Torch 생성 API는 트랜스포머 기반 PyTorch 모델을 LiteRT 형식으로 변환하는 라이브러리로, LiteRT-LM을 사용하여 온디바이스 이미지 및 텍스트 생성을 위한 대규모 언어 모델 (LLM)을 변환할 수 있습니다. AI Edge Torch 생성 API는 현재 CPU와 GPU를 지원하며 NPU 지원이 계획되어 있습니다.

개발자는 생성형 API를 사용하여 PyTorch LLM을 LiteRT-LM과 통합하여 변환된 PyTorch 모델을 완전히 온디바이스로 실행하는 앱을 만들 수 있습니다.

자세한 내용은 생성형 Torch API GitHub 저장소를 참고하세요.