생성형 PyTorch 모델 변환

AI 에지 토치 생성형 API Transformer 기반 PyTorch 모델을 LiteRT 형식으로 변환하여 대규모 언어 모델 (LLM)을 LiteRT 및 MediaPipe를 사용한 기기 내 이미지 및 텍스트 생성 AI Edge Torch Generative API는 현재 CPU 전용이며 GPU 및 NPU 지원이 예정되어 있습니다.

모바일 앱 개발자는 Edge Generative API를 사용하여 PyTorch LLM을 통합할 수 있습니다. MediaPipe LLM 추론으로 API를 사용하여 변환된 PyTorch 모델을 온전히 온디바이스에서 실행합니다.

자세한 내용은 Generative Torch API GitHub를 참조하세요. 저장소를 참조하세요.