생성형 PyTorch 모델 변환

AI Edge Torch Generative API는 변환기 기반 PyTorch 모델을 TF Lite 형식으로 변환하기 위한 모바일에 최적화된 라이브러리로, TF Lite 및 MediaPipe를 사용하여 기기별 이미지 및 텍스트 생성을 위해 대규모 언어 모델 (LLM)을 변환할 수 있습니다. AI Edge Torch Generative API는 현재 CPU만 지원하며 계획된 GPU 및 NPU 지원이 제공됩니다.

모바일 앱 개발자는 Edge Generative API를 사용하여 PyTorch LLM을 MediaPipe LLM Inference API와 통합하여 변환된 PyTorch 모델을 기기에서 완전히 실행하는 앱을 만들 수 있습니다.

자세한 내용은 Generative Torch API GitHub 저장소를 참조하세요.