Konvertoni modelet gjeneruese PyTorch, Konvertoni modelet gjeneruese PyTorch

AI Edge Torch Generative API është një bibliotekë e optimizuar për celularin për konvertimin e modeleve PyTorch të bazuara në transformatorë në formatin LiteRT, duke ju mundësuar konvertimin e modeleve të mëdha gjuhësore (LLM) për gjenerimin e imazheve dhe teksteve në pajisje me LiteRT dhe MediaPipe. AI Edge Torch Generative API aktualisht është vetëm me CPU, me mbështetje të planifikuar GPU dhe NPU.

Zhvilluesit e aplikacioneve celulare mund të përdorin API-në gjeneruese Edge për të integruar PyTorch LLM me MediaPipe LLM Inference API për të krijuar aplikacione që ekzekutojnë ato modele të konvertuara PyTorch plotësisht në pajisje.

Për më shumë informacion, shihni repon Generative Torch API GitHub .