Konvertoni modelet gjeneruese PyTorch, Konvertoni modelet gjeneruese PyTorch

API-ja Gjenerative e AI Edge Torch është një bibliotekë për konvertimin e modeleve PyTorch të bazuara në transformatorë në formatin LiteRT, duke ju mundësuar të konvertoni Modele të Mëdha Gjuhësore (LLM) për gjenerimin e imazheve dhe tekstit në pajisje me LiteRT-LM. API-ja Gjenerative e AI Edge Torch aktualisht mbështet CPU-në dhe GPU-në, me mbështetje të planifikuar për NPU-në.

Zhvilluesit mund të përdorin API-në Generative për të integruar LLM-të PyTorch me LiteRT-LM për të krijuar aplikacione që i ekzekutojnë ato modele të konvertuara PyTorch plotësisht në pajisje.

Për më shumë informacion, shihni repozitorin GitHub të API-t Generative Torch.