Konvertoni modelet PyTorch GenAI për nxjerrjen e përfundimeve në pajisje
API-ja gjeneruese AI Edge Torch është një bibliotekë me performancë të lartë e projektuar për krijimin dhe konvertimin e modeleve PyTorch të bazuara në transformatorë në formatin LiteRT/LiteRT-LM. Kjo u mundëson zhvilluesve të vendosin pa probleme modele gjeneruese të IA-së, konkretisht Modele të Mëdha Gjuhësore (LLM), për gjenerimin e tekstit dhe imazheve në pajisje me lehtësi.
API-ja Torch Generative mbështet konvertimin e modelit për ekzekutimin e CPU-së dhe GPU-së, me mbështetje për NPU-në në zhvillim e sipër. Duke çiftëzuar API-në Torch Generative me LiteRT-LM , ju mund të ndërtoni aplikacione që i përgjigjen nevojave të përdoruesit dhe janë të fokusuara në privatësi, të cilat ekzekutojnë modele gjeneruese tërësisht në pajisje.
[[["E lehtë për t'u kuptuar","easyToUnderstand","thumb-up"],["E zgjidhi problemin tim","solvedMyProblem","thumb-up"],["Tjetër","otherUp","thumb-up"]],[["Mungojnë informacionet që më nevojiten","missingTheInformationINeed","thumb-down"],["Shumë e ndërlikuar/shumë hapa","tooComplicatedTooManySteps","thumb-down"],["E papërditësuar","outOfDate","thumb-down"],["Problem përkthimi","translationIssue","thumb-down"],["Problem me kampionët/kodin","samplesCodeIssue","thumb-down"],["Tjetër","otherDown","thumb-down"]],["Përditësimi i fundit: 2025-12-22 UTC."],[],[]]
