Konwertowanie modeli generatywnej AI PyTorch na potrzeby wnioskowania na urządzeniu
AI Edge Torch Generative API to wydajna biblioteka przeznaczona do tworzenia i konwertowania modeli PyTorch opartych na architekturze Transformer do formatu LiteRT/LiteRT-LM. Dzięki temu deweloperzy mogą łatwo wdrażać modele generatywnej AI, w szczególności duże modele językowe (LLM), do generowania tekstu i obrazów na urządzeniu.
Interfejs Torch Generative API obsługuje konwersję modeli na potrzeby wykonywania na procesorze i GPU, a obsługa NPU jest w trakcie opracowywania. Łącząc interfejs Torch Generative API z LiteRT-LM, możesz tworzyć responsywne aplikacje zapewniające ochronę prywatności, które uruchamiają modele generatywne w całości na urządzeniu.
[[["Łatwo zrozumieć","easyToUnderstand","thumb-up"],["Rozwiązało to mój problem","solvedMyProblem","thumb-up"],["Inne","otherUp","thumb-up"]],[["Brak potrzebnych mi informacji","missingTheInformationINeed","thumb-down"],["Zbyt skomplikowane / zbyt wiele czynności do wykonania","tooComplicatedTooManySteps","thumb-down"],["Nieaktualne treści","outOfDate","thumb-down"],["Problem z tłumaczeniem","translationIssue","thumb-down"],["Problem z przykładami/kodem","samplesCodeIssue","thumb-down"],["Inne","otherDown","thumb-down"]],["Ostatnia aktualizacja: 2025-12-22 UTC."],[],[]]
