Google выпустил экспериментальный API, который позволяет полностью запускать большие языковые модели на устройствах Android, iOS и веб-платформах.
Представленный 7 марта API-интерфейс MediaPipe LLM Inference был разработан для оптимизации интеграции LLM на устройстве для веб-разработчиков и поддерживает веб-платформы, Android и iOS. API обеспечивает первоначальную поддержку четырех LLM: Gemma, Phi 2, Falcon и Stable LM.
Google предупреждает, что API является экспериментальным и все еще находится в активной разработке, но дает исследователям и разработчикам возможность создавать прототипы и тестировать общедоступные модели на устройстве. Что касается Android, Google отметил, что производственные приложения с LLM могут использовать Gemini API или Gemini Nano на устройстве через Android AICore, возможность системного уровня, представленную в Android 14, которая предоставляет решения на базе Gemini для высокопроизводительных устройств, включая интеграцию с ускорителями. защитные фильтры и адаптеры LoRA.
Разработчики могут опробовать API вывода MediaPipe LLM с помощью веб-демо или создав примеры демонстрационных приложений. Официальный образец доступен на GitHub. API позволяет разработчикам переносить LLM на устройство за несколько шагов, используя SDK для конкретной платформы. По словам Google, благодаря значительной оптимизации API может обеспечить современную задержку на устройстве, уделяя особое внимание процессору и графическому процессору для поддержки нескольких платформ. В следующем году компания планирует расширить API на большее количество платформ и моделей.
Дальше читайте это:
- Почему компании уходят из облака
- 5 простых способов запустить LLM локально
- Программирование с помощью ИИ: советы и лучшие практики от разработчиков
- Знакомьтесь, Zig: современная альтернатива C
- Что такое генеративный ИИ? Искусственный интеллект, который создает
- Лучшее программное обеспечение с открытым исходным кодом 2023 года
