Экосистема Android включает в себя широкий спектр устройств с разнообразными нейронными процессорами (NPU). Использование этих специализированных NPU может значительно ускорить вывод модели LiteRT (TFLite) и снизить энергопотребление по сравнению с выполнением процессора или графического процессора, улучшая взаимодействие с пользователем в ваших приложениях.
Поставщики чипов, производящие NPU, предоставляют делегатов LiteRT, чтобы ваше приложение могло использовать их конкретное оборудование на устройстве каждого пользователя.
Прямой представитель Qualcomm® AI Engine
Qualcomm® AI Engine Direct Delegate позволяет пользователям запускать модели LiteRT с использованием среды выполнения AI Engine Direct . Делегат поддерживается API нейронной сети Qualcomm.
Прямой делегат Qualcomm® AI Engine доступен на Maven Central . Дополнительную информацию см. в документации по нейронной сети Qualcomm .
Вскоре
Мы с нетерпением ожидаем поддержки делегатов от следующих поставщиков в ближайшие месяцы:
- Google Пиксель
- МедиаТек
- Системная БИС Samsung
Следите за обновлениями и дополнительными инструкциями по использованию этих делегатов для использования возможностей NPU в ваших моделях TFLite.