Аннотация:
Недавно разработчик Cactus Compute выпустил облегченную модель искусственного интеллекта под названием Needle 2.
Модель имеет размер всего 14 МБ и глубоко оптимизирована для процессорной среды Raspberry Pi 5. Она может преобразовывать инструкции на естественном языке в вызовы предустановленных функций в реальном времени без необходимости использования платы расширения ускорения искусственного интеллекта.
Согласно официальному блогу Raspberry Pi, Needle 2 — это не традиционный чат-робот общего назначения, а специальная модель, ориентированная на выполнение команд на стороне устройства. Когда пользователь вводит команду для включения светодиода, системе требуется всего 78 миллисекунд, чтобы завершить весь процесс от распознавания до выполнения, обеспечивая практически мгновенный отклик.
С точки зрения производительности и использования ресурсов Needle 2 также демонстрирует исключительную эффективность. При фактических измерениях Raspberry Pi 5 (версия с памятью 8 ГБ) объем памяти, занимаемый этой моделью во время работы, составляет всего около 28 МБ. Даже если запустить полную демонстрационную программу Python, общее потребление памяти составит всего 46,4 МБ.
Эта облегченная конструкция позволяет полностью отделить модель от облачного API и сетевой среды и обеспечить чисто локальное интеллектуальное управление на периферии.
Что касается аппаратных функций и вызовов интерфейса, Needle 2 глубоко привязан к базовому оборудованию через систему аннотаций Python. Разработчикам нужно только добавить определенные теги к существующему коду функции, и модель может автоматически фиксировать имя функции, описание и типы параметров, а также создавать спецификацию вызова.
Например, время ответа инструкции на запрос температуры процессора составляет 149 миллисекунд, и система точно вернет значение Цельсия. Весь процесс полностью выполняется внутри локального процессора.
Однако следует отметить, что модель весьма сдержана в логических суждениях. Для нерелевантных вопросов, которые не могут соответствовать заданной функции (например, «Где находится столица Франции?»), Needle 2 вернет нулевое значение в течение 92 миллисекунд вместо принудительного ответа.
В настоящее время веса модели Needle 2 опубликованы на платформе Hugging Face, а соответствующий код также доступен на GitHub с открытым исходным кодом в соответствии с протоколом Apache 2.0.
Комментарии