Быстрое развитие технологий искусственного интеллекта сделало многих пользователей неотделимыми от искусственного интеллекта в своей повседневной работе. Однако большая часть нынешнего ИИ основана на облаке, а это означает, что данные, предоставляемые пользователями, имеют потенциальный риск утечки. В это время вперед выступил фонд Mouzhi Foundation, который заботится о конфиденциальности. Фонд Mouzhi объявил о запуске нового проекта с открытым исходным кодом под названием Llamafile. Цель этого проекта с открытым исходным кодом — помочь людям запускать большие языковые модели на собственном оборудовании. Для него не требуется выделенный графический процессор, процессор или NPU (но он может работать лучше с графическим процессором).
Llamafile работает путем сжатия всей сложности чат-бота с искусственным интеллектом в один файл, который затем может работать на Windows, Mac, Linux, OpenBSD, FreeBSD, NetBSD и практически не требует установки или настройки, то есть его можно использовать «из коробки».
Этот вид LLM полностью выполняется локально и не требует облачных вычислительных мощностей, предоставляемых сторонними коммерческими компаниями. Данные также сохраняются локально и не покидают устройство пользователя. Если пользователь желает, он или она может скопировать модель робота после ежедневных разговоров на другие машины для дальнейшего использования без повторной оптимизации слов-подсказок.
В настоящее время Mozhi Foundation — не единственная компания, которая хочет создать местный ИИ. Вариант Gemini AiCore, недавно предоставленный Google для Pixel 8 Pro, на самом деле представляет собой локальный искусственный интеллект, который использует вычислительную мощность локального устройства для выполнения определенных операций. Однако в настоящее время общедоступной информации об AiCore относительно мало.
Фонд Можи считает, что открытый исходный код является одним из самых мощных решений различных проблем конфиденциальности. Он может решить проблемы конфиденциальности, доступа и контроля через открытый исходный код, то есть кто может слышать наши разговоры? Как будут обрабатываться наши данные? Кто решает, отвечает ли ИИ на определенные вопросы или нет.
Что касается проекта Llamafile, то фонд «Можи» заметил несколько перспективных проектов. Первый — это проект Llama.cpp. Этот проект с открытым исходным кодом позволяет обычным устройствам потребительского уровня запускать LLM, причем скорость не слишком низкая. Второй — проект Cosmopolitan, который может одновременно компилировать программы для работы на различных операционных системах и оборудовании.
Конечно, этот проект не будет реализован так быстро. Mozilla Foundation надеется, что разработчики или пользователи, заинтересованные в LLM, смогут принять участие: https://github.com/Mozilla-Ocho/llamafile