Аннотация:
Инженер Google DeepMind недавно продемонстрировал творческий эксперимент: он успешно запустил небольшую языковую модель Google Gemma 3 270M непосредственно на обычном офисном лазерном принтере. Число параметров этой модели составляет около 270 миллионов, а принтер, использованный в эксперименте, имеет всего 14,1 МБ доступной памяти, но при этом обеспечивает скорость генерации более 60 слов в секунду.

Такой результат сообщил инженер Омар Сансевьеро на социальной платформе X. Он рассказал, что с помощью проекта Carbon запустил модель Gemma прямо на офисном принтере. В ходе всего эксперимента не менялась прошивка принтера и не использовалась внешняя вычислительная плата или другое оборудование. Вместо этого он полностью полагался на язык описания страниц PostScript, встроенный в современные лазерные принтеры.
PostScript — это язык описания страниц, полный по Тьюрингу, который обычно используется для управления представлением принтерами текста, графики и макета страницы. Экспериментальная группа использовала Carbon, легкий механизм вывода Transformer, и объединила его с квантованной моделью Gemma 3 270M, чтобы наконец создать оригинальный файл печати PostScript. Когда принтер выполняет файл, он фактически завершает вычисление языковой модели внутри своего интерпретатора PostScript.
Чтобы избежать нехватки памяти принтера во время вывода модели, в эксперименте была использована технология динамической загрузки ламинарного потока. Система постоянно загружает различные слои модели в память и из нее, сохраняя пиковое использование памяти на уровне всего 14,1 МБ, в то время как принтер выделяет 244,6 МБ виртуальной памяти PostScript. Несмотря на это, Gemma 3 270M по-прежнему достигал скорости генерации 61,3 токенов/с на процессоре принтера.
Согласно информации об аппаратном обеспечении, полученной в ходе эксперимента, этот принтер Ricoh изначально выполняет 18-слойные вычисления Transformer в интерпретаторе PostScript уровня 3. При вводе подсказки «Прочитать штраф», содержащей всего четыре токена, этап предварительного заполнения занимает 184 секунды, время декодирования для генерации одного токена составляет всего 0,1 секунды, а весь процесс обработки составляет 184 секунды.
После завершения расчета принтер наконец печатает ответ из трех слов «Прочитайте мелкий шрифт» прямо на бумаге. Этот результат не только доказывает, что модель действительно завершает рассуждения внутри принтера, но также показывает, что потенциал повседневного офисного оборудования на уровне программного обеспечения далеко превосходит ожидания людей. Хотя этот режим работы не подходит для реальных производственных сред, он демонстрирует границы того, что возможно при объединении небольших количественных моделей, механизмов вывода и существующих аппаратных возможностей.
Комментарии