Аннотация:
В тихом районе Белвью, штат Вашингтон, подвал современного дома Гэри Флека оформлен как полноценное мужское пространство для отдыха: удобный диван расположен среди монитора с большим экраном и цифрового проектора, а также имеется спиннинг и гребной тренажер. Но настоящей изюминкой этой комнаты является изготовленный на заказ хост, похожий на гигантскую собранную модель, на стойке висят семь высокопроизводительных видеокарт Nvidia.
Технологические энтузиасты собирают высокопроизводительный ИИ-хост дома дома, и далее следует непростая проблема с отводом тепла.
Флейк ранее работал в Microsoft, а также является основателем нескольких начинающих компаний. Он построил машину для обучения индивидуальных моделей искусственного интеллекта на основе терабайтов данных электроэнцефалограммы, записывающей электрические сигналы в мозге, в рамках стартапа, которым он больше не занимается.
Для обучения модели ИИ он мог бы арендовать вычислительные мощности графического процессора промышленного уровня в дата-центре у поставщика облачных услуг. Но он сказал, что гораздо выгоднее установить его самостоятельно, используя компоненты со скидкой. Общая стоимость всего оборудования составляет менее 6000 долларов США, что намного меньше, чем ежемесячная плата за Amazon Cloud или Microsoft Cloud.
Даже если вы включите стоимость электрических модификаций и новой системы отопления, вентиляции и кондиционирования (всего 1–20 000 долларов США) для рассеивания тепла в подвале и компенсации огромного тепла, выделяемого хостом ИИ, все равно экономически выгодно установить ее самостоятельно. «Я хочу, чтобы вычислительная мощность была в моих руках», — сказал Флейк, который планирует повторно использовать машину в ближайшие месяцы для начала новых проектов. «Я не хочу арендовать чужие вычислительные мощности».
Выполнение рабочих нагрузок ИИ локально на чердаках, подвалах и в домашних офисах стало неожиданным явлением на нынешнем этапе повального увлечения ИИ. Крупнейшие компании, занимающиеся искусственным интеллектом, обучают и запускают большие модели в крупных удаленных центрах обработки данных, оснащенных десятками тысяч графических процессоров, чтобы удовлетворить спрос на огромные вычислительные мощности.
Оборудование графического процессора в доме Гэри Флека
В то же время наблюдается
волна местного ИИ
появляется. Большое количество мелких разработчиков и энтузиастов аппаратного обеспечения предпочитают использовать ИИ на своих домашних устройствах из-за стоимости, конфиденциальности и простоты использования. Некоторые разработчики, которые верят в концепцию свободы, считают, что местный ИИ может избежать будущих правительственных ограничений и лишить их разрешения на использование технологий ИИ. Платформы локальных агентов, такие как OpenClaw, могут напрямую вызывать собственные приложения и локальные файлы для выполнения сложных задач, что также способствует этой тенденции.Иногда домашние устройства с искусственным интеллектом – это просто классные домашние функции. В прошлом месяце генеральный директор Shopify Тоби Лютке стал вирусным в социальных сетях после того, как продемонстрировал три комплекта вертикальных серверных шкафов у себя дома. Шкафы были обернуты розовыми светодиодными лентами. Оборудование включает в себя хост Dell, оснащенный высокопроизводительной видеокартой Nvidia, которую производитель называет «совершенным настольным суперкомпьютером». Людтке также ловко решил проблему отвода тепла от оборудования.
Появление домашних консолей с искусственным интеллектом стало неожиданным преимуществом для производителей оборудования. Mac mini и Mac Studio очень популярны среди разработчиков смартфонов, и их продажи растут; Делл также заявил, что рынок домашних энтузиастов искусственного интеллекта переживает взрывной рост.
Марк Хэммонс, старший инженер Dell, сказал: «Это веяние времени. После появления OpenClaw в этом году спрос на соответствующее оборудование резко возрос».
Размещение высокопроизводительных хостов дома не является чем-то новым, и сообщества энтузиастов «домашних лабораторий» уже процветают на таких платформах, как Discord и Reddit. В начале XXI века аудиофилы строили дома серверы, устанавливали массивные жесткие диски и хранили загруженную музыку и видео в формате MP3. Позже бум добычи криптовалют привел к росту спроса на высокопроизводительные графические процессоры для домашнего использования.
В то время Хиттен Шах занимался криптовалютой. В 2020 году он установил дома восемь графических процессоров на серверной стойке для майнинга Ethereum. Сегодня Шах, генеральный директор стартапа по разработке программного обеспечения Crazy Egg, занялся разработкой искусственного интеллекта и значительно расширил вычислительную мощность своего дома в Редвуд-Шорс, Калифорния, в общей сложности до 18 устройств, включая 14 Mac mini и Mac Studio.
Шах сказал, что локальная вычислительная мощность позволяет ему контролировать производительность разработанного им программного обеспечения для оптимизации веб-сайта. Для крупных облачных моделей частые простои и задержки — это нормально. «Каждый раз, когда большая модель обновляется в облаке, система будет работать нестабильно в течение нескольких дней, и сбои будут возникать часто».
Но цена в том, что комфорт проживания сильно снижается. Все компьютерное оборудование размещено в его домашнем офисе, и тепло, рассеиваемое машинами, часто приводит к тому, что температура в помещении поднимается до 85 градусов по Фаренгейту (около 29,4 градуса по Цельсию). Часто он может оставаться в комнате только в шортах. «Мне следует установить кондиционер», — сказал Шах.
Многие местные энтузиасты искусственного интеллекта стали интернет-знаменитостями в отрасли. Ютубер из Остина, пожелавший остаться анонимным и использующий только название канала Digital Spaceport. Он построил в своем гараже то, что он называет «домашним центром обработки данных». Аппаратное обеспечение включает в себя пять видеокарт AMD, а также большое количество сетевых устройств и устройств хранения данных. В настоящее время он использует на этой машине большую отечественную модель с открытым исходным кодом Tongyi Qianwen Qwen-3.8-27B для редактирования и анализа своих собственных видеороликов на YouTube.
Другой польский технический консультант и YouTube-блогер, также анонимный, использует идентификатор канала 0xSero. Поскольку он покупал все больше и больше оборудования, ему приходилось перемещать хост ИИ по дому. Первоначально в его домашнем офисе были установлены четыре видеокарты NVIDIA 6000, но они издавали много шума, выделяли очень сильное тепло и сушили воздух в комнате. Он считал, что это стало причиной его болезни в прошлом году. Поэтому весь комплект был перенесен на чердак.
0xSero был первым, кто использовал облачные модели искусственного интеллекта. Переломный момент наступил в конце 2024 года: выросла цена на инструмент программирования AI Cursor. «В тот момент я решил разработать местный ИИ».
Он настаивает на своей точке зрения: право собственности и контроль над системами ИИ должны находиться в руках пользователей. В будущем может возникнуть государственный контроль и ограничения прав доступа к ИИ. «Я очень люблю искусственный интеллект и хочу и дальше иметь право его использовать».
Комментарии