Аннотация:
XAI, компания Илона Маска, занимающаяся искусственным интеллектом, продолжает расширять масштабы своих центров обработки данных и планирует в ближайшие несколько лет развернуть более 1,2 миллиона графических процессоров Nvidia AI. Поскольку центр обработки данных Colossus продолжает расширяться, xAI надеется обучить и запустить модель Grok следующего поколения с помощью крупномасштабной вычислительной инфраструктуры и начать более интенсивную конкуренцию инфраструктуре искусственного интеллекта с такими конкурентами, как OpenAI.
На данный момент крупнейшим проектом xAI в области инфраструктуры искусственного интеллекта является дата-центр Colossus, расположенный в Мемфисе, штат Теннесси, США. Строительство проекта начнется в 2024 году, и первая очередь «Колосс-1» уже введена в эксплуатацию. Ранее Маск называл Colossus «суперфабрикой вычислительных мощностей» xAI, основная цель которой — как можно быстрее централизованно развернуть большое количество графических процессоров.
Изначально в Colossus использовались графические процессоры NVIDIA H100. Ранее объявленный масштаб первого этапа составляет около 200 000 H100. С последующим расширением в дата-центр начали добавлять более совершенные графические процессоры серии Blackwell. Последняя информация показывает, что в дополнение к оригинальному H100 в Colossus 1 также используется около 30 000 Nvidia GB200, поэтому текущее количество графических процессоров в Colossus 1 достигло примерно 230 000.
Вторая фаза xAI, Колосс 2, еще масштабнее. Проект также расположен в Мемфисе и планирует развернуть более 500 000 графических процессоров NVIDIA. Согласно текущим планам, Colossus 2 станет одним из крупнейших в мире проектов центров обработки данных с использованием искусственного интеллекта, а его вычислительная мощность значительно превысит мощность традиционных суперкомпьютеров.
Если включить все Colossus 1, Colossus 2 и последующие строительные проекты, количество графических процессоров NVIDIA, которые xAI планирует использовать в будущем, достигнет примерно 1,2 миллиона или более. Это число не означает, что все эти графические процессоры установлены, а скорее соответствует общему масштабу будущих планов расширения центров обработки данных xAI.
Радическое расширение количества графических процессоров в xAI напрямую связано с быстрым ростом спроса на вычислительные мощности для обучения моделей ИИ. Масштаб параметров, данные обучения и процесс обучения с подкреплением крупномасштабных языковых моделей требуют все больше и больше вычислительных ресурсов, а вычислительная мощность, необходимая для обучения моделей и вывода, развивается от масштабов традиционных центров обработки данных до масштабов суперкомпьютерных кластеров.
В этом случае наличие большого количества графических процессоров стало важной основой для компаний, занимающихся искусственным интеллектом, для расширения возможностей своих моделей. Маск неоднократно подчеркивал, что xAI необходимо как можно быстрее расширить свои вычислительные возможности и снизить зависимость от сторонних платформ облачных вычислений за счет создания собственных суперкомпьютерных кластеров.
Скорость строительства Колосса также является важной особенностью стратегии инфраструктуры xAI. Дата-центр первой очереди был реконструирован на базе заброшенного промышленного объекта, а xAI превратила его в масштабный центр обучения искусственному интеллекту с сотнями тысяч графических процессоров за короткий период времени за счет большого количества сборного оборудования, параллельного строительства и быстрого развертывания графических процессоров.
xAI также продолжает расширять возможности строительства центров обработки данных и электропитания Colossus. Из-за чрезвычайно высокого энергопотребления современных графических процессоров искусственного интеллекта расширение центров обработки данных — это не просто увеличение количества серверов. Им также необходимо одновременно построить большую инфраструктуру электропитания, охлаждения, сети и хранения данных.
xAI уже сталкивался с проблемами электропитания. Энергопотребление Colossus 1 достигает сотен мегаватт, а по мере дальнейшего увеличения количества графических процессоров его энергопотребление также будет значительно возрастать. Чтобы поддержать последующее расширение, xAI ищет новые источники энергии и строит соответствующую инфраструктуру производства и распределения электроэнергии.
По мере постепенного выхода на рынок графических процессоров NVIDIA Blackwell и последующих серий Rubin, центр обработки данных xAI будет продолжать обновлять аппаратное обеспечение. По сравнению с H100, новое поколение графических процессоров может обеспечить более высокую производительность вычислений ИИ, но энергопотребление одного графического процессора также увеличивается. Поэтому будущие крупные центры обработки данных искусственного интеллекта должны одновременно решать проблемы плотности вычислений и энергообеспечения.
Маск также ранее заявлял, что xAI планирует значительно увеличить общую мощность дата-центра примерно к 2027 году и увеличить вычислительную мощность в несколько раз по сравнению с предыдущим масштабом. Соответствующие планы показывают, что общая мощность будущих центров обработки данных xAI может достигать нескольких или даже 10 гигаватт.
Такая огромная инфраструктура означает, что xAI пытается построить «суперфабрику» искусственного интеллекта, аналогичную фабрике крупных компаний, занимающихся облачными вычислениями. Серверы графических процессоров, сетевое оборудование, системы хранения, энергоустановки и системы жидкостного охлаждения будут объединены в огромный вычислительный кластер для обучения и запуска моделей искусственного интеллекта, таких как Grok.
Эта стратегия также делает конкуренцию между xAI и OpenAI все более прямой. В последние годы OpenAI также активно строит центры обработки данных искусственного интеллекта и установила крупномасштабное инфраструктурное партнерство с NVIDIA. NVIDIA объявила о планах предоставить OpenAI системы искусственного интеллекта мощностью не менее 10 ГВт, что соответствует миллионам графических процессоров, и планирует постепенно инвестировать до 100 миллиардов долларов США в OpenAI с развертыванием инфраструктуры.
План OpenAI означает, что индустрия искусственного интеллекта вступает в новый этап с «центрами обработки данных уровня гигаватт» в качестве основной конкурентной единицы. В прошлом конкуренция среди компаний, занимающихся искусственным интеллектом, больше концентрировалась на модельных алгоритмах, талантах и данных, но теперь сама вычислительная инфраструктура стала важным фактором, определяющим скорость и масштаб обучения моделей.
xAI решает построить собственный крупномасштабный центр обработки данных Colossus, который позволит компании более непосредственно контролировать развертывание графических процессоров, структуру сети, программное обеспечение центра обработки данных и инфраструктуру обучения. Для компаний, которым необходимо постоянно обучать крупномасштабные модели, этот подход может снизить зависимость от внешних облачных платформ, одновременно позволяя командам инженеров оптимизировать аппаратное и программное обеспечение для своих собственных моделей.
Однако масштаб в 1,2 миллиона графических процессоров по-прежнему остается целью на будущее, а не то количество, которое xAI использует в настоящее время. Скорость строительства центра обработки данных, поставки графических процессоров, электропитания, средств охлаждения, сетевого оборудования и капитальных вложений — все это будет влиять на конечную скорость развертывания. Таким образом, фактическое количество работающих графических процессоров и время завершения могут различаться.
Независимо от того, смогут ли окончательные цифры достичь запланированных на данный момент масштабов, строящийся компанией xAI «Колосс» показал, что конкуренция в области ИИ-инфраструктуры выходит на новый этап. Поскольку OpenAI, Google, Meta, Microsoft и другие компании, занимающиеся искусственным интеллектом, строят центры обработки данных гигаваттного уровня, конкуренция среди моделей искусственного интеллекта в будущем в значительной степени перерастет в конкуренцию между масштабами центров обработки данных, источниками питания и расширенными возможностями приобретения графических процессоров.
Комментарии