Аннотация:
Новое исследование, проведенное сообществом разработчиков, показывает, что видеокарты NVIDIA GeForce RTX серий 30 и RTX 40 скрывают вычислительный потенциал, который намного превышает официальные спецификации. Разблокировав базовую прошивку и конфигурацию оборудования, разработчики успешно высвободили часть изначально ограниченной вычислительной мощности, что позволило некоторым моделям почти вдвое повысить производительность в сценариях искусственного интеллекта и матричных вычислений.
Согласно сообщениям, ядро, используемое в видеокартах с архитектурой Ampere серии RTX 30, по сути, представляет собой тот же кремний, что и графические процессоры NVIDIA профессионального уровня, но некоторые вычислительные возможности продуктов потребительского уровня ограничены политикой программного обеспечения и встроенного ПО. Решение для разблокировки, разработанное исследователем, может увеличить скорость выдачи инструкций операций FP/BF16 FMA в FP32 и подходит для ядер GA102, GA103, GA104 и GA106.
В реальных тестах производительность умножения матрицы BF16 у RTX 3090 Ti была улучшена примерно на 80%. Поскольку умножение матриц является важной базовой операцией для запуска большинства моделей нейронных сетей, это улучшение имеет очевидное значение для локальных рассуждений ИИ и задач машинного обучения.
В то же время другой проект по разблокировке архитектуры «Ада Лавлейс» серии RTX 40 также достиг прорыва. Это решение обеспечивает примерно вдвое большую вычислительную пропускную способность, чем FP16 и BF16 Tensor, сохраняя при этом точность накопления FP32.
На примере RTX 4090 в тесте пропускной способности FP16 Tensor видеокарта изначально могла достигать 165,6 терафлопс, но после включения разблокировки производительность выросла до 331,6 терафлопс, увеличившись почти вдвое. Этот уровень близок или даже достигает вычислительной мощности некоторых продуктов профессионального уровня, таких как RTX 6000 Ada.
Исследователи считают, что это указывает на то, что ядро AD102 имеет ограничения в области искусственных вычислений в продуктах потребительского уровня, особенно в ключевых областях вычислений ИИ, таких как умножение и накопление матриц. Эти ограничения напрямую повлияют на эффективность работы приложений ИИ, таких как большие языковые модели. В настоящее время подтверждено, что проект разблокировки поддерживает основные модели AD102, AD103 и AD106.
Стоит отметить, что почти одновременно появились два решения по разблокировке для серий RTX 30 и RTX 40, охватывающих два поколения архитектур графических процессоров Ampere и Ada Lovelace соответственно. Разработчик заявил, что эти модификации могут пройти полный механизм проверки драйвера NVIDIA и успешно обойти ограничения сброса функционального уровня PCIe (FLR). Таким образом, по-прежнему можно использовать официальный оригинальный драйвер и нормально запускать тестовое программное обеспечение, связанное с CUDA.
Данные испытаний показывают, что видеокарты GA102 и AD102 поддерживают одинаковый предел энергопотребления до и после разблокировки. Например, при настройке общего энергопотребления платы 450 Вт улучшение производительности происходит исключительно за счет высвобождаемой вычислительной мощности, а не за счет дополнительного увеличения энергопотребления или частоты.
Для пользователей, которые используют локальные модели большого языка, генеративный искусственный интеллект и другие высокоинтенсивные вычислительные задачи, дополнительная высвобождаемая вычислительная мощность Tensor может повысить эффективность предварительной обработки слов и этапов вывода, тем самым обеспечивая более высокую пропускную способность токенов и более высокую скорость ответа.
Однако разработчик также напоминает, что подобные модификации являются неофициальными и могут привести к аннулированию гарантии на видеокарту. Кроме того, соответствующие модули необходимо сначала загрузить на этапе запуска системы, чтобы операцию разблокировки можно было завершить до того, как драйвер NVIDIA возьмет на себя управление графическим процессором. Поэтому решения такого типа больше подходят продвинутым пользователям, обладающим определенными техническими возможностями и готовым идти на риск.
Комментарии