Конкурент NVIDIA Hailo объявила во вторник о доступности своих чипов-ускорителей искусственного интеллекта второго поколения, заявив, что этот продукт является первым в своем роде продуктом, который «выводит настоящую генеративную производительность искусственного интеллекта на новый уровень» при чрезвычайно низком энергопотреблении.Израильский стартап по производству чипов искусственного интеллекта Hailo заявил, что чип Hailo-10H может достигать производительности 40 триллионов операций в секунду (TOPS) при работе с 4-битными целыми числами (INT4) и 20 триллионов операций в секунду (TOPS) при производительности операций с 8-битными целыми числами (INT8), потребляя при этом всего 2,5 Вт.

Для сравнения, производительность INT8 чипа Nvidia Jetson Orin Nano достигает максимальной производительности 67 терафлопс, что вдвое превышает производительность INT4, но потребляет мощность в диапазоне 7–25 Вт.

Разработанный для периферийных устройств на потребительском, корпоративном и автомобильном рынках, Hailo-10H сочетает в себе «высокую эффективность, высокую рентабельность и надежную экосистему программного обеспечения» и оснащен «зрелым и широко распространенным программным стеком», которым пользуются более 10 000 пользователей в месяц, по данным стартапа.

В число компаний, использующих Hailo-10H, входит Hewlett-Packard, которая использует этот чип в качестве основы для карты HP AI Accelerator M.2, которая «бесшовно» интегрируется со службами прямых продаж HP, а также с рабочими станциями HP и бизнес-ПК.

Стартап утверждает, что Hailo-10H обеспечивает расширенные варианты использования, такие как взаимодействие человека с компьютером на естественном языке, визуальное восприятие и мультимодальный искусственный интеллект, чтобы беспрепятственно работать в условиях ограничений по мощности и стоимости, типичных для периферийных сред. "

Стартап заявил, что в тестах производительности, проведенных Hailo, чип достиг «задержки первого токена менее 1 секунды и более 10 токенов в секунду для множества лингвистических и визуальных языковых моделей с 2 ​​миллиардами параметров».словесный элемент".

Hailo — один из нескольких стартапов по производству ИИ-чипов, бросающих вызов NVIDIA, а его партнёры варьируются от OEM-производителей, таких как HP, Dell и Advantech, до таких дистрибьюторов, как J-Squared Technologies и Kaga Fei America.