Intel открыла исходный код своей библиотеки ускорения NPU (intel-npu-acceleration-library) в качестве библиотеки пользовательского пространства для систем Windows и Linux для взаимодействия с нейронным процессором (NPU) на своих новых ноутбуках Meteor Lake.
Intel уже давно разрабатывает драйвер ядра iVPULinux, который находится выше ядра и поддерживает NPU Intel (ранее VPU), начиная с MeteorLake. Библиотека ускорения NPU — это удобная библиотека Python, которая использует весь потенциал NPU.
Библиотека модулей нейронных процессоров Intel поддерживает 8-битное квантование, поддержку Float16, поддержку torch.compile, вывод статической формы и другие функции.
Библиотеку ускорения NPU можно скачать с GitHub или легко установить через PIP:
https://github.com/intel/intel-npu-acceleration-library
Примеры кода Python на странице библиотеки ускорения Intel NPU GitHub демонстрируют выполнение операций умножения одной матрицы на NPU, компиляцию моделей для NPU и даже запуск моделей Tiny-Llama на NPU. Эта библиотека будет становиться все более важной по мере того, как наступает эра искусственного интеллекта и NPU используется на все большем количестве процессоров Intel.