CSAIL Массачусетского технологического института представляет PFGM++, модель искусственного интеллекта, сочетающую процессы диффузии и Пуассона. Он генерирует замечательные изображения, воспроизводя поведение электрических полей, и представляет собой шаг вперед в области генеративного искусственного интеллекта. Вдохновленная физикой, новая генеративная модель PFGM++ превосходит диффузионные модели при генерации изображений. Генеративный искусственный интеллект в настоящее время находится на пороге горячей темы, обещающей создать мир, в котором простые распределения превратятся в сложные шаблоны изображений, звуков или текста, что сделает искусственный интеллект поразительно реальным.
Поскольку исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) воплощают в жизнь инновационные модели искусственного интеллекта, сфера воображения больше не является просто абстрактной концепцией. Их новая методика объединяет два, казалось бы, не связанных друг с другом физических закона, которые лежат в основе наиболее эффективных на сегодняшний день генеративных моделей: диффузию (которая обычно объясняет случайное движение элементов, например, тепло, проникающее в комнату, или газ, расширяющийся в пространство) и процессы Пуассона (основанные на принципах, управляющих активностью электрических зарядов).
Это гармоничное сочетание позволяет Ezoic преуспеть в создании новых изображений, превосходя существующие современные модели. С момента своего создания Poisson Flow Generative Model++ (PFGM++) нашла потенциальное применение в самых разных областях: от генерации последовательностей антител и РНК до создания аудио и графики.
Модель может генерировать сложные шаблоны, например создавать реалистичные изображения или имитировать реальные процессы. PFGM++ основывается на PFGM команды, ставшей результатом прошлогоднего исследования. PFGM черпает вдохновение из математического уравнения, известного как уравнение «Пуассона», а затем применяет его к данным, которые пытается изучить модель. Для этого команда применила хитрый трюк: они добавили дополнительное измерение к «пространству» модели, что немного похоже на переход от двухмерного эскиза к трехмерной модели. Это дополнительное измерение предоставляет больше возможностей для работы, помещает данные в более широкий контекст и помогает подходить к данным со всех сторон при создании новых образцов.
Джесси Талер, физик-теоретик элементарных частиц в Центре теоретической физики Лаборатории ядерных наук Массачусетского технологического института и директор Института искусственного интеллекта и фундаментальных взаимодействий Национального научного фонда (NSFAIIAIFI), сказал: «PFGM++ — это пример междисциплинарного сотрудничества между физиками и учеными-компьютерщиками для продвижения прогресса искусственного интеллекта. В последние годы генеративные модели, основанные на искусственном интеллекте, дали бесконечные результаты, от фотореалистичных изображений до четких текстовых потоков. Примечательно, что некоторые из наиболее мощных генеративных моделей основаны на проверенных временем концепциях физики, таких как симметрия и термодинамика. PFGM++ берет концепцию фундаментальной физики столетней давности — о том, что в пространстве и времени могут быть дополнительные измерения — и превращает ее в мощный и надежный инструмент для создания синтетических, но реальных наборов данных.
Основной механизм PFGM не так сложен, как кажется. Исследователи сравнивают полученные данные с крошечными зарядами на плоскости в пространственно расширенном мире. Эти заряды создают «электрическое поле», которое движется вверх вдоль силовых линий в дополнительное измерение, создавая равномерное распределение по гигантской воображаемой полусфере. Процесс генерации подобен перемотке: начиная с набора зарядов, равномерно распределенных по полусфере, и отслеживая их продвижение обратно к плоскости вдоль силовых линий электрического поля, они выравниваются так, чтобы соответствовать распределению исходных данных. Этот интересный процесс позволяет нейронным моделям изучать электрические поля и генерировать новые данные, соответствующие исходным данным.
Модель PFGM++ расширяет электрическое поле в PFGM до сложной многомерной структуры. По мере того, как вы продолжаете расширять эти измерения, происходит нечто неожиданное — модель начинает напоминать другой важный класс моделей, а именно модели диффузии. Вся работа заключается в поиске правильного баланса. Модели PFGM и модели диффузии находятся на противоположных концах спектра: одна мощная, но сложная в использовании, другая простая, но менее надежная. Модель PFGM++ находит правильный баланс между надежностью и простотой использования. Это нововведение открывает путь к более эффективному созданию изображений и узоров, что знаменует собой важный шаг вперед для этой технологии. Помимо возможности настройки размера, исследователи также предложили новый метод обучения, который позволяет более эффективно изучать электрические поля.
Чтобы применить эту теорию на практике, команда решила пару дифференциальных уравнений, подробно описывающих движение этих зарядов в электрическом поле. Они оценили его производительность, используя показатель начального расстояния Фречетта (FID), широко распространенный показатель для оценки качества изображений, создаваемых моделью, по сравнению с реальными изображениями. PFGM++ также демонстрирует более высокую устойчивость к ошибкам и устойчивость к размерам шагов в дифференциальных уравнениях.
В дальнейшем они стремятся усовершенствовать определенные аспекты модели, в частности, анализируя поведение нейронных сетей при ошибках оценки, чтобы систематически определять значения «оптимальной точки» D, адаптированные к конкретным данным, архитектурам и задачам. Они также планируют применить PFGM++ для современной крупномасштабной генерации текста в изображение/текста в видео.
«Модели диффузии стали важной движущей силой революции генеративного искусственного интеллекта», — сказал Ян Сун, научный сотрудник OpenAI. «PFGM++ обеспечивает мощное обобщение моделей диффузии, позволяя пользователям генерировать изображения более высокого качества за счет повышения устойчивости генерации изображений к возмущениям и ошибкам обучения. Кроме того, PFGM++ также обнаружил удивительные связи между электростатикой и моделями диффузии, предоставляя новые теоретические знания в исследованиях моделей диффузии».
Карстен Крайс, старший научный сотрудник NVIDIA, сказал: «Генераторные модели потока Пуассона не только опираются на элегантные физические эвристические формулировки, основанные на электростатике, но также обеспечивают современную производительность генеративных моделей на практике. Они даже превосходят популярные диффузионные модели, которые в настоящее время доминируют в литературе».