Ученые Института Солка создали GlowTrack для отслеживания поведения людей и животных с более высоким разрешением и большей функциональностью. Движение — это окно в то, как мозг работает и управляет телом. Отслеживание передвижения людей и животных прошло долгий путь от наблюдений с помощью планшета и ручки до современных технологий, основанных на искусственном интеллекте. Самый продвинутый метод на данный момент использует искусственный интеллект для автоматического отслеживания движения различных частей тела. Однако обучение этих моделей по-прежнему требует много времени, и исследователи ограничены необходимостью вручную маркировать каждую часть тела сотни или тысячи раз.
Теперь доцент Эйман Азим и его команда создали GlowTrack, неинвазивный метод отслеживания движения, который использует метки флуоресцентного красителя для обучения искусственного интеллекта. Мощный, экономящий время и обладающий высоким разрешением, GlowTrack может отслеживать одно число на лапке мыши или сотни ориентиров на руке человека.
Эта технология была опубликована в журнале Nature Communications 26 сентября 2023 года, а диапазон ее применения охватывает биологию, робототехнику, медицину и другие области.
«За последние несколько лет произошла революция в области отслеживания поведения, поскольку в лаборатории были внедрены мощные инструменты искусственного интеллекта», — сказал старший автор Азим, профессор развития Уильяма Скэндлинга. «Наш метод делает эти инструменты более универсальными и улучшает то, как мы фиксируем различные движения в лаборатории. Более качественная количественная оценка движений может дать нам лучшее понимание того, как мозг контролирует поведение, и может помочь в изучении двигательных расстройств, таких как боковой амиотрофический склероз (БАС) и болезнь Паркинсона».
Современные методы фиксации движений животных часто требуют от исследователей вручную и неоднократно комментировать части тела на экране компьютера — процесс, который отнимает много времени, подвержен человеческим ошибкам и ограничен по времени. Ручное аннотирование означает, что эти методы часто можно использовать только в небольших тестовых средах, поскольку модели ИИ специализируются на ограниченных обучающих данных, которые они получают. Например, если изменится освещение, ориентация тела животного, ракурс камеры или любой другой фактор, модель больше не сможет идентифицировать отслеживаемую часть тела.
Чтобы устранить эти ограничения, исследователи используют флуоресцентные красители для маркировки различных частей животных или людей. С помощью этих «невидимых» флуоресцентных красителей можно быстро создавать большие объемы визуально разнообразных данных и вводить их в модели искусственного интеллекта без необходимости использования человеческих аннотаций. Получив эти мощные данные, эти модели можно использовать для отслеживания движения в более разнообразных средах с разрешением, которого трудно достичь с помощью человеческих аннотаций.
Это открывает возможности для сравнения данных о движении между исследованиями, поскольку разные лаборатории могут использовать одну и ту же модель для отслеживания движений тела в различных ситуациях. Азим считает, что сравнение и повторяемость экспериментов имеют решающее значение в процессе научных открытий.
«Метки с флуоресцентными красителями — идеальное решение», — сказал первый автор Дэниел Батлер, аналитик по биоинформатике из Солка. «Наши метки с флуоресцентным красителем подобны невидимым чернилам на долларовой купюре, которые загораются только тогда, когда вы этого хотите. Наши метки с флуоресцентным красителем можно включать и выключать в мгновение ока, что позволяет нам генерировать большие объемы обучающих данных».
В будущем команда рада поддерживать различные приложения GlowTrack и объединять его возможности с другими инструментами отслеживания, которые могут реконструировать трехмерное движение, и методами анализа, которые могут исследовать закономерности в этих больших наборах данных о движении.
«Наш подход может принести пользу многим областям, которые нуждаются в более чувствительных, надежных и комплексных инструментах для захвата и количественной оценки движения», — сказал Азим. «Мне не терпится увидеть, как другие ученые и не ученые примут эти методы и какие уникальные, непредвиденные применения могут появиться».