Новости от 12 января: Новое исследование показало, что компьютерный алгоритм, используемый для помощи врачам в лечении пациентов с шизофренией, плохо адаптируется к свежим данным, которые ранее не наблюдались во время разработки. В результате этот тип медицинского ИИ очень плохо справляется с оценкой результатов лечения пациентов, с которыми он никогда не сталкивался.
Эти медицинские инструменты используют искусственный интеллект для обнаружения особенностей в больших наборах данных и прогнозирования реакции людей на конкретное лечение, что лежит в основе точной медицины. Медицинские работники надеются использовать этот инструмент, чтобы адаптировать лечение к каждому пациенту. В статье, опубликованной в журнале Science, исследователи отметили, что модель искусственного интеллекта может с высокой степенью точности предсказывать результаты лечения пациентов, включенных в обучающую выборку. Однако при работе с ранее не встречавшимися данными о пациентах производительность модели значительно упала и лишь немного превысила эффективность случайного угадывания.
Чтобы обеспечить эффективность прецизионной медицины, прогностические модели должны поддерживать стабильную точность в различных условиях и минимизировать возможность систематической ошибки или случайных результатов.
«Это большая проблема, которую люди пока не осознают», — сказал соавтор исследования Адам Чекроуд, психиатр из Йельского университета в Нью-Хейвене, штат Коннектикут. «Это исследование в основном демонстрирует, что алгоритмы все еще необходимо тестировать на нескольких образцах».
Точность алгоритма
Исследователи оценили алгоритм, обычно используемый в прогностических моделях психоза. Они использовали данные пяти клинических исследований антипсихотиков с участием 1513 добровольцев с диагнозом шизофрения в Северной Америке, Азии, Европе и Африке. В испытаниях, проведенных в период с 2004 по 2009 год, измерялись симптомы добровольцев до и через четыре недели после приема одного из трех антипсихотических препаратов.
Исследовательская группа использовала набор данных для тренировки алгоритма, позволяющего прогнозировать, насколько хорошо состояние пациентов улучшится после четырех недель приема антипсихотических препаратов. Сначала исследователи проверили точность алгоритма в испытаниях, в которых он был разработан, сравнив прогнозы с фактическими эффектами, зафиксированными в испытаниях, и обнаружили, что точность была высокой.
Затем они использовали различные методы, чтобы оценить, насколько точно модель ИИ анализировала новые данные. Исследователи обучили модель на подмножестве данных одного клинического исследования, а затем применили ее к другому подмножеству данных того же исследования. Они также обучают алгоритм на всех данных испытания или серии испытаний, а затем проверяют эффективность модели на других данных клинических испытаний.
Было обнаружено, что модель ИИ плохо показала себя в этих тестах, а прогнозы, сделанные моделью, оказались почти случайными при применении к необученным наборам данных. Исследовательская группа повторила эксперимент, используя разные алгоритмы прогнозирования, но получила схожие результаты.
лучшее тестирование
Авторы исследования заявили, что их результаты показывают, что модели клинического прогнозирования следует тщательно тестировать на больших наборах данных, чтобы гарантировать их надежность. Систематический обзор 308 моделей клинического прогнозирования психиатрических исходов показал, что только около 20% моделей были проверены на наборах данных, отличных от выборки, использованной для разработки.
«Мы должны думать о разработке моделей больше как о разработке лекарств», — сказал Чекруд. Он объяснил, что многие лекарства хорошо себя зарекомендовали на ранних стадиях клинических испытаний, но сталкиваются с проблемами на более поздних стадиях. «Мы должны быть строгими в том, как мы разрабатываем и тестируем эти алгоритмы, и мы не можем просто сделать это один раз и подумать, что это правда».