ПРОСПЕКТИВНОЕ ИССЛЕДОВАНИЕ КАЧЕСТВА ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ПРИ АНАЛИЗЕ РЕЗУЛЬТАТОВ МАГНИТНО‑РЕЗОНАНСНОЙ ТОМОГРАФИИ ДЛЯ ВЫЯВЛЕНИЯ И ОЦЕНКИ ОЧАГОВ ДЕМИЕЛИНИЗАЦИИ

ВВЕДЕНИЕ

Развитие технологий искусственного интеллекта (ИИ) и компьютерного зрения в последние годы открывает новые возможности для анализа и диагностики медицинских изображений. Эти инновации особенно востребованы в области сложных и многофакторных заболеваний, таких как рассеянный склероз (РС). РС представляет собой хроническое аутоиммунное заболевание, поражающее центральную нервную систему. Это заболевание занимает второе место среди причин стойкой утраты трудоспособности у людей в возрасте от 18 до 44 лет, уступая только последствиям травм [1]. Согласно мировой статистике, в настоящее время зарегистрировано около 2,8 млн случаев РС. В России уровень распространенности заболевания варьируется от 25 до 70 случаев на 100 000 населения, при этом в Москве этот показатель составляет 53 случая на 100 000 человек [2]. РС чаще диагностируется у людей в возрасте от 20 до 40 лет, хотя возможно начало заболевания как в более раннем, так и в более позднем возрасте [3]. Женщины болеют РС в 2–3 раза чаще, чем мужчины, что может быть связано с гормональными и иммунологическими различиями [4]. К факторам риска развития данного патологического состояния относят генетическую предрасположенность, перенесенные вирусные инфекции (например, вирус Эпштейна – Барр), а также экологические, поведенческие и даже алиментарные факторы. Глобально наблюдается тенденция роста заболеваемости рассеянным склерозом [5]. Эффективное лечение рассеянного склероза невозможно без точной и своевременной диагностики и объективной оценки динамики изменений. В контексте сказанного важнейшим инструментом является магнитно-резонансная томография (МРТ). МРТ обеспечивает возможность визуализации участков демиелинизации в белом веществе головного и спинного мозга. Именно посредством данного вида исследований устанавливается наличие диагностических критериев РС Макдональда (2017), базирующихся на выявлении распространения поражений центральной нервной системе в пространстве и времени. С помощью МРТ проводится оценка активности патологического процесса, объективно определяются динамические изменения очагов. Регулярное выполнение магнитно-резонансных исследований чрезвычайно важно для контроля эффективности применяемой терапии, а при необходимости – для ее обоснованной коррекции [6]. Необходимо учитывать, что анализ и интерпретация результатов МРТ – сложная задача, требующая специальной профессиональной подготовки врачей-рентгенологов и значительных временных ресурсов. В условиях постоянного роста количества проводимых лучевых исследований, повышения нагрузки на врачей-рентгенологов, усиления требований к производительности труда и скорости описаний значительно возрастает риск дефектов и даже прямых ошибок. В этом ключе диагностический процесс, связанный с РС, наиболее показателен. Мониторинг течения рассеянного склероза подразумевает проведение регулярных ежегодных МР-исследований, сопровождающихся трудоемким и подверженным ошибкам ручным анализом множественных очагов демиелинизации. Критично важно выявление новых очагов на последовательностях T2/FLAIR, появляющихся между двумя последовательными МРТ. Ведь именно появление новых участков демиелинизации напрямую связано с прогрессированием болезни, неэффективностью терапии, рисками инвалидизации и даже летального исхода. Вместе с тем, в силу изложенных выше факторов, на практике врачи-рентгенологи часто вынуждены ограничиваться приблизительной оценкой изменений. Причина этого состоит в том, что ручная сегментация очагов при РС – это чрезвычайно трудоемкая, утомительная и времязатратная процедура. Кроме того, и она не лишена рисков ошибок. В целом субъективизм и погрешности измерений значительно повышают риски недооценки динамики заболевания и эффективности терапии [7].

Изложенные проблемы потенциально могут быть решены за счет автоматизации измерений и сравнительной оценки очагов демиелинизации. Современной технологией такой автоматизации и является так называемый ИИ, точнее – технологии компьютерного зрения, предназначенные для распознавания и анализа изображений. Сейчас инструменты на основе ИИ для лучевой диагностики активно разрабатываются и изучаются [8][9]. Достаточно перспективны разработки для автоматической сегментации и количественной оценки очаговых поражений головного мозга. Опубликованные алгоритмы обнаруживают и анализируют поражения, оценивают динамику изменений при РС. Появляются инструменты, позволяющие автоматически анализировать различия между последовательными 2D- или 3D-FLAIR МР-изображениями.

Есть публикации, утверждающие преимущества ИИ перед ручной сегментацией. Потенциально автоматизация процесса результатов МРТ в контексте диагностики и мониторинга течения РС может принципиальным образом изменить и улучшить повседневную работу врачей-рентгенологов [10].

Однако на фоне значительного числа публикаций на тему ИИ в лучевой диагностике реальные объемы применения соответствующих продуктов в мире невелики. Подавляющее большинство разработок носят лабораторный характер, не проходят внешнюю объективную проверку и не включаются в клинические исследования [11][12]. Можно сказать, что такие исследования носят математический, а не медицинский характер. На этом фоне в России, в г. Москве с 2020 г. выполняется эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения (далее – Московский Эксперимент). Это крупнейшее в мире проспективное клиническое научное исследование применимости, безопасности и качества технологий ИИ для лучевой диагностики. В его рамках осуществляется объективное и независимое тестирование и комплексное изучение продуктов на основе ИИ (так называемых ИИ-сервисов) на этапах внедрения и применения в условиях практического здравоохранения (mosmed.ai). Целый ряд продуктов, прошедших многократную проверку и улучшение в рамках Московского Эксперимента, уже получил статус медицинского изделия. С 2023 г. первые медицинские услуги, оказываемые с их применением, получили финансирование за счет средств обязательного медицинского страхования. В 2024 г. лучшие ИИ-сервисы стали доступны для медицинских организаций всей страны за счет запуска платформы «МосМедИИ». Благодаря наличию инфраструктуры и методологий Московского Эксперимента появилась возможность объективно изучать качество и надежность работы ИИ-сервисов в условиях практического здравоохранения.

Цель – оценить в условиях практического здравоохранения качество автоматизированного анализа результатов магнитно-резонансной томографии для выявления признаков рассеянного склероза.

МАТЕРИАЛЫ И МЕТОДЫ

Дизайн: многоцентровое проспективное диагностическое исследование согласно методологии репортирования результатов научных исследований диагностических тестов STARD 2015 [13].

Исследование выполнено на материалах лучевых исследований, проведенных в медицинских организациях Департамента здравоохранения г. Москвы (городских поликлиниках) в период 01.01.2023–31.12.2024.

Критерии включения пациентов:

1) мужчины и женщины, старше 18 лет;

2) наличие результатов МРТ головного мозга и МРТ головного мозга с контрастированием, выполненной при оказании плановой медицинской помощи в амбулаторных условиях или в условиях стационара;

3) протокол исследования при МРТ головного мозга: tra T2 tse, tra FLAIR, sag T1 (t)se, tra DWI, tra T2*, cor T2 tse fs (толщина среза ≤ 4 мм); при МРТ головного мозга с контрастированием: tra T2 tse, tra FLAIR (копирование геометрии с T2 tse), tra DWI (копирование геометрии с T2 tse), tra T2* (копирование геометрии с T2 tse), cor T2 tse fs (толщина среза ≤ 4 мм), 3D T1 tra, внутривенное введение МР-контрастного средства, 3D T1 tra (копирование всех параметров 3D T1 tra до введения контраста), tra T1 (t)se fatsat (опционально), FLAIR tra (опционально).

Критерии исключения/невключения в набор данных:

1) двигательные артефакты, артефакты от инородных объектов на уровне исследования;

2) технические дефекты: неверная маркировка исследования, отсутствие необходимых импульсных последовательностей;

3) отсутствие результатов работы ИИ-сервиса или наличие технических дефектов (неполные, искаженные данные).

Индекс-тест (исследуемый метод) – программное обеспечение с применением технологий ИИ (ИИ-сервис), интегрированное в государственную информационную систему в сфере здравоохранения субъекта Российской Федерации – Единый радиологический информационный сервис Единой медицинской информационно-аналитической системы г. Москвы (ЕРИС ЕМИАС). Техническая интеграция выполнена в соответствии с процедурами Московского Эксперимента [14][15]. В исследование включены ИИ-сервисы – независимые участники Московского Эксперимента:

– IMV–MS (ООО «ИМВИЖН»);

– NtechMed MRI Brain (ООО «НТех лаб»).

В тексте статьи ИИ-сервисы анонимизированы для обеспечения беспристрастности и объективности.

В рамках Московского Эксперимента сформулирована стандартизированная задача для ИИ.

1. Выявить МР-признаки рассеянного склероза:

– для МРТ без контрастного усиления наличие ≥ 1 гиперинтенсивного очага демиелинизации не менее 3 мм по длинной оси на T2 и/или FLAIR двух или более локализаций: юкстакортикальные или субкортикальные, перивентрикулярные, инфратенториальные (критерии McDonald [16]);

– для МРТ с контрастным усилением: наличие ≥ 1 очага, накапливающих контрастное вещество, на постконтрастных T1-изображениях.

2. Сформировать ответ, содержащий:

– вероятность наличия РС;

– контур очагов демиелинизации с цветовой дифференциацией по локализациям: юкстакортикальные и субкортикальные – розовый, перивентрикулярные – желтый, инфратенториальные – голубой;

– общее количество очагов демиелинизации на бесконтрастных сериях;

– отметку очагов, накапливающих контрастное вещество;

– количество очагов, накапливающих контрастное вещество, на серии с контрастированием;

– общий объем очагов демиелинизации;

– объем очагов демиелинизации в каждой из локализаций (юкстакортикальная и субкортикальная, перивентрикулярная, инфратенториальная).

Референс-тест: мониторинг для клинической оценки качества работы ИИ-сервиса по оригинальной методике, которая была разработана и валидирована в процессе Московского Эксперимента [17]. Мониторинг включает следующие аспекты.

1. Формирование случайным образом выборки из всего объема проанализированных ИИ-сервисом результатов МРТ за отчетный период (1 месяц). Размер выборки, достаточный для значимого контроля, обоснован ранее и составляет 80 исследований [18]. Соответственно ежемесячно случайным образом формируется выборка из результатов 80 МРТ головного мозга.
2. Пересмотр выборки двумя врачами-рентгенологами с компетенциями в анализе МРТ и со стажем работы не менее 5 лет.
3. Оценка результатов автоматизированного анализа каждого исследования по двум критериям:

– корректность определения и маркировки локализации патологических проявлений (маркировка ИИ-сервисом);

– правильность трактовки ИИ-сервисом результатов лучевого исследования (заключение ИИ-сервиса).

Варианты оценки: полное соответствие (1 балл), некорректная оценка (0,5 балла), ложноположительный результат (0,25 балла), ложноотрицательный результат (0 баллов).

4. Каждый эксперт для каждого исследования определяет одну возможную оценку. Все полученные таким образом баллы суммируются. Для данной выборки максимально возможное значение суммы баллов принимается за 100,0 %. Исходя из этого определяется удельный вес начисленной экспертами суммы баллов. Он и является уровнем клинической оценки, изменяющейся в диапазоне от 0,0 до 100,0 %.

Данные МРТ деперсонализированы в соответствии с законодательством Российской Федерации.

Длительность работы включенных в исследование ИИ-сервисов в Московском Эксперименте была разной, соответственно различалось и количество проведенных мониторингов. Суммарный размер выборки для ИИ-сервиса № 1 составил 720 результатов МРТ, для ИИ-сервиса № 2–1600.

Размер выборки составил 400 случаев за каждый период наблюдения. Он обоснован в ранее опубликованной с нашим участием статье [19], а также принят в качестве обязательного и достаточного в соответствии с нормативно-правовыми актами, регулирующими проведение Московского Эксперимента. Сравнение средних проводили с применением t-критерия Стьюдента. Определяли показатели: клиническую оценку для данного ИИ-сервиса за месяц и за весь период наблюдения; площадь под характеристической кривой (далее – AUROC от англ. area under receiver operating characteristic curve [20]). Интерпретация значений: менее 0,7 (70,0 %) – неприемлемое, 0,7–0,8 (70,0–80,0 %) – приемлемое, 0,81–0,9 (81,0–90,0 %) – хорошее, более 0,9 (90,0 %) – высокое качество [21]. Использована описательная статистика с применением программного обеспечения MedCalc 20.104.

Исследование проведено в рамках Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения г. Москвы, утвержденного этическим комитетом (выписка из протокола № 2 НЭК МРО РОРР от 20 февраля 2020 г.) и зарегистрированного на ClinicalTrials (NCT04489992).

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

В таблице представлена описательная статистика показателей клинической оценки и площади под характеристической кривой обоих включенных в исследование ИИ-сервисов. Динамика показателей отражена на рис. 1–2. 

Для ИИ-сервиса № 1 период наблюдения составил 9 месяцев 2024 г., соответственно в выборку вошло 720 наблюдений. Среднее значение клинической оценки колебалось в диапазоне от 62,5 % (в марте 2024 г.) до 90,3 % (в октябре 2024 г.). В большинстве периодов оценка была ниже 90,0 %, за исключением только одного упомянутого выше периода. Среднее значение клинической оценки ИИ-сервиса № 1 составило 81,2 % (95 % доверительный интервал (ДИ) 80,6; 81,8). Наивысшее значение AUROC, составившее 0,95, достигнуто в октябре; наименьшее – 0,82 – в ноябре. Суммарно за весь период наблюдения среднее значение AUROC для ИИ-сервиса № 1 составило 0,89 (95 % ДИ 0,886; 0,894). Средние значения обоих показателей интерпретируются как хорошие, следовательно, ИИ-сервис № 1 в условиях применения в практическом здравоохранении демонстрирует хороший уровень качества.

Для ИИ-сервиса № 2 период наблюдения составил 20 месяцев – 2023 и 2024 гг., соответственно, в выборку включено 1600 наблюдений. Значение клинической оценки колебалось в диапазоне от 76,0 % (в марте 2024 г.) до 99,0 % (в феврале 2024 г.). В большинстве периодов оценка была выше 90,0 %, за исключением лишь трех периодов (марта, апреля и сентября 2024 г.).

Среднее значение клинической оценки за 2023 г. составило 96,6 %, в 2024 г. оно несколько снизилось до 86,5 %. Суммарно для ИИ-сервиса № 2 клиническая оценка составила 91,0 % (95 % ДИ 90,6; 91,4).

Этим же продуктом наивысшее значение AUROC, составившее 0,99, достигнуто в августе 2023 г.; наихудший результат отмечен в октябре того же года – 0,86. Тем не менее в большинстве периодов значения площади под характеристической кривой для ИИ-сервиса № 2 превышали 0,90. Среднее значение AUROC за 2023 г. составило 0,95, за 2024 г. – 0,91. Суммарно за весь период наблюдения среднее значение AUROC для ИИ-сервиса № 2 составило 0,93 (95 % ДИ 0,928; 0,932).

Средние значения обоих показателей интерпретируются как высокие, следовательно, ИИ-сервис № 2 в условиях применения в практическом здравоохранении демонстрирует высокий уровень качества.

При сравнении алгоритмов обращают на себя внимание различия в клинической оценке: у ИИ-сервиса № 1 медиана меньше (82,4 против 94,0 %), а исходя из значений первого и третьего квартилей большинство значений его клинической оценки попадают в худший диапазон. Средние значения клинической оценки ИИ-сервисов № 1 и № 2 статистически значимо различаются (р = 0,004).

Таким образом, ИИ-сервис № 2 за весь период наблюдения продемонстрировал более высокое качество своей работы: среднее значение и медиана клинической оценки значимо выше, а половина результатов мониторинга попадает в диапазон от Q1 = 86,2 до Q3 = 97 (в то время как у ИИ-сервиса № 1 этот диапазон составляет 81,3–86).

Вместе с тем при рассмотрении ситуации в динамике видно, что ИИ-сервис № 2 склонен к некоторой нестабильности. В 2023 г. он демонстрировал высокий уровень клинической оценки, а в 2024 г. произошло сильное падение этого показателя; в дальнейшем же он оставался нестабильным. ИИ-сервис № 2 также отличается явной нестабильностью клинической оценки.

В отношении площади под характеристической кривой ситуация более сбалансирована. Среднее значение ИИ-сервиса № 2 несколько выше, но статистической значимости различие не достигает (хотя и находится почти на границе). Значения первого и третьего квартилей, медианы лучше, но всего на сотые доли. Оценка в динамике также свидетельствует о нестабильности: AUROC значительно колеблется от периода к периоду у обоих ИИ-сервисов.

Кроме того, стоит отметить, что динамические колебания не связаны с «выходом» ИИ-сервиса № 2 за пределы оценок качества «хорошее» и «высокое», а ИИ-сервис № 1 лишь однократно опустился до «приемлемого», после вернувшись к «хорошему».

На рис. 3–4 представлены примеры работы ИИ-сервисов, визуализируются очаги поражения головного мозга, характерные для РС. На рис. 3 очаги дифференцированы по локализации и выделены цветами для удобства интерпретации:

– инфратенториальные очаги (голубой цвет);

– перивентрикулярные очаги (желтый цвет);

– субкортикальные очаги (красный цвет);

– юкстакортикальные очаги (розовый цвет).

На серии T1 с контрастированием активных очагов с накоплением контрастного вещества не обнаружено, что может свидетельствовать об отсутствии активного воспалительного процесса на момент исследования. Вероятность патологии, связанной с рассеянным склерозом, оценивается как 99 %.

На рис. 4 очаги дифференцированы по локализации и выделены цветами для удобства интерпретации:

– юкстакортикальные и субкортикальные очаги (розовый цвет);

– перивентрикулярные очаги (желтый цвет);

– инфратенториальные очаги (голубой цвет).

Очагов, накапливающих контрастное вещество, не выявлено, что может свидетельствовать об отсутствии активного воспалительного процесса на момент исследования.

Проблематика применения ИИ для диагностики и оценки динамики РС на данных МРТ изучается многими авторами. Результаты наиболее качественных исследований объединены в два метаанализа: Nabizadeh и соавт., 2023 и Daqqaq и соавт., 2024. В целом обе публикации приходят к сходным выводам. На ограниченных наборах данных, то есть в лабораторных условиях, достигаются высокие показатели диагностического качества. Так, объединенная точность составляет 0,88–0,97 и 0,985–0,991, чувствительность 0,90–0,95 и 0,984–0,991, специфичность 0,9–0,96 и 0,982–0,991 по результатам метаанализов 2023 и 2024 г. соответственно [22]. Примечательно, что показатели точности 2023 г. ниже. Это может быть объяснено разными подходами авторов к оценке качества, включаемых в обзор и метаанализ статей, а также некоторым прогрессом алгоритмов.

Статьи российских авторов в настоящее время носят более технический характер, включают описание процессов разработки алгоритмов и сравнения их архитектур.

Только в отдельных случаях публикуются результаты внешней валидации, проведенной, например, путем участия алгоритма в международных конкурсах [23]. Однако проверка ИИ в клинических условиях фактически не осуществляется.

Результаты, полученные нами, в целом соответствуют объединенным значениям чувствительности и специфичности, при этом тяготеют к верхним границам указанных диапазонов. Однако принципиальное отличие нашего исследования заключается в его проспективности. В отличие от сугубо лабораторных работ нами осуществлено тестирование ИИ-сервисов при их применении в условиях реальной клинической практики.

Ранее в нашем учреждении проводилось исследование точности ИИ для сортировки результатов МРТ в условиях городской поликлиники. Использованное техническое решение не участвовало в Московском Эксперименте. Однако проспективный характер исследования обуславливает его определенную ценность. На материале 93 пациентов в течение 1 месяца ИИ осуществлял «отсеивание» результатов исследований без признаков РС. Его чувствительность составила 100,0 %, специфичность – 75,3 %, AUROC – 0,861 [24].

Обращает на себя внимание дисбаланс чувствительности и специфичности, он обусловлен особым сценарием применения ИИ: сортировкой результатов МРТ. Ключевая задача для искусственного интеллекта здесь – не пропустить случай с РС. Отсюда возникает настройка на 100 % чувствительность, приводящую к генерации определенного процента ложноположительных ответов, но гарантированно отсутствуют пропуски патологии. В текущем исследовании рассматривается принципиально иной – морфометрический сценарий; в нем основной акцент сделан на дифференциацию очагов и их измерение. Соответственно и соотношение показателей точности требуется более сбалансированное.

Как было показано выше, в рамках Московского Эксперимента уже довольно длительное время применяются два ИИ-сервиса для диагностики рассеянного склероза и автоматизированной морфометрии очагов поражения. Это полностью независимые продукты, демонстрирующие разные показатели точности. С позиций дальнейшего их применения в практическом здравоохранении, вплоть до получения статуса медицинского изделия, необходимо большее внимание уделять именно клинической оценке. Площадь под характеристической кривой отражает точность бинарной оценки результатов МРТ конкретным ИИ-сервисом (то есть автоматического решения о наличии или отсутствии патологии); в то время как клиническая оценка представляет собой объективизацию точности локализации, сегментации, классификации и измерений очагов. В таком контексте ИИ-сервис № 2 показал больший потенциал.

В целом же можно констатировать, что технологии ИИ в диагностике рассеянного склероза применимы и могут достигать высокого уровня качества своей работы.

В заключение необходимо отметить наличие отдельного направления для автоматизированного анализа результатов МРТ, заключающегося в дифференциальной диагностике рассеянного склероза и заболеваний спектра оптиконевромиелита. Согласно метаанализу Etemadifar и соавт., 2024, на материале более 2,5 тысяч пациентов показана объединенная точность ИИ-сервисов для решения указанной задачи на уровне 78–86 %, чувствительности 79–88 %, специфичности 75–86 % [25]. Можно констатировать наличие очень серьезного потенциала для развития и этого направления. Очевидно, что поставленная нами морфометрическая задача для ИИ вовсе не является единственной. Тем не менее, учитывая влияние на оценку активности заболевания и эффективности терапии, полагаем именно ее основной.

ЗАКЛЮЧЕНИЕ

Анализ и описание врачом-рентгенологом результатов МРТ головного мозга в контексте оценки динамики и эффективности терапии рассеянного склероза сопряжено с высоким риском субъективности и большими временными затратами. Решением проблемы должно стать внедрение технологий автоматизированной морфометрии (выявления, классификации и измерения патологических очагов). Технологии искусственного интеллекта применимы для решения указанной задачи. В условиях практического здравоохранения качество их работы (медиана клинической оценки) достигает 94,0 %.