PROSPECTIVE STUDY ON ARTIFICIAL INTELLIGENCE TECHNOLOGIES QUALITY IN MAGNETIC RESONANCE IMAGING RESULTS ANALYSIS FOR DETECTION AND ASSESSMENT OF DEMYELINATION LESIONS

The study assesses the quality of automated analysis in magnetic resonance imaging (MRI) results using artificial intelligence (AI) technologies for the diagnostics and monitoring of multiple sclerosis (MS).
The aim of the study is to evaluate the effectiveness and accuracy of AI-based services in the automated analysis of MRI for MS diagnostics and monitoring. The main objectives include: conducting a prospective analysis of the two AI services’ performance in real clinical practice; assessing the clinical judgment and area under the receiver operating characteristic curve (AUROC) for each AI service; comparing the quality of AI services and their applicability for automated morphometry of MS lesions.
This study is part of the Moscow Experiment, the largest prospective clinical study in the world regarding the use of AI in radiology. The study includes MRI data from 2,320 patients, which were analyzed by two independent
AI services. To evaluate the performance of the AI services, an original monitoring methodology is used, involving a random review of MRI results by radiologists. Statistical analysis is performed using clinical judgment scores and AUROC. AI service no. 2 demonstrated better performance: the clinical judgment score was 91.0%, and the AUROC score was 0.93. AI service no. 1 showed a clinical judgment score of 81.2% and an AUROC score of 0.89. Both services achieved “good” and “high” quality levels, however, AI service no. 2 proved to be more reliable and accurate in real clinical practice. AI technologies are applicable for the automated analysis of MRI in the diagnostics and monitoring of MS. They help reduce subjectivity and time consumption in interpreting MRI results. AI service no. 2 showed better results, making it more prospective for implementation in healthcare practice. However, further research is required to improve the reliability and accuracy of AI services.

1. Rodríguez-Sánchez B., Daugbjerg S., Peña-Longobardo L. M. et al. Does the inclusion of societal costs change the economic evaluations recommendations? A systematic review for multiple sclerosis disease // The European Journal of Health Economics. 2023. Vol. 24. P. 247–277. https://doi.org/10.1007/s10198-022-01471-9.

2. Запарий С. П., Самусенко А. Г., Вязовиченко Ю. Е. и др. Тенденции формирования инвалидности вследствие рассеянного склероза в Москве в 2014-2021 годах // Эпидемиология и вакцинопрофилактика. 2023. Т. 22, № 1. С. 59–67. https://doi.org/10.31631/2073-3046-2023-22-1-59-67.

3. Мокрова А. С., Сологова С. С., Игнатьева В. И. Моделирование исходов и затрат при лечении рассеянного склероза // Фармацевтическое дело и технология лекарств. 2020. № 3. С. 11–34. https://doi.org/10.33920/med-13-2003-01.

4. Светличная А. В., Вязовиченко Ю. Е., Торчинский Н. В. и др. Изучение заболеваемости и частоты возможных факторов риска рассеянного склероза // Фундаментальная и клиническая медицина. 2021. Т. 6, № 4. С. 98–105. https://doi.org/10.23946/2500-0764-2021-6-4-98-105.

5. Бойнова И. В., Самарина Д. В., Каторова А. В. и др. Клинико-эпидемиологические особенности рассеянного склероза в Российской Федерации // Современные проблемы науки и образования. 2022. № 5. С. 139–150. https://doi.org/10.17513 // spno.32006.

6. Суминов В. В., Анциферова Е. В. Сравнение распространенности рассеянного склероза в Российской Федерации и за ее пределами // Молодежный инновационный вестник. 2022. Т. 11, № S1. С. 314–317.

7. Dobson R., Rice D. R., D’hooghe M. et al. Social determinants of health in multiple sclerosis // Nature Reviews Neurology. 2022. Vol. 18. P. 723–734. https://doi.org/10.1038/s41582-022-00735-5.

8. Lorefice L., Lugaresi A. Women and multiple sclerosis: From gender medicine to precision medicine // Multiple Sclerosis and Related Disorders. 2025. Vol. 96. https://doi.org/10.1016/j.msard.2025.106348.

9. Васильев Ю. А., Владзимирский А. В., Омелянская О. В. и др. Обзор метаанализов о применении искусственного интеллекта в лучевой диагностике // Медицинская визуализация. 2024. Т. 28, № 3. С. 22–41. https://doi.org/10.24835/1607-0763-1425.

10. Шамилина Е. А., Конева Е. С., Сазонова Е. О. и др. Рассеянный склероз: современное состояние проблемы (обзорная статья) // Физиотерапевт. 2024. № 6. С. 121–127.

11. Rodríguez Murúa S., Farez M. F., Quintana F. J. The immune response in multiple sclerosis // Annual Review of Pathology: Mechanisms of Disease. 2022. Vol. 17. P. 121–139. https://doi.org/10.1146/annurev-pathol-052920-040318.

12. Владзимирский А. В., Шулькин И. М., Омелянская О. В. и др. MosMedData: MPT с признаками рассеянного склероза: свидетельство о государственной регистрации базы данных, охраняемой авторскими правами 2023621236 Рос. Федерация. № 2023620627; заявл. 10.03.2023; опубл. 18.04.2023. URL: https://www.elibrary.ru/download/elibrary_52124202_70088021.PDF (дата обращения: 07.04.2025).

13. Ward M., Goldman M. D. Epidemiology and pathophysiology of multiple sclerosis // Continuum. 2022. Vol. 28, no. 4. P. 988–1005. https://doi.org/10.1212/CON.0000000000001136.

14. Турчинская И. А., Шериев С. Р., Ефимцев А. Ю. и др. Специальные методики МРТ в диагностике рассеянного склероза // Российский журнал персонализированной медицины. 2024. Т. 4, № 1. С. 12–18. https://doi.org/10.18705/2782-3806-2024-4-1-12-18.

15. Васильев Ю. А., Владзимирский А. В., Омелянская О. В. и др. Методология тестирования и мониторинга программного обеспечения на основе технологий искусственного интеллекта для медицинской диагностики // Digital Diagnostics. 2023. Т. 4, № 3. С. 252–267. https://doi.org/10.17816/DD321971.

16. Filippi M., Rocca M. A., Ciccarelli O. et al. MRI criteria for the diagnosis of multiple sclerosis: MAGNIMS consensus guidelines // The Lancet Neurology. 2016. Vol. 15, no. 3. P. 292–303.

17. Naval-Baudin P., Pérez-Alfonso K., Castillo-Pinar A. et al. Post-contrast susceptibility weighted imaging in multiple sclerosis MRI improves the detection of enhancing lesions // Clinical Neuroradiology. 2025. https://doi.org/10.1007/s00062-025-01508-5.

18. Nguyen P., Rempe T., Forghani R. Multiple sclerosis: Clinical update and clinically-oriented radiologic reporting // Magnetic Resonance Imaging Clinics of North America. 2024. Vol. 32, no. 2. P. 363–374. https://doi.org/10.1016/j.mric.2024.01.001.

19. Тыров И. А., Васильев Ю. А., Арзамасов К. М. и др. Оценка зрелости технологий искусственного интеллекта для здравоохранения: методология и ее применение на материалах московского эксперимента по компьютерному зрению в лучевой диагностике // Врач и информационные технологии. 2022. № 4. С. 76–92. https://doi.org/10.25881/18110193_2022_4_76.

20. Hanley J. A., McNeil B. J. The meaning and use of the area under a receiver operating characteristic (ROC) curve // Radiology. 1982. Vol. 143, no. 1. P. 29–36. https://doi.org/10.1148/radiology.143.1.7063747.

21. Киселева Е. В., Спирин Н. В. Клинические и МРТ особенности злокачественного рассеянного склероза // Российский нейрохирургический журнал имени профессора А. Л. Поленова. 2021. Т. 13, № 2. С. 39–42.

22. Коптева Ю. П., Агафьина А. С., Труфанов Г. Е. и др. Магнитно-резонансная томография коннектома в оценке результатов нейрореабилитации у пациентов с рассеянным склерозом // Российский журнал персонализированной медицины. 2023. Т. 3, № 1. С. 43–53. https://doi.org/10.18705/2782-3806-2023-3-1-43-53.

23. Federau C., Hainc N., Edjlali M. et al. Evaluation of the quality and the productivity of neuroradiological reading of multiple sclerosis follow-up MRI scans using an intelligent automation software // Neuroradiology. 2024. Vol. 66. P. 361–369. https://doi.org/10.1007/s00234-024-03293-3.

24. Lee J. K., Bermel R., Bullen J. et al. Structured reporting in multiple sclerosis reduces interpretation time // Academic Radiology. 2021. Vol. 28, no. 12. P. 1733–1738. https://doi.org/10.1016/j.acra.2020.08.006.

25. Mendelsohn Z., Pemberton H. G., Gray J. et al. Commercial volumetric MRI reporting tools in multiple sclerosis: A systematic review of the evidence // Neuroradiology. 2023. Vol. 65. P. 5–24. https://doi.org/10.1007/s00234-022-03074-w.