ОБОСНОВАНИЕ ХАРАКТЕРИСТИК И СТРУКТУРЫ МОРФОМЕТРИЧЕСКОГО НАБОРА ДАННЫХ С РЕЗУЛЬТАТАМИ МАГНИТНО-РЕЗОНАНСНОЙ ТОМОГРАФИИ ПРЕДСТАТЕЛЬНОЙ ЖЕЛЕЗЫ

ВВЕДЕНИЕ

В структуре заболеваемости злокачественными новообразованиями мужского населения опухоли устойчиво занимают первое место в России и второе в глобальной перспективе [1][2]. В России в 2013 г. соответствующая заболеваемость составляла 34,62 на 100 тыс. населения, а в 2023 г. она возросла до 50,33 на 100 тыс. населения. Отмечается устойчивый ежегодный прирост абсолютного числа впервые в жизни установленных диагнозов рака предстательной железы; определенный спад этого показателя пришелся на период пандемии COVID-19, но в настоящее время рост возобновился. В структуре смертности от злокачественных новообразований (ЗНО) мужского населения этот вид патологии занимает третье место (9,0 %) [1]. Вместе с тем уверенно нарастает индекс накопления контингента соответствующих больных: с 5,1 в 2013 г. до 10,0 в 2023 г. Это свидетельствует о значительных успехах в лечении ЗНО предстательной железы [3]. Однако и своевременное выявление, и точная дифференциальная диагностика, и формирование персонализированной тактики ведения, и, наконец, контроль результативности лечения требуют этапного применения различных методов лучевой диагностики.

Особую роль в скрининге и диагностике заболеваний предстательной железы играет магнитно-резонансная томография (МРТ) [4][5]. Однако ее применение часто ограничивается длительностью выполнения описаний результатов исследований, прежде всего в силу различного уровня компетенций врачей, а также трудоемкости обработки, интерпретации, выполнения различных измерений и т. д. [6]. Одним из потенциальных способов решения этой проблемы могут служить технологии компьютерного зрения. Значительные ожидания от искусственного интеллекта (ИИ) есть и в области МР-диагностики ЗНО предстательной железы. По литературным данным средняя точность таких решений превышает 97 %, но наблюдается серьезный недостаток их практического применения и оценки медицинской эффективности [7][8].

Разработка и всестороннее изучение соответствующих решений ведется многочисленными авторами; при этом убедительно показана проблема качества подготовки и разметки данных, используемых для обучения и тестирования алгоритмов ИИ [9]. Как недостаток самих данных, так и дефекты их разметки ограничивают внедрение технологий ИИ в практическое здравоохранение.

Цель – обосновать характеристики, разработать набор данных (датасет) для тестирования и мониторинга качества работы ИИ-сервисов для морфометрии предстательной железы на результатах МРТ.

МАТЕРИАЛЫ И МЕТОДЫ

Проведено аналитическое исследование: систематизированные результаты соревнований разработчиков [10], библиографические базы данных РИНЦ и PubМed с глубиной поиска, преимущественно не превышающей 10 лет. Для непосредственного создания набора данных применялась оригинальная методология, ранее разработанная в ГБУЗ «НПКЦ ДиТ ДЗМ» [11]. В соответствии с действующим законодательством использованы деперсонализированные результаты лучевых исследований из Единого радиологического информационного сервиса Единой медицинской информационно-аналитической системы г. Москвы (ЕРИС ЕМИАС). Для разметки данных использованы функциональные возможности ЕРИС ЕМИАС. В исследовании применялись аналитические методы (анализа и синтеза).

Исследования по теме статьи были утверждены комитетом по этике государственного бюджетного учреждения здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы».

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

С целью обоснования оптимальных характеристик целевого набора данных проведено аналитическое исследование.

Выполнен анализ представленных публично наборов данных, содержащих результаты МРТ предстательной железы. Из открытых источников получены сведения о 19 соответствующих датасетах:

1. FastMRI Prostate.
2. ICCVB.
3. Medical Segmentation Decathlon.
4. MRI-FIRST Database-CAD-FIRST study.
5. NCI–ISBI 2013 ASPS Challenge.
6. NCIGT-PROSTATE.
7. PI–CAI Challenge.
8. PROMISE12 Challenge.
9. Prostate158.
10. Prostate-3T.
11. PROSTATE-DIAGNOSIS.
12. Prostate Fused-MRI-Pathology.
13. PROSTATE-MRI.
14. Prostate-MRI- (TR)US-Biopsy.
15. SPIE-AAPM-NCI PROSTATEx Challenges.
16. TCGA-PRAD.
17. QIN-PROSTATE.
18. QIN-PROSTATE-Repeatability.
19. QUBIQ21 Challenge.

Все они содержат результаты МРТ малого таза пациентов мужского пола, преимущественно старше 60 лет. Общее количество включенных клинических случаев составляет 3913, все они собраны из архивов медицинских организаций стран Европы и США в период 2001–2023 гг. Здесь сразу обращает на себя внимание резкий популяционный дисбаланс; он ставит под сомнение воспроизводимость результатов работы алгоритмов ИИ, разработанных на соответствующих данных.

Для каждого набора данных его авторы определили медицинскую задачу. В 42,0 % (8) случаев таковой была «классификация болезни, детекция рака» (в том числе, один датасет позиционировался как предназначенный «для предоставления результатов бипараметрической МРТ в целях скрининга злокачественных новообразований»); по 2 раза встречались только соответствующие классификация или детекция. Еще в 32,0 % (6) случаев задачей была установлена сегментация предстательной железы (в 3 случаях – зон, в 2 – всей железы, в 1 – не определено). Примечательно, что один из этих случаев был дополнен задачей детекции рака. Интересно, что для набора данных «QIN-PROSTATE-Repeatability» (n = 15, сегментация зон и патологических признаков, без обогащения дополнительными данными), помимо задачи классификации болезни была заявлена проверка повторяемости измерений. Обращает на себя внимание отсутствие задач измерений. Разработчики наборов данных фокусируются на сложной проблематике диагностики, в том числе дифференциальной, в то время как автоматизация рутинной задачи морфометрии не рассматривается.

Если говорить непосредственно о методиках МРТ, то в 53,0 % (10) наборов данных включены исследования, выполненные на МР-томографе «3 Тесла», в 10,5 % (2) – «1,5 Тесла». В 26,0 % (5) датасетов использованы оба варианта, при этом преобладали исследования с устройств «3 Тесла». В двух случаях (10,5 %) эта характеристика не указана в описании датасета, что представляет собой грубую методическую ошибку. Среди моделей и брендов устройств практически в равной степени представлены все основные производители, лидирующие в этом сегменте медицинского оборудования. Нельзя говорить о преобладании какого-либо конкретного производителя или модели МР-томографа. Магнитно-резонансные исследования выполнены в 9 случаях с использованием только эндоректальной катушки; еще в 3 – с применением этого же устройства, а также фазированной решетки. Только разные варианты фазированной решетки использованы в 6 случаях. В табл. 1 представлены сводные данные о протоколах выполнения МРТ, результаты которых были включены в анализируемые наборы данных.

Примечательно, что набор данных «FastMRI Prostate» (n = 312), помимо реконструированных изображений и срезов, включал «сырые» данные К-пространства. К тому же это единственный датасет с результатами бипараметрического МРТ, предназначенного для скрининга рака предстательной железы.

Результаты МРТ были представлены в формате DICOM в 74,0 % (14) наборов данных. Трижды использован открытый формат NIFTI. По одному разу использованы формат ITK MetaImage (MHA и MHD). Среди дополнительных данных наблюдалось большое разнообразие форматов, что говорило о полном отсутствии каких бы то ни было стандартов. Разметка (сегментация) чаще всего предоставлялась в формате NIFTI.

Как было сказано выше, общее количество МР-исследований, доступных в публичных датасетах, составляет 3913 единиц. Вместе с тем их число в каждом наборе данных колеблется в очень значительном диапазоне: от 10 до 1500 единиц; при этом медиана составляет 64, а значения первого и третьего квартилей – 24 и 185,5 соответственно. Это означает, что 25,0 % датасетов имеют сверхмалое количество включенных исследований (менее 24); соответственно только 6 (32,0 %) наборов данных содержат более 100 исследований. К таковым относятся: Prostate158 (n = 139), MRI-FIRST Database-CAD-FIRST study (n = 232), FastMRI Prostate (n = 312), SPIE-AAPM-NCI PROSTATEx Challenges (n = 346), Prostate-MRI-US-Biopsy (n = 842), PI–CAI Challenge (n = 1500).

Обогащенные наборы данных встречаются нечасто – 42,0 % (8) случаев. Результаты МРТ могут дополняться как другими диагностическими изображениями, так и текстовыми данными. Если говорить об изображениях, то в двух случаях МРТ были дополнены патогистологическими изображениями (в одном датасете для 100,0 % включенных кейсов, в другом – для 57,0 %). В одном случае 10 МРТ дополнены результатами 4 компьютерных томографий, 3 ПЭТ, 14 патогистологических и 14 геномных исследований. Из числа обогащенных наборов данных только один содержит более 100 МР-исследований (Prostate-MRI-US-Biopsy); он дополнен результатами 1151 ультразвукового исследования. Пожалуй, в этом случае будет возможно назвать его УЗ-датасетом, обогащенным результатами МР-исследований.

Среди дополнительной текстовой информации лидировали балл по шкале Глисона – в 26,0 % (5) датасетов, локализация очага и уровень простатического специфического антигена (ПСА) – в 16,0 % (3). Однократно МР-изображения были дополнены текстовыми данными с результатами биопсии и оценкой по системе PI-RADS.

Три набора данных помимо МР-изображений целевого органа содержали только текстовую информацию:

– описания МРТ, результаты биопсии, схему лечения;

– локализацию очага, указание на значимость/
незначимость онкопроцесса, балл по шкале Глисона;

– возраст, уровень и плотность ПСА, балл по шкале Глисона, объем предстательной железы, патогистологический тип опухоли.

Примечательно, что последний из перечисленных наборов данных – это «PI–CAI Challenge», содержащий наибольше число МР-исследований (n = 1500), причем с наиболее качественной разметкой (сегментация патологии выполнена в 1295 случаях).

Представляет особый интерес набор данных «Prostate-MRI- (TR)US-Biopsy», который для 842 включенных МР-исследований содержал 840 оценок по PI-RADS, 196 оценок по шкале Глисона, 1150 текстовых указаний на локализацию очага и объем предстательной железы, а также результаты 1146 измерений ПСА. В этом случае текстовую информацию можно считать не обогащением, а полноценной разметкой [12].

Разметка в виде сегментации присутствует в 58,0 % (11) наборов данных. Отметим, что три датасета с количеством МР-исследований больше 100 содержат такую разметку:

– Prostate158 (n = 139) – 139 случаев сегментации зон предстательной железы и 83 патологических признака;

– Prostate-MRI- (TR)US-Biopsy (n = 842) – 1150 случаев сегментации предстательной железы и патологических признаков;

– PI–CAI Challenge (n = 1500) – 1295 случаев сегментации патологических признаков.

Сегментация железы и/или ее зон выполнена в 26,0 % (5) наборах данных, однако в двух случаях размечены не все МР-исследования, включенные в набор. Семенные пузырьки и сосудисто-нервный пучок сегментированы в двух датасетах, причем в одном из них (PROSTATE-DIAGNOSIS) еще размечены зоны железы и патологические признаки. К сожалению, из 92 включенных случаев МР-исследований только 15 содержат указанную сегментацию и только 5 – разметку очагов и зон. Один набор данных содержит сегментацию зон и патологических признаков для всех 15 включенных случаев. В целом репрезентативность представленных данных можно характеризовать как низкую. Крайне малое количество результатов МР-исследований с размеченной патологией ставит под сомнение возможность разработки действительно точного ИИ-сервиса, который смог бы работать в многоцентровом режиме.

Важный вопрос – используемость наборов данных, размещаемых в открытом доступе. Очевидно, что чем она выше, тем также выше качество и репрезентативность конкретного датасета.

Более половины перечисленных выше наборов данных применялись для различных соревнований разработчиков ИИ; более того, они и создавались именно в таких целях, для каждого конкретного состязания. Вместе с тем считать это надежной валидацией качества набора данных нельзя, так как у разработчиков фактически нет альтернативы, кроме как использовать предложенный по условиям конкурса датасет.

Куда более примечательно, если набор данных используется независимыми коллективами для разработки и тестирования собственных разработок, в том числе совместно с иными датасетами. В таких случаях группа исследователей выбирает некий набор данных, соответствующие предпочтения можно условно считать одним из критериев качества.

Обычно в целях разработки объем выборки в 100 клинических случаях рассматривается как некая «нижняя граница» психологически допустимого диапазона. Исходя из этой логики, рассмотрены 6 наборов данных, содержащих более 100 клинических случаев. Исходные статьи с методикой формирования и описанием обнаружены для 5 из них (исключение составил Prostate-MRI- (TR)US-Biopsy, n = 842). Для двух наборов данных отсутствовали публикации о валидации или применении (FastMRI Prostate, n = 312, MRI-FIRST Database-CAD-FIRST study, n = 232) [13][14]. Соответственно, полноценное освещение в научных журналах имели только 3 (16,0 %) набора данных МРТ предстательной железы.

Для датасета «Prostate158» опубликовано исходное описание [15], а в трех независимых статьях он использован для обучения и тестирования алгоритмов ИИ [16–18]. Аналогичная ситуация отмечается для «PI–CAI Challenge» [19], который применен в 6 публикациях независимых авторов. Однако самым популярным и хорошо изученным, несомненно, является датасет «SPIE-AAPM-NCI PROSTATEx Challenges» (n = 346). Он поэтапно формировался в период 2014–2018 гг. [20][21]. Затем использован в конкурсе и в многочисленных разработках. Всего он цитируется в более чем 30 научных статьях, опубликованных в рецензируемых журналах. Особо примечательным является факт независимого контроля его качества. В 2021 г. научный коллектив провел оценку как самих включенных исследований, так и разметки [22]. Примечательно, что в 2024 г. также независимый коллектив дополнил 200 случаев из этого датасета «ручной» сегментацией анатомических зон и уретры. Причем сегментация выполнялась поочередно двумя экспертами, а результаты синхронизировались [23].

На основе разработанной ранее оригинальной методологии по созданию наборов данных [11] и исходя из результатов приведенного выше анализа сформированы основные характеристики набора данных с результатами МРТ предстательной железы:

1. Целеполагание. С учетом актуальности задач, решаемых врачом-рентгенологом при описании результатов целевого исследования, а также для повышения производительности труда и качества описаний установлена основная цель:

– тестирование и мониторинг качества работы ИИ-сервисов для морфометрии предстательной железы на результатах МРТ;

– морфометрия в виде определения вертикального, переднезаднего (сагиттального) и фронтального (поперечного) размеров предстательной железы в миллиметрах относительно оси органа (уретры).

2. Популяция: мужчины старше 18 лет.
3. Исследование: МРТ малого таза (предстательной железы) в амбулаторных условиях.
4. Протокол исследования. Предполагается выполнение исследования по протоколу, включающему:

– напряженность магнитного поля 1,5 Тесла;

– без контрастного усиления (нативное);

– толщина среза < 5 мм;

– проекции сагиттальная, аксиальная и фронтальная;

– T2W (на основе импульсной последовательности Turbo Spin Echo (TSE)) аксиальная и сагиттальная;

– T1W (на основе импульсной последовательности TSE);

– Диффузионно-взвешенные изображения (DWI) с подавлением сигнала жировой ткани, с построением на их основе карт измеряемого коэффициента диффузии (ADC);

– динамическое контрастное усиление (DCE);

– loc (локаторы).

5. Критерии исключения:

– демографические;

– двигательные артефакты, артефакты от инородных объектов на уровне исследования;

– технические дефекты (отсутствие Т2 сагиттальной и аксиальной серий в исследовании; анатомическая область исследования, отличающаяся от малого таза; исследования выполненные по протоколам сканирования, отличающиеся от стандартных протоколов; технические артефакты исследования, которые не относятся к пациенту; данные вне формата DICOM 3.0).

6. Методология разметки [11]:

– отбор осуществлялся по типу исследования в ЕРИС ЕМИАС;

– тип разметки мультилейбл;

– характер разметки регрессионный.

7. Формат данных: изображения – DICOM 3.0; результат разметки – с учетом морфометрического характера датасета оптимально представление результатов разметки в виде электронной таблицы.
8. Количество и состав:

– с учетом описательной статистики количества исследований в публичных наборах данных и руководствуясь оригинальными подходами к определению размера выборки датасета [24] установлен оптимальным объем в 200 случаях;

– соотношение случаев «норма – патология» не применимо.

9. Внешняя валидация. Для обеспечения возможности независимой внешней оценки качества предусмотрено размещение датасета в открытом доступе в библиотеке наборов данных https://mosmed.ai/datasets/.

На основе представленных характеристик создан набор данных «MosMedData МРТ малого таза с морфометрическими показателями предстательной железы». Он представляет собой структурированный набор из двухсот деперсонализированных результатов мультипараметрических магнитно-резонансных исследований взрослых мужчин, с наличием морфометрической разметки (вертикальный, передне-задний и фронтальный размеры предстательной железы в миллиметрах относительно оси органа). Изображения представлены в формате DICOM 3.0, разметка – в виде файла в формате XLSX [25].

Набор данных планируется к применению для калибровочного тестирования ИИ-сервисов в соответствии с процедурами, предусмотренными нормативным обеспечением «Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения» (далее – Московский Эксперимент). По истечении 6 месяцев такого применения планируется размещение набора данных в открытой библиотеке для внешней валидации.

Проблематика применения технологий ИИ при анализе результатов лучевых исследований малого таза в научных публикациях рассматривается ограничено. Несомненными лидерами интереса разработчиков и ученых являются исследования органов грудной клетки, молочной железы, головного мозга и челюстно-лицевой области. Фактически почти половина исследований в области ИИ для лучевой диагностики посвящена скринингу и диагностике онкологических заболеваний [26]. На этом фоне ЗНО предстательной железы вносят незначительный вклад в структуру научных исследований.

Указанную ситуацию наглядно подчеркивает анализ опыта создания наборов данных с результатами МРТ предстательной железы (малого таза у мужчин).

Выявлено относительно малое количество наборов данных, во всяком случае, представленных публично. В них неравномерно представлены популяции, фактически отсутствуют представители стран Азии, Африки, большей части Европы, Австралии. Все наборы данных сфокусированы на дифференциальной диагностике, т. к. содержат сегментацию целевого органа и разметку очагов. При этом практически полностью отсутствует морфометрия, то есть отсутствует возможность разработки ИИ для повышения производительности и точности труда врача-рентгенолога при описании результатов исследований. Вместе с тем положительной оценки, несомненно, заслуживает обогащение диагностической визуализации клиническими данными. Это создает возможности для развития, в том числе радиомики, мультимодального ИИ, обучения алгоритмов «включению» в анализ анамнестических сведений. Исходя из накопленного опыта также представляется возможным стандартизировать некоторые характеристики наборов данных, преимущественно в части протоколов МР-исследований и форматов представления их результатов. Вместе с тем есть определенные проблемы в плане стандартизации дополнительно предоставляемых клинических данных. Довольно часто они отличаются высокой гетерогенностью: например, в одних датасетах используются результаты патоморфологических исследований после радикальной простатэктомии, в других – после биопсии (причем методики самой биопсии тоже часто различаются). Исходя из сказанного, сформированные нами стандартизированные характеристики и набор данных на их основе отличаются новизной и значимостью с точки зрения создания возможностей для развития отдельной «ветви» решений на основе технологий ИИ для морфометрии результатов МР-исследований предстательной железы.

С учетом того, что наш набор данных ориентирован на морфометрию, в качестве референса мы использовали экспертную разметку по ранее разработанной методологии [11]. Относительно МРТ предстательной железы такой подход полностью согласуется с наиболее распространенными международными практиками, хотя и тоже имеет свои ограничения (зависимость от человеческого фактора) [10].

В статье Meglič и соавт. 2023 показано, что качество моделей ИИ для сегментации предстательной железы на результатах МРТ статистически значимо (p < 0,001) выше, если для обучения и тестирования модели использовался один и тот же набор данных. Положительная оценка авторами этого тезиса вызывает определенное удивление [27]. Известно, что работа алгоритма на одном датасете отличается более высокой точностью, при этом при попытке масштабировать внедрение алгоритма на «новые» данные всегда сопровождается падением точности [9]. В итоге получить идеально работающий в лабораторных условиях алгоритм можно, а качественный продукт, тем более претендующий на статус медицинского изделия, нельзя. В связи с этим важно отметить, что во многих публично доступных датасетах МРТ предстательной железы имеет место дублирование данных; то есть часть изображений и клинических данных одного набора также используются в другом [10]. Это является фактором, резко снижающим точность и значимость внешней валидации, так как возможна ситуация (в том числе непредумышленная), когда алгоритм будет протестирован на тех же данных, которые были использованы для обучения. Наш набор данных отличается полной оригинальностью включенных клинических случаев, он сфокусирован именно на тестировании алгоритмов ИИ на этапах жизненного цикла создания продукта. Именно для обучения разработчики могут применять свой собственный датасет, а для внешней валидации – использовать наш для проверки своего алгоритма на «новых» данных.

Несмотря на ограниченный интерес, тем не менее разработка алгоритмов для сегментации предстательной железы на результатах МРТ в мире ведется. В настоящее время опубликовано не менее 42 таких разработок, примечательно, что 93,0 % из них имеют довольно высокую точность (коэффициент Дайса – Соренсена равен или выше 0,86). Среднее значение точности по указанному коэффициенту для периферической зоны составляет 0,79 ± 0,06, для переходной – 0,87 ± 0,05, для всей железы – 0,90 ± 0,04. Наиболее крупные поставщики оборудования для МРТ интегрируют такие алгоритмы в состав своих автоматизированных рабочих мест. Такие алгоритмы отличаются довольно высокой точностью: коэффициент Дайса – Соренсена выше 0,91 [28]. Вместе с тем вопросы результативности и эффективности применения технологий ИИ при анализе и морфометрии результатов МРТ предстательной железы требуют дальнейших исследований.

ЗАКЛЮЧЕНИЕ

На основе систематизации научных статей и собственного практического опыта обоснованы характеристики набора данных с результатами МРТ предстательной железы (мужского малого таза). Путем применения оригинальной методологии создан соответствующий датасет.

Актуальность и значимость разработки обусловлена тем, что набор данных содержит результаты морфометрии предстательной железы, а значит обеспечивает развитие решений на основе ИИ для автоматизации измерений, повышения производительности и точности работы врача-рентгенолога.

Внедрение набора данных осуществлено в рамках процедур Московского Эксперимента для калибровочного тестирования программного обеспечения на основе технологий искусственного интеллекта.