Адамия Наала Джемаловна, врач-рентгенолог, аспирант
Москва
Adamiia Naala D., radiologist, postgraduate student
Moscov
Владзимирский Антон Вячеславович, д. м. н., зам. директора по научной работе
Москва
Vladzymyrskyy Anton V., DM Sci (habil.), deputy director for research
Moscov
Цель исследования: оценить диагностическую точность технологий искусственного интеллекта (ИИ) для автоматизированного выявления магнитно-резонансных (МР) признаков рассеянного склероза (РС) и дифференциации от других патологий на эталонных наборах данных.Материалы и методы. Проведено ретроспективное диагностическое исследование в соответствии с методологией STARD 2015. В исследовании использованы два ИИ-сервиса, интегрированных в Единый радиологический информационный сервис г. Москвы. Эталонный набор данных (n=100) включал результаты МРТ головного мозга с контрастированием и без. Оценивались показатели диагностической точности: площадь под ROC-кривой (AUROC), чувствительность, специфичность и точность.Результаты. ИИ-сервис 1 показал точность 0,86 (95 % ДИ 0,79–0,93), чувствительность 0,73 (95 % ДИ 0,6–0,85) и специфичность 0,98 (95 % ДИ 0,94–1,0). ИИ-сервис 2 продемонстрировал более высокие результаты: точность 0,99 (95% ДИ 0,97–1,0), чувствительность 1,0 (95% ДИ 1,0–1,0) и специфичность 0,98 (95% ДИ 0,94–1,0).Выводы. Технологии ИИ демонстрируют высокий потенциал для автоматизации анализа МРТ при диагностике РС. Однако наблюдаются значительные различия в точности и воспроизводимости результатов между ИИ-сервисами, что подчеркивает необходимость дальнейших исследований в реальных клинических условиях.
Objective. To evaluate the diagnostic accuracy of artificial intelligence (AI) technologies for automated detection of magnetic resonance imaging (MRI) signs of multiple sclerosis (MS) and differentiation from other pathologies using benchmark datasets.Materials and methods. A retrospective diagnostic study was conducted in accordance with the STARD 2015 methodology. Two AI services integrated into the Unified Radiological Information Service of the Moscow EMIAS were tested. The benchmark dataset (n=100) included results of brain MRI with and without contrast. Diagnostic accuracy metrics were assessed: area under the ROC curve (AUROC), sensitivity, specificity, and accuracy.Results. AI service 1 demonstrated an accuracy of 0.86 (95% CI 0.79–0.93), sensitivity of 0.73 (95% CI 0.6–0.85), and specificity of 0.98 (95% CI 0.94–1.0). AI service 2 showed superior results: accuracy of 0.99 (95% CI 0.97–1.0), sensitivity of 1.0 (95% CI 1.0–1.0), and specificity of 0.98 (95% CI 0.94–1.0).Conclusions. AI technologies show high potential for automating MRI analysis in MS diagnosis. However, significant differences in accuracy and reproducibility between AI services highlight the need for further research in real-world clinical settings.
The authors declare that there are no conflicts of interest present.