Медицинская визуализация: Новый взгляд на точность сегментации

Автор: Денис Аветисян

Исследователи предлагают инновационный подход к анализу медицинских изображений, использующий частотный домен для повышения качества выделения границ объектов.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Бесплатный Телеграм канал

Архитектура Phi-SegNet объединяет признаки энкодера посредством модулей bi-feature mask former и attention-guided skip connections, применяя фазовый надзор к этапам декодера, за которым следуют модули reverse Fourier attention, использующие спектральную фильтрацию для повышения точности локализации границ.

Phi-SegNet: Архитектура глубокого обучения с использованием фазовой интеграции для улучшения сегментации медицинских изображений.

Несмотря на значительный прогресс в области глубокого обучения, точная сегментация медицинских изображений остается сложной задачей, особенно при переходе между различными модальностями и анатомическими структурами. В данной работе, представленной под названием ‘Phi-SegNet: Phase-Integrated Supervision for Medical Image Segmentation’, предлагается новая архитектура, использующая фазовую информацию частотного домена для повышения точности и устойчивости сегментации. Phi-SegNet объединяет модули Bi-Feature Mask Former и Reverse Fourier Attention, что позволяет учитывать структурные особенности и уточнять границы объектов. Может ли интеграция частотных признаков и фазовой регуляризации стать ключом к созданию обобщенных и устойчивых систем сегментации медицинских изображений?

Основы сегментации: Проблемы пространственной области

Сегментация медицинских изображений играет ключевую роль в точной диагностике и планировании эффективного лечения, однако традиционные методы зачастую испытывают трудности при обработке изображений со сложными границами и слабовыраженными деталями. Неспособность алгоритмов корректно идентифицировать и очертить анатомические структуры может приводить к неточностям в постановке диагноза и, как следствие, к неоптимальному выбору терапевтической стратегии. Сложность заключается в том, что медицинские изображения часто характеризуются низким контрастом, шумами и вариативностью анатомических особенностей, что требует от алгоритмов высокой точности и надежности для успешного выделения интересующих областей.

Свёрточные нейронные сети, в частности архитектура U-Net, заложили основу для современной медицинской сегментации изображений, однако их эффективность ограничена размером рецептивного поля. Это означает, что сеть обрабатывает информацию, рассматривая лишь небольшую часть изображения за один раз, что затрудняет понимание глобального контекста и выявление сложных взаимосвязей между различными структурами. Неспособность учитывать обширную область изображения может приводить к неточностям в определении границ объектов, особенно в случаях, когда признаки объекта распределены по всей области изображения или когда объект имеет неоднозначные границы. В результате, для достижения высокой точности сегментации требуются методы, позволяющие расширить рецептивное поле и учитывать более широкий контекст изображения.

Для повышения точности медицинской сегментации изображений были разработаны архитектуры, такие как CE-Net и CPFNet, которые вносят постепенные улучшения в существующие методы. CE-Net расширяет поле восприятия сверточных нейронных сетей, позволяя учитывать более широкий контекст изображения, что особенно важно для выявления сложных границ. В свою очередь, CPFNet использует многомасштабный подход, анализируя изображение на различных уровнях детализации, что способствует более точному определению структур даже при наличии тонких или неоднозначных признаков. Эти архитектуры, хотя и не являются революционными прорывами, демонстрируют важные шаги в направлении повышения надежности и точности автоматической сегментации медицинских изображений, что, в конечном итоге, способствует улучшению диагностики и планирования лечения.

Несмотря на значительный прогресс в области сегментации медицинских изображений, достигнутый благодаря развитию сверточных нейронных сетей, точное выделение границ структур остается сложной задачей. Существующие архитектуры, такие как CE-Net и CPFNet, хоть и демонстрируют улучшение за счет расширения поля зрения и использования многомасштабного контекста, всё ещё сталкиваются с трудностями при работе со сложными и неоднозначными изображениями. Это обуславливает необходимость поиска новых подходов, выходящих за рамки чисто пространственного анализа, и интеграции дополнительных источников информации, таких как временные ряды или данные о составе тканей, для повышения точности и надежности сегментации.

Визуализация результатов сегментации, полученных с помощью Phi-SegNet и других современных архитектур (по два примера из каждого набора данных), демонстрирует превосходство предложенного метода, особенно в сложных областях, выделенных синими рамками для наглядности.

За пределами пикселей: Подход частотной области

Моделирование в частотной области представляет собой эффективное дополнение к методам, работающим в пространственной области, за счет представления изображений в виде распределения частот. В отличие от анализа отдельных пикселей, частотный подход позволяет улавливать глобальные характеристики сигнала, такие как общая текстура, контрастность и периодичность. Преобразование Фурье и Косинусное преобразование являются ключевыми инструментами для разложения изображения на составляющие частоты, позволяя выделить и манипулировать определенными частотными компонентами. Это особенно полезно для задач, где важны глобальные паттерны, а не только локальные детали, и позволяет повысить устойчивость к шуму и артефактам.

Преобразование Фурье и косинусное преобразование являются ключевыми методами анализа и манипулирования частотными компонентами изображения. Преобразование Фурье раскладывает изображение на составляющие синусоидальные волны различной частоты и амплитуды, представляя его в частотной области. $F(u,v) = \iint f(x,y)e^{-j2\pi(ux+vy)}dxdy$ — формула дискретного двумерного преобразования Фурье, где $f(x,y)$ — изображение в пространственной области, а $F(u,v)$ — его представление в частотной области. Косинусное преобразование, в частности, дискретное косинусное преобразование (DCT), также позволяет представить изображение в виде суммы косинусоидальных волн. Оба метода позволяют выделить и отфильтровать определенные частотные компоненты, что применяется для шумоподавления, повышения резкости, сжатия изображений и других задач обработки.

Модели MEW-UNet, FDFUNet и GFUNet представляют собой архитектуры глубокого обучения, непосредственно использующие обработку в частотной области для повышения точности сегментации изображений. В отличие от традиционных подходов, основанных исключительно на пространственной информации, эти модели анализируют изображения как в пространственном, так и в частотном представлении. FDFUNet, например, использует преобразование Фурье для выделения частотных признаков, которые дополняют пространственные признаки, извлеченные из стандартных сверточных слоев. MEW-UNet применяет вейвлет-преобразование для многомасштабного анализа частотных компонентов. Предварительные результаты исследований показывают, что интеграция частотной информации позволяет этим моделям более эффективно выделять границы объектов и уменьшать количество ложных срабатываний при сегментации, особенно в задачах, связанных с медицинскими изображениями и обработкой спутниковых снимков.

Совместный анализ пространственной и частотной информации позволяет моделям формировать более устойчивое и всестороннее представление об структуре изображений. Традиционные методы обработки изображений преимущественно фокусируются на анализе значений пикселей в пространственной области. Однако, представление изображения в частотной области, посредством таких преобразований, как преобразование Фурье или косинусное преобразование, позволяет выявить глобальные характеристики сигнала и закономерности, которые могут быть неявны в пространственной области. Комбинируя эти два подхода, модели способны учитывать как локальные детали, так и глобальный контекст, что повышает их устойчивость к шумам, изменениям освещения и другим искажениям, а также улучшает точность сегментации и распознавания объектов.

Модуль обратного преобразования Фурье (R\mathcal{F}A) использует <span class="katex-eq" data-katex-display="false">\gamma^{2}</span>-взвешенный фильтр нижних частот в частотной области для усиления границ, обусловленного фазой, фокусируя внимание на областях с низкой уверенностью и позволяя модели уточнять детали, подавляя высокочастотный шум и выделяя структурно значимые признаки. — Модуль обратного преобразования Фурье (R\mathcal{F}A) использует $\gamma^{2}$ -взвешенный фильтр нижних частот в частотной области для усиления границ, обусловленного фазой, фокусируя внимание на областях с низкой уверенностью и позволяя модели уточнять детали, подавляя высокочастотный шум и выделяя структурно значимые признаки.

Сведение вместе: Двухдоменные архитектуры

Двухдоменные сети, такие как DBL-Net и D2LNet, представляют собой значительный прогресс в архитектуре нейронных сетей за счет использования параллельных кодировщиков частотной и пространственной областей. В отличие от традиционных методов, где обработка осуществляется последовательно, эти сети позволяют одновременно извлекать признаки из обеих областей, что повышает эффективность анализа данных. Параллельная обработка достигается путем раздельного кодирования входных данных в частотной и пространственной областях, а затем объединения полученных представлений для создания более полного и информативного вектора признаков. Данный подход позволяет улавливать как локальные особенности изображения, так и глобальные зависимости, что особенно важно для задач, требующих высокой точности и детализации.

Параллельная обработка в архитектурах двойной области позволяет одновременно извлекать признаки как из частотной, так и из пространственной областей входных данных. Вместо последовательного применения операций к каждой области, признаки вычисляются параллельно, что снижает вычислительную сложность и позволяет модели улавливать более сложные зависимости. Такой подход формирует более полное представление данных, поскольку объединяются признаки, отражающие как локальные пространственные детали, так и глобальные частотные характеристики. Это, в свою очередь, повышает способность модели к обобщению и улучшает результаты в задачах, требующих понимания структуры данных в обоих доменах.

Архитектуры SLf-UNet и tKFC-Net усовершенствуют подход с двойной областью путем интеграции блоков спектральной перекалибровки и двойных ядерных сверток. Блоки спектральной перекалибровки позволяют динамически взвешивать частотные компоненты признаков, повышая чувствительность модели к релевантным спектральным характеристикам изображения. Двойные ядра свертки, в свою очередь, применяют свертки с различными размерами ядра параллельно, что позволяет извлекать признаки различного масштаба и повышать дискриминационную способность модели при сегментации. Комбинация этих техник приводит к улучшению качества выделения признаков и, как следствие, повышению точности сегментации изображений в сложных задачах.

Архитектуры, использующие двойную область (например, DBL-Net и D2LNet), демонстрируют улучшенные результаты в задачах сегментации, особенно в сложных сценариях, где требуется высокая точность выделения объектов. Экспериментальные данные показывают, что одновременная обработка признаков в частотной и пространственной областях позволяет более эффективно различать объекты и уменьшать количество ошибок сегментации по сравнению с моделями, использующими только один тип представления данных. Повышение производительности подтверждено на стандартных наборах данных для сегментации изображений, таких как Cityscapes и ADE20K, где наблюдается статистически значимое увеличение метрик IoU (Intersection over Union) и mIoU (mean Intersection over Union).

Модуль Bi-Feature Mask Former (BFMF) извлекает многомасштабные семантические и пространственные признаки посредством многоядерных сверток (<span class="katex-eq" data-katex-display="false">1\times1</span>, <span class="katex-eq" data-katex-display="false">3\times3</span>, <span class="katex-eq" data-katex-display="false">5\times5</span>) и последовательной агрегации. — Модуль Bi-Feature Mask Former (BFMF) извлекает многомасштабные семантические и пространственные признаки посредством многоядерных сверток ( $1\times1$ , $3\times3$ , $5\times5$ ) и последовательной агрегации.

Спектральные трансформеры: Новая эра сегментации

Последние достижения в области медицинской визуализации, такие как архитектуры BAWGNet и LACFormer, демонстрируют значительный потенциал трансформаторов, ориентированных на частотную область. Эти модели используют спектральный анализ изображений для извлечения более информативных признаков, что позволяет им лучше понимать структуру и особенности тканей. Вместо того чтобы обрабатывать изображения исключительно в пространственной области, BAWGNet и LACFormer преобразуют их в частотное представление, где можно выделить ключевые частотные компоненты, связанные с различными анатомическими структурами. Такой подход позволяет моделям более эффективно различать тонкие различия в изображениях и повышает точность сегментации, открывая новые возможности для автоматизированной диагностики и планирования лечения.

Phi-SegNet представляет собой итоговое воплощение современных подходов к сегментации изображений, основанных на анализе частотного спектра. В отличие от традиционных методов, фокусирующихся на пространственной области, данная архитектура интегрирует рассуждения о частотных характеристиках непосредственно в механизмы внимания и надзора. Это позволяет модели не только учитывать текстуру и форму объектов, но и распознавать их на основе частотных паттернов, что особенно полезно при анализе изображений с низким контрастом или сложными текстурами. Внедрение частотного анализа в процессы внимания и надзора значительно повышает точность и надежность сегментации, обеспечивая превосходные результаты на таких наборах данных, как Kvasir-SEG и BUSI, и открывая новые возможности для применения в медицинском анализе изображений и других областях.

В основе Phi-SegNet лежит синергия нескольких ключевых компонентов, обеспечивающих передовые результаты в сегментации изображений. Bi-Feature Mask Former отвечает за формирование масок сегментации, а Reverse Fourier Attention, оперируя фазой и амплитудой спектра, позволяет модели эффективно улавливать частотные характеристики изображения. Дополнительно, Phase-Integrated Supervision Loss способствует более точному обучению, интегрируя информацию о фазе в процесс оптимизации. В результате, Phi-SegNet демонстрирует впечатляющую производительность, достигая показателя IoU в 84.96% на датасете Kvasir-SEG и 84.54% на BUSI, что подтверждает эффективность данного подхода к сегментации изображений.

В основе Phi-SegNet лежит архитектура EfficientNet-B4, обеспечивающая значительное повышение эффективности и точности сегментации. Благодаря этому, модель демонстрирует впечатляющие результаты на популярных датасетах: достигается показатель F1-score в 92.24% на Kvasir-SEG и 91.98% на BUSI. При этом, сложность модели составляет всего 59.72 миллиона параметров, а вычислительные затраты — 81.91 GFLOPs, что позволяет достичь средней скорости обработки одного изображения в 44.41 миллисекунды. Такое сочетание высокой производительности и относительно небольших вычислительных ресурсов делает Phi-SegNet перспективным решением для широкого спектра задач медицинской визуализации и анализа.

В финальной PhiSegNet, по мере продвижения по этапам декодера, пространственное разрешение и детализация признаков значительно улучшаются, что приводит к более чёткой локализации границ на <span class="katex-eq" data-katex-display="false">RFA_0</span>. — В финальной PhiSegNet, по мере продвижения по этапам декодера, пространственное разрешение и детализация признаков значительно улучшаются, что приводит к более чёткой локализации границ на $RFA_0$ .

Наблюдатель отмечает, что стремление к совершенству в сегментации медицинских изображений, как и любая абстракция, рано или поздно столкнется с суровой реальностью продакшена. Авторы Phi-SegNet, несомненно, предвидели эту участь, предлагая изящный способ использования фазовой информации для повышения точности. Однако, даже самый продуманный алгоритм не застрахован от неожиданных артефактов или нетипичных данных. Как справедливо заметил Сёрен Кьеркегор: «Жизнь — это не поиск смысла, а поиск причины для жизни». В данном контексте, Phi-SegNet — это поиск причины для более точной сегментации, а не гарантия абсолютной точности. И это красиво.

Куда же это всё ведёт?

Предложенный Phi-SegNet, безусловно, добавляет ещё один уровень сложности в и без того непростой процесс сегментации медицинских изображений. Фазовый надзор, конечно, интересен, но всегда есть ощущение, что элегантная теория столкнётся с суровой реальностью данных. Задумайтесь, как быстро «устойчивость» к шуму превратится в чувствительность к артефактам, когда алгоритм начнёт обрабатывать изображения из разных источников, с разным качеством.

Вероятно, следующим шагом станет попытка объединить фазовый надзор с другими, уже давно известными, методами предобработки и постобработки. В конечном итоге, все эти инновации сводятся к тому, чтобы скрыть недостатки данных, а не исправить их. Иногда лучше потратить время на сбор качественных данных, чем на разработку очередного алгоритма, который «работает» на синтетических примерах.

Впрочем, нельзя отрицать, что область сегментации медицинских изображений продолжает развиваться. Вопрос лишь в том, сколько ещё слоёв абстракции потребуется, прежде чем алгоритм сможет надежно отличать патологию от нормы. Или, возможно, пришло время признать, что иногда монолитный подход, с тщательно продуманными правилами и ручной коррекцией, оказывается более надёжным, чем сотня микросервисов, каждый из которых «умно» ошибается по-своему.

Оригинал статьи: https://arxiv.org/pdf/2601.16064.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-25 11:41