Оценка монет: где традиционные методы превосходят нейросети

от

Автор: Денис Аветисян

Новое исследование показывает, что классические методы машинного обучения, основанные на извлечении признаков, демонстрируют лучшую точность в автоматической оценке состояния монет, чем подходы, использующие глубокое обучение.

🐢

Ищешь ракеты? Это не к нам. У нас тут скучный, медленный, но надёжный, как швейцарские часы, фундаментальный анализ.

Бесплатный Телеграм канал

Сравнительное исследование эффективности методов машинного обучения и глубокого обучения при автоматической оценке монет Saint-Gaudens Double Eagle с учетом проблемы дисбаланса классов.

Несмотря на распространенное мнение о превосходстве глубокого обучения, его эффективность в задачах с ограниченными данными вызывает вопросы. В работе ‘Feature Engineering vs. Deep Learning for Automated Coin Grading: A Comparative Study on Saint-Gaudens Double Eagles’ проведено сравнительное исследование подходов машинного обучения для автоматической оценки состояния золотых монет Saint-Gaudens Double Eagle. Показано, что тщательно разработанные признаки, основанные на экспертных знаниях, позволяют достичь более высокой точности, чем сложные архитектуры глубокого обучения, особенно при несбалансированных классах и ограниченном объеме данных. Могут ли подобные результаты быть экстраполированы на другие узкоспециализированные задачи контроля качества, где важны не только вычислительные ресурсы, но и отраслевая экспертиза?

Каждый эксперт имеет своё мнение: проблема оценки монет

Исторически оценка состояния монет всегда являлась прерогативой опытных нумизматов, полагающихся на субъективную оценку. Такой подход, хотя и опирается на знания и опыт, неизбежно приводит к расхождениям в оценках одних и тех же монет разными экспертами. Эти несоответствия создают значительные задержки и «узкие места» в процессе купли-продажи и страхования коллекций, особенно в случае редких и дорогостоящих экземпляров. Невозможность стандартизировать процесс оценки приводит к спорам о стоимости и препятствует эффективной работе рынка коллекционных монет, подчеркивая необходимость разработки объективных и воспроизводимых методов определения состояния.

Автоматизированная оценка состояния монет призвана решить проблему непостоянства и трудоемкости традиционной экспертизы. В отличие от субъективных оценок, основанных на опыте нумизматов, автоматизированные системы стремятся обеспечить единообразие, скорость и возможность масштабирования процесса. Это особенно важно для крупных коллекций и аукционов, где требуется быстрая и точная оценка большого количества экземпляров. Разработка таких систем позволяет не только снизить затраты времени и ресурсов, но и минимизировать человеческий фактор, обеспечивая объективность и прозрачность оценки состояния монет, что в конечном итоге повышает доверие к результатам и упрощает процесс купли-продажи.

Оценка монет в состоянии “Mint State”, особенно таких экземпляров, как “Saint-Gaudens Double Eagle”, представляет собой сложную задачу, требующую методов высокой точности. Незначительные дефекты, едва различимые невооруженным глазом — микроскопические царапины, следы обработки гуртом, мельчайшие изменения в блеске — могут существенно влиять на итоговую оценку по шкале Шелдона. Автоматизированные системы должны быть способны распознавать и классифицировать эти нюансы с точностью, сопоставимой с опытным нумизматом, что требует применения передовых алгоритмов обработки изображений и машинного обучения, способных учитывать особенности рельефа, отражающие свойства поверхности и даже мельчайшие следы износа, которые могут быть невидимы при обычном визуальном осмотре.

Существующие методы автоматизированной оценки состояния монет сталкиваются с трудностями при распознавании тонких различий, определяющих их место на шкале Шелдона. В то время как грубые дефекты, такие как значительные потертости или повреждения, относительно легко идентифицировать с помощью алгоритмов обработки изображений, выявление едва заметных следов износа, микроцарапин или незначительных дефектов чеканки, критически важных для определения, например, разницы между MS-65 и MS-66, представляет собой серьезную проблему. Алгоритмы, обученные на больших объемах данных, часто не способны уловить эти нюансы, приводя к неточностям в оценке и, как следствие, к несоответствию фактическому состоянию монеты. Это особенно актуально для монет в состоянии «Mint State», где даже самые незначительные дефекты могут существенно повлиять на их ценность и коллекционную привлекательность, подчеркивая необходимость разработки более чувствительных и детализированных методов анализа.

Ручная работа: классический подход к выделению признаков

Подход, основанный на признаках (Feature-Based Approach), предполагает ручное создание признаков, предназначенных для количественной оценки релевантных характеристик монет. Этот метод требует от экспертов предварительного определения, какие аспекты монеты наиболее важны для классификации или оценки состояния. Созданные признаки могут включать геометрические параметры, такие как площадь и периметр, а также статистические характеристики интенсивности пикселей или текстуры. Эффективность этого подхода напрямую зависит от способности экспертов выявить и закодировать значимые характеристики, что делает его трудоемким и требующим глубоких знаний в предметной области.

Методы обработки изображений, такие как обнаружение границ по Собелю (Sobel Edge Detection) и размытие по Гауссу (Gaussian Blurring), применяются для выделения ключевой информации о краях и текстуре монет. Обнаружение границ по Собелю выявляет резкие изменения интенсивности пикселей, что позволяет определить контуры и детали рельефа монеты. Размытие по Гауссу, в свою очередь, снижает уровень шума и сглаживает изображение, улучшая качество выделения границ и текстурных особенностей. Комбинация этих методов позволяет получить более четкое и структурированное представление об изображении монеты, необходимое для последующего анализа и выявления дефектов или признаков износа.

Вычисление перцептивно-взвешенной яркости направлено на моделирование субъективной оценки блеска монеты человеком. Этот метод использует нелинейное преобразование значений пикселей, учитывающее чувствительность человеческого глаза к различным уровням яркости. В частности, применяется гамма-коррекция, где выходное значение пикселя рассчитывается как $V_{out} = V_{in}^\gamma$, где $\gamma$ — гамма-коэффициент, обычно около 2.2. Это позволяет более точно отразить восприятие блеска, поскольку человеческий глаз более чувствителен к изменениям в темных областях изображения, чем в светлых. Результатом является более точная количественная оценка блеска монеты, приближенная к визуальному восприятию эксперта.

Кластеризация K-Means, использующая цветовое пространство HSV (Hue, Saturation, Value), применяется для выявления участков износа на изображениях монет. Алгоритм группирует пиксели, основываясь на их цветовых характеристиках в пространстве HSV, где $H$ представляет оттенок, $S$ — насыщенность, а $V$ — яркость. Различия в цветовых группах, особенно в насыщенности и яркости, позволяют идентифицировать области, где покрытие монеты уменьшилось из-за износа, поскольку потертые участки часто демонстрируют более низкие значения насыщенности и яркости по сравнению с неповрежденными областями. Выбор цветового пространства HSV обусловлен его способностью отделять информацию о цвете (оттенок) от информации об освещении (яркость и насыщенность), что повышает устойчивость алгоритма к изменениям освещения.

Когда данных мало: балансировка классов и повышение точности

Наборы данных для оценки состояния монет часто страдают от дисбаланса классов, что означает, что некоторые категории (оценки) представлены в значительно меньшем количестве примеров, чем другие. Данное явление может негативно сказываться на эффективности моделей машинного обучения, поскольку алгоритмы склонны отдавать предпочтение более представленным классам. Недостаточное количество примеров для редких оценок может приводить к их неправильной классификации и снижению общей точности модели. Для решения данной проблемы применяются методы балансировки классов, такие как генерация синтетических данных для малочисленных категорий.

Метод SMOTE (Synthetic Minority Oversampling Technique) применяется для решения проблемы дисбаланса классов в наборах данных для классификации монет. Суть метода заключается в создании синтетических образцов для недостаточно представленных категорий (градов) монет, что позволяет увеличить их количество и улучшить производительность искусственных нейронных сетей (ANN). В процессе работы SMOTE анализирует существующие образцы миноритарных классов и генерирует новые, похожие образцы, интерполируя между ними. Это позволяет ANN более эффективно обучаться и снижает вероятность смещения в сторону преобладающих классов, что, в свою очередь, повышает общую точность классификации.

В условиях ограниченного объема данных, подход, основанный на извлеченных признаках, продемонстрировал точность в 98% при определении марки монеты с допустимым отклонением в ±3 единицы по шкале Шелдона. Это превзошло результаты, полученные с использованием сверточных нейронных сетей (CNN) и метода опорных векторов (SVM). В частности, точность определения точной марки монеты для искусственной нейронной сети (ANN) составила 31%, в то время как CNN и SVM достигли примерно 30% точности.

При оценке производительности моделей на наборе данных по классификации монет было установлено, что искусственная нейронная сеть (ANN) достигла точной классификации в 31% случаев. Для сравнения, как сверточная нейронная сеть (CNN), так и метод опорных векторов (SVM) показали приблизительно 30% точности. Данные показатели отражают результаты тестирования моделей в условиях ограниченного объема обучающих данных и демонстрируют незначительное превосходство ANN в точном определении категории монеты.

Гибридные сети: объединение лучшего из двух миров

Гибридный подход, объединяющий сверточные нейронные сети (CNN) и разработанные вручную признаки, представляет собой инновационную стратегию в области компьютерного зрения. Вместо того, чтобы полагаться исключительно на автоматическое извлечение признаков, характерное для CNN, или на трудоемкий процесс ручной разработки, данный подход использует сильные стороны обоих методов. Это позволяет модели не только самостоятельно выявлять сложные закономерности в данных, но и использовать знания экспертов, заложенные в предварительно определенных признаках. Такое сочетание обеспечивает более надежное и точное распознавание, особенно в задачах, где критически важна высокая точность и интерпретируемость результатов, а также позволяет преодолеть ограничения, присущие каждому из методов при использовании в отдельности.

В основе гибридного подхода к сверточным нейронным сетям (CNN) лежит архитектура EfficientNetV2, зарекомендовавшая себя как мощный инструмент для автоматического извлечения признаков. Ключевым фактором, способствующим улучшению процесса обучения, является применение пакетной нормализации (Batch Normalization). Эта техника позволяет нормализовать входные данные для каждого слоя, что стабилизирует обучение, ускоряет сходимость и позволяет использовать более высокие скорости обучения. Благодаря этому EfficientNetV2 эффективно обрабатывает сложные изображения монет, извлекая из них важные характеристики для последующей классификации и анализа, что значительно превосходит возможности ручного проектирования признаков и обеспечивает высокую точность распознавания даже в сложных условиях.

Данный подход позволяет модели самостоятельно выявлять сложные закономерности непосредственно из изображений монет, превосходя ограничения, связанные с ручным проектированием признаков. Традиционно, для анализа монет эксперты вручную определяли ключевые характеристики, такие как диаметр, вес, и особенности рельефа. Однако, гибридные сверточные нейронные сети (CNN) способны автоматически извлекать и комбинировать признаки различной сложности, включая те, которые могут быть неочевидны для человека. Это достигается за счет многослойной архитектуры CNN, где каждый слой обучается обнаруживать определенные шаблоны в изображении, что позволяет модели улавливать тонкие различия и идентифицировать монеты с высокой точностью, даже при наличии дефектов или повреждений. Самостоятельное изучение признаков значительно расширяет возможности анализа и позволяет модели адаптироваться к новым типам монет без необходимости ручной перенастройки.

Для обучения и проверки эффективности разработанных моделей ключевое значение имеет датасет, предоставленный компанией David Lawrence Rare Coins (DLRC). Полученные результаты демонстрируют существенные различия во времени обработки: искусственная нейронная сеть (ANN) показывает время отклика в 1.8 секунды, что делает её подходящей для развертывания в веб-сервисах, где важна интерактивность. В то же время, сверточная нейронная сеть (CNN) достигает значительно более высокой скорости — всего 80 миллисекунд, что делает её идеальным решением для пакетной обработки больших объемов данных и задач, требующих высокой пропускной способности.

Исследование показывает, что тщательно подобранные признаки, созданные человеком, оказываются эффективнее, чем глубокие нейронные сети, особенно когда данных недостаточно и классы несбалансированы. Неудивительно. Всё как всегда: элегантная теория машинного обучения разбивается о суровую реальность ограниченных ресурсов и неравномерного распределения данных. Как говорил Карл Фридрих Гаусс: «Если бы я мог, я бы изгнал все числа, кроме единицы». В контексте данной работы, это можно интерпретировать как стремление к упрощению модели и выделению наиболее значимых признаков, что позволяет добиться лучших результатов, чем попытки обучить сложную нейронную сеть на неполных и смещенных данных. Legacy живёт, и иногда это единственное, что работает.

Куда дальше?

Данное исследование, показавшее неожиданное превосходство «ручной» разработки признаков над глубоким обучением в задаче автоматической классификации монет, лишь подтверждает старую истину: сложная система когда-то была простым bash-скриптом. Сейчас это, конечно, назовут AI и получат инвестиции, но суть остаётся прежней — качество данных и продуманные признаки всё ещё имеют значение. Особый интерес вызывает устойчивость классических моделей к дисбалансу классов — проблема, которую обычно пытаются «залить» ещё большим количеством данных, вместо того, чтобы аккуратно взглянуть на саму задачу.

Не стоит, однако, хоронить глубокое обучение окончательно. Скорее, необходимо признать, что оно не является универсальным решением. Возможно, в будущем стоит сосредоточиться на гибридных подходах, где глубокие сети будут использоваться для автоматического извлечения признаков, а классические модели — для их анализа и классификации. Или, что более вероятно, кто-нибудь напишет ещё один фреймворк, который «решит все проблемы» и потребует ещё больше вычислительных ресурсов.

В конечном итоге, эта работа напоминает, что технический долг — это просто эмоциональный долг с коммитами. Попытка быстрого прототипирования с использованием модных технологий часто приводит к созданию хрупких и неэффективных систем. А документация, как всегда, соврет. Впрочем, кому это важно, когда есть новый датасет?

Оригинал статьи: https://arxiv.org/pdf/2512.04464.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-05 12:00