Искусство кодить: Новые рубежи машинного творчества

от

Автор: Денис Аветисян

Исследователи представили CreativeBench — платформу для оценки и развития способности машин генерировать код, открывая новые возможности в области алгоритмического творчества.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Телеграм канал

Работа посвящена оценке и улучшению машинного творчества в генерации кода с помощью эволюционных алгоритмов и метрик оценки новизны и качества.

Несмотря на успехи систем, способных к генерации новых артефактов, таких как AlphaEvolve, объективная оценка машинного креативности остается сложной задачей. В настоящей работе, посвященной ‘CreativeBench: Benchmarking and Enhancing Machine Creativity via Self-Evolving Challenges’, представлена платформа CreativeBench для количественной оценки креативности в генерации кода, основанная на когнитивной парадигме и включающая подмножества CreativeBench-Combo и CreativeBench-Explore. Анализ современных моделей показал, что масштабирование улучшает комбинаторную креативность, но снижает способность к исследованию, и что модели склонны к «сходимости за счет масштабирования», становясь более корректными, но менее оригинальными. Возможно ли разработать стратегии, позволяющие эффективно сочетать качество и новизну, и действительно ли понимание механизмов эволюционного поиска может стать ключом к раскрытию полного потенциала машинной креативности?

Оценка Творчества Машин: Вызов для Алгоритмов

Оценка машинного творчества представляет собой сложную задачу, выходящую за рамки простого определения успешности выполнения задания. Традиционные метрики, оценивающие корректность или полноту ответа, не способны уловить суть действительно творческого решения, поскольку творчество предполагает не просто достижение цели, а генерацию новых, неожиданных и ценных идей. Необходимо разрабатывать и применять специализированные фреймворки, учитывающие не только результат, но и процесс генерации, а также новизну и оригинальность предложенных решений. Иными словами, требуется оценка не только «что» было создано, но и «как» это было сделано, чтобы по-настоящему измерить творческий потенциал искусственного интеллекта.

Теоретическая база для оценки машинного творчества, предложенная Маргарет Боден, выделяет два ключевых типа креативности: комбинаторную и исследовательскую. Комбинаторная креативность предполагает создание нового продукта путем перекомбинирования существующих идей, в то время как исследовательская предполагает выход за рамки установленных правил и создание принципиально новых концепций. Однако, несмотря на свою проработанность, данная когнитивная структура нуждается в надежном эталоне — измеримом наборе задач и критериев оценки, который позволил бы объективно сопоставлять различные системы искусственного интеллекта и количественно оценивать степень их творческих способностей. Отсутствие такого эталона затрудняет не только сравнение различных подходов к машинному творчеству, но и прогресс в данной области, поскольку сложно определить, какие методы наиболее эффективны для достижения подлинно креативных результатов.

Традиционные метрики, такие как `Pass@1` и простая оценка корректности, оказываются недостаточными для адекватной оценки истинной креативности машинных решений. Это связано с тем, что они зачастую фокусируются лишь на достижении правильного ответа, игнорируя новизну, неожиданность или оригинальность подхода. Например, даже самые передовые модели искусственного интеллекта демонстрируют результат менее 60% по метрике `Pass@1` на сложном бенчмарке CreativeBench-Combo, что указывает на их ограниченные возможности в генерации действительно творческих решений. Данный факт подчеркивает необходимость разработки более тонких и комплексных методов оценки, способных учитывать не только правильность, но и качество, а также степень инновационности предложенных решений.

CreativeBench: Стандартизированная Платформа для Оценки Творческого Кода

CreativeBench представляет собой стандартизированную платформу для оценки машинного творчества в области кодирования. В качестве основы для генерации задач используется AutoCodeBench, что позволяет создавать разнообразный набор проблем, предназначенных для тестирования возможностей моделей генерации кода. Платформа обеспечивает воспроизводимость и объективность оценки, предоставляя единый стандарт для сравнения различных подходов к машинному творчеству в программировании. Использование AutoCodeBench в качестве начальной точки гарантирует наличие базового набора задач, которые затем могут быть расширены и усложнены для более глубокой оценки способностей моделей.

В CreativeBench используется метод “Самообучение” (Self-Play), представляющий собой итеративный процесс взаимодействия между генератором задач и решателем (Solver). Генератор создает задачи, а решатель пытается их решить. Успешность решения определяет сложность последующих задач. Этот процесс регулируется генератором ограничений (Constraint Generator), который динамически изменяет параметры генерации задач, направляя генератор на создание более сложных и разнообразных испытаний. Такая схема позволяет автоматически создавать тестовый набор, адаптированный к текущим возможностям решателя, и обеспечивает постоянное повышение сложности задач в процессе обучения.

Для создания разнообразного и сложного набора тестовых заданий в CreativeBench используется метод обратной разработки (Reverse Engineering), позволяющий извлекать описания задач из существующего кода. Автоматизированный конвейер построения данных, основанный на этом методе, обеспечивает достоверность данных на уровне 89.1%, что подтверждено ручной проверкой. Такой подход гарантирует, что benchmark включает в себя задачи, основанные на реальных примерах кода, а не только на искусственно сгенерированных, что повышает его релевантность и эффективность для оценки креативности моделей генерации кода.

Масштаб и Творчество: Дивергенция в Подходах

Увеличение масштаба моделей демонстрирует улучшение результатов в задачах, требующих комбинаторной креативности. Данное явление обусловлено способностью более крупных моделей эффективно комбинировать существующие концепции и знания, генерируя новые, ранее не встречавшиеся комбинации. Наблюдается, что по мере увеличения числа параметров модели, растет её способность находить решения, основанные на сочетании различных элементов из её базы знаний, что приводит к повышению производительности в задачах, где требуется генерировать инновационные, но логически обоснованные результаты.

Явление “сходимости при масштабировании” (Convergence-by-Scaling) демонстрирует, что увеличение размера языковых моделей приводит к снижению разнообразия предлагаемых ими решений в процессе исследовательского поиска. Это означает, что более крупные модели, хотя и обладают большей способностью к комбинированию существующих концепций, склонны генерировать менее оригинальные и неожиданные варианты, ограничивая проявление истинной исследовательской креативности. Вместо генерации широкого спектра потенциальных решений, масштабные модели демонстрируют тенденцию к сближению вокруг наиболее вероятных и распространенных ответов, что снижает их способность к поиску принципиально новых подходов.

Анализ показывает, что развитие способностей к рассуждению положительно влияет на эффективность ограниченного поиска решений, однако не оказывает существенного влияния на комбинаторную креативность. При этом, автоматические оценки креативности, полученные в ходе экспериментов, демонстрируют высокую корреляцию с экспертной оценкой, что подтверждается коэффициентом корреляции Спирмена ρ = 0.78. Данный результат указывает на возможность объективной автоматизированной оценки креативности моделей.

EvoRePE: Управление Творчеством через Эволюционный Поиск

EvoRePE представляет собой новый подход к управлению поведением модели во время инференса, использующий принципы эволюционного поиска. В отличие от традиционных методов, EvoRePE динамически настраивает внутренние представления модели, применяя эволюционные алгоритмы для поиска оптимальных направлений активации. Этот процесс позволяет модели генерировать более разнообразные и креативные результаты, избегая при этом необходимости ручной настройки параметров или предварительного обучения на специфических данных. Эффективность метода заключается в автоматическом определении и усилении тех аспектов внутреннего представления модели, которые способствуют генерации креативного контента.

Метод EvoRePE использует методы инженерной разработки представлений (Representation Engineering) и анализа главных компонент (Principal Component Analysis, PCA) для выявления и усиления так называемых «векторов креативности» в активациях нейронной сети. PCA применяется для уменьшения размерности пространства активаций, выделяя направления с наибольшей дисперсией, которые предположительно соответствуют творческим особенностям модели. Инженерная разработка представлений позволяет целенаправленно модифицировать эти векторы, увеличивая их вклад в конечный результат и, таким образом, стимулируя более креативные ответы модели. В результате, EvoRePE не просто генерирует новые варианты, но и позволяет управлять направлением творческого поиска, используя выявленные компоненты активаций.

Для оценки эффективности EvoRePE проводилось сравнение с существующими методами, такими как GEPA и AlphaEvolve. Результаты показали, что EvoRePE позволяет повысить уровень креативности генерируемого контента, при этом улучшения не зависят от используемой эволюционной стратегии. В частности, при использовании модели Qwen2.5-7B-Instruct, показатель креативности был увеличен с 0.174 до 0.192, что демонстрирует способность EvoRePE усиливать творческий потенциал модели.

Количественная Оценка Новизны и Будущее Креативного ИИ

Новизна является фундаментальным компонентом креативности, и оценка оригинальности сгенерированного кода представляет собой сложную задачу. В этой связи, разработанный инструмент CodeXEmbed предоставляет возможность количественно измерить степень новизны программного кода. Он основан на создании векторных представлений кода, позволяющих сравнивать различные решения и выявлять те, которые отличаются от уже существующих. Этот подход позволяет не просто генерировать код, но и оценивать его инновационность, открывая перспективы для разработки более креативных и эффективных систем искусственного интеллекта, способных к поиску принципиально новых решений. Оценка новизны с помощью CodeXEmbed позволяет дифференцировать тривиальные вариации от действительно оригинальных разработок, что является ключевым шагом в развитии творческого потенциала ИИ.

Комплекс CreativeBench, в сочетании с алгоритмом EvoRePE и надежными метриками новизны, представляет собой мощную платформу для расширения границ творческого потенциала искусственного интеллекта. Этот подход позволяет не просто генерировать код, но и количественно оценивать его оригинальность, выявляя действительно новые и неожиданные решения. EvoRePE, используя эволюционные алгоритмы, эффективно исследует пространство возможных вариантов, а метрики новизны, основанные на CodeXEmbed, обеспечивают объективную оценку степени отклонения от существующих решений. Такое сочетание инструментов открывает перспективы для автоматизированного поиска инноваций в программировании и позволяет значительно ускорить процесс разработки креативных алгоритмов, представляя собой важный шаг к созданию действительно творческого искусственного интеллекта.

В дальнейшем исследования сосредоточены на повышении эффективности и масштабируемости алгоритма EvoRePE, что позволит ему обрабатывать более сложные задачи и генерировать более разнообразные решения. Параллельно ведутся работы над новыми методами, направленными на стимулирование действительно расходящегося творческого поиска — то есть, способности системы генерировать идеи, значительно отличающиеся от существующих и не ограничивающиеся простыми вариациями. Эти усилия призваны выйти за рамки инкрементального улучшения и достичь качественно нового уровня творческого потенциала искусственного интеллекта, позволяя создавать принципиально новые и неожиданные решения в различных областях.

Представленная работа демонстрирует, что простое масштабирование моделей не всегда приводит к желаемому результату в области генерации кода, особенно когда речь заходит об исследовании новых, нестандартных решений. Как отмечал Алан Тьюринг: «Иногда люди, у которых нет воображения, считают, что воображение — это всего лишь бессмысленное беспокойство». Данное исследование, представляя CreativeBench и EvoRePE, подтверждает эту мысль: необходимо целенаправленно направлять эволюционный поиск, чтобы преодолеть склонность к оптимизации уже известных решений и стимулировать истинную комбинаторную креативность. Иначе, модель, как и человек без воображения, ограничит себя лишь рамками привычного.

Куда Ведет Творческий Поиск?

Представленная работа, демонстрируя эволюцию алгоритмов генерации кода, неизбежно ставит вопрос о природе самой «творчества». Увеличение масштаба моделей, безусловно, улучшает их способность к комбинаторной игре, но эта способность оказывается, по сути, лишь более изощренным перебором вариантов. Настоящая же исследовательская свобода, способность к истинно новому, а не просто к перестановке существующих элементов, закономерно уступает позиции эффективности. В этом — не недостаток метода, а скорее отражение фундаментального компромисса между исследованием и эксплуатацией.

Очевидно, что метрики, используемые для оценки «творчества», нуждаются в дальнейшей критической переоценке. Попытки количественно измерить субъективное понятие неизбежно приводят к упрощениям, и акцент на «новизне» и «качестве» должен быть уравновешен пониманием контекста и цели генерируемого кода. Более того, необходимо исследовать способы интеграции в процесс эволюционного поиска не только статистических данных, но и принципов формальной логики, чтобы избежать случайных, но внешне привлекательных решений.

В конечном итоге, направление развития этой области видится в создании алгоритмов, способных не просто генерировать код, но и доказывать его корректность и оптимальность. Истинная элегантность не в количестве сгенерированных вариантов, а в математической чистоте и доказуемости решения. Иначе, все эти усилия по «машинному творчеству» рискуют оказаться лишь усложненной имитацией, лишенной глубины и подлинной новизны.

Оригинал статьи: https://arxiv.org/pdf/2603.11863.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-14 02:48