COMPO как основа нейросети для композиции
Исследовательский вопрос
Можно ли построить систему, которая получает набор изображений, предметов, текста и shapes, а затем предлагает несколько вариантов их композиционного размещения с учётом дизайна, смысла и человеческого восприятия?
Результат
Да, задача технически реалистична. Современные работы по layout generation используют компоненты, отношения, ограничения и последующую доработку. Оптимальная архитектура — не одна универсальная нейросеть, а гибрид: нейросеть предлагает варианты, COMPO проверяет ограничения, а reward-модель учится на человеческих предпочтениях.
Предлагаемая архитектура
Семантический слой
Геометрия не понимает, что объект является лицом, глазом, рукой или текстом. Поэтому нужны тип объекта, части, чувствительные зоны, допустимые контакты и нежелательные визуальные продолжения. Объект под носом лица может создать смысл, которого не было в замысле.
Граф отношений
Композиция определяется связями: выше, ниже, ближе, дальше, главный, вторичный, направление взгляда, запрет пересечения и необходимое свободное поле.
Какие данные нужны
Вход: canvas, объекты, свойства, текст и ограничения.
Кандидаты: несколько вариантов размещения.
Решение человека: выбранный вариант, уверенность и комментарий.
Исправление: что изменено и почему.
Связь с COMPO: нарушенное правило, применённая метрика и provenance.
Выводы по проекту
Особенно полезны идеи о семантических дескрипторах, приоритетах правил, базе человеческих исправлений, объяснимости решений, быстром экспорте данных и создании графики под конкретный текст.
Первый практический прототип: получить несколько объектов и canvas, создать 10–50 композиций, отсортировать их, объяснить каждое решение и дать человеку выбрать лучший вариант.
