артрегистратор

United Kingdom Creative Ideas Ltd. (UKCI) — международная компания со штаб-квартирой в Лондоне. Они регистраторы и владельцы доменной зоны .art — это их главный проект. Параллельно они развивают сервисы для художников и коллекционеров и делают искусство технологичным.

UKCI обратились к нам, чтобы разработать технологию по оценке объектов искусства через смартфон. Идея такая: пользователь делает снимок картины — а программа понимает, кто ее автор и когда она написана.

Задача

Решение

Как всё устроено

ID картин, найденных этими способами, объединили. Всего так нашли около 25 000 объектов.

Тоже по ключевым словам, но в датасете MetObjects.

Через API музея The Met по ключевым словам: например, painting, landscape, portrait и др.

Мы опробовали несколько алгоритмов распознавания и сбора изображений. Первый из них — эмбедеры.

Эмбедер — это нейронная сеть. Такая модель обучается как классический классификатор. На этапе применения модели используется, обычно берется последний полносвязный слой для представления изображения в виде числового вектора длины n.

Казалось бы, можно просто извлечь категорию из текстового названия, но нет. Если в каталоге Ozon появятся новые категории, придётся обучать модель заново. Этот процесс дорогой и довольно хрупкий — в любой момент могут возникнуть ошибки по всему пространству данных и риск неверно классифицировать товары. Наш подход позволяет этого избежать

Деление товаров на категории и типы происходит на основе похожих объектов. С помощью машинного обучения мы находим группу товаров, наиболее близкую по характеристикам (или числовым значениям, если мыслить в терминах Ozon). К их категории подходит и наш товар

*Валидация фото картин без рамки

Мы протестировали классические архитектуры классификаторов на основе ResNet50 и MobileNet, а также архитектуры с использованием слоя ArcFace. Он позволяет на этапе обучения максимизировать расстояние между эмбедингами или векторами объектов разных классов.

Казалось бы, можно просто извлечь категорию из текстового названия, но нет. Если в каталоге Ozon появятся новые категории, придётся обучать модель заново. Этот процесс дорогой и довольно хрупкий — в любой момент могут возникнуть ошибки по всему пространству данных и риск неверно классифицировать товары. Наш подход позволяет этого избежать

Деление товаров на категории и типы происходит на основе похожих объектов. С помощью машинного обучения мы находим группу товаров, наиболее близкую по характеристикам (или числовым значениям, если мыслить в терминах Ozon). К их категории подходит и наш товар

Также в процессе обучения мы использовали различные форматы подаваемых на вход изображений (намеренное искажение изображений) для снижения риска переобучения модели под обучающую выборку.

Как только общие точки между двумя изображениями найдены, к ним можно применить специальные тесты, чтобы отфильтровать шумовые общие точки. По количеству найденных общих точек между двумя изображениями можно судить о том, насколько эти изображения похожи.

В качестве детектора была обучена модель CenterNet ResNet50.

Казалось бы, можно просто извлечь категорию из текстового названия, но нет. Если в каталоге Ozon появятся новые категории, придётся обучать модель заново. Этот процесс дорогой и довольно хрупкий — в любой момент могут возникнуть ошибки по всему пространству данных и риск неверно классифицировать товары. Наш подход позволяет этого избежать

Деление товаров на категории и типы происходит на основе похожих объектов. С помощью машинного обучения мы находим группу товаров, наиболее близкую по характеристикам (или числовым значениям, если мыслить в терминах Ozon). К их категории подходит и наш товар

Для обучения такого детектора собрали обучающую выборку. Она состоит из 367 фотографий музеев. Затем провели разметку картин и рисунков на этих фотографиях.

Здесь фотографировали картину по центру, но мы можем распознать и соседние. Поэтому мы научили детектор их выделять.

Казалось бы, можно просто извлечь категорию из текстового названия, но нет. Если в каталоге Ozon появятся новые категории, придётся обучать модель заново. Этот процесс дорогой и довольно хрупкий — в любой момент могут возникнуть ошибки по всему пространству данных и риск неверно классифицировать товары. Наш подход позволяет этого избежать

Деление товаров на категории и типы происходит на основе похожих объектов. С помощью машинного обучения мы находим группу товаров, наиболее близкую по характеристикам (или числовым значениям, если мыслить в терминах Ozon). К их категории подходит и наш товар

Детектор и пайплайн мы тестировали на выборках, на которых проверяли эмбедеры. Но возникла сложность: во время тестов на фотографиях была только одна картина. А в реальной жизни в кадр могут попасть и соседние. Чтобы убедиться, что детектор работает, мы решили научить его узнавать и их.

Когда детектор выделил все интересующие нас картины на фотографии, система ищет их в базе. Здесь возникает нюанс: мы используем расширенную валидацию, в которой кроме основных картин есть дополнительные, расположенные рядом с основными.

Но для большинства таких дополнительных картин у нас нет разметки на класс. Иными словам, в нашей базе нет картин, с которыми их можно сопоставить. Поэтому следующая задача — расширить каталог.

Мы рассматриваем несколько способ расширения каталога. Наиболее простой из них — работа с датасетом Wikiart.

Изначально он состоял из 81 000 картин, разбитых по стилям. В названии изображение только имя художника и название картины.

Расширение каталога

Результаты

Алгоритм матчинга работает не только с фотографиями картинам, но и с фотографиями рисунков.

Выстроен рабочий пайплайн от детекции картин и рисунков на фотографиях до их матчинга.

Каталог вырос до 90 000 картин и рисунков, а пайплайн работает с глобальным поиском и показывает хорошие результаты.

контакты AGIMA AI

hello@agima.ai

107031, г. Москва, ул. Петровка, д. 19, стр. 4.

Теперь вы знаете, где нас искать
Обычно мы работаем с 10 до 19.

© Все права защищены