Компьютерное зрение для перерабатывающей компании ECOBOT

Автоматизированное разделение отходов при помощи AI
ECOBOT
робот, который автоматически сортирует мусор с помощью системы искусственного интеллекта и компьютерного зрения
как это работает
ECOBOT придумали систему, которая принимает на вход физический пакет с мусором, открывает его и распределяет мусор по конвейеру. Над конвейером находится роборука и камера, которая определяет и классифицирует различный мусор — пластик, стекло, металл, картон. Рука опускается вниз, захватывает мусор и переносит в соответствующий контейнер.
задача
Обучить искусственный интеллект распознавать объекты, внедрить его и интегрировать в механическую руку.
решение
Например, он понимает, что есть стеклянная бутылка, пакет или смятый кусок бумаги. После определения мусора, он просчитывает траекторию и дает команду механической руке, которая забирает мусор со стола и относит в нужный бак.
Распознавание и определение класса мусора на ленте, определение координат каждого объекта
Модель обнаружения мусора.
Итак, давайте разбираться: вы кинули мусор на стол. И в этот самый момент начинается магия. ECOBOT распознает предмет и классифицирует его.
Используемые технологии
CenterNet
ResNet50
Jetson Nano
Robot Operating System
сложность
И чтобы рука выполнила команду, необходима супер точность, грамотно настроенное взаимодействие с внешним миром. Наша нейронная сеть должна научиться определять координаты по пикселям на сделанной фотографии.
Задача робота не только найти мусор на изображении и определить его класс, но и на основании этого понимания дать команду механической руке. Поэтому после обнаружения изображения искусственный интеллект осуществляет пересчет координат и даем команды вида «повернись на 15 градусов», «опустись вниз», «на смещении в 10 см сделай захват», «положи в левую коробку».
калибровка положения стола на изображении для пересчета пиксельных координат в реальные
процесс работы
1
Захват видео с камеры
2

Распознавание. (Детекция и классификация объектов на изображении)

3
Пересчет координат. То есть их преобразование из пикселей на картинке в управляющие сигналы для робота
4
Соединение всех шагов в физические команды для системы, которая контролирует робота. Эту систему пишут наши коллеги робототехники
РЕЗУЛЬТАТЫ
Компьютерное зрение применяют почти во всех сферах:
Везде, где нужно физически просмотреть много объектов, помогут роботы. Другой пример применения компьютерного зрения в нашем кейсе "АртРегистратор"
Но самое крутое, что данная технология может быть использована и в других отраслях и даже с большим количеством объектов.
Мы сделали управление роботом с крутящимся столом.
Наш искусственный интеллект,
— Распознает 4 кадра в секунду.
— Распознает 8 видов объектов.
  • оно помогает находить товары с дефектом на конвейерах;
  • считать количество товара на складах;
  • оценивать качество дорог;
  • узнавать картины или видео и т. д.
Кто работал над проектом
Андрей Татаринов
сооснователь AGIMA AI
Анна Закутняя
ML-инженер
Александр Козлов
ML-тимлид
контакты AGIMA AI
107031, г. Москва, ул. Петровка, д. 19, стр. 4
hello@agima.ai
Теперь вы знаете, где нас искать
Обычно мы работаем с 10 до 19