Компьютерное зрение для перерабатывающей компании ECOBOT

Автоматизированное разделение отходов при помощи AI.

ECOBOT

Робот, который автоматически сортирует мусор с помощью системы искусственного интеллекта и компьютерного зрения.

как это работает

ECOBOT придумали систему, которая принимает на вход физический пакет с мусором, открывает его и распределяет мусор по конвейеру. Над конвейером находится роборука и камера, которая определяет и классифицирует различный мусор — пластик, стекло, металл, картон. Рука опускается вниз, захватывает мусор и переносит в соответствующий контейнер.

задача

Обучить искусственный интеллект распознавать объекты, внедрить его и интегрировать в механическую руку.

решение

Например, он понимает, что есть стеклянная бутылка, пакет или смятый кусок бумаги. После определения мусора, он просчитывает траекторию и дает команду механической руке, которая забирает мусор со стола и относит в нужный бак.

Распознавание и определение класса мусора на ленте, определение координат каждого объекта

Модель обнаружения мусора.

Итак, давайте разбираться: вы кинули мусор на стол. И в этот самый момент начинается магия. ECOBOT распознает предмет и классифицирует его.

Используемые технологии

CenterNet

ResNet50

Jetson Nano

Robot Operating System

сложность

И чтобы рука выполнила команду, необходима суперточность, грамотно настроенное взаимодействие с внешним миром. Наша нейронная сеть должна научиться определять координаты по пикселям на сделанной фотографии.

Задача робота не только найти мусор на изображении и определить его класс, но и на основании этого понимания дать команду механической руке. Поэтому после обнаружения изображения искусственный интеллект осуществляет пересчет координат и дает команды вида «повернись на 15 градусов», «опустись вниз», «на смещении в 10 см сделай захват», «положи в левую коробку».

калибровка положения стола на изображении для пересчета пиксельных координат в реальные

процесс работы

1

Захват видео с камеры.

2

Распознавание. (Детекция и классификация объектов на изображении).

3

Пересчет координат. То есть их преобразование из пикселей на картинке в управляющие сигналы для робота.

4

Соединение всех шагов в физические команды для системы, которая контролирует робота. Эту систему пишут наши коллеги робототехники.

РЕЗУЛЬТАТЫ

Компьютерное зрение применяют почти во всех сферах. Оно помогает:

Везде, где нужно физически просмотреть много объектов, помогут роботы. Другой пример применения компьютерного зрения в нашем кейсе "АртРегистратор"

Но самое крутое, что данная технология может быть использована и в других отраслях и даже с большим количеством объектов.

Мы сделали управление роботом с крутящимся столом.
Наш искусственный интеллект распознает:
— 4 кадра в секунду;
— 8 видов объектов.