Системы зрения теперь считаются неотъемлемой частью многих промышленных процессов, потому что они могут предлагать быстрые, точно воспроизводимые возможности контроля. Например, в пищевой промышленности, где система технического зрения играет решающую роль в процессах, когда скорость и точность чрезвычайно важны и помогают обеспечить конкурентное преимущество для производителей. Сам пищевой продукт проверяется на предмет контроля и качества порций, а также на качество упаковки и маркировки. Кроме того, на фармацевтическом рынке требуются самые требовательные системы видения, которые не только проверяют продукты, но также проверяют использование и настройку систем, обеспечивая правильное дозирование и контроль за процессами изготовления лекарств.
История развития роботозрения
Понятие промышленных роботов появилось с первым официально признанным устройством, которое было создано в 1954 году. Но техническое зрение в системах управления с известными координатами было создано только в 1960 году, и качество его было очень низким, чтобы использовать для широкого применения. Такое положение дел продолжалось до 1983 года, когда появились первые коммерческие системы видения, после чего система стала жизнеспособной технологией, а теперь широко используется во многих отраслях производства.
Видение приносит пользу многим секторам производства, где робототехника является одной из главных областей применения. Одним из ключевых моментов является тот факт, что ее можно рассматривать как технологию включения в систему управления роботом. Роботы хороши в повторяющихся задачах, но плохо учитывают быстро изменяющиеся параметры, поэтому, когда местоположение продукта меняется, робот-система не срабатывает.
Система технического зрения позволяет роботам «видеть» объект и вычислить его X- и Y-позиции. В последнее время роботы стали применяться с возможностью двух- и трех-видения. Таким образом, им стала доступна и третья координата, как правило, высота объекта. Список систем датчиков изображений, программных пакетов и диапазон интеллектуальных камер постоянно растет, поэтому для любого приложения существует техническое зрение в системах управлениях роботами. С появлением недорогих многоядерных процессоров система расширила свои горизонты.
Оценка роботизированных систем зрения
Работа любой системы должна иметь систему оценок для определения ее эффективности. Такая же система есть и у роботозрении. Наиболее важные показатели при разработке систем технического зрения:
- Адаптивность: большинство приложений для роботизированного зрения полагаются на очень четко определенные приложения с предварительно запрограммированными функциями. Они могут очень хорошо обнаружить конкретный заданный шаблон. Однако если что-то необычное начнет проходить перед камерой, оно может быть пропущено приложением. Хорошим примером этого может быть полностью автоматизированный публичный тест CAPTCHA, где простые буквы слегка деформированы, и любой тип системы зрения не может их обнаружить. Хотя этот пример является проблемой на данный момент, но это всего лишь вопрос времени, скоро это препятствие будет преодолено роботизированными системами зрения.
- Обнаружение тенденций: если система зрения не была запрограммирована для обнаружения тенденций или моделей, она не сможет их обнаружить. Хотя люди действительно хорошо разбираются и определяют тенденции — техзрение имеет проблемы с ассоциациями. Каждая обнаруженная функция часто обрабатывается индивидуально, например, если список ошибок будет показан работнику-человеку, он может его проанализировать и определить, есть ли проблема с машиной в производственном процессе. Система видения не может этого сделать, вместо того, чтобы определить, какой фрезерный станок сломался и остановить его, она останавливает производственную линию полностью.
- Основным преимуществом системы видения является ее последовательность и надежность. Если система технического зрения видения находится в правильном месте, она всегда будет видеть, что что-то не так. Она по сравнению с глазами человека не устает и всегда будет использовать одни и те же параметры. Люди более подвержены риску в течение всего дня, так как рабочий может становиться все более усталым и менее внимательным.
- Еще одна из причин, по которой производители внедряют систему, — согласованность и точность.
Преобразование координат
При разработке систем технического зрения учитывают, что робот должен отрегулировать себя в соответствии с ориентацией деталей, схватить предметы с конвейера, а затем уложить их на паллеты. В этом случае датчики зрения обеспечивают связь между случайно ориентированной частью и роботом. Например, система машинного зрения может быть применена для управления роботами на машине для сборки электронных печатных плат.
Другой распространенный класс приложений состоит из роботов, которые в процессе производства передают детали с одной на следующую операцию. Система видения предоставляет информацию, позволяющую роботам захватывать целевой объект и перемещать его на следующую операцию в производственной или инспекционной системе.
Когда камера машинного зрения обнаружит в поле зрения объект, камера находит его и устанавливает координаты x и y объекта относительно верхнего левого угла изображения - 0, 0 точки. Робот функционирует со собственной системой координат, сосредоточенной на собственной 0-й точке, что обычно не соответствует той, которую использует система видения. Чтобы упростить связь между датчиком зрения и роботом и позволить роботу легко выполнять правильное действие, системы видения преобразовывают координаты робота. Благодаря этой возможности она преобразует информацию о местонахождении точки интереса в системе отсчета камеры в систему координат устройства систем технического зрения.
В дополнение к координатам положения x и y системы часто должны сообщать роботам тета-координату 0 или угол поворота целевого объекта. Включение координаты 0 позволяет роботам определять, где находится эта часть, а также иметь возможность ее поднять. Инструменты Vision могут сообщать о позиции объекта и о том, как он вращается, поэтому робот может отрегулировать себя подходящим образом, прежде чем поднять объект и выполнить задачу.
Координаты x, y и 0 определенной части могут быть установлены с использованием различных инструментов видения, которые являются частью программных компонентов системы видения. Точность, доступная в этих инструментах, различается, как и время, необходимое для анализа интересующей точки. Например, инструменты предоставляют координаты x и y для случаев, когда ребро находится на продукте. В системе технического зрения в робототехнике, если несколько инструментов обнаружения края объединены с инструментом анализа, можно определить угол или координату 0.
Кластеризация краев
Обнаружение краев для выделения определенных деталей из сложного изображения. Как только система находит часть, она использует данные, собранные из визуальной информации, для изменения своей программы и выполнения задач по назначению. Это позволяет роботу работать с деталями, которые смещены, наклонены, перемешаны в контейнере или иным образом выведены из расчетного положения. Чтобы использовать систему видения таким образом, должна быть определенная форма калибровки, где робот может связывать визуальные данные с расстоянием. Эти свойства применяются в системах технического зрения для контроля качества.
При использовании 2D-зрения или одной камеры, она должна находиться в одном и том же положении каждый раз, когда требуется найти изображение и расстояния от этой точки, т. е. должна быть какая-то форма калибровки. При трехмерном видении две камеры или изображения из двух мест определяют расстояние.
3D-система также требует калибровки, а в случае двух камер местоположение камер относительно друг друга, что является частью калибровки. 3D-система технического зрения ds1000 может измерять функции деталей на микроном уровне, обеспечивая качество каждой детали во время работы. Системы видения «все в одном», которые подключаются непосредственно к роботу и обрабатывают всю обработку данных, не являются чем-то новым для рынка робототехники.
Например, CMUcam5 Pixy — это все в одной системе видения, которая работает с Arduino, Raspberry Pi и BeagleBone для распознавания цвета, объектов и распознаванием лица на этом пути. Раньше для обеспечения этой функциональности для хобби-роботов потребовалось либо большое количество работы, либо дорогостоящая система, но Pixy упростил предоставление возможностей системе технического зрения мобильного робота.
Камера для обработки изображений
Для всех систем промышленного зрения требуется элемент программного обеспечения для системы зрения, будь то просто управление камерой или выполнение индивидуального приложения, все равно нужна хорошая камера. Для многих потребностей в области промышленного контроля простая конфигурация среды разработки техзрения с использованием простых пользовательских интерфейсов позволяет развертывать наиболее экономичные решения. Для более требовательных компаний, с хорошими навыками разработки программного обеспечения часто используют существующую библиотеку программного обеспечения.
Благодаря сложным средствам обработки и измерения изображений и простым пользовательским интерфейсам точек и кликов, системы видения играют свою роль в процессе автоматизации, но также обеспечивают мощную связь с робототехникой. Это часть системы, которая будет освещать внешний мир и преобразовывать его в цифровые данные и могут обрабатываться и анализироваться системой технического зрения insight.
Первоначально камеры состояли из небольшого количества фотоэлементов (около 2 тыс. пикселей), расположенных за объективом, и чтобы определить форму изображений, обрабатывали серый цвет из 256 разных оттенков. Сегодня камеры, используемые в системе, варьируются от 2 мегапикселей до полного цвета и используют для работы 4095 различных оттенков. Этот большой объем данных упростил обработку изображений, поскольку он предоставляет множество информации, и не обязательно скоростную.
Процессорный компонент
Это следующий основной компонент системы видения. Процессор преобразует все необработанные данные с камеры в полезную информацию для робота. Существует два основных метода обработки информации с точки зрения обнаружения и кластеризации.
При обнаружении кромок процессор ищет резкие различия в световых данных от камеры, которые затем рассматривает край. Как только он находит преимущество, процессор смотрит на данные из пикселей поблизости, чтобы увидеть, где еще он может найти аналогичную разницу. Этот процесс продолжается до тех пор, пока не найдет заданную контурную информацию для изображения.
При кластеризации процессор находит пиксели, которые имеют идентичные данные, а затем ищет другие пиксели рядом с одинаковыми или близкими к ним данными. Этот процесс создает изображение, используя данные, снятые камерой. Как только процессор определить его, как изображение, он форматирует информацию во что-то, что робот может использовать, и отправляет в систему.
Последняя ключевая часть технического зрения в системах управления мобильными объектами — кабельная разводка. В более ранних технологиях кабели связи, используемые для систем видеонаблюдения, были неудобными и ограниченными в том, как далеко они могли отправлять данные без потерь.
Примерно в 2009 году Adimec разработал новый способ отправки данных, которые позволили передавать более 6 Гбит/с по коаксиальному кабелю, и назвал его CoaXPress. Этот протокол и те, которые были выпущены позже, обеспечили использование одного коаксиального кабеля для передачи данных, несмотря на то, что объем данных, которые нужны для передачи, продолжает расти.
Не все системы видения используют только один коаксиальный кабель для передачи данных, поэтому важно, чтобы те, кто работает с системами видения, понимали специфику и ограничения системы, которые у них есть.
Приложения Vision System
Когда дело доходит до приложений системы видения, некоторые из захватывающих и популярных вариантов имеют возможность распознавания лиц, системы безопасности, поиск деталей и контроль качества.
Распознавание лиц — это способность система технического зрения сопоставлять изображение человека с данными, хранящимися в его памяти. Во многих отношениях это всего лишь адаптация распознавания деталей, но результат — гораздо более точная работа с роботом. Например, можно запрограммировать робота NAO Aldebaran, чтобы распознать лицо, а затем ответить сообщением, используя имя, создавая персонализированный опыт при взаимодействии с ним.
Помимо социальных применений, эта технология также имеет отличные приложения для обеспечения безопасности. Вместо того чтобы рисковать жизнью людей, можно использовать робота для отказа в регистрации или поиска неавторизованных лиц на основе базы данных одобренных сканирований лица. Робот Baxter, созданный Rethink Robotics, является прекрасным примером этого благодаря его 360-градусной гидролокатору и фронтальной передней панели.
В любое время, когда Бакстер чувствует человека, робот замедляется до безопасной скорости и внимательно следит за обратной связью системы за любыми указаниями на столкновение, останавливая все движения, прежде чем кто-то может пострадать. Кроме того, Baxter использует свою систему видения для поиска деталей и, при необходимости, регулировки положения.
Известные программные пакеты для машинного зрения, такие как Common Vision Blox, программное обеспечение Scorpion Vision, Halcon, Matrox Imaging Library или Cognex VisionPro - это приложения, которые запускаются в Microsoft Windows и используются для создания расширенного и мощного программного обеспечения для автоматизации, принимающего входные и выходные данные изображения на основе заданного изображения. В конечном счете, в коммерческом видении машины, обработка изображений используется для классификации, чтения символов, распознавания фигур или измерения.
Расположение камер обзора
В зависимости от применения система технического зрения будет размещаться в роботизированной камере в разных местах. Со всеми различными типами роботов, камер и приложений есть бесконечное количество решений относительно того, где можно разместить камеру и что с ней делать. Однако существуют основные способы настройки камеры:
- Конец руки. Различные приложения должны следить за тем, что робот захватывает, некоторые производители роботов встраивают камеры непосредственно на запястье робота. Это позволяет камере перемещаться в разных направлениях в пространстве, находить часть и, в соответствии с кинематикой робота, захватить ее. Поскольку камера часто находится рядом с захватом, она также может отслеживать, правильно ли захвачена часть или если она была удалена во время манипуляции. Размещение камеры на конце руки робота означает, что она постоянно перемещается. Если требуется изображение захватной области, останавливают робота в правильном положении, убеждаются, что камера стабильная, а затем делают снимок. Если для приложения требуется очень короткое время цикла, может потребоваться перенастроить эту опцию.
- Применение сцены — другой вид системы, в ней можно фиксировать и постоянно смотреть на сцену, например, где детали представлены в разных положениях и ориентациях на конвейере. Как только часть проходит перед камерой, снимок берется и анализируется, чтобы увидеть, где находится деталь и ее ориентация относительно робота. Мониторинг сотовой связи.
- Существует также вид системы технического зрения роботов, который используется для требований безопасности. Камера или набор камер можно установить непосредственно на роботе или на площадке, где он размещен, чтобы контролировать, входит ли человек в рабочее пространство робота. Поскольку большинство совместных роботов не имеют внешней безопасности, этот метод можно использовать для регулирования скорости робота в соответствии с расстоянием между роботом и человеком.
Система 3D-видения
Применение изображений 3D-камер быстро растет по сравнению с использованием 2D-камеры. Используя несколько датчиков объема и положения, в сочетании с 3D-лазерным сканером времени, можно подробно создавать 3D-модели продуктов производства. Такие 3D-сканы создаются с помощью лазера времени пролета, который измеряет время, необходимое для прохождения света между деталями или продуктами. Самое большое преимущество этого метода заключается в том, что его можно использовать для любой поверхности и размерности. Это позволяет роботу распознавать случайно размещенные объекты и перемещать их для упорядочивания расположения одних и тех же продуктов.
Креветка Мантиса имеет самые впечатляющие глаза в природе, в четыре раза больше рецепторов цвета, чем у людей. Производители долгое время полагались на человеческое видение сложных процессов комплектования и сборки, но системы 3D-зрения начинают превосходить возможности человека в системах технического зрения роботов. Abandon CAD — продвинутые 3D-системы видения резко контрастируют с программным обеспечением видения прошлого. Многие существующие системы по-прежнему требуют профессионального программирования САПР, чтобы робот мог распознавать формы. Однако это программное обеспечение может испытывать трудности с одновременным распознаванием нескольких элементов.
Общим приложением для систем видения является удаление и сортировка товаров из контейнера. В то время как системы на базе САПР могут идентифицировать элементы в контейнере, задача заключается в распознавании позиции каждого элемента при его представлении в произвольном порядке, не говоря уже об определении оптимальности для робота. Расширенные системы видения устраняют эту проблему, используя пассивную визуализацию, чтобы робот мог автоматически идентифицировать предметы независимо от их формы или порядка.
Система зрения Toshiba Machine, TSVision3D, использует две высокоскоростные камеры для непрерывного захвата трехмерных изображений системами технического зрения, применяемые в лазерных технологиях. Используя интеллектуальное программное обеспечение, система может обрабатывать эти изображения и определять точное положение элемента. Это определяет наиболее логичный порядок подбора их и делает это с точностью до миллиметра, с той же легкостью, что и рабочий.
Перспектива развития отрасли
В такой отрасли, как машинное зрение, новые стандарты и технологии вводятся беспрецедентно быстро. Ожидается, что в 2018 году промышленность отрасли систем технического зрения робототехники вырастет на десять процентов и более. Фактически промышленные источники в настоящее время прогнозируют, что глобальные продажи компонентов машинного зрения достигнут ошеломляющих 19 миллиардов долларов США к 2025 году или почти вдвое превысят его текущую стоимость. Такой рост обеспечен необходимым уровнем финансированием для новых передовых технологий и для обновления существующих.
Ведущие разработчики технического зрения в робототехнике:
- VS Technology Corp с 1997 года является ведущим производителем оптических линз, оптических компонентов и системы освещения в индустрии машинного зрения.
- NorPix ведущий разработчик программного обеспечения для цифровой видеозаписи и высокоскоростной видеозаписи с использованием одной или нескольких камер.
- Lumenera, структура Roper Technologies, Inc. производит высокопроизводительные цифровые камеры и пользовательские OEM-решения изображений, используемых для промышленных, научных, наблюдательных и астрономических приложений.
- Vieworks Co Ltd, фирма, основанная в 1999 году, активно работает на рынках цифровых изображений с использованием своих замечательных технологий визуализации.
- Euresys, ведущий производитель компонентов для сбора изображений, видео и программного обеспечения для обработки изображений, обладает более чем 25-летним опытом в области визуализации изображений, здравоохранения, ИТС и видео наблюдения. Saber1 Technologies LLC с 2000 года является ведущим поставщиком цифровых изображений, аксессуаров, систем и решений.
- Teledyne DALSA, более 30 лет является мировым лидером в предоставлении компонентов и решений для машинного зрения. Teledyne DALSA — единственная в мире компания, обладающая основными технологиями, необходимыми для восприятия, захвата и обработки изображений с использованием мощных, инновационных датчиков изображения, камер и плат сбора данных для сложного программного обеспечения для зрения и интеллектуальных систем видения.
- IMPERX, INC — американский производитель высокопрочных изделий для машинного зрения в течение почти двух десятилетий, имеет обширный набор линий CMOS и CCD—камер, а также широкий ассортимент ноутбуков и настольных Framegrabbers.
- DAHENG IMAGING, основанная в 1991 году на технологиях, накопленных в Академии наук Китая, является ведущей компанией в Китае, которая создает, разрабатывает, производит и продает машины-роботы, компоненты и решения медицинского сектора.
Таким образом, можно подвести итог, что всего лишь несколько лет назад, когда система стояла у истоков своего развития, она была довольно примитивной. Поскольку промышленные камеры не были такими передовыми, как сегодня, а роботизированная логика была ненадежной, большинство рассматриваемых приложений были из разряда мечты и технически невозможными. Теперь, благодаря смартфонам, процесс технологии камер рванул вперед, а продвижение удобных для пользователя «интеллектуальных камер» сделал технологию технического зрения проще, чем когда-либо.
