Машинное зрение для контроля деталей: как выбрать камеру, объектив и свет и когда нужна нейросеть

Камера над конвейером, которая отбраковывает детали без контролёра, кажется задачей для программистов. На деле большинство неудачных проектов машинного зрения ломаются раньше программы: дефект не виден на снимке из-за бликов, пикселей на него приходится слишком мало, а движущаяся деталь размазывается. Поэтому систему собирают в обратном порядке, от дефекта к алгоритму, и в этой статье идём тем же путём.

Из чего состоит система машинного зрения

Любая установка контроля состоит из пяти частей. Камера с сенсором снимает деталь, объектив строит изображение в нужном масштабе, подсветка делает дефект контрастным, компьютер или «умная» камера со встроенным процессором обрабатывает снимок, а исполнительный механизм (сдув воздухом, толкатель, сигнал на контроллер станка) убирает брак. Кроме того, нужен датчик положения или энкодер, который говорит камере, когда деталь в кадре.

Камеры бывают матричные и линейные. Матричная снимает кадр целиком, как фотоаппарат, и подходит для штучных деталей. Линейная снимает одну строку пикселей за раз, а изображение складывается из строк по мере движения ленты, поэтому её ставят на рулонный материал, лист и длинный профиль. Для движущихся деталей берут сенсор с глобальным затвором: все пиксели экспонируются одновременно, и быстрый объект не искажается, как бывает при построчном (rolling) затворе.

Как рассчитать разрешение камеры

Расчёт идёт от самого мелкого дефекта или элемента, который система обязана найти. Компания 1stVision, поставщик камер, приводит формулу в два шага: размер элемента делят на число пикселей, которое должно на него прийтись, и получают размер пикселя на детали; затем поле зрения делят на этот размер.

Сколько пикселей закладывать на элемент? Для поиска края при отличном контрасте хватает двух, но для надёжной работы советуют 3–4 пикселя на край или дефект. Точная цифра зависит от света, оптики и алгоритма, поэтому запас лучше иметь, чем не иметь.

Поле зрения берут больше детали, потому что деталь на конвейере ложится с разбросом. В примере 1stVision деталь 20×20 мм, ищут отверстие диаметром 0,25 мм, поле зрения 40×30 мм и 4 пикселя на отверстие. Размер пикселя на детали получается 0,25 / 4 = 0,0625 мм, а по ширине нужно 40 / 0,0625 = 640 пикселей, то есть хватает камеры VGA 640×480.

Посчитаем пример ближе к цеху: проверяем фланец 100×80 мм после лазерной резки и ищем заусенцы от 0,2 мм.

Расчёт редакции по методике 1stVision.

Если по расчёту выходит 20–30 мегапикселей, это повод не покупать дорогую камеру, а разбить поле на два-три кадра или поставить несколько камер: так дешевле и проще с объективами.

Выдержка и скорость линии

Пока затвор открыт, деталь на конвейере едет, и изображение смазывается. Смаз меньше одного пикселя на детали обычно не мешает, отсюда предельная выдержка: размер пикселя на детали, делённый на скорость движения.

Для фланца из примера пиксель на детали 0,067 мм. При скорости ленты 0,5 м/с (500 мм/с) выдержка не должна превышать 0,067 / 500 = 0,000134 с, то есть 134 мкс (расчёт редакции). Такая короткая выдержка требует много света, поэтому на быстрых линиях подсветку включают импульсами в момент кадра: многие осветители в импульсном режиме допускают ток выше номинального, и кадр получается ярче.

Интерфейс камеры: GigE, USB3 или CoaXPress

Интерфейс определяет, сколько кадров в секунду камера передаст в компьютер и на каком расстоянии от него её можно поставить. Отраслевые ассоциации A3 (США) и Японская ассоциация промышленной визуализации ведут стандарты GigE Vision, USB3 Vision и CoaXPress, поэтому камеры разных производителей с одним интерфейсом взаимозаменяемы. Поверх транспорта работает стандарт GenICam, общий программный интерфейс Европейской ассоциации машинного зрения (EMVA), который развивают с 2003 года: программа управляет камерами разных марок одинаково.

Чтобы понять, хватит ли канала, умножьте размер кадра на частоту. Кадр 5 Мп в 8-битном монохроме весит около 5 МБ, значит гигабитный GigE Vision передаст около 115 / 5 ≈ 23 кадров в секунду, а USB3 Vision около 70–80 (расчёт редакции). Для штучного контроля на конвейере, где проходит 2–5 деталей в секунду, этого с запасом достаточно.

При сравнении камер смотрите не только на мегапиксели. Стандарт EMVA 1288 (действующая версия 4.0 вступила в силу в июне 2021 года) задаёт единый способ измерять и публиковать характеристики сенсоров и камер. Если производитель даёт отчёт по EMVA 1288, камеры разных марок можно сравнить по шуму и чувствительности на равных условиях.

Объектив: разрешение и телецентричность

Хороший сенсор с плохим объективом даёт размытый кадр, и расчёт пикселей теряет смысл. Edmund Optics, производитель оптики, объясняет, как оценить требования: предельное разрешение сенсора равно единице, делённой на удвоенный размер пикселя. Для популярного пикселя 3,45 мкм получается около 145 пар линий на миллиметр, и объектив должен давать такую резкость по всему полю, а не только в центре. Поэтому к камере с мелким пикселем берут объективы, рассчитанные на мегапиксельные сенсоры, а не дешёвые объективы от камер наблюдения.

Обычный объектив видит под углом, как глаз: ближний предмет выглядит крупнее дальнего. Если деталь чуть приподнялась на конвейере или у неё есть ступенька, размер на снимке меняется, и измерение врёт. У телецентрического объектива лучи со стороны детали идут параллельно, поэтому масштаб не зависит от расстояния в пределах глубины резкости. Такие объективы ставят везде, где камера меряет: диаметр отверстий, шаг резьбы, контур после резки.

У телецентрики есть цена: передняя линза должна быть не меньше поля зрения. У объектива на фото в начале статьи передняя линза диаметром 208 мм, а поле зрения с сенсором 2/3 дюйма около 144×108 мм. Поэтому для крупных деталей телецентрический объектив становится тяжёлым и дорогим, и вместо него калибруют обычный объектив или снимают деталь по частям.

Подсветка решает больше, чем камера

Камера видит не деталь, а отражённый от неё свет. Keyence, японский производитель систем машинного зрения, предлагает выбирать подсветку в три шага: сначала способ (зеркальное отражение, рассеянное или проходящий свет), затем форму и размер осветителя, затем цвет.

Цвет света тоже работает на контраст. С монохромной камерой берут свет дополнительного цвета: красная деталь под синим светом выглядит почти чёрной. Красный свет лучше проходит сквозь плёнку и меньше рассеивается, поэтому, например, маркировку под защитной плёнкой снимают в красном. Цветную камеру обычно освещают белым светом.

Посторонний свет от окон и цеховых ламп меняется в течение дня и сбивает настройки. Установку закрывают кожухом или ставят на объектив светофильтр под длину волны своей подсветки.

Классические алгоритмы или нейросеть

Классическая обработка изображений работает по правилам, которые задал инженер: найти край, посчитать площадь пятна, сравнить контур с эталоном, прочитать код DataMatrix. Она хорошо измеряет размеры, проверяет наличие элементов и читает маркировку, работает быстро и предсказуемо, а её решение легко объяснить. Слабое место в том, что каждый вид дефекта нужно описать заранее.

Нейросети (глубокое обучение) нужны там, где дефекты разнообразны: царапины любой формы на текстурной поверхности, поры в сварном шве, сколы на литье, дефекты на натуральных материалах вроде древесины. Для таких задач есть три типа сетей:

• классификация отвечает, к какому классу относится снимок целиком: годная деталь или брак определённого вида;
• сегментация и поиск объектов показывают, где на снимке дефект и какой он площади, им нужна разметка каждого дефекта на обучающих снимках;
• поиск аномалий учится только на годных деталях и помечает всё, что от них отличается.

Последний вариант полезен на производстве, где брака мало и собрать сотни снимков каждого дефекта не получится. Представитель MVTec, разработчика библиотеки HALCON, в интервью 2022 года говорил, что их метод поиска аномалий обучается на 20–50 снимках годных деталей. Он приводил пример производителя аккумуляторов, у которого для разных дефектов было всего от 10 до 100 снимков.

Нейросеть хуже объясняет своё решение, чем правило, и ей нужна проверка на новых партиях. Поэтому часто совмещают оба подхода: размеры и наличие элементов проверяют классическими инструментами, а поверхностные дефекты отдают сети.

Как запустить пилот в небольшом цехе

Покупать систему по каталогу без пробы рискованно, потому что результат почти целиком зависит от вашей детали. Порядок, который экономит деньги:

Ложная отбраковка опасна так же, как пропуск брака: если система каждый день выбрасывает в брак годные детали, операторы перестанут ей верить и отключат её. Порог срабатывания настраивают по результатам пилота, а не по каталогу. Как организовать ручной контроль и учёт результатов до автоматизации, мы разбирали в статье про контроль качества деталей после лазера и фрезера.