Когда машины прозреют

ОБЗОРЫ

Успех современного бизнеса основывается главным образом на качестве предлагаемой продукции. А для его обеспечения, если говорить о производстве материальных вещей, требуется визуальный контроль. Дело в том, что во многих технологических процессах нежелательно или невозможно прямое вмешательство человека - допускается только внешний осмотр. Поэтому на промышленных линиях, с которых ежесекундно сходят сотни товаров, трудится множество людей, следящих за внешним видом выпускаемых предметов и вручную отбраковывающих негодные изделия. В результате получается, что производительность таких линий ограничивается не мощностью оборудования, а скоростью работы сотрудников ОТК. А, например, в задачах контроля за состоянием крупных строительных объектов или скрытых трубопроводов обследование возможно только с помощью камер, действующих в невидимой части спектра. Однако анализ полученного изображения все равно выполняет человек-эксперт визуально.

Напрашивается решение - автоматизировать данные сферы деятельности, освободить работников от однообразного труда, а задачу визуального контроля отдать машинам. В результате качество и производительность должны значительно повыситься: когда системы машинного зрения (СМЗ, одна из важных областей теории искусственного интеллекта) внедрялись на текстильных и химических заводах, скорость автоматизированного конвейера возрастала до 100 км/ч. Немаловажно и то, что роботам неведома усталость и не нужен отдых. Вдобавок появляется возможность сбора подробной информации по каждому рабочему месту, оперативного анализа и выявления ошибок в технологическом процессе с дальнейшим совершенствованием последнего.

Однако еще в середине 80-х годов прошлого века СМЗ были слишком дороги, требовательны к ресурсам (они способны работать лишь на процессорах с частотой в десятки мегагерц и выше, требуют широкой полосы пропускания для передачи видеоданных и, соответственно, нуждаются в хорошей шинной архитектуре) и поэтому малодоступны. Типовое решение для гибкой производственной системы, основанное на параллельной MPP-системе из тысяч процессоров с суммарной тактовой частотой 200-300 МГц, обходилось тогда в миллионы долларов и было по карману единичным крупным корпорациям. При этом в таких комплексах нередко использовались оригинальные ОС и уникальное оборудование.

Сегодня ситуация коренным образом изменилась. Полнофункциональная система машинного зрения стоит теперь в 10-20 раз дешевле, а простую программно-аппаратную систему распознавания промышленных образцов можно приобрести за 2-3 тыс. долл., при этом львиная часть суммы уйдет на ПО. Столь резкое снижение себестоимости произошло благодаря массовому распространению мощных процессоров и удешевлению компьютеров и видеокамер.

Краткая история СМЗ

История машинного зрения началась со статьи профессора Массачусетского технологического института (МТИ) Оливера Селфриджа "Глаза и уши для компьютера", опубликованной в 1955 г. В ней автор выдвинул теоретическую идею оснащения компьютера средствами распознавания звука и изображения. Через три года психолог Фрэнк Розенблатт из Корнеллского университета создал компьютерную реализацию персептрона - устройства, моделирующего схему распознавания образов человеческим мозгом.

Спустя несколько лет появились первые программные системы обработки изображений (в основном для удаления помех с фотоснимков, сделанных с самолетов и спутников), а также стали развиваться прикладные исследования в области распознавания печатных символов, которые достаточно быстро принесли неплохие результаты. Правда, их коммерческому развитию мешало отсутствие дешевых оптических систем ввода данных, а также ограниченность и характерная для того времени довольно узкая специализация вычислительного парка.

Лавренсе Робертс, аспирант МТИ, продолжил через 10 лет дело своего коллеги и выдвинул концепцию машинного построения трехмерных образов объектов на основе анализа их двумерных изображений. А в 1979 г. профессор Ганс-Хельмут Нагель из Гамбургского университета заложил основы теории анализа динамических сцен, позволяющей распознавать движущиеся объекты в видеопотоке. На ее базе в конце 80-х годов были созданы роботы, способные более-менее удовлетворительно оценивать окружающий мир и самостоятельно выполнять действия в естественной среде. В середине 90-х годов появились первые коммерческие системы автоматической навигации автомобилей. Эффективные средства компьютерного анализа движений удалось разработать в конце XX века, а год назад на рынок были выпущены первые достаточно надежные корпоративные системы распознавания лиц. Это, пожалуй, наиболее важные вехи в развитии СМЗ.

Структура системы машинного зрения

Типовая СМЗ состоит из трех или четырех элементов. Видеоинформация формируется видеокамерой (первый элемент СМЗ), затем поступает в компьютер на вход видеоплаты (второй элемент), где переводится в цифровую форму. Этот перевод осуществляется специальным ПО, которое затем выполняет еще и предварительную обработку видеоданных. Кроме того, в СМЗ иногда включается плата для управления движением видеокамеры - если требуется следить за объектами, движущимися по различным траекториям.

Еще лет пять назад расходы только на оборудование для СМЗ достигали десятков тысяч долларов. Однако сегодня цветную цифровую видеокамеру, подключаемую к обычному USB-порту, можно в любом компьютерном магазине приобрести в розницу за 30-50 долл. Соответственно, не нужна специальная плата ввода. Поэтому основной акцент в совершенствовании СМЗ приходится на ПО.

Системная часть СМЗ принимает видеоданные, записывает их в архив и преобразовывает в форму, удобную для анализа. Этот анализ начинается с выделения контуров отдельных элементов. Как правило, он выполняется путем поиска границ изменения яркости. Программа рассматривает изображение как набор точек, характеризующихся значениями оттенка, контрастности и яркости; типовое RGB-представление в виде комбинации красного, зеленого и синего цветов распознаванию никак не помогает. Поскольку существенное влияние на поиск границ оказывают помехи и погрешности изображения, а также изменение освещенности сцены, предварительно выполняется очистка от шумов. Таким образом формируется двумерная структура видимой сцены, уже доступная для содержательной обработки (например, сопоставления с предопределенными шаблонами).

Большой интерес представляет способность компьютера формировать трехмерный образ видимого предмета, не ограничиваясь плоскостным оконтуриванием элементов изображения. Однако вряд ли возможно сделать это механически, без понимания контекста. На помощь приходят системы стереозрения, использующие две или несколько камер. Но при этом возникает другая проблема - машине крайне сложно найти общие точки в двух пересекающихся оконтуренных изображениях. Определенные надежды возлагаются на методы искусственного интеллекта - нейронные сети, алгоритмы нечеткой логики, не разделяющие изображение на формальные элементы и затем логически их анализирующие, а пытающиеся "ухватить" ключевые особенности целостного образа.

Области применения СМЗ

Трудно назвать область знаний, в которой не были бы востребованы СМЗ. Ведь каждый из нас получает через зрительную систему 80-90% информации, поэтому вся человеческая деятельность ориентирована на ее визуальную обработку. Тем не менее сегодняшняя структура спроса определяется пока еще весьма ограниченными возможностями современных СМЗ.

Мировой рынок СМЗ, превысивший порог в 100 млн. долл. в 1993 г., составил в 2002 г. 5,2 млрд. долл. Ежегодно он возрастает на 10-20%, а к 2007-му, по прогнозам, достигнет 7 млрд. долл. Объем продаж на этом рынке - около 130 тыс. систем в год. Примерно половина его приходится на OEM-поставки. Правда, рыночные оценки разных аналитических фирм сильно разнятся, и погрешность может достигать 30%. Но все эксперты едины во мнении, что рынок этот развивается очень хорошо.

40% рынка контролируют американские компании, 30% - японские и южнокорейские, 10% - немецкие, 15% - фирмы других стран Евросоюза. Интересно, что японцы обеспокоены миграцией производства оборудования СМЗ в Китай.

К ведущим игрокам данного рынка можно отнести компании Cognex (www.cognex.com , годовой оборот 150 млн. долл.), Robotic Vision Systems (www.rvsi.com , 100 млн. долл.), Orbotech (www.orbotech.com , оборот 300 млн. долл., но на СМЗ приходится только часть продаж) и технологический гигант KLA-Tencor (www.kla-tencor.com , оборот 2 млрд., но СМЗ также не являются основным видом деятельности).

Быстрее всего развивается сегмент систем трехмерного машинного зрения. 40 американских фирм заработали в этой нише за год около 300 млн. долл. - при том, что спрос на данные решения на 90% остается неудовлетворенным. По объемам продаж наиболее перспективен сегмент многоцелевых СМЗ, объем которого приблизился к 1 млрд. долл. и вырастет, по мнению экспертов, к 2006 г. до 1,3 млрд.

Типичный представитель организации - разработчика СМЗ - мелкая частная фирма с оборотом менее 20 млн. долл., выполняющая в основном заказные разработки. В проектах применяется обычное коммерческое оборудование, акцент делается на совершенствование собственного ПО. По этой причине стандарты на СМЗ практически отсутствуют, а единичные крупные компании стараются позиционировать свои решения в качестве образцовых.

Рынок СМЗ характеризуется довольно большим числом госзаказов - правительства развитых стран различными способами поддерживают внедрение наукоемких решений в производство и контролируемые государством области промышленности, а также в сферу национальной безопасности. Неудивительно поэтому, что все основные научные исследования по машинному зрению проводятся в государственных институтах.

70% всех продаж СМЗ приходится на комплексные программные или программно-аппаратные решения. Оставшиеся 30% - это оборудование (цифровые камеры, специальная оптика), прямо или косвенно имеющее отношение к машинному зрению.

Структура рыночного спроса по проектной тематике такова: 50% всех СМЗ эксплуатируются в задачах контроля качества. Это прежде всего визуальный контроль за процессом сборки, цветом и качеством поверхности продукции, внешним видом и чистотой упаковки, правильностью и разборчивостью этикеток, уровнем жидкости во всевозможной таре и т. д. Примерно 10% этих задач выполняются системами трехмерного зрения. Отдельная область использования СМЗ на производстве - проведение всевозможных визуальных измерений параметров технологических процессов и, в частности, определение размеров предметов.

20% спроса приходится на СМЗ для проектов автоматизации производства и внедрения промышленных роботов. Такие СМЗ упрощают самые разные виды высокоточной деятельности (сборка и разборка, фасовка, покраска, сварка, утилизация), облегчают транспортировку грузов, применяются в системах учета, маркировки, регистрации и сортировки продукции. 17% всех продаж СМЗ составляют широко известные и хорошо работающие OCR/OCV-системы распознавания печатных символов и штрихкодов. Рынок СМЗ для непроизводственных (развлекательных, бытовых, исследовательских) роботов составляет 13%.

Среди заказчиков СМЗ 20% - это фирмы, выпускающие бытовую и компьютерную электронику, 17% - автомобильные производители, по 5-10% приходится на предприятия тяжелой, пищевой, текстильной промышленности и фармацевтики.

Рынок этот весьма пестрый, потому что интерес к СМЗ возникает в самых разных сферах. По несколько процентов рынка приходится на системы виртуальной реальности, предлагающие качественно новый интерфейс "человек - компьютер", основанный на распознавании лиц и жестов (некто Дмитрий Городничий из канадского Института информационных технологий создал систему естественного интерфейса Nouse, интерпретирующую движение носа пользователя ПК как движение компьютерной мыши); на системы, обеспечивающие выполнение задач безопасности (идентификация личности и техники, детекторы движения), построение трехмерных моделей местности по двумерным изображениям и фотоснимкам, распознавание рукописного текста, графики и дополнительных элементов оформления документов, а также смысловой анализ мультимедийных данных, контроль обстановки в интеллектуальных домах и т. д.

Востребованы СМЗ и в робототехнике. Эксперты полагают, что технологии машинного зрения - самый простой способ научить аппараты автономным действиям в естественном мире, взаимодействию и навигации (если, конечно, невозможен прием спутниковых GPS-сигналов).

Существенный спрос на СМЗ ожидается со стороны сельскохозяйственных организаций. Здесь крайне желательна автоматизация деятельности по визуальному контролю и сортировке продуктов, однако пока системы машинного зрения плохо различают плоды одного и того же сорта, форма и цвет которых часто сильно разнятся. Заметные средства в СМЗ для сельского хозяйства, причем не столько в прикладные проекты, сколько в исследования, вкладывают сегодня в основном государственные структуры. Хотя есть и реальные достижения - в прошлом году робот VIP ROMPER, созданный усилиями трех израильских и одного американского университетов, научился собирать арбузы, при этом точность распознавания зрелых плодов достигла 85%.

Что касается новых рынков, то эксперты отмечают рост интереса к СМЗ со стороны нанотехнологических фирм - процесс молекулярной сборки с помощью микроманипуляторов может быть организован путем визуального контроля образов молекул, формируемых электронным микроскопом. Кроме того, СМЗ интересуются биотехнологические компании, впрочем, их требования к обработке компьютерных изображений молекулярных соединений при создании лекарств практически идентичны нуждам коллег-нанотехнологов.

Продолжающаяся миниатюризация бытовой и промышленной техники, предъявляющая повышенные требования к качеству сборки, также оказывает общее стимулирующее воздействие на совершенствование СМЗ. И, конечно, серьезные надежды на СМЗ возлагают поставщики средств обеспечения безопасности. Человек не способен долгое время контролировать десятки видеокамер служб наблюдения, а вот программам это теоретически вполне по плечу.

Показательно, что из 200 проектов, которые Еврокомиссия ежегодно отбирает для финансирования в рамках линии развития высокопроизводительных систем, 10% относятся к СМЗ.

Слабые и сильные стороны СМЗ

Главным недостатком СМЗ, заметно ограничивающим рост их рынка, считается отсутствие единых стандартов на оборудование и программные интерфейсы. Пользователи СМЗ постоянно жалуются на невозможность использовать системы разных производителей, а интеграционные продукты в этой области стоят недешево. В плане аппаратной стандартизации большинство поставщиков ориентируются сегодня на типовые коммерческие решения - прежде всего цифровое видео (Digital Video), подразумевающее формирование видеоизображения с разрешением 720х480 пикселов и частотой 30 кадр./с. Но разработчики систем автоматической микросборки, заинтересованные в точном позиционировании манипуляторов промышленных роботов, требуют повышения разрешающей способности камер, а это ведет к их сильному удорожанию. Кроме того, по мере улучшения качества сканируемого изображения будет расти нужда в эффективном системном ПО для быстрого захвата видеоданных, их очистки, сжатия и хранения. По всей видимости, со временем такие функции будут реализованы аппаратно, в связи с чем можно предсказать рост спроса на встраиваемые СМЗ.

Заманчивой и многообещающей выглядит концепция мультиспектральных СМЗ, обрабатывающих изображения не только в области видимого человеком спектра, но и получаемых с помощью радарных или лазерных установок, а также инфракрасных камер (есть примеры применения СМЗ при распознавании тепловых полей людей в охранных системах и при анализе качества горячих булочек в кондитерской промышленности). Основная помеха на этом пути развития машинного зрения - дороговизна и сложность эксплуатации соответствующих датчиков.

Продолжительна и сложна процедура калибровки СМЗ при настройке на определенную предметную область. Нередко она требует значительного времени и вычислительных ресурсов для обучения нейронной сети. Прикладное ПО также нередко отличается неудобным интерфейсом, а перенастройка системы на новую номенклатуру, да еще в реальном масштабе времени, на чем нередко настаивает пользователь, чаще всего невозможна - необходимо перепрограммирование СМЗ. А покупателям уже нужны системы, способные анализировать продукцию на конвейере не поштучно, а разом - осматривая все, что находится в данный момент времени на ленте, и мгновенно оценивая состояние всех изделий.

Ощущается нехватка хороших математических алгоритмов, ориентированных на компьютеры с высокой производительностью и поддерживающих параллельную обработку. Остается пока нерешенной проблема распознавания схожих, но по-разному освещенных объектов, и вряд ли с ней удастся справиться в обозримом будущем.

Негативно сказываются на рынке завышенные ожидания потребителей, не очень высокая прибыльность уже существующих СМЗ, небольшое число хороших продуктов, а также возможность решать производственные задачи другим путем - без СМЗ, с помощью дешевого персонала.

Но все эти проблемы временные. Ведущие поставщики уже договариваются о единых стандартах, для чего планируется создать общедоступный репозиторий знаний и типовых шаблонов продуктов, определить программные интерфейсы, а также выработать соглашение по языкам описания и представления данных СМЗ.

Интерес к СМЗ во многом поддерживается успехами машин в тех областях, где они намного превосходят человека по своим возможностям. Так, компьютер способен выявлять в изображении тысячи градаций серого и различать миллионы цветов, очень быстро решать типовые и хорошо формализуемые задачи распознавания и определять мелкие детали изображений. А растущая вычислительная мощь дешевых процессоров стимулирует выпуск общедоступных бытовых и промышленных "зрячих" роботов, управляемых обычным ПК.

Если же удастся эффективно распознавать все объекты, входящие в произвольный набор изображений, то такой набор можно будет переводить в формальное описание, занимающее лишь сотни байтов. В результате не столь острой будет проблема нехватки полосы пропускания для видеосистем.

Производители электронных систем безопасности рассчитывают научить СМЗ автоматической классификации объектов. Хорошая СМЗ будет выявлять в видеоизображении все виды автомобильной техники и определять их марки, отыскивать в толпе конкретных людей, отслеживать траектории перемещения отдельных лиц и даже движения частей их тел, предсказывая возможное поведение, и т. д.

Но это в недалеком будущем. Пока же значительные ожидания производители СМЗ возлагают на системы идентификации личности и связанные с ними внушительные госзаказы. Так, Международная организация гражданских авиаперевозок

ICAO (www.icao.org) остановилась на технологии распознавания лиц как глобальном стандарте хранения биометрических данных о пассажирах. А правительство Великобритании намерено с середины 2005 г. поместить на удостоверения личности своих граждан не только фотографию, но и чип с биометрическими данными. На первых порах в нем будет храниться оцифрованное фото с э-подписью паспортной службы, а с 2007 г. официально добавится информация об отпечатках пальцев или радужной оболочке глаза владельца. Система распознавания лиц была создана учеными Кембриджского университета и дает при идентификации 2-4% ложных срабатываний - но это в тестовых условиях с группами из сотни человек. В реальных же условиях уровень ошибок достигает 40%, поэтому и решено дополнить удостоверения сведениями об отпечатках пальцев, которые определяются гораздо точнее, или радужной оболочке, идентифицируемой с точностью до 99%.

Итоги

Из вышесказанного можно сделать следующие выводы. У СМЗ очень хорошие перспективы. Идеальная система машинного зрения будет полностью построена на цифровых технологиях, станет использовать интеллектуальные камеры и недорогое оборудование, реализующее набор стандартизованных функций обработки и распознавания изображений. Ключевым в ее успехе будет, конечно, удобная интеллектуальная программная среда, способная гибко и быстро настраиваться на произвольную предметную область, допускающая динамическое расширение функциональных возможностей и легко стыкующаяся с технологической аппаратурой. Кроме того, СМЗ будут встраиваться в бытовое оборудование и активно включаться в OEM-поставки промышленных систем. Компании любых производственных отраслей смогут с помощью СМЗ повысить эффективность и качество своей работы и снизить себестоимость продукции. А по мере появления новых технологий будут шириться и области применения СМЗ.

Немало интересных сведений о технологиях машинного зрения можно найти на тематической Web-странице университета Карнеги - Меллона: www-2.cs.cmu.edu/~cil/vision.html.

Версия для печати