Документы на потоке

Рынок систем управления корпоративным содержанием ECM до 2011 г. будет ежегодно расти почти на 13%, полагают аналитики Gartner. Соответственно увеличится спрос и на технологии для ввода информации в подобные системы. Ведь на поставку документов и иных материалов в КИС уходит 45% усилий по ведению документооборота — такая оценка прозвучала на конференции DOCFLOW 2008. На ней же отмечалось, что чуть более половины вводимой информации приходится на печатные документы, транслируемые в цифровой вид, и на неструктурированные данные из э-почты, что требует от подобных решений разносторонних способностей.

Давайте познакомимся с обстановкой на данном рынке более детально.

AIIM ^* о потоковом вводе

AIIM, независимая ассоциация профессионалов, занимающихся вопросами управления информацией и вырабатывающих ECM-стандарты, провела в 2007 г. опрос представителей производственных, нефтегазовых, государственных, финансовых и обслуживающих организаций о практике использования систем потокового ввода данных (в англоязычной литературе применяется термин capture). 59% респондентов сообщили, что трудятся в финансовых и административных подразделениях, 38% — в отделах кадров, 23% — в сфере маркетинга. Оказалось, что capture-технологии эксплуатируют 95%опрошенных, причем 27% из них ежегодно вводят в свои КИС очень большие массивы, по 1,5 млн. документов. При этом представители компаний практически всех размеров и профилей отметили высокую удовлетворенность отдачей от инвестиций в данные технологии — как минимум не хуже других вложений в ИТ. В госсекторе, например, таковых оказалось 86% (см. рис. 1).

Очень важными для потокового ввода респонденты назвали многофункциональные устройства и корпоративные сканеры — за них проголосовало по 37% опрошенных (допускались множественные ответы). Настольные сканеры среднего класса эксплуатируют 28%, а вот дешевые сканеры и факсы почти не пользуются интересом в данной сфере. При этом 82% удовлетворены качеством сканирования, качество же распознавания нравится существенно меньшему числу респондентов — всего 52%.

Многофункциональные устройства популярны потому, что допускают обновление встроенного ПО, понимают цветные документы на различных языках, предлагают множество форматов для хранения файлов, поддерживают широкий разрешающий диапазон сканирования, допускают предварительный просмотр полученного документа и способны работать в качестве сетевого сервера. Однако следует учитывать, отмечают эксперты AIIM, что такие устройства все же уступают промышленным решениям, которые существенно превосходят их в скорости сканирования и способности к обработке материалов нестандартных размеров и форм. Такие “тяжелые” решения эффективны в случаях, когда на вводе данных в компании занято пять и более человек.

Продолжится, по данным AIIM, спрос на системы пакетного ввода данных, однако в дополнение к прямолинейному преобразованию документов в цифровой формат пользователи желают получать и метаинформацию, описание смысла оцифрованных сведений, а также хотят как можно скорее передать полученные средства в КИС, а не хранить их на промежуточных носителях. А вот интерес к традиционным системам потокового ввода данных в корпоративную систему постепенно ослабевает. Пользователи сегодня оценивают подобные решения прежде всего с точки зрения эффективности и продуктивности и ожидают скорой отдачи от инвестиций. Как правило, морально устаревающие системы представляют собой автономные модули, выполняющиеся в пакетном режиме и бессистемно сканирующие кипы деловых бумаг. Контроль за выходным качеством при этом практически отсутствует, и в результате ценность вводимых в систему сведений получается невысокой. Часто полученные таким путем сведения приходится долго корректировать и выверять на компьютере вручную. По этой причине вводимые данные пока используются преимущественно в учетно-архивных системах (см. рис. 2).

Быстро растущую требовательность заказчиков отмечают многие эксперты. Специалисты организации Harvey Spencer Associates*, выпустившие в августе 2008 г. исследование “The Worldwide Market for Document Capture Software 2007-2011”, называют госструктуры традиционно крупным пользователем промышленных систем потокового ввода. Государственные организации, например почтовые службы, сегодня достаточно активно применяют системы пакетного ввода, позволяющие “механически” оцифровывать большие объемы документов. Однако под давлением кризисных явлений ожидается увеличение спроса на более интеллектуальные системы с развитой программной частью, рынок которых пока менее зрел. При этом заказчики рассчитывают на быструю (менее чем за год) окупаемость внедряемых решений.

Каким же требованиям должна соответствовать система потокового ввода, дабы удовлетворить высокие требования клиента? Ведь не секрет, что функции capture, декларируемые разработчиками многих ECM-решений, на самом деле реализованы в виде ограниченного дополнения к основному продукту.

Хорошая система может всë

Пользователи ожидают от системы потокового ввода прежде всего оперативной поставки в КИС цифрового образа физических документов с точным воспроизведением оригинального текста и изображений в соответствующем качестве. Данный процесс в идеале состоит из следующих шагов:

• захват внешней информации: сканирование материалов на физическом носителе, загрузка файлов во всевозможных форматах, прием данных от различных периферийных устройств;
• предварительная обработка входных данных: преобразование в нужный формат, очистка от “шума”, повышение качества графики;
• распознавание текста и изображений;
• проверка корректности и модификация полученных данных по набору правил и шаблонов;
• формирование целостного документа из введенных частей (например, объединение текста и иллюстраций);
• классификация и индексация документа;
• автоматическое формирование метаданных (краткое описание смысла или назначения материала) с использованием технологий анализа естественных языков;
• ввод в рабочую базу или КИС с возможностью немедленной эксплуатации.

Отметим ряд отличительных особенностей современной системы потокового ввода. Она должна хорошо масштабироваться для обработки миллионов документов без увеличения количества обслуживающих сотрудников, понимать рукописный ввод, специальные символы и обозначения, сложно организованные и неструктурированные данные (электронные таблицы и вложения в э-письма), использовать технологии не только классического OCR-, но и интеллектуального ICR-распознавания, принимать внешние данные любых типов и форматов (например, в виде штрихкодов), предоставлять программный интерфейс разработчика для создания оригинальных дополнений. Желательно, чтобы функция потокового ввода была доступна в виде универсального сервиса, который “понимает” тип и предназначение поставляемого на вход документа и самостоятельно выполняет все необходимые манипуляции по его приему и обработке. Такая функция может быть представлена в виде подпроцесса или подсистемы, легко встраиваемой в существующие КИС. В качестве промежуточного представления введенного материала хорошо подходит формат XML.

От распределенного ввода к транзакционному

Организация AIIM в 2007 г. выпустила исследование, посвященное анализу выгод от распределенного ввода данных. Эта относительно новая концепция потокового ввода подразумевает доступность данного сервиса для конечных пользователей в любое время из любого места и с любого устройства. Крупные организации часто практикуют аутсорсинг потокового ввода, однако при этом велики расходы на транспортировку массивов документов, особенно если исполнитель находится в другой стране. Средние компании также немало тратят на передачу документов между офисами, а распределенный ввод снимает эту проблему. Для распределенного ввода информации предоставляется единый программный интерфейс (например, веб-сервис), который может взаимодействовать практически с любой клиентской аппаратурой ввода информации, а управление всей системой и ее администрирование при этом выполняются централизованно. Частный случай распределенного ввода — асинхронный режим, когда на ноутбук устанавливаются модули локального захвата данных, а после подсоединения к корпоративной сети эти данные сгружаются в централизованное хранилище. При таком подходе возможно использовать тонкие клиенты для сканирования и экономить на сложном и дорогом оборудовании, обеспечивая разделение труда, когда в одном отделе выполняется сканирование, а в другом — обработка. Улучшается и общая безопасность: ведь вся информация записывается в единое хранилище.

Сложность сканируемых документов по мере развития организации постепенно увеличивается, растут и запросы пользователей. Даже самые развитые системы пока предоставляют ограниченные возможности по так называемому транзакционному вводу — целостному формированию объекта со всеми его деталями. Например, отсканированная книга должна поступить в систему и быть классифицирована именно как книга, с обложкой-изображением, оглавлением, нумерацией страниц. В более отдаленной перспективе на основе транзакционного подхода разовьются системы интеллектуального ввода, способные захватывать и связывать в единое целое и более сложные, мультимедийные типы данных. Такие системы в виде сервисов станут массово доступны с персональных мобильных устройств. Потребителю, для примера, достаточно будет снять на видеокамеру свой дом, а система самостоятельно разберется, что это за объект, распознает его адрес на вывеске, привяжет к цифровой карте по текущим GPS-координатам и снабдит голосовым комментарием. В подобных системах существенная нагрузка ляжет на программную часть, которой придется продемонстрировать недюжинные интеллектуальные способности.

Ввод данных — дело хитрое

Пока рынок софта для потокового ввода отстает от рынка аппаратных решений, однако это отставание быстро сокращается. По оценкам Harvey Spencer Associates, соответствующий рынок ПО вырастет с 1,7 млрд. долл. в 2007 г. до 3 млрд. долл. в 2011-м. Пока основным “узким горлышком” сегодняшних систем потокового ввода остаются автоматические классификация и извлечение смысла документа. Эксперты обещают постепенное, эволюционное повышение интеллектуального уровня программ, поэтому сегодня, конечно, неправильно полностью исключать человека из цикла ввода — система должна допускать его подключение на любом шаге. Особо актуально присутствие специалиста, знакомого с соответствующей тематической областью, на этапе индексирования документов, когда ошибки программы наиболее вероятны. Требуются тут и определенные организационные меры, чтобы не пропустить неверные данные, но и не перегрузить сотрудника обилием проверок корректно распознанных сведений.

Россия как перспективный рынок для capture

Несмотря на повсеместную автоматизацию и распространение Интернета, потребление бумаги повсеместно растет. По данным World Resources Institute, в 2007 г. в мире производилось 300 млн. тонн бумаги, а к 2010 г. этот объем увеличится уже до 450 млн. тонн. Существенную долю в этом потреблении играют развивающиеся страны, где экономика находится на подъеме. Они проявляют особый интерес к системам автоматизации документооборота, потому что стоимость труда растет и приходится активнее задействовать ИТ. В нашей стране потребление офисной бумаги пока сильно отстает от среднеевропейских значений и будет расти еще многие годы. А ведь бумага эта если и тратится на распечатку информации, то в основном компаниями среднего размера, а вот ввод данных с больших объемов бумажных носителей характерен для крупных финансовых и государственных структур. Например, массовый ввод бумажных материалов реализован в Центробанке, ввод платежек на сотнях рабочих мест организовал Сбербанк, в прошлом году Правительство РФ объявило о подготовке системы миграционного учета с автоматическим вводом в нее сведений с физических носителей. В июне 2008 г. Федеральная налоговая служба анонсировала планы централизованного ввода налоговых документов — в частности, рабочее место каждого специалиста должно быть оснащено сканером и устройством распознавания двумерных штрихкодов.

Перспективность рынков потокового ввода в развивающихся странах отмечают многие аналитики. Так, на международной конференции Document capture 2008, прошедшей в сентябре в Нью-Йорке, особое внимание было уделено рынкам России и СНГ. Соответственно у отечественных пользователей появляется хороший шанс воспользоваться наиболее передовыми продуктами и задействовать их не просто как вспомогательные решения для ввода данных, а как полноценные составляющие ИТ-стратегии, существенно повышающие общую эффективность деятельности.