Обработка экспериментальных данных в Windows

По сравнению с текстовыми процессорами, сетями, настольными издательскими системами, инженерным приложениям в компьютерной прессе уделяется крайне мало внимания. Из всей гаммы таких систем только системы автоматизированного проектирования удостаиваются нечастых упоминаний.

Между тем это лишь малая часть применений компьютеров в научной и инженерной практике.

Огромная область использования компьютеров  -  анализ и обработка экспериментальных данных. Круг потенциальных пользователей таких систем чрезвычайно широк: их много и в промышленности, и в области фундаментальных исследований, технических разработок, учебных заведениях. До сих пор основным инструментом тут являются самописцы и осциллографы.

Надо отметить, что системы обработки и анализа экспериментальных данных делятся на две большие группы: системы реального времени, предназначенные для быстрого принятия решения (такие системы работают в комплексах АСУ, аварийного контроля и т. п.), и системы, предназначенные для анализа и обработки предварительно собранных данных (offline системы), которые мы и рассматриваем. А чтобы были понятны проблемы, опишем несколько типичных примеров.

ПРИМЕР 1: СЕЙСМОЛОГИЯ

Исходные данные о колебаниях грунта регистрируются цифровыми сейсмостанциями и характеризуются чрезвычайно большим объемом  -  он может составлять до нескольких десятков мегабайт в сутки на одной станции, при этом могут анализироваться данные как с одной станции, так и с трех, двадцати и даже ста. Данные могут собираться в течение нескольких месяцев и даже лет. Сейсмостанции могут находиться в самых экзотических местах: в горах, в тайге, на дне моря. Обработка же полученных массивов данных происходит в лабораторных условиях. Целью обработки сейсмических данных являются изучение характеристик колебания грунта при землетрясениях, параметров очагов землетрясений, внутреннего строения недр Земли, решение сейсмологических задач для поиска полезных ископаемых, оценка сейсмической опасности территорий и объектов. Основными операциями являются удаление посторонних шумов и выделение полезных сигналов с помощью фильтрации, выявление информативных сейсмических сигналов, расчеты спектрально-временных характеристик, вычисления по стандартным специальным алгоритмам, исследования новых алгоритмов.

ПРИМЕР 2: МЕДИЦИНА

В течение относительно небольшого времени - от нескольких минут до часа  -  регистрируется множество различных данных о состоянии пациента: давление, пульс, кардиограмма, энцефалограмма и др., после чего в соответствии с комплексным анализом этих данных специалистами-медиками устанавливается диагноз, делаются выводы о состоянии больного, принимается решение о методах и ходе лечения. Объемы данных могут быть довольно большими; используются как стандартные алгоритмы обработки (спектральный анализ, например), так и узкоспециализированные. Кроме того, в исследовательских центрах часто возникает потребность в изменении и расширении используемой методики анализа.

Можно выделить основные возможности, которые должна предоставлять система анализа и обработки экспериментальных данных: способность визуализации данных, обработка их ( помощью математических функций, подготовка отчетной документации и ведение архива данных о выполнении и обработке результатов экспериментов.

Как же решать такие задачи? Обычный выход недавнего прошлого - озадачить своего программиста, и он сделает все, что нужно. Опыт показывает, что такой подход малоэффективен: хорошим программистам надо хорошо платить, а если платить мало, то и результат будет соответствующий.

Проще и в конечном счете дешевле приобрести готовую систему. Хорошие системы дают возможность пользователю добавлять собственные функции в целях адаптации к специальным требованиям (так что работа своему программисту найдется). Вот тут и обнаруживается, что систем анализа и обработки экспериментальных данных совсем немного, да и те найти нелегко. Реальный выбор ограничивается несколькими зарубежными и отечественными пакетами (отметим, что пакеты статистического анализа не совсем подходят для данных применений  -  в них нет многих нужных функций и вместе с тем много того, что не используется при анализе большого количества данных).

Зарубежные пакеты отличаются крайне высокой ценой (MathLab стоит около $4000, LabView  -  примерно $3500), англоязычным интерфейсом и документацией, отсутствием реальной технической поддержки.

Отечественные системы заметно дешевле (от $100 до $800), чем русскоязычные, и обещают техническую поддержку. Среди них наиболее известны программы "Конан" и "ПОС". Они имеют возможность просмотра в графическом виде исходных данных, обработки их по различным алгоритмам (статистические характеристики, спектральный и корреляционный анализ, некоторые специализированные методики анализа), способны распечатать полученные графики для создания отчета.

Однако все известные нам системы разработаны для DOS, обладают собственным (и весьма своеобразным) пользовательским интерфейсом и могут обрабатывать массивы данных не более 64 Кб отсчетов (для обработки больших массивов требуется написание специальных подпрограмм).

Недавно Институт сейсмологических и геофизических исследований (ИСГИ) объявил о завершении разработки программы GeMiS for Windows, предназначенной для анализа и обработки данных, представленных массивами отсчетов неограниченной длины. Программа GeMiS обладает многими уникальными возможностями:

- ведение базы данных экспериментов и составляющих их сигналов (количество каналов и отсчетов не ограничено) с возможностью внесения примечаний и другой дополнительной информации в базу данных, причем название сигнала не ограничивается 8 символами имени файла;

- визуализация сигналов разнообразными способами. Графики могут рисоваться линиями, точками, крестиками и т. п| разными цветами, в любом масштабе, с координатной сеткой и без нее, с любым количеством кривых на графике и т. д. Многоканальные эксперименты могут быть отображены на любом графике с использованием единого или индивидуального для каждой кривой масштаба, с возможностью совмещения кривых и без нее. Окно с образом сигнала может состоять из нескольких страниц, на каждой из которых исходный сигнал представлен в том или ином виде. Например, можно представить себе окно образа сигнала со следующими страницами: "исходный процесс", "амплитудный спектр исходного процесса", "процесс после фильтрации", "амплитудный спектр отфильтрованного процесса". Кривые графиков могут быть перенесены методом "drag-and-drop" из одного окна в другое, что облегчает совместный анализ данных. Образы сигналов сохраняются в базе данных, и при последующей работе не требуется их повторный расчет;

Пакет GeMIS визуализирует сигналы

- выполнение анализа сигналов во временной и частотной областях. Базовый комплект GeMiS обеспечивает реализацию стандартных процедур цифровой обработки сигналов (интегрирование, дифференцирование, сглаживание, автокорреляционные и спектральные функции и др.). При расчете спектральных и корреляционных функций расчет ведется с использованием быстрого преобразования Фурье (предельная длина выборки 8192 отсчета) с применением разнообразных "оконных" функций. Если в анализируемом сигнале более 8192 отсчетов, то результат может быть получен как усреднение по спектрам (или корреляционным функциям), рассчитанным по выборкам заданной длины из исходного сигнала (интервал между выборками также может быть задан). Расширенная версия программы обеспечивает пользователю возможность подключить к GeMiS свои собственные функции обработки (программа должна быть представлена в виде ехе-файла, обмен данными с GeMiS выполняется через промежуточные временные файлы), что делает GeMiS программой, пригодной для использования в любой области, где требуется отображение и обработка массивов отсчетов;

Средства пакета GeMIS позволяют обрабатывать спектральные функции

- использование "лупы" для любого участка образа сигнала позволяет легко менять разрешение по оси абсцисс при отображении графика сигнала, а также показывать выделенный прямоугольный фрагмент сигнала в отдельном окне для дополнительного анализа;

- цифровая фильтрация сигналов (без ограничений на количество отсчетов в массиве сигнала) с сохранением взаимосвязи результата анализа и исходного сигнала. В базовом комплекте GeMiS реализован цифровой фильтр Баттерворта высоких и низких частот порядка 2,4,6,8 или 10. При фильтрации сверхдлинных реализаций сигнала (как и при выполнении других длительных операций) выполнение обработки может идти в фоновом режиме, позволяя проводить работу с другими сигналами и экспериментами, не ожидая окончания обработки;

- построение спектральных карт ("сонограмм") и временных карт развития процесса ("обзорок"). Для активной кривой в спектральной карте или "обзорке" можно увидеть соответствующую ей выборку исходного сигнала;

- эксперименты и сигналы могут быть объединены в пакеты для выполнения групповой и многоканальной обработки, что очень удобно, когда следует единообразно обработать результаты большого числа экспериментов;

- работа с курсорами-закладками позволяет создавать пометки на интересующих участках сигнала с сохранением информации в базе данных и ее последующей обработкой. Можно быстро переходить с одной закладки на другую, перемещать их с места на место по принципу "drag-and-drop";

- сигнал можно не только увидеть в виде графика, но и услышать, используя стандартные звуковые платы; таким способом гораздо быстрее можно выявлять возмущения в исследуемых данных, причем при воспроизведении сигнала можно ставить курсоры-закладки;

- результаты работы могут быть распечатаны на принтере, причем можно внести пояснительные подписи, в результате вы получите отпечатанные высококачественные графики, а если ваш принтер цветной, то и графики будут цветные;

- использование технологии "drag-and-drop" для переноса или копирования данных, что также просто, как переложить лист бумаги на столе;

- возможность импорта данных практически любого формата. Достаточно один раз настроить GeMiS на чтение данных определенного формата (что занимает не более минуты), и далее такие данные будут использоваться программой GeMiS;

- GeMiS позволяет импортировать wav-файлы, что наряду с использованием стандартных Windows-программ типа Sound Recorder превращает мультимедийный компьютер в измерительную систему;

- результаты работы могут быть экспортированы во внешние файлы для их последующего использования другими программами;

- не нужно тратить много времени на изучение среды  -  GeMiS имеет стандартный для Windows-программ русскоязычный интерфейс.

Система GeMiS for Windows специально разрабатывалась для удобной и эффективной работы с очень большими объемами данных и может оказаться хорошим выбором для многих применений.

GeMiS for Windows написана на Delphi, и в настоящее время готовится 32-разрядная версия программы, в которой будут сняты ограничения на размер выборки при использовании БПФ и внесены возможности по созданию собственных сигналов с использованием разнообразных методов моделирования.

В настоящее время GeMiS for Windows уже используется в вузах Москвы (МЭИ, МГУ), институте "Атомэнерго-проект", Институте прикладных сейсмоакустических исследований и других организациях.

МИХАИЛ ШУНИН, ГЕОРГИЙ БУРИКОВ

К авторам статьи можно обратиться по телефону: (095) 578-0240.