К числу наиболее обсуждаемых сегодня ИТ-трендов относят переход к облачным вычислениям и феномен больших данных, рассматриваемых в качестве ключевых для эффективного использования информации. Для некоторых предприятий оба этих тренда постепенно сливаются в один по мере того, как они пробуют управлять большими данными и обрабатывать их в своих облаках.
Два из наиболее обсуждаемых сегодня технологических трендов — большие данные и облачные вычисления — объединяются по мере того, как предприятия ищут способ управления растущими объемами информации.
“Наше исследование взаимодействия между большими данными и облачными технологиями показывает, что чаще всего разработчики рассматривают большие данные как естественную составляющую облачных вычислений”, — сказал Бен Хенли, ведущий аналитик в консультационной компании Evans Data. По его мнению, компании все больше используют облачные платформы для работы с большими данными и решения встающих аналитических задач. “Мы наблюдаем значительный рост работ в области взаимодействия облачных технологий и больших данных”, — констатировал Хенли.
Компания Geostellar (Вашингтон, округ Колумбия), предлагающая услуги по расчету наличия возобновляемых источников энергии для заданных географических точек, имеет дело как с облаками, так и с большими данными. Она была вынуждена разработать включающую использование облачных сервисов стратегию для хранения, анализа и перемещения петабайтов представленной в различных форматах информации, которую она обрабатывает и предлагает своим покупателям.
Geostellar начала внедрять облачные технологии примерно полтора года назад. Первоначально данные предлагались пользователям на жестких дисках. Позже компания развернула в своей сети виртуальные серверы, затем перенесла их к хостинг-провайдеру и, в конце концов, вынесла данные в облако.
“Все данные, которые мы обрабатываем, должны централизованно храниться в нашем операционном центре, — сказал исполнительный директор Дэвид Левин, — поскольку некоторые поля чрезвычайно велики. Это оказывается намного эффективнее с точки зрения близости выделенных процессоров и дисковой памяти для чтения, записи и конфигурирования данных”.
Прежде чем компания приступает к обработке, она собирает “сырые” наборы данных на жестких дисках из различных источников, пересылаемые курьерской почтой или другими способами. “Мы берем все эти разнообразные наборы данных и создаем общую структуру информации, так что когда заказчик приступает к поиску конкретных сведений, он получает необходимый ему профиль”, — пояснил Левин. Этот подход применяется к любым запросам — от прогноза погоды до типов ресурсов, доступных в указанной местности.
Данные, собираемые Geostellar, не переносятся в облако из-за большого объема. “Мы получаем эти очень большие файлы (образы, модели поверхностей, базы данных, и т. д.) и должны объединить их в единое целое, — рассказал Левин. — И люди все еще продолжают присылать нам данные на жестких дисках, поскольку пропускная способность каналов передачи информации не позволяет передавать их по электронной почте”.
После завершения обработки данных Geostellar направляет поток результатов в облако, где они становятся доступными для обращения и обработки для покупателей. “Мы вместе с заказчиками можем обрабатывать данные в облаке, поскольку перед этим уже создали все взаимосвязанные друг с другом структуры”, — подчеркнул Левин.
За несколько лет компания разработала процесс сбора и анализа больших объемов информации, создавая взаимосвязанные пространственно-реляционные наборы данных и перенося данные из своих ЦОДов в облако.
Сегодня компания управляет двумя независимыми инфраструктурами — высокоэффективной процессинговой системой, использующей сверхнадежные дисковые массивы и мощные выделенные серверы, и расположенной в облаке виртуальной средой, используемой для управления информацией, полученной в результате обсчета исходных данных. Применение облачных технологий оказалось критически важным для диспетчеризации и обеспечения доступа к данным, считает Левин: “Возможно, наибольшим преимуществом облачных технологий стала легкость управления объемами данных. Вы можете всегда опережать любые возможные направления развития событий”. Кроме того, облачные платформы обеспечивают долговременное сохранение данных.
Другим преимуществом такой схемы выступает экономичность. “Мы используем избыточную емкость ресурсов сервис-провайдера, и цена такой памяти для нас ниже по сравнению с приобретением собственной системы дисковой памяти”, — заявил Левин.
Собирая данные со всего мира
Другая организация, использующая большие данные в облаках, — исследовательский центр Virginia Bioinformatics Institute (VBI; Блексбург, шт. Вайоминг). Центр VBI занимается анализом генома и цепочек ДНК, используя свыше 100 Тб данных, собираемых каждую неделю со всего мира.
“Наш крупнейший проект состоит в загрузке и повторном анализе каждого последующего человеческого генома для поиска новых биомаркеров и целевых точек применения лекарств, особенно против рака, — рассказал Скрип Гарнер, исполнительный директор и профессор VBI. — Мы анализируем примерно 100 геномов в день, и все эти данные загружаются из облака”.
Данные, получаемые из различных научных источников, загружаются из облака и затем анализируются на серверах VBI. “В последнее время стало удобнее и намного более эффективно загружать требуемую нам информацию извне, а не хранить ее на локальных носителях, поскольку ее объем может насчитывать десятки петабайтов, — сообщил Гарнер. — Применение облачных ресурсов позволяет нам загружать, использовать и выбрасывать исходные данные, экономя таким образом дисковое пространство, а в случае необходимости мы можем загружать эти данные повторно”.
Институт не использует для исследований необлачные вычислительные мощности, поскольку “наши приложения предъявляют слишком высокие требования к оперативной памяти, для их работы необходимы серверы по меньшей мере с терабайтами оперативной памяти”, пояснил он.
Управление большими данными в облаке в действительности сопряжено с проблемами, считает Гарнер. Самые серьезные связаны с обеспечением безопасности и защитой интеллектуальной собственности. VBI имеет разрешение загружать некоторые наборы данных, и, согласно соглашениям, центр обязан обеспечивать надлежащий контроль за их изучением и предоставлением доступа к этим данным только определенным исследователям.
“Мы можем быть абсолютно уверены в месте размещения данных, когда они находятся на наших серверах, и мы убеждены, что соблюдаем условия соглашений, — сказал Гарнер. — Когда данные находятся в облаке, ситуация другая. Поэтому сейчас мы не выкладываем данные в облако, мы только загружаем их оттуда”. По его мнению, скачивание и анализ информации из облака обеспечивает VBI значительную экономию на системах длительного хранения данных и делает возврат инвестиций практически мгновенным.
Когда организации начинают изучать вопрос работы с большими данными, поиск платформ обработки и хранения данных должен начинаться с облачных решений, считает Крис Смит, ведущий специалист по технологиям и инновациям в федеральном секторе США глобальной консалтинговой компании Accenture (Нью-Йорк): “Низкие расходы, высокая масштабируемость и эластичные возможности составляют правильную формулу при запуске проекта по работе с большими данными. В некоторых случаях, реализация задач по обработке больших данных в высокозащищенной среде может потребовать стратегии создания внутреннего ЦОДа компании, однако поскольку большинство крупных организаций разрабатывают сейчас собственные внутренние частные облака, то такие специфические решения вполне могут быть там размещены”. Компании продолжают перенимать и разворачивать частные, публичные и гибридные облака, поскольку эти технологии начали приобретать характер обязательных требований для разработки новых функций, считает Смит: “Я ожидаю увидеть увеличения и даже ускорения масштабов перехода в ближайшие полтора-два года”.
По мнению Смита, по мере того как компании наращивают объем и глубину предложений новых бизнес-технологий на основе облаков, им будет необходимо обеспечить возможность управления информацией в различных гетерогенных средах, чтобы быть в состоянии четко оценить, проанализировать и сформулировать состояние бизнеса, а также предложить точные, высокопроизводительные услуги, обеспечивающие реальный результат: “Надежные инструменты управления взаимодействием между различными облаками, позволяющие компаниям управлять организацией, предоставлением и развитием новых и лучших сервисов, станут ключевыми элементами корпоративной ИТ-стратегии”.
Облачные технологии сами по себе продолжат генерировать огромные объемы данных, отмечает исследовательская компания Ovum (Лондон). В своем отчете “2013. Тенденции для изучения: облачные вычисления,” (2013 Trends to Watch: Cloud Computing) компания делает вывод, что в 2013 г. мы продолжим наблюдать быстрый рост облачных вычислений, облачные технологии всех типов — публичные, частные и гибридные — быстро набирают популярность, развиваются технологически и по своим возможностям выходят на уровень предприятия.
Облачные вычислительные сервисы, а также социальные и мобильные приложения, которые подкрепляются развитием облачных технологий, будут генерировать большой объем информации, что, в свою очередь, потребует облачных сервисов и приложений для получения на их основе осмысленных результатов, пишет Ovum. Эта тенденция подпитывает другие тренды отрасли, такие, как интернетизация вещей (коммуникации на уровне “компьютер — компьютер”, консьюмеризация ИТ и большие данные).
