Как свидетельствует исследование компании IDC (The Expanding Digital Universe. IDC, March 2007), нынешний год станет первым в современной истории, когда находящийся в мировом обороте объем цифровой информации превысит наличные емкости для ее хранения (см. диаграмму). На протяжении ближайших пяти лет указанная тенденция сохранится: если в 2006 г. было создано и растиражировано 161 млрд. гигабайт (161 экзабайт), то в 2010-м эта величина вырастет более чем в 6 раз и достигнет 988 экзабайт. Однако суммарная емкость всех систем хранения информации при этом не превысит 600 экзабайт. Каковы же причины и возможные последствия подобного “большого взрыва”?
Во избежание недоразумений сразу отметим, что IDC учитывала всю информацию, сгенерированную или растиражированную в цифровой форме, независимо от того, подвергается она впоследствии долговременному хранению или нет. Иными словами, наряду с корпоративными базами данных, Web-сайтами и архивами фотографий и видеороликов во внимание в данном исследовании принимались также потоки цифрового телевещания или IP-телефонии, которые в итоге после доставки пользователю могут и бесследно исчезать. Тем не менее такие потоки нередко заканчивают свой путь в тех или иных хранилищах — телевизионных приставках с функцией записи программ, архивах call-центров и корпоративной голосовой почты. Но даже если эта короткоживущая информация не фиксируется на носителях, она нуждается в управлении и определенной обработке. К примеру, необходимо обеспечить ее безопасность, а также требования законодательства по охране тайны личной жизни и политике корпоративного управления.
Прогноз роста объема генерируемой информации и средств ее хранения
В целом главная причина взрывного роста очевидна: это широкое проникновение цифровых технологий в самые разные сферы нашей жизни. Буквально за несколько лет произошла революция в фотографии, отодвинувшая на обочину истории аналоговые пленочные технологии. В 2006 г. на руках у населения было уже 400 млн. цифровых камер и 600 млн. камерофонов, и даже если продажи новых устройств будут расти не такими быстрыми темпами, как раньше, объем генерируемых ими данных будет по-прежнему стремительно увеличиваться в силу роста разрешения светочувствительных матриц. Аналогичная ситуация наблюдается и на рынке видеокамер. В результате сегодня популярный сайт YouTube ежедневно осуществляет до 100 млн. трансляций публикуемых там видеороликов. Напомним, что объем одной фотографии составляет 2—5 Мб, а в прошлом году было сделано около 250 млрд. снимков (из них 100 млрд. — камерофонами). Цифровой видеоролик уже сегодня создает информационный поток в десятки мегабайт в секунду, а впереди постепенный переход всех стран на цифровой формат вещания и телевидение высокой четкости. Расширяется использование цифровых технологий в сканирующей медицинской аппаратуре, в системах видеонаблюдения, IP-телефонии, маркировки товаров радиочастотными метками (RFID) и т. д.
Несмотря на то что 70% цифрового контента генерируется частными лицами, ответственность за его безопасность, сохранность и соответствие нормативным актам в 85% случаев ложится на организации самого разного рода (как коммерческие, так и правительственные). Это ставит перед ними сложные задачи построения информационно-центрических архитектур и управления жизненным циклом информации (ILM). По оценкам IDC, около четверти “цифровой вселенной” приходится на оригиналы (исходные фотоснимки, почтовые сообщения, телефонные разговоры), а остальные три четверти — это переадресованная электронная почта, резервные копии ИС и БД, растиражированные фильмы на DVD и т. д. Совершенно очевидно, что наряду со снижением уровня избыточности при хранении подобных дубликатов требуется выстраивать и оптимальную политику архивирования информации, учитывающую ее значимость, востребованность, желаемую скорость извлечения и проч.
В ближайшие пять лет, несмотря на отмеченную выше тенденцию роста объемов информации в потребительском секторе, доля данных, генерируемых внутри тех или иных организаций, вырастет с нынешних 25 до 30%. Факторы, определяющие указанную тенденцию, таковы: дальнейшая компьютеризация малого бизнеса, выработка более жестких стандартов в области защиты архивов и тайны личной жизни, появление новых отраслевых приложений для интернет-коммерции, обработки изображений в медицине, построения сенсорных сетей, поддержки клиентов (в том числе и в режиме самообслуживания). Продолжится размывание информационных границ предприятия: все больше сотрудников переходит на режим дистанционной или мобильной работы, а по мере глобализации экономики расширяются границы взаимодействия компаний с их клиентами и партнерами, что в свою очередь существенно увеличивает сферу охвата цепочек поставок. Вырастет и роль корпоративных центров обработки данных (ЦОД). И хотя сегодня четверть данных предприятия контролируется отдельными его департаментами, а три четверти — ЦОДом, ответственность за их безопасность и соблюдение нормативных актов, регулирующих защиту частной жизни и гарантированную аутентичность документов строгого хранения, полностью ложится на центр обработки данных.
Крупнейшей в мире базой данных клиентских транзакций (десятки миллионов покупок в день) располагает сегодня розничная сеть Wal-Mart: объем этой БД, в 2000 г. составлявший 110 Тб, уже в 2004-м превысил 0,5 Пб. Информация из нее используется не только для принятия управленческих решений в рамках Wal-Mart, она доступна также тысячам внешних поставщиков ритейлового гиганта. Еще один внушительный пример — то, что нефтяные компании называют “цифровым месторождением”. Речь идет об ИС, объединяющей в реальном времени системы бурения и добычи со средствами имитационного моделирования и генерирующей огромные объемы данных. Типичная нефтяная компания имеет примерно 350 Тб данных, получаемых из полусотни проектов трехмерной сейсморазведки, и еще 10 Тб содержится в имитационных моделях. Кроме того, в ИС ежедневно поступает 10 Гб данных с датчиков телеметрии, а 4 Тб пропускают сети, которые объединяют добывающие и перерабатывающие предприятия.
Следует отметить, что как и в любом взрывном процессе, в рассматриваемом “большом взрыве” большую роль играет взаимное стимулирующее влияние двух процессов: роста рыночного спроса и прогресса в технологиях. Повышение производительности, емкости, доступности и других характеристик электронного оборудования порождает новые области применения, а лавинообразный рост спроса на подобные новинки стимулирует дальнейшее развитие технологий, увеличение объемов производства и связанное с ним снижение цен на комплектующие. Особая роль в этом взрыве принадлежит Интернету. В 1996 г. во всем мире им пользовалось 48 млн. человек, а в 2006-м эта величина достигла отметки в 1,1 млрд., причем 60% из них подключены по широкополосным каналам. К 2010 г. Web-аудитория увеличится еще на 500 млн. абонентов, и это далеко не предел. Сегодня 22% мирового интернет-сообщества — люди из Северной Америки, в то время как ее население составляет лишь 5% от всех жителей нашей планеты. Хорошие показатели проникновения Интернета наблюдаются в развитых государствах Западной Европы и Азии. Тем не менее в странах, которые IDC относит к “остальному миру” (в их числе Индия, Китай и Россия), сегодня проживает 69% населения Земли, и большая его часть не имеет доступа к Сети (доля жителей этих стран во всемирной Web-аудитории — 38%), а следовательно, такие регионы обладают огромным потенциалом роста.
В региональном разрезе “цифровая вселенная” выглядит следующим образом. Около 41% информации создается и тиражируется в Северной Америке, 32% — в Западной Европе, 22% — в Азиатско-Тихоокеанском регионе и 5% — в странах “остального мира”. Эксперты из IDC обнаружили любопытный факт: по годовым темпам роста данного показателя все эти регионы близки: в развитых государствах они превышают 50%, а в развивающихся составляют примерно 60%. Объясняется указанная тенденция тем, что в развитых странах одновременно действуют две движущие силы: расширяется клиентская база и наращиваются технические характеристики применяемых устройств и технологий (разрешение, емкость, функциональность). В остальных же рост в основном обусловлен экстенсивным увеличением проникновения цифровых технологий.
В следующие пять лет объем накопленной информации будет расти опережающими темпами по сравнению с ресурсами систем хранения (57% в год против 35%). К 2010-му больше половины из 603 экзабайт имеющейся в мире емкости будет приходиться на жесткие диски, на втором месте окажутся оптические накопители, а на третьем — ленточные. Тем не менее ожидается, что главная проблема будет состоять не в том, где хранить информацию, а как это делать наилучшим образом. Ведь из-за несвоевременного принятия решений предприятия будут терять доходы и снижать свою эффективность. По данным IDC, в компаниях США сотрудники, имеющие дело с информацией, в среднем тратят 14,5 часа в неделю на обработку электронной почты, 9,6 часа — на поиск документов и 9,5 часа — на их анализ. Если таких сотрудников около тысячи, то компания будет ежегодно терять 5,7 млн. долл. только на конвертирование форматов при передаче данных из одного приложения в другое.
И здесь во весь рост встает задача определения ценности той или иной информации и выработки соответствующей ей политики хранения. Мы снова возвращаемся к концепции Information Lifecycle Management (ILM). Реализация ее далеко не столь проста, как это кажется на первый взгляд. Любой из нас знает, чтó он вынесет из квартиры в первую очередь в случае пожара, но даже у каждого члена семьи на этот счет может быть свое мнение. Каковы критерии определения ценности корпоративной информации? Не исключено, что на первый план здесь выйдут нормативные требования внешних по отношению к предприятию регуляторов. Во всяком случае эксперты из IDC прогнозируют удвоение рынка средств GRC (Governance Risk Compliance) к 2010 г. (до 21,4 млрд. долл.).
Нет сомнений в том, что расширение “цифровой вселенной” в обозримой перспективе будет продолжаться, а это, в свою очередь, приведет к кардинальным изменениям как образа жизни отдельных людей, так и способов ведения бизнеса.
