Главной тенденцией индустрии резервного копирования последних лет стали отказ от использования классических ленточных библиотек и их замена на системы на базе дисковых массивов, существенно ускоряющих процессы сохранения резервных копий и восстановления данных. Однако дисковые массивы имеют существенный недостаток по сравнению с ленточными библиотеками — стоимость хранения данных на дисках выше, чем на ленте, поэтому затраты на приобретение носителей для записи резервных копий при переходе на дисковые системы оказываются более высокими. Добиться сокращения затрат на хранение резервных копий на дисках можно если уменьшить емкость, необходимую для их хранения, и наиболее эффективным решением этой задачи является дедубликация, т. е. устранение повторной генерации резервных копий для идентичных наборов данных. Например, при выполнении резервного копирования почтовой системы, обслуживающей сотрудников одного отдела, можно учесть, что многие письма в их почтовых ящиках дублируются и для таких писем достаточно хранить только одну резервную копию.
Одной из компаний, специализирующихся на разработке технологий дедубликации, была Data Domain, за покупку которой нынешним летом соревновались два крупных производителя дисковых систем. Сначала NetApp предложила купить Data Domain за полтора миллиарда долларов, затем ее конкурент EMC объявила о готовности заплатить за Data Domain 1,8 млрд. долл. В ответ NetApp повысила свою ставку на 0,4 млрд. долл., на что EMC отреагировала увеличением цены приобретения до 2,1 млрд. долл. Хотя NetApp не стала еще раз поднимать ставку и в итоге Data Domain досталась EMC, аналитики считают, что NetApp может купить другого разработчика технологий дедубликации, например, компанию Quantum. Любопытно отметить, что и NetApp, и EMC к моменту начала борьбы за Data Domain имели в своем портфеле продукты для дедубликации, но, по-видимому, обе компании считают эту технологию очень важной для своего бизнеса и готовы выделить средства на приобретение внешних разработчиков.
Все перечисленные выше компании реализуют дедубликацию на уровне оборудования с помощью специализированных серверных приставок или расширения функциональности дисковых массивов. Однако применение дедубликации крайне актуально и для поставщиков программных средств резервного копирования. Компания Acronis, представившая пакет Backup & Recovery 10 для Windows и Linux, который заменит True Image 9, главный акцент в анонсе своего продукта сделала на новую опцию дедубликации. Как утверждает Acronis, в сочетании со сжатием данных она позволяет сократить емкость, необходимую для хранения резервных копий, до десяти раз. Дедубликация Backup & Recovery 10 выполняется для блоков данных и файлов, причем она может реализовываться как на уровне клиентского компьютера, так и устройства хранения резервных копий в зависимости от пропускной способности сети, соединяющей компьютер и устройство хранения. Функция поддерживается для полных, инкрементальных и дифференциальных резервных копий, а также резервных копий виртуальных машин VMware, Microsoft, Citrix и Parallels.
Недавно свою стратегию развития технологий дедубликации обнародовала корпорация Symantec, крупнейший поставщик программных средств резервного копирования. Она собирается до середины следующего года интегрировать новую версию своего ПО дедубликации PureDisk 6.6 в пакеты резервного копирования Veritas Netbackup 7 и Backup Exec 2010, а также реализовать для PureDisk возможность дедубликации на стороне клиентского компьютера. Хотя текущая версия PureDisk поддерживает VMware, в следующей версии продукта будет реализована поддержка файловых структур виртуальных маши VMware Virtual Machine Disk File (VMDK) и Virtual Machine File System (VMFS), что позволит более эффективно выполнять дедубликацию для данных, записанных в файловых форматах VMware.