Соучредитель и генеральный директор компании Monte Carlo Барр Мозес и Киюр Десаи, в недавнем прошлом Chief Data Officer компании TD Ameritrade, приводят на портале InformationWeek три основных причины провалов управления данными и дают советы, как исправить положение.
За последние несколько лет управление данными (data governance) стало не просто модным выражением. С принятием GDPR, CCPA, других правительственных и отраслевых нормативных актов, а также благодаря регулированию сферы здравоохранения управление данными на предприятиях стало необходимостью. Но многие директора по данным называют управление данными главной трудностью для своих организаций.
Есть три основные причины, по которым управление данными подводит нас.
1. Работать вручную уже непрактично
Мы добились больших успехов в самообслуживаемой аналитике, облачных вычислениях и визуализации данных, но не в управлении ими. Многие компании по-прежнему управляют данными с помощью устаревших ручных инструментов ad hoc. Специалисты по данным тратят целые дни на то, чтобы вручную проверять отчеты, создавать правила и сверять цифры. С ростом количества источников данных и усложнением техники такой подход не может масштабироваться и перестает быть эффективным.
Каталоги данных часто рекламируются как средство управления данными. Но многие из них лишены даже элементарных функций. Например, таких как отслеживание происхождения данных и проверка их качества. В некоторых организациях много времени тратится на определение восходящих и нисходящих зависимостей, не говоря уже о поддержании их актуальности.
Компаниям следует обратиться к машинному обучению и автоматизации, чтобы уменьшить объем ручной работы. Мы советуем предоставить машинному обучению выполнять всю грязную работу и позволить сотрудникам сосредоточиться на тех задачах, которые могут решить только они.
2. Данные вездесущи, управление данными — нет
Данные находятся везде, и каждый хочет их использовать. Различные подразделения предприятий жадно собирают и потребляют данные, чтобы принимать более интеллектуальные бизнес-решения. В результате компании нанимают массу инженеров по данным и аналитиков, создают дополнительные активы и конвейеры данных. Если прежде для аналитики требовалась неделя, теперь она доступна в течение часа.
Для многих компаний жизненно важно ускорить инновации в области данных. Совершенствование за последние несколько лет инфраструктуры данных и бизнес-аналитики позволяют им поддерживать эти инновации, но развитие DataOps отстает. Большинство решений DataOps, таких как средства оповещения о качестве данных и отслеживания происхождения данных, требуют ручного труда, остаются одномерными и не поддаются масштабированию.
Подход DataOps мог бы наверстать упущенное, используя концепции инжиниринга ПО. Многие проблемы, с которыми приходится сталкиваться при работе с данными, в действительности уже решены в областях инжиниринга, обеспечения безопасности и др.
3. Главное — конфиденциальность и защита данных. Для всех
Что общего у Uber, Marriott, Facebook и Equifax? Все четыре компании подверглись недавно взломам, которые повлекли за собой многомиллионные штрафы и подорвали доверие клиентов.
Наибольшее внимание привлекли утечки данных из крупнейших публичных компаний. Но от этого не застрахованы даже сирены, предупреждающие о торнадо. Все более детальное регулирование и внимание СМИ к проникновениям в сети делают конфиденциальность данных и их защиту приоритетными для любой компании. И крупные корпорации, и мелкие фирмы должны серьезно относиться к этим проблемам и учитывать их в стратегии управления данными.
Эти проблемы не следует обсуждать в узком изолированном кругу экспертов. Главный технолог, директор по данным и вице-президент должны создать комитет из представителей различных подразделений, который определит ключевые показатели безопасности и конфиденциальности и будет следить за их соблюдением всей организацией.
Расчистите путь к Data Governance 2.0
Автоматизация и машинное обучение, DataOps следующего поколения, обеспечение конфиденциальности и защиты данных имеют важнейшее значение не только для инноваций, но и для управления данными в будущем. Управление данными 2.0 появится в результате слияния этих трех направлений и займет центральное место в работе не только директора по данным, но и всей организации.
Если вы испытываете трудности с управлением данными, знайте, что вы не одиноки. Хотя имеются широкие возможности для его совершенствования, хотелось бы увидеть новые подходы к решению этой проблемы. Специалисты по данным должны довести ее важность до сведения своих организаций и всего сообщества. В конце концов, если управление данными является нашей главной проблемой, то самое время так к ней и отнестись.
