Периферийные устройства будут собирать, анализировать и хранить информацию о пользователе, его окружении и их взаимодействии. В результате большая часть информации будет храниться на устройствах, к которым у пользователя не всегда будет доступ. По сути, пользовательские данные станут фрагментированными, превратившись в скопления малых данных. CTO Druva Стивен Мэнли делится с порталом eWeek советами по поводу того, как компаниям, регулирующим органам и особенно частным лицам подготовиться к ситуации, когда большие данные начнут «расползаться» по Edge-девайсам.

Организации стремятся быть как можно ближе к своим клиентам, это позволяет им лучше угадывать их желания, более чутко реагировать на потребности и, что более важно, иметь больше контроля над отношениями. Развитие IoT-устройств достигло того уровня, когда они стали пригодными для решения реальных проблем, поэтому практически все компания приступили к разработке Edge-стратегий. Данные — основа любой из них.

В ближайшие годы на рынке произойдет сдвиг от больших данных в сторону «расползания» данных на фрагментированные скопления. Большие данные было легче контролировать, управлять ими и анализировать. Они хранились в центральном озере данных в защищенном виде, где с ними работали аналитики или специалисты по данным. Расползание данных увеличивает ценность информации, однако подвергает данные бóльшим рискам. Вот что об этом нужно знать.

Рост количества периферийных устройств (особенно IoT)

Согласно подсчетам аналитиков, сегодня в мире насчитывается около 20 млрд. периферийных устройств, и их число растет в геометрической прогрессии. IoT и Edge — это не только носимые устройства, интеллектуальные счетчики или беспилотные автомобили, их степень проникновения гораздо шире: Edge-сенсоры устанавливаются для сбора телеметрических данных в фермерских хозяйствах, заводских цехах и больницах; государственные органы, казино и ритейлеры собирают их при помощи видео.

Рост объема данных, которые генерируют IoT-устройства

Инженеры и ученые нуждаются в максимально большом объеме данных даже несмотря на то, что они не всегда могут их обработать. Расчет строится на том, что это можно будет сделать в будущем, если возникнет такая необходимость. Таким образом, количество данных, генерируемых из расчета на одно устройство, стремительно растет. Трафик видео/аудио высокой четкости изображения/звучания превзошел по интенсивности телеметрию. Особенно на этом фоне выделяются устройства телеметрии, которые воспроизводят данные в режиме реального времени. К примеру, автомобили уже генерируют 25 Гб/час, и эта цифра растет.

Первичная обработка должна быть перенаправлена на периферию сети

Учитывая, что первичная обработка данных должна выполняться на периферийных устройствах, их можно назвать полноценными компьютерами. Если автомобиль или кардиостимулятор рассматривать как IoT-устройства, которые работают в автоматическом режиме, они не могут полагаться на медленную или ненадежную сеть. То же касается устройств, которые помогают выявлять преступления или следят за экологической обстановкой — они не должны зависеть от централизованных средств обработки данных. Более того, сама природа периферийных устройств требует, чтобы вычисления на них проводились в реальном времени. Результатом этого является то, что данные начнут расползаться — они будут повсюду.

Машинное обучение должно осуществляться в центре

Периферийные устройства могут воспроизводить алгоритмы, тогда как само машинное обучение может осуществляться только в центре. Для обучения системам необходим доступ к полному набору данных на многих устройствах, а также больше вычислительных ресурсов в течение более длительного периода времени, чтобы справляться с потоковой передачей, тогда как центр должен быть оптимизирован для аналитики, обогащения данных и обучения. Основная задача периферийных устройств — отправлять данные в центр.

Сохранность данных — компетенция центра

Сбор и хранение IoT-данных должны осуществляться в соответствии с нормативно-правовыми требованиями, что предполагает их консолидацию, контроль, обеспечение защиты и удаление (например, личных данных). Однако помимо этого организациям также необходимо сохранять алгоритмы, которые генерировали выдачу тех или иных данных. Им нужно быть готовыми к тому, что в суде придется воспроизвести алгоритмы, которые применялись для торговли акциями, действовали в медицинском устройстве, контролирующем уровень инсулина, или зафиксировали нарушение закона в камере видеонаблюдения. Вдобавок к алгоритмам им придется представить и набор для его обучения. ИИ только в начале пути, но по мере того, как он проникает во все сферы, регуляторы будут уделять ему больше внимания.

Облако станет центром для хранения малых данных

Организации будут консолидировать периферийные данные в облаке, потому что это позволяет масштабировать машинное обучение, а также упрощает процедуры комплаенса. Облако — самое удобное место для хранения данных, поскольку обладает достаточной вычислительной мощностью, емкостью хранения и доступностью. Оно позволяет клиентам применять мощные аналитические инструменты. Наконец, облако предлагает централизованный подход к выбору региональных ЦОДов, поэтому облачные команды могут управлять данными в соответствии с требованиями местного законодательства с центрального пульта.

Для управления и классификации малых данных будут применяться горизонтальные SaaS-решения

Растущие требования к данным потребуют комплексных SaaS-решений для управления и классификации. Безопасное хранение, защита и консолидация данных — этим будут заниматься предприятия всех отраслей. Помимо этого их потребуется идентифицировать (например, выделить личные данные), чтобы понять, какие из них должны быть обезличены или уничтожены. Сочетание объема данных и сложности, связанные с соблюдением правил хранения в зависимости от региона вынудит организации переложить эту работу на экспертов SaaS. Эти инструменты будут собирать, защищать и классифицировать личные данные, а также помогать клиентам находить то, что им нужно и когда им это нужно.

Аналитикой малых данных будут заниматься вертикальные решения

Сценарии применения данных будут варьироваться в зависимости от отраслевой принадлежности, и это именно тот случай, когда они продемонстрируют свою силу в качестве инструмента давления на конкурентов. Со временем вырастет спрос на специализированные SaaS-инструменты анализа данных, которые компании дополнят собственными алгоритмами, работающими на облачной инфраструктуре ИИ/МО. Разгрузив общие инфраструктурные задачи, руководители сосредоточатся над новыми идеями, которые дадут им конкурентные преимущества.

IoT и периферийные вычисления трансформируют практически все отрасли

Сближаясь с клиентами и сотрудниками, организации открывают новые возможности для улучшения пользовательского опыта и производительности. В то же время возникающее в результате этого расползание данных требует пересмотра методов управления и применения. Аналитика в реальном времени будет двигаться к периферии сети. Защита данных и соблюдение нормативных требований по правильному обращению с данными предприятия доверят облачным приложениям SaaS — это высвободит их время для работы над более творческими задачами, к примеру, созданием новых данных и алгоритмов с использованием облачных инструментов. Предприятиям нужно обеспечить, чтобы новая технология не нарушала неприкосновенность личных данных и соответствовала требованиям конфиденциальности. Понимание изменений — это первый шаг.