ИИ выводит аналитику больших данных на новый уровень

Как искусственный интеллект (ИИ) и его родственная технология, машинное обучение (МО), помогают находить бизнес-идеи, скрытые в больших данных? Опрошенные порталом Enterprisers Project эксперты рассказывают о преимуществах, которыми ИИ и МО наделило аналитические инструменты.

Термин «большие данные» — не новый, но свое истинное значение он начал приобретать всего лишь за последние несколько лет, когда начали бурно развиваться такие технологии, как Интернет вещей, облачные сервисы, периферийные вычисления и ряд других. Именно они способствуют скачкообразному росту объема данных. Еще десять лет назад это считалось серьезной проблемой, но теперь организации, которые экспериментируют и внедряют МО и другие виды ИИ-технологий, рассматривают большие данные как благо для бизнеса.

«ИИ и МО дают нам новые возможности, чтобы по-новому раскрыть ценность больших данных, а также найти новые варианты применения с учетом появления новых типов данных, — говорит старший цифровой стратег Anexinet Гленн Грубер. — Теперь у нас гораздо больше полезных данных в виде изображений, видео и голоса, например. В прошлом мы пытались свести к минимуму собираемый объем данных такого типа, потому что не умели получать от них отдачу, к тому же их хранение выливалось в большие затраты».

Между большими данными и ИИ существует прямая взаимосвязь: последний в значительной степени зависит от успеха первой технологии, он также помогает организациям раскрыть потенциал хранящихся у них данных за счет инструментов, которые ранее были или очень громоздкими или их не было в принципе. «Сегодня мы хотим получить как можно больше данных, которые пригодятся не только для лучшего понимания проблем бизнеса, но и потому, что чем больше данных мы вводим в модели машинного обучения, тем лучше они становятся, — сказал Грубер. — Это своего рода логический круг».

Несмотря на значительный прогресс, технология больших данных и аналитика не избавились от проблем с хранением и рядом других сложностей. Как отмечает Грубер, в одних случаях сочетание больших данных и ИИ создает новые потребности (или подчеркивает существующие), например, в области инфраструктуры, подготовки данных и управления, тогда как в других оно может выступать ключевым инструментом для решения операционных проблем организации. Так как ИИ и МО помогают бизнесу лучше понимать данные?

Шесть направлений, где ИИ подпитывает лучшие идеи

1. ИИ создает новые методы анализа данных. Одна из фундаментальных бизнес-проблем больших данных сводится к простому вопросу: что с ними делать? Какую ценность можно получить из скопления огромных массивов информации, которые у фирмы уже есть и которые в будущем продолжат пополняться? Как известно, чтобы извлечь ценность из данных, всегда нужно было много ручного труда, но с появлением ИИ и МО эта задача упростится.

«Исторически так сложилось, что занимаясь анализом данных инженерам приходилось использовать запросы или SQL (списки запросов). Но поскольку важность данных продолжает расти, появилось множество способов, которые помогают получить о них лучшее представление. ИИ — это следующий шаг в развитии SQL, — говорит CEO Alluxio Стивен Мих. — То, что раньше было статистическими моделями, теперь слилось с информатикой и стало ИИ и МО».

2. Аналитика данных становится менее трудоемкой. Появление машинных моделей значительно сократило количество трудоемких ручных процессов, которые требовались для управления и анализа данных. Благодаря им время обработки данных, которое занимало дни или недели (или дольше), сократилось до часов, но люди по-прежнему играют жизненно важную роль. «ИИ и МО — это инструменты, которые помогают компании анализировать свои данные быстрее и эффективнее, чем это могут сделать исключительно сотрудники», — утверждает CTO Sungard AS Сью Кларк.

CTO Exasol Матиас Голомбек заметил, что при работе с большими данными компании все чаще начали прибегать к двухуровневой стратегии, что связано со стремительным накапливанием массивов информации. Первый уровень — слой хранения, второй — уровень операционной аналитики, который находится поверх первого. Уровень операционной аналитики, даже если он не может функционировать без слоя хранения, — это область ответственности CEO.

«Именно на этом уровне рождаются новые идеи и принимаются решения, основанные на данных, — говорит Голомбек. — ИИ расширяет этот аналитический мир новыми возможностями, позволяющими принимать решения на основе данных обучения в полуавтоматическом режиме. Двухуровневая стратегия не дает ответы на все вопросы, которые адресуются данным, но в некоторых сценариях применения она революционизирует способ получения правил, решений и прогнозов без сложных человеческих ноу-хау».

Другими словами, ИИ стимулирует идеи и ускоряет принятие решений. Более того, ИТ-специалисты могут действовать аналогичным образом, применяя ИИ с целью сократить трудоемкие ручные процедуры и ускорить обслуживание внутренней инфраструктуры организации. «Природа анализа данных требует, чтобы он осуществлялся в режиме реального времени. Взяв во внимание тот факт, что данные повсеместно разнесены по разным дата-центрам, регионам и облакам, компании вынуждены уходить от традиционных методов управления и анализа данных, — считает Мих. — Приход ИИ меняет правила игры. Прошли те времена, когда инженеры по данным вручную многократно их копировали, предоставляя аналитикам наборы данных спустя недели после того, как они их запрашивали».

3. Люди по-прежнему играют важную роль. Как и другие эксперты, вице-президент Qlik Research Элиф Тутук рассматривает ИИ и МО как мощные рычаги, которые переносят работу с большими данными на новый уровень. «Как и другие новые технологии, ИИ и МО имеют решающее значение для того, чтобы помочь предприятиям составить более целостное представление об окружающем их мире данных, предоставляя им возможность устанавливать связи между ключевыми наборами данных», — говорит она и добавляет, что не стоит недооценивать человеческий разум и опыт: «Предприятиям необходимо объединить силу человеческой интуиции с ИИ, чтобы расширить его возможности. В конце концов, чтобы функционировать и выполнять свою миссию, система ИИ должна учиться на данных, которые поступают от людей».

По словам Тутук, компании, которые успешно объединили возможности человека и технологии, могут расширить доступ к ключевым аналитическим данным без помощи специалистов по анализу данных и бизнес-аналитиков, экономя время и снижая потенциальную предвзятость, которая может возникнуть в результате интерпретации данных бизнес-пользователями. Это приводит к более эффективным бизнес-операциям, более быстрому пониманию данных и, в конечном итоге, к повышению производительности предприятия.

4. ИИ/МО сгладят общие проблемы с данными. Технологии меняются, из года в год появляются новые, но одно остается неизменным: ценность данных неразрывно связана с их качеством. Низкое качество означает низкую ценность или вообще ее отсутствие. Это то, что объединяет большие данные с ИИ. «Каждый разговор о машинном обучении всегда возвращается к качеству данных компании. Если данные являются „грязными“, полученным из них выводам доверять нельзя, — сказал CTO Ness Digital Engineering Моше Кранк. — „Грязный“ секрет проектов МО заключается в том, что 80% времени тратится на очистку и подготовку данных».

Очистка данных всегда была камнем преткновения аналитических расчетов, но, возможно, вскоре придет решение проблемы. «К счастью, данные для МО можно очистить с помощью... самого МО, — говорит Кранк. — Алгоритмы МО могут обнаруживать посторонние и пропущенные значения, находить дубликаты записей, которые описывают один и тот же объект с несколько иной терминологией, нормализовывать данные для общей терминологии и т. д.».

5. Аналитика становится более прогнозирующей и предписательной. В прошлом аналитика данных исходила из событий, которые уже прошли («то, что было»), а прогнозы на будущее составлялись, отталкиваясь от исторических данных. ИИ и МО открывают новый фронт: «То, что должно произойти» (или, по крайней мере, «то, что, скорее всего, произойдет»). Более того, алгоритм МО можно научить принимать решения или предпринимать действия на основе прогнозной информации.

«Сегодня ИИ перемещает решения, связанные с большими данными, в точки, точно расположенные по временной шкале, используя прогнозную аналитику, — поясняет директор по аналитике Sparkhound Шон Верик. — Эти решения обычно основывались на данных, которые были получены в прошлом и настоящем, что, как правило, приводило к линейной окупаемости инвестиций. Решения, принятые при участии ИИ, приняли эпические и экспоненциальные пропорции. Предписательная аналитика на базе ИИ обладает потенциалом для привнесения почерпнутой из данных информации в стратегии масштаба всей компании, способствующие развитию бизнеса».

По его словам, этот прогресс ассоциируется с фразой «прежде чем идти — научись ползать». Использование ИИ для принятия прогнозирующих или предписательных бизнес-решений на основе неточных или неполноценных данных может привести к катастрофическим результатам. Но этого прогресса невозможно достичь без ИИ. «Ценность для бизнеса увеличивается с каждой итерацией модели зрелости аналитики: начиная с сопоставления данных, описательной, прогнозной и, наконец, предписывающей аналитики», — сказал Верик.

6. ИИ и большие данные: что нас ждет дальше? Большинство команд все еще учатся ползать (или ходить), и это нормально, потому что комбинация ИИ и больших данных только начинает раскрывать свои возможности. Партнер Scale Venture Partners Энди Витус считает, что тандем будет двигаться в сторону корпоративного ПО, привнеся в него больше интеллекта. По его мнению, многие бизнес-приложения до сих пор показывают свою аналоговую ДНК. «Большинство бизнес-приложений создаются на языке бумажного дизайна и бухгалтерских книг. Значит, чтобы найти полезную информацию, пользователи тратят непомерное количество времени, разбираясь с бесконечными отчетами», — говорит Витус.

Будущее — это интеллектуальное ПО, которое использует данные для решения проблем и предоставляет контекст и ответы, а не просто привлекательные отчеты. «С инженерной точки зрения интеллектуальные корпоративные приложения требуют подключения отдельных систем ИИ/МО к другим системам, чтобы они могли общаться и учиться друг у друга. Предприятия, наконец, увидят значительный ROI от всех данных, которые они хранили», — добавил он. «Это только начало: в будущем появятся новые методы анализа данных реального времени, — говорит Мих. — Данные по-прежнему остаются данными, но в дальнейшем улучшатся способы получения из них ценной информации».