Как компании могут быть уверены, что используемые ими алгоритмы обеспечивают предоставление подразумеваемого сервиса, а не реализуют не соответствующие их намерениям политики?

Машинное обучение (в сущности, это когда компьютер распознает шаблоны, не будучи явно запрограммирован на это) революционизирует многие отрасли. Оно позволяет нам находить ответы и выявлять в данных неожиданные связи, которые невозможно было бы обнаружить с помощью программирования в духе «рецепта из поваренной книги», в котором написано наше нынешнее ПО.

Однако на использование машинного обучения имеется ограничение — «эффект черного ящика». При традиционном программировании в духе составления рецептов, если принимающий решение или проверяющий захочет узнать, почему было принято такое решение, инженеры-программисты или аналитики могут заглянуть внутрь программы и увидеть, что был достигнут порог X и это вызвало определенный эффект. Но в случае со многими алгоритмами машинного обучения чрезвычайно сложно заглянуть внутрь алгоритма, чтобы выяснить, почему был выдан определенный результат.

Если воспользоваться примером, который приводит Карлос Гестрин, профессор машинного обучения Вашингтонского университета (эта должность создана на средства Amazon), модель, обученная на серии образов, может с высокой степенью точности сообщить нам, чье это изображение — хаски или волка. К несчастью, с этим алгоритмом связана большая проблема, о которой не подозревали обучавшие: все фотографии волка, на которых обучалась модель, были сделаны на фоне снега. В итоге, когда предъявляется фотография хаски на фоне снега, эта собака будет классифицирована как волк.

Ошибочная классификация такого рода не обязательно приведет к катастрофе. Но, например, алгоритм, который определяет, появление каких животных допустимо в детском парке, может иметь пагубные последствия, если солнечным бесснежным днем там окажется волк и будет классифицирован как хаски.

Реализуют ли алгоритмы подразумеваемые сервисы?

Алгоритмы все больше определяют нашу кредитоспособность, решают, на какую работу мы можем претендовать и даже, не дай Бог, на какой срок нас могут посадить в тюрьму. Но как компании могут гарантировать, что используемые ими алгоритмы предоставляют подразумеваемые сервисы, а не скрытно реализуют политики, не соответствующие их намерениям? Большинству применяемых сегодня алгоритмов присущи значительный «эффект черного ящика» и отсутствие гарантии всех тонкостей использования этих моделей.

Возвращаясь к нашему примеру с волком и хаски, надо сказать, что чрезвычайно трудно определить, почему алгоритм принял именно такое решение, какое он принял. Правда, эксперты по машинному обучению занимаются подобными сценариями.

Гестрин и его аспиранты Самир Сингх и Марко Тулио Рибейро недавно выпустили исследование под названием «Почему я должен вам верить? Объяснение прогноза любого классификатора». В нем описана схема определения влияния различных факторов на выбор изображения. Такая локальная интерпретируемость, хотя она и далека от совершенства, способна объяснить, почему был сделан определенный прогноз, «в результате локального изучения интерпретируемой модели, построенной на прогнозе».

Это шаг в правильном направлении. Однако огромная трудность определения функций алгоритма приводит нас к вопросу, сколько существует алгоритмов, которые кажутся работоспособными, но на самом деле обучены лишь на изображениях на фоне снега?

В апреле 2016 г. Европарламент принял ряд норм под названием Общий регламент защиты данных (General Data Protection Regulation, GDPR), которые предоставляют гражданам и регуляторам «право требовать объяснения» касательно принятия решений на основе алгоритмов. Этот закон позволяет гражданам понять, почему банк отказал им в кредите, например, если решение было принято на основе алгоритма.

Для определенных типов машинного обучения, таких как логистическая регрессия, деревья решений и т. д., специалисты — практики машинного обучения могут получить веса различных факторов и входные переменные модели, которые легко поддаются интерпретации экспертами по машинному обучению. Однако нейронные сети и случайные леса, относящиеся к рассмотренным выше типам моделей черного ящика, не позволяют легко объяснить, почему было принято то или иное решение.

Чтобы полностью соответствовать GDPR и другим подобным требованиям, которые могут быть приняты в других регионах в обозримом будущем, потребуется модифицировать нынешние способы разработки и развертывания алгоритмов, а также создать новую отрасль для объективного их аудита. Внутренние и внешние аудиторы могут взять на себя предоставление компаниям и регуляторам гарантий качества алгоритмов.

Аудит входящего и исходящего потока данных алгоритмов машинного обучения, рассмотрение бесчисленного множества допущений и изучение веса факторов, когда они доступны, являются основными направлениями развития. Это позволит повысить значимость профессии аудитора и осуществить переход нашего общества к эпохе больших данных.