Искусственный интеллект – черный ящик: почему вашему бизнесу нужны прозрачные модели?

Представьте, что вы руководитель кредитного отдела в крупном банке. Ваша команда внедрила современную систему на основе искусственного интеллекта для оценки надёжности заёмщиков: система показала отличные результаты на тестовых данных, снизила долю невозвратов и ускорила рассмотрение заявок.

Но однажды поступает заявка от клиента, которого вы знаете лично: он много лет обслуживается в вашем банке, у него стабильный доход, безупречная кредитная история, он никогда не допускал просрочек. Система отклоняет его заявку, а сотрудники не могут ему ничего объяснить, они видят только итоговое решение, но не понимают, почему оно принято.

Подрядчик отвечает, что нейросеть слишком сложна, внутри неё миллионы параметров, которые настраивались на исторических данных. Многие современные нейросетевые технологии работают как непрозрачный контейнер: вы подаёте на вход данные, на выходе получаете решение, а что происходит внутри – остаётся загадкой даже для создателей.

В мире технологий это явление давно известно, но для владельца бизнеса, для руководителя, для человека, принимающего решения, оно становится источником серьёзных проблем. Вопрос не в том, случится ли ошибка, а в том, что вы будете делать, когда она случится. Если вы можете объяснить, почему система приняла неверное решение, вы сможете что-то исправить и объясниться с клиентом.

Если же вы не можете объяснить решение, то оказываетесь в ловушке. Особенно остро эта проблема стоит в отраслях, где решения влияют на права и деньги людей? банки и страховые компании, медицинские учреждения, кадровые службы, государственные органы – все они используют или планируют использовать искусственный интеллект для принятия решений.

В этой статье мы разберём, какие риски несёт внедрение непрозрачных систем искусственного интеллекта, чем понятные модели отличаются от непонятных и какие вопросы нужно задать поставщику технологии, прежде чем доверить алгоритмам важные бизнес-решения.

Что такое черный ящик и как он возникает?

Представьте себе закрытый ящик, у него есть входное отверстие, куда вы что-то кладёте, и выходное отверстие, откуда появляется результат. Вы можете положить в ящик одни данные и получить на выходе какое-то решение или предсказание. Но вы не можете заглянуть внутрь ящика! Вы не видите, какие шестерёнки там крутятся, какие правила работают, какие взвешиваются факторы.

Именно так устроены многие современные системы искусственного интеллекта, особенно те, которые основаны на глубоких нейросетях. Пользователь или разработчик подаёт на вход системы набор данных, например анкету клиента с его доходом, возрастом, кредитной историей и другими параметрами. На выходе система выдаёт решение – одобрить или отказать, установить ту или иную цену, отнести клиента к той или иной группе риска.

Но что происходит внутри, в большинстве случаев остаётся загадкой, система не выдаёт вместе с решением список причин, не показывает, какой параметр на что повлиял, не позволяет проследить логическую цепочку рассуждений.

Чтобы понять, почему это происходит, нужно немного разобраться в том, как обучаются современные нейросети. В отличие от традиционных программ, где человек пишет чёткие инструкции в виде кода – «если значение А больше пяти, то выполнить действие Б, иначе выполнить действие В», – нейросеть учится на примерах.

Разработчик собирает большой набор исторических данных, где уже известен правильный ответ, например, десять тысяч анкет клиентов, по которым известно, вернули они кредит или нет. Нейросеть просматривает эти примеры, подстраивая миллионы внутренних параметров таким образом, чтобы на тех же самых примерах её собственные ответы совпадали с реальностью.

В процессе такого обучения нейросеть находит закономерности, которые человек мог бы и не заметить, иногда они отражают реальные причинно-следственные связи, иногда – случайные совпадения, которые оказались верны для обучающей выборки, но не работают на новых данных.

Проблема в том, что после того как обучение завершено, даже создатель нейросети не может просто взглянуть на внутренние параметры и понять, почему сеть приняла то или иное решение. Миллионы параметров не складываются в понятную человеку логику, они представляют собой огромный набор чисел, которые в совокупности дают результат, но не рассказывают историю.

Нейросеть нельзя «прочитать» в привычном смысле, внутри неё нет условий типа «если – то». Там есть слои нейронов, связи между ними, числовые веса этих связей, функции активации, всё это вместе образует математическое преобразование, которое переводит входные данные в выходные. Но для человека это преобразование непредставимо.

Именно поэтому многие специалисты называют современные нейросети «непрозрачными контейнерами». Технология даёт впечатляющие результаты, часто превосходящие возможности человека и традиционных алгоритмов, но она не даёт понимания того, как именно эти результаты достигнуты.

Важно понимать, что непрозрачность не является неизбежным свойством любого искусственного интеллекта. Существуют более простые алгоритмы, например деревья решений или линейные модели, которые по своей природе прозрачны.

Они могут уступать в точности глубоким нейросетям на некоторых задачах, но их логику можно объяснить человеку. Кроме того, существуют методы, которые пытаются «заглянуть внутрь» непрозрачной модели и для каждого конкретного решения определить, какие входные данные повлияли на него больше всего. Эти методы не дают полной картины, но часто достаточны для бизнес-целей.

Выбор между точностью и понятностью – это стратегическое решение, которое должен принимать не разработчик в одиночку, а владелец бизнеса вместе с технической командой. И для этого выбора нужно понимать, что такое непрозрачный контейнер, почему он возникает и какие риски с ним связаны. Потому что, решив внедрить самую точную, но непонятную модель, вы можете получить не конкурентное преимущество, а мину замедленного действия, которая сработает в самый неподходящий момент.

Случаи, когда непрозрачность оправдана

Глядя на риски, можно задаться вопросом: а зачем вообще кто-то использует непрозрачные системы искусственного интеллекта? Если они таят в себе столько опасностей, почему компании по всему миру внедряют их с завидной регулярностью?

Ответ прост: во многих случаях высокая точность и производительность перевешивают риски, связанные с отсутствием объяснений. Кроме того, существуют целые классы задач, где объяснение решения либо не требуется никому, либо его отсутствие не приводит к негативным последствиям.

Первый и самый очевидный сценарий, где непрозрачность не страшна, – это задачи, в которых цена ошибки близка к нулю. Если система ошиблась, никто не пострадал, никто не потерял деньги, никто не был ущемлён в своих правах. В таких случаях компания может спокойно пользоваться самой сложной и непонятной нейросетью, получая выигрыш в точности и скорости, и не беспокоиться о том, что она не может объяснить каждое своё решение:

• Рекомендательные системы в интернет-магазинах и видеоплатформах. Если пользователю порекомендовали не тот товар или не тот фильм, он просто проигнорирует рекомендацию, а компания не понесёт прямых убытков.
• Сортировка и категоризация контента. Автоматическая расстановка тегов на фотографиях, распределение писем по папкам, группировка похожих товаров – ошибка означает лишь то, что предмет попадёт не в ту категорию, и это легко исправить.
• Генерация текстов, изображений, музыки. Здесь результат оценивается субъективно, если нейросеть сгенерировала неудачный текст, его просто не используют. Никто не требует объяснений, почему получилось именно так.

Второй сценарий – это внутренние задачи компании, где решения алгоритма не предъявляются внешнему миру. Если система помогает аналитикам находить закономерности в данных, а аналитики затем принимают решения на основе этих закономерностей, то ответственность за конечное решение лежит на человеке. Алгоритм здесь выступает как инструмент подсказки, а не как самостоятельный агент, принимающий решения от имени компании:

• Поиск скрытых закономерностей в больших данных. Нейросеть может указать аналитику на неочевидные связи между показателями, даже не объясняя их природу. Аналитик сам решает, верить этим выводам или нет.
• Сегментация клиентов. Алгоритм разбивает клиентскую базу на группы со схожими характеристиками. Для маркетолога важен сам факт существования групп, а не точная математическая формула, по которой произведено разбиение.
• Выявление аномалий и подозрительных транзакций. Система помечает необычные операции для последующей проверки специалистом по безопасности. Объяснение от нейросети было бы плюсом, но его отсутствие не мешает работе – специалист сам разбирается в каждом помеченном случае.

Однако даже в этих безобидных на первый взгляд сценариях есть подводные камни, о которых стоит знать. Непрозрачная рекомендательная система может незаметно для бизнеса начать продвигать определённые товары или категории, создавая перекос в ассортименте.

Внутренняя аналитическая система может обнаружить закономерность, которая на самом деле является статистической случайностью, но аналитик, не видя объяснения, примет её за истину.

Поэтому даже в сценариях, где непрозрачность кажется допустимой, разумный руководитель хотя бы время от времени проверяет поведение системы на предмет неожиданных отклонений.

Риски при использовании непрозрачных ИИ-моделей

Невозможность обнаружить и исправить несправедливые решения

Непрозрачная система искусственного интеллекта обучается на исторических данных. Если в этих данных содержались скрытые предубеждения или систематические искажения, нейросеть с высокой вероятностью их усвоит и начнёт воспроизводить:

• Система оценки кредитоспособности может отказать заявителям из определённого района города, потому что в прошлом в этом районе было много невозвратов. При этом в районе могли жить разные люди, но алгоритм запомнил почтовый индекс как маркер риска.
• Система отбора кандидатов на вакансию может отдавать предпочтение мужчинам, потому что в обучающей выборке среди успешных сотрудников было больше мужчин. Причина не в способностях женщин, а в том, что компания исторически больше нанимала мужчин на эту позицию.
• Система ценообразования в страховой компании может устанавливать более высокие тарифы для клиентов определённого возраста или национальности, если в исторических данных была корреляция между этими признаками и частотой страховых случаев.

Потеря доверия клиентов и партнеров

Доверие – один из самых хрупких и ценных активов любой компании. Клиенты готовы прощать ошибки, если они понимают их причины и видят, что компания работает над их исправлением, но когда клиенту отказывают в услуге и не могут объяснить почему, он чувствует себя обманутым и ущемлённым:

• Клиент обращается в службу поддержки с вопросом о причине отказа. Сотрудник поддержки не может дать внятного ответа, потому что система выдала только решение без объяснений, клиент слышит стандартную фразу «решение принято алгоритмом» и воспринимает её как отписку.
• Клиент получает одобрение на одних условиях, а его сосед с похожими параметрами – на других. Никто не может объяснить разницу, клиент делает вывод, что компания работает несправедливо или хаотично.
• Партнёр компании пытается интегрироваться с вашей системой через программные интерфейсы и получает необъяснимые отказы или нестабильное поведение. Без понимания логики системы партнёр не может адаптировать свои процессы и начинает искать альтернативу.

Проблемы с регуляторами и законодательством

Законодательство во всём мире постепенно догоняет технологический прогресс. Уже сегодня в России и других странах существуют требования к прозрачности автоматизированных систем, принимающих решения, влияющие на права граждан:

• Закон о персональных данных требует раскрывать источники получения данных и цели их обработки. Если система принимает решение на основе набора признаков, который невозможно интерпретировать, компания не может выполнить это требование.
• Закон о защите прав потребителей даёт клиенту право на получение информации об услуге, включая порядок принятия решений. Непрозрачная система не позволяет предоставить такую информацию.
• Отраслевые регуляторы, например Центральный банк для финансовых организаций, требуют от компаний раскрывать методологии оценки рисков и кредитоспособности. Чёрный ящик не является приемлемой методологией.

Сложности развития

Любая система, основанная на данных, со временем деградирует: изменяются поведение клиентов, рыночные условия, экономическая ситуация. То, что работало год назад, сегодня может давать систематические ошибки. В непрозрачной системе эти ошибки невозможно не только предсказать, но и диагностировать после их возникновения:

• Система начала чаще ошибаться, но никто не может сказать почему. Данные не изменились, код не менялся, а точность упала, команда не знает, с чего начать поиск проблемы.
• После изменения ассортимента или ценовой политики рекомендательная система продолжает рекомендовать старые позиции, потому что не может адаптироваться к новым условиям, но никто не понимает, какой параметр нужно перенастроить.
• Система безопасности начала пропускать подозрительные транзакции, потому что мошенники нашли способ обходить её логику, но поскольку логика непрозрачна, команда не может понять, как именно мошенники её обходят, и не может закрыть уязвимость.

Как работают прозрачные ИИ-модели в ПО для бизнеса?

После того как мы разобрали риски, связанные с непрозрачными системами, закономерно возникает вопрос: а существует ли альтернатива? Можно ли получить высокую точность предсказаний, но при этом не потерять способность понимать и объяснять решения? Ответ – да, существует.

Речь идёт не об одной конкретной технологии, а о целом семействе подходов и методов, объединённых общей целью: сделать так, чтобы человек мог понять, почему система приняла то или иное решение. Причём важно подчеркнуть, что эта область не возникла вчера – исследования в ней ведутся уже много лет, но именно сейчас, с ростом регулирования и требований к прозрачности, она выходит на первый план.

Понятный искусственный интеллект – это система, которая не просто выдаёт результат, но и предоставляет человеку объяснение этого результата. Объяснение должно быть доступно не только специалисту по обработке данных, но и обычному руководителю, клиенту или регулятору.

Существует два основных подхода к созданию понятного искусственного интеллекта. Первый подход – использовать модели, которые являются прозрачными изначально, с момента их создания. Это так называемые «понятные от рождения» алгоритмы.

Второй подход – взять уже обученную непрозрачную модель и применить к ней методы, которые пытаются объяснить её решения постфактум, то есть после того, как решение уже принято.

Оба подхода имеют свои сильные и слабые стороны, и выбор между ними зависит от конкретной бизнес-задачи, от требуемой точности, от регуляторных требований и от готовности компании мириться с ограничениями каждого из подходов.

Изначально прозрачные модели

Существуют алгоритмы машинного обучения, которые по своей конструкции являются прозрачными. Их внутреннее устройство позволяет человеку проследить логику принятия решения от начала до конца без специальных инструментов.

Самый яркий и наглядный пример изначально понятных моделей – деревья решений. Представьте себе блок-схему, где от каждого блока отходят две или более стрелок в зависимости от ответа на вопрос. Алгоритм начинает с корневого вопроса, например: «Доход клиента превышает пятьдесят тысяч рублей?» Если да, он переходит к следующему вопросу: «Стаж работы на текущем месте больше двух лет?»

И так далее, пока не дойдёт до конечного блока, в котором записано решение: «Одобрить кредит» или «Отказать». Всё это можно нарисовать на одном листе бумаги, и любой человек, даже далёкий от технологий, поймёт логику.

Если решение оказалось ошибочным, можно пройти по дереву от начала до конца, найти блок, где логика дала сбой, и понять, какой именно вопрос был задан неверно или какое условие сработало неправильно.

Другой пример изначально понятных моделей – линейные модели. В них итоговое решение вычисляется как взвешенная сумма входных признаков. Каждый признак имеет свой вес, который показывает его важность. Например, модель может иметь такие веса: «доход» – 0.4, «кредитная история» – 0.5, «возраст» – 0.1, «наличие недвижимости» – 0.2.

Итоговый балл для конкретного клиента рассчитывается как сумма каждого признака, умноженного на его вес. Объяснить такое решение легко: «Ваш итоговый балл составил 72, а порог одобрения – 70. Больше всего на ваш балл повлияла хорошая кредитная история, затем доход, а возраст сыграл небольшую роль.»

Существуют и другие изначально понятные модели, например системы правил или байесовские сети, но деревья решений и линейные модели остаются самыми распространёнными в бизнес-приложениях именно благодаря балансу между понятностью и практической полезностью.

Объяснение непрозрачных моделей

Существует семейство методов, которые позволяют заглянуть внутрь непрозрачной модели и для каждого конкретного решения определить, какие входные данные повлияли на него больше всего.

Вы подаёте на вход ящика какие-то данные, получаете результат. Затем вы немного меняете входные данные и смотрите, как изменился результат. Если небольшое изменение привело к большому изменению результата, значит, этот входной параметр был важным. Если результат почти не изменился, значит, параметр был незначительным.

Проводя тысячи таких маленьких экспериментов для каждого конкретного решения, можно построить картину того, какие факторы на что повлияли. Именно эту идею и реализуют методы постфактум, только делают это математически строго и с учётом сложных взаимодействий между признаками.

Самая популярная группа методов называется LIME. Название расшифровывается как «локальные интерпретируемые модельно-агностические объяснения». Если отбросить сложные термины, суть метода в следующем: система получает конкретное решение, которое нужно объяснить.

Берутся исходные данные, которые привели к этому решению. Затем вокруг этих данных генерируется множество слегка изменённых копий. Каждая такая копия подаётся на вход непрозрачной модели, и фиксируется, как меняется выходное решение. На основе этих изменений строится простая, понятная модель. Эта простая модель уже может быть объяснена человеку.

Другой широко распространённый метод называется SHAP. Идея в следующем. Каждый входной признак рассматривается как игрок в кооперативной игре, а итоговое решение модели – как общий выигрыш команды.

Метод вычисляет, какой вклад внёс каждый признак по сравнению с ситуацией, когда этот признак отсутствует. Причём вычисляется не просто вклад каждого признака в отдельности, а учитываются все возможные комбинации признаков и взаимодействия между ними. На выходе получается доля влияния каждого признака, и эти доли в сумме дают 100 процентов.

Важно понимать ограничения методов постфактум: они дают не истинное объяснение того, как работает модель, а приближение, оценку. Эта оценка может быть неточной или даже вводящей в заблуждение, если модель ведёт себя очень сложно и нелинейно.

Как убедиться в качестве будущей модели: вопросы подрядчику

Когда компания решает внедрить систему искусственного интеллекта неизбежно встаёт вопрос выбора подрядчика, который эту систему разработает. Маркетинговые материалы редко говорят о главном: сможет ли система объяснять свои решения и насколько прозрачной она будет в реальной эксплуатации.

Чтобы не оказаться в ситуации, когда вы получаете непрозрачный контейнер с непонятной логикой и не можете ничего с этим сделать, нужно задать поставщику три ключевых вопроса.

Какие решения система может объяснить, а какие нет?

Этот вопрос звучит просто, но он позволяет быстро отсечь недобросовестных поставщиков, которые обещают «всё объяснить», не вдаваясь в детали. Честный поставщик должен назвать конкретные ограничения. Например: «Мы можем объяснить решение по каждому кредитному отказу, указывая три главных фактора и их процент влияния. Но для решений по одобрению мы даём только общий балл без детализации, потому что считаем это коммерческой тайной модели».

Что должно насторожить? Ответы «всё будет объяснено» без конкретики или ответы, которые уходят в общие рассуждения о важности прозрачности, но не называют конкретные методы и форматы объяснений. Также должно насторожить, если поставщик не может показать примеры реальных объяснений для своих моделей.

В каком виде предоставляются объяснения и кто является получателем?

Для клиента, который получил отказ, объяснение должно быть коротким, понятным и не содержать технических терминов. Для регулятора или аудитора объяснение должно быть более детальным и технически обоснованным. Оно должно показывать, что система не использует запрещённые признаки, что она проверена на предмет дискриминации, что её поведение стабильно во времени.

Для внутренних аналитиков и разработчиков компании объяснения должны быть максимально полными. Им нужно понимать не только «что» повлияло, но и «как» – как именно изменение каждого признака меняет результат, какие между признаками есть взаимодействия, где модель может быть нестабильна.

Нужно спросить у поставщика: «Покажите мне три примера объяснений – для клиента, для регулятора и для нашего аналитика. Как они будут выглядеть? На каком носителе они предоставляются – в интерфейсе системы, в виде отчёта, через программный интерфейс? Можно ли экспортировать объяснения для массового анализа? Поддерживается ли русский язык для клиентских объяснений?» Хороший поставщик покажет примеры и расскажет, как настраиваются форматы под разные нужды.

Как проверяется корректность?

• Первый метод проверки – это тестирование на синтетических данных с известной логикой. Создаётся искусственный набор данных, где истинная зависимость между признаками и результатом известна и проста.
• Второй метод – это стабильность объяснений. Если слегка изменить входные данные, объяснение не должно кардинально меняться. Если клиент с доходом 60 тысяч получил объяснение, что главный фактор – доход, а клиент с доходом 59.9 тысяч получает объяснение, что главный фактор – возраст, это признак нестабильности и потенциальной ненадёжности метода.
• Четвёртый метод проверки – это практическое тестирование. Если объяснение говорит, что главный фактор – доход, то при увеличении дохода у группы похожих клиентов решение должно меняться предсказуемым образом.

Нужно спросить у поставщика: «Как вы проверяете, что ваши объяснения не врут? Какие метрики качества объяснений вы используете? Можете ли вы показать результаты тестирования на синтетических данных? Как часто ваши объяснения расходятся с реальным поведением модели в угловых случаях?»

Разработка ПО от 66 Бит

Искусственный интеллект – это непросто, но всего за 10 минут чтения вы заметно продвинулись в его понимании, а главное – в понимании его влияния на ваш бизнес!

Самое время внедрить себе прозрачную ИИ-модель, а эффективнее всего будет это сделать с помощью 66 Бит! Наши опытные специалисты проведут глубокий аудит ваших процессов и спроектируют решение, которое поднимет производительность бизнеса на новый уровень. Скорее переходите на наш сайт!