Внимание черный ящик: Внимание, черный ящик

Содержание

Внимание, черный ящик

Прогресс в машинном обучении, достигнутый за последнее десятилетие, подарил нам как множество новых возможностей, так и неочевидные проблемы: модели машинного обучения стали настолько сложными и большими, что понять логику их действий все труднее. Вместе с Yandex Research, который проводит исследования машинного обучения мирового уровня, рассказываем, как разработчики изучают современные ML-алгоритмы — и почему это стоит делать, даже если они работают хорошо.

Медиа охотно говорят про успехи машинного обучения в самых разных сферах: от обработки фотографий до диагностики рака. Но несмотря на очевидный прогресс, это всё ещё очень молодая область, фундаментальные задачи которой нам только предстоит решить. В чём они заключаются и каким может быть их решение, мы расскажем в «Есть задача» — совместном проекте Yandex Research и N + 1.

Начало обучения

Нейросети на слуху последние несколько лет.

Может показаться, что это новый тип алгоритмов. Отчасти так оно и есть: многие архитектуры нейросетей, успевшие стать классическими, появились лишь несколько лет назад. Но идея повторить в машине принцип работы нейронных сетей была реализована на самой заре машинного обучения.

В конце 1950-х годов Фрэнк Розенблатт описал и реализовал «в железе» перцептрон — простейшую архитектуру искусственных нейросетей, которая заложила основу для современных нейросетей (а многослойные перцептроны широко применяются до сих пор).

Розенблатт показал работу перцептрона, обучив его распознавать знаки и символы, что для 1958 года было серьезным успехом. Но, пожалуй, главное достижение и следствие этого заключалось в укреплении идеи, что для создания машины инженеру не нужно вручную прописывать набор правил — они могут родиться сами в виде весов во время обучения.

В дальнейшем ученые придумывали все новые и новые архитектуры моделей машинного обучения, причем не только нейросетевые. И хотя математические операции внутри моделей по отдельности оставались понятными, их количество и взаимное влияние усложняло анализ работы алгоритмов.

Старший исследователь Yandex Research Андрей Малинин объясняет: «Представьте огромный часовой механизм размером с небоскреб, внутри которого крутятся миллиарды шестеренок размером в ноготь — все красиво крутится, но ничего не понятно. Мы можем посмотреть на какой-то локальный кусочек с парой шестеренок, и вроде ясно, как в нем все работает, но неясно, как это встраивается в механизм в целом».

Современная эра

В 2012 году в развитии машинного обучения наметился прорыв, связанный с нейросетью AlexNet. Это сверточная нейросеть для классификации изображений из датасета ImageNet, в котором содержится более 15 миллионов изображений объектов, разбитых на 22 тысячи категорий. Задача бенчмарка ImageNet — определить класс объекта на фотографии. AlexNet удалось выиграть соревнования ImageNet 2012 года, причем с большим отрывом от ближайшего конкурента: частота ошибок при определении пяти самых вероятных объектов составила 15,3 процента против 26,2 у алгоритма со второго места.

Такой успех можно объяснить несколькими причинами. Во-первых, разработчики улучшили архитектуру нейросети, использовав в качестве функции активации редкую для того времени и повсеместно применяемую сейчас ReLU. Во-вторых, хотя это была большая нейросеть, состоявшая из 650 тысяч нейронов и имевшая 60 миллионов параметров, разработчики нашли способ ускорить ее обучение. Они сумели распараллелить обучение сети на два графических процессора. Это была не первая работа, в которой нейросети предлагали обучать на графических процессорах, но, вероятно, первый заметный пример, который показал другим исследователям, что ограничения по вычислительной мощности, сдерживавшие развитие этой области, можно обойти. А значит, размеры моделей и обучающих датасетов можно смело увеличивать.

Спустя шесть лет исследователи из OpenAI проанализировали ключевые работы в области нейросетей и показали, что именно с AlexNet в 2012 году начался рост затрачиваемой на обучение вычислительной мощности. Если раньше она удваивалась каждые два года, следуя закону Мура, то с 2012 года удвоение происходило уже каждые 3–4 месяца. Благодаря такой четкой временной границе OpenAI предложила называть период после 2012 года «современной эрой».

Вместе с увеличением размера нейросетей менялись и подходы к обучению. Стало набирать популярность обучение без учителя на неразмеченных данных.

Хороший пример такого подхода — нейросети GPT, разработанные в OpenAI. Это модели генерации текста, задача которых сводится к предсказанию следующего слова в предложении. Это позволяет писать большие тексты, которые выглядят как результат работы человека, а не машины. Разработчики GPT решили уйти от обучения на ограниченных датасетах с размеченными текстами к самообучению на гигантском объеме самых разных текстов из интернета: GPT-3 обучили на 570 гигабайт текстов. Это позволило модели выучить структуру языка, после чего ее можно быстро дообучить для конкретной задачи, например генерации стихов в стиле любимого поэта, показав всего несколько примеров, а не собирая новый большой датасет.

Подход OpenAI оказался настолько успешным, что творения GPT-3 зачастую сложно отличить от текстов, написанных человеком, а свои реализации этого подхода стали использовать в коммерческих продуктах многие IT-гиганты, в том числе и Яндекс.

Как заглянуть в черный ящик

В 2015 году интернет наполнился «кислотными» картинками, сгенерированными нейросетью DeepDream от Google, которая превращала обычные фотографии в нечто странное. Примеры таких изображений можно посмотреть в галерее, собранной N + 1. За этим, казалось бы, развлекательным контентом стоял важный эксперимент: исследователи попытались заглянуть внутрь нейросети, чтобы понять, на какие особенности изображений она обращает внимание при работе.

Исходная DeepDream (позже так стали называть и сам подход, заложенный авторами) представляла собой сверточную нейросеть для классификации изображений. Ее обучали стандартным способом: показывали фотографии и классы, постепенно меняя параметры, чтобы она выдавала корректный класс на данное ей изображение. В процессе обучения слои нейросети формировали представление о важных визуальных признаках тех или иных объектов. Каждый слой отвечает за свою часть: первые запоминают детали, а последние смотрят на крупные объекты.

Разработчики DeepDream решили повернуть процесс в обратную сторону. В этом режиме нейросеть изменяла входное изображение, усиливая признаки, которые она в нем распознала, чтобы повысить уверенность распознавания соответствующего класса. К примеру, если показать ей облако, напоминающее животное, с каждой итерацией нейросеть будет модифицировать фотографию так, чтобы сходство усиливалось. На выходе получается странное изображение, которое визуализирует, как нейросеть представляет себе объект этого класса. Это позволяет исследователям понять, на какие признаки объектов модель обращала внимание в процессе обучения, чтобы при необходимости поменять выборку данных. Причем визуализировать можно даже работу конкретных слоев, чтобы еще более подробно изучить внутренности модели.

Заглядывать в «черный ящик» ученым необходимо по разным причинам. «Кому-то интересно узнать, на основании чего модель совершает предсказания, и сделать из этого более фундаментальные выводы, а кому-то хочется улучшить надежность и прозрачность существующих систем, применяемых нами каждый день», — объясняет исследователь Yandex Research Максим Рябинин.

Есть и другие способы визуализировать процесс принятия решения в нейросетях, работающих с изображениями. Например, построение карты значимости: на базе входного изображения создается тепловая карта, на которой отмечены ключевые для распознавания регионы. Как и в случае с DeepDream, это позволяет объяснить, как алгоритм пришел к выводу о том, что на изображении находится тот или иной объект.

Еще один примечательный метод объяснения работы «черного ящика» разработали в 2016 году ученые из Вашингтонского университета. Метод LIME основан на идее, что объяснить поведение модели типа «черный ящик» можно не заглядывая внутрь, а наблюдая только за тем, как выходные данные зависят от входных.

В модель, которую нужно проверить, загружаются незначительно измененные варианты одних и тех же данных, например отредактированное изображение или текст, после чего записываются ее реакции. Параллельно с этим LIME создает модель, которая ведет себя так же, как и «черный ящик», но основана на более интерпретируемой архитектуре. Например, это может быть метод дерева решений, при котором каждое из них появляется в результате бинарного выбора на основе конкретных признаков. Это позволяет определить важные для модели признаки, даже если у исследователя нет доступа к ее «внутренностям».

Оценить по достоинству

Сделать модели более понятными изнутри не так просто, а вот их измерения снаружи освоены гораздо лучше. Для этого в машинном обучении существуют бенчмарки — наборы данных и метрики, позволяющие поставить разные алгоритмы в одинаковые условия и оценить их эффективность.

Одним из первых крупных бенчмарков был ImageNet, о котором мы рассказывали выше. Создатели описывали его как самый широкий и полный набор данных в мире изображений. С этим трудно поспорить: ImageNet содержал в 100 раз больше изображений и в 20 раз больше классов, чем аналогичные датасеты. Бенчмарк предназначался для моделей компьютерного зрения, распознающих образы на фотографиях: кошки, автомобили, деревья и тому подобное.

За ImageNet стояла простая идея: если мы хотим получить машину с человеческим (а в идеале — сверхчеловеческим) зрением, нам нужно научить ее понимать мир вокруг. В то время, когда компьютерное зрение не было развито так, как сейчас, эта идея работала. Но по мере того, как алгоритмы развиваются и глубже входят в нашу повседневную жизнь, на первый план выходят более узкие и применимые на практике задачи, и возникает потребность в новых бенчмарках и датасетах.

Наперегонки с прогрессом

Прогресс в машинном обучении диктует потребность в новых бенчмарках во многом потому, что в некоторых сферах алгоритмы развиваются слишком быстро.

В 2018 году американские и британские исследователи представили бенчмарк GLUE — General Language Understanding Evaluation, оценка общего понимания языка. Цель авторов — подстегнуть создание универсальных языковых моделей, которые смогут выполнять разные задачи по работе с текстом. В бенчмарке есть девять задач, в том числе оценка смысловой равнозначности предложений, понимание взаимоотношений между предложениями и ответ на вопрос после прочтения абзаца. Помимо датасетов и метрик авторы GLUE запустили платформу для оценки работы моделей и список лучших среди них.

Казалось бы, GLUE — отличный бенчмарк для оценки понимания языка моделями машинного обучения. Но его релиз совпал с взрывным прогрессом в языковых моделях и ростом популярности нейросетей типа трансформер, основанных на механизме внимания и способных фокусироваться на важных фрагментах текста. В результате уже через год лучшая модель в списке лидеров обогнала по качеству работы человека: ее совокупный результат на девяти задачах составил 88,4 против 87,1 у людей. Стало ясно, что в этих задачах машины либо уже побеждают людей, либо близки к этому.

Тогда авторы GLUE разработали бенчмарк SuperGLUE, который включает восемь задач — шесть новых и две самые сложные из исходного GLUE: RTE, в которой алгоритму нужно понять, вытекает ли смысл одного текста из другого, и WSC, в которой машина должна разобраться в смысловой неоднозначности предложения.

Как и многие другие бенчмарки, GLUE изначально «заточен» под английский язык. И если для классификатора изображений вполне можно обойтись переводом разметки датасета, то для чисто языковых и не самых простых языковых задач этот подход дает больше ошибок и казусов. Через год после выхода англоязычного SuperGLUE российские исследователи запустили аналогичный бенчмарк, задания в котором по большей части не просто переведены на русский, а подобраны с нуля с учетом специфики языка.

Не эффективностью единой

Прогресс последних лет в машинном обучении был сосредоточен на эффективности работы моделей машинного обучения, и это дало свои плоды. Но алгоритмы важны не сами по себе. Конечная цель любой разработки в этой области — научить машину помогать людям, облегчать и улучшать их жизнь.

По мере того как машинное обучение применяли все шире, стало очевидно, что алгоритмы не всегда работают так, как хотелось бы, даже если по основным метрикам они показывают превосходные результаты. В исходной статье с описанием GPT-3 исследователи признали, что при генерации предложений алгоритм иногда использует оскорбительные и неполиткорректные выражения. Объяснить каждое такое решение невозможно, когда речь идет об алгоритме со 175 миллиардами параметров, обученном на сотнях гигабайт данных.

Есть и сферы, где цена ошибки алгоритма может быть гораздо выше. Например, в конце марта ЕС одобрил полностью автономный алгоритм выявления аномалий на рентгеновских снимках легких — это значит, что системе больше не требуется надзор и проверка со стороны опытного врача. В этом случае возможность понять, в чем заключается ошибка, если она возникнет, критически важна. Кроме того, способность заглянуть внутрь модели позволяет убедиться, что алгоритм действительно решает поставленную задачу, а не просто приспособился к обучающей выборке.

«Тот факт, что алгоритм как-то работает, не означает, что он работает как ожидается в интересных нам условиях. — отмечает Максим Рябинин. — К примеру, модель классификации рентгеновских снимков может ориентироваться на пометки врачей, а не на их фактическое содержание, если окажется, что в обучающих данных вся информация, нужная для предсказания, содержится в этих пометках».

По мнению Андрея Малинина, бенчмарки будут развиваться в сторону оценки большого ряда свойств моделей. «Обобщение на смещенных и не смещенных выборках, оценка того, насколько их предсказания справедливы, как часто модели сильно ошибаются, насколько они безопасны, и так далее — перечисляет он. — В идеале, модели должны оцениваться в контексте их итогового применения, а не на фиксированном наборе данных».

В мире машинного обучения, где два-три года — это целая эпоха, усилия можно запросто свести к погоне за эффективностью, иначе можно отстать от коллег и конкурентов. Однако постепенно разработчики и исследователи приходят к выводу, что для долгосрочного развития важно, чтобы эффективность шла рука об руку с прозрачностью алгоритмов. Это снизит опасения людей и позволит использовать машинное обучение даже в самых чувствительных областях.

О том, как обучаются нейросети и почему нам трудно (но важно) понимать, как они принимают решения, смотрите в мультфильме «Что мы знаем о том, как «думают» нейросети?»

«Внимание, чёрный ящик!»: 15 занимательных вопросов из передачи «Что? Где? Когда?»

30 января 2021 Отдых

Пыль, пустота и даже живой кролик — чего только не побывало внутри таинственного короба за годы игры. Догадайтесь, что в нём спрятано на этот раз.

– 1 –

В конце XIX века в Англии при поимке преступников высокопоставленные чины часто прибегали к помощи кавалерии Святого Георгия. В чёрном ящике — один из представителей этой кавалерии. Что там?

Показать ответ

Скрыть ответ

– 2 –

Когда в Италии ввели обязательное использование ремней безопасности, фабрики, выпускающие такие футболки, резко увеличили свой доход. Какая именно футболка находится в чёрном ящике?

Показать ответ

Скрыть ответ

– 3 –

«Вавилонский ты повар, македонский колесник, иерусалимский пивовар, александрийский козолуп, Большого и Малого Египта свинопас, армянский ворюга, татарский сагайдак, каменецкий палач, всего света и подсвета дурак, самого аспида внук» — знаете, кто изрыгал эти проклятия? Что в чёрном ящике?

Показать ответ

Скрыть ответ

– 4 –

В чёрном ящике лежит то, что в давние времена именовали сладким ядом королей. Королей в наши дни не так много, а сладкого яда становится всё больше и больше. Что в чёрном ящике?

Показать ответ

Скрыть ответ

– 5 –

В чёрном ящике находится всем известный продукт, который впервые появился в Бразилии в 1938 году. Что же внутри?

Показать ответ

Скрыть ответ

– 6 –

Знаете ли вы изобретение Джонатана Карра, придуманное для того, чтобы дети охотнее тянулись к знаниям? Он же сделал первые 500 тонн того, что находится в чёрном ящике. Что там?

Показать ответ

Скрыть ответ

– 7 –

Согласно легенде, буддийский монах Бодхидхарма девять лет медитировал в пещере, глядя в голую стену. Однажды он почувствовал, что не может больше бодрствовать и засыпает. Тогда Бодхидхарма вырвал себе веки и выбросил их. То, во что они превратились, находится в чёрном ящике.

Показать ответ

Скрыть ответ

– 8 –

Для крепких это — украшение, для слабых — укрепление, для упавших — подпора, а для несуществующих — появление. С такой элегантностью говорил философ Вольтер о модной в его времена вещи, которая лежит в чёрном ящике. О чём речь?

Показать ответ

Скрыть ответ

– 9 –

То, что находится в чёрном ящике, обезьяны одного европейского зоопарка постоянно воровали у посетителей. Тогда администрация повесила на клетку с этими зверьками предостерегающее объявление. Но что-то пошло не так, и обезьяны продолжили заниматься воровством. В чём был просчёт администрации? Что в чёрном ящике?

Показать ответ

Скрыть ответ

– 10 –

Древние китайцы считали, что это должно быть тонким как бумага, блестящим как зеркало, звонким как гонг и гладким, как озеро в солнечный день. Что в чёрном ящике?

Показать ответ

Скрыть ответ

– 11 –

В одном чёрном ящике находится нечто прекрасное и живое, в другом — нечто прекрасное, но мёртвое. Мёртвое заменяло живое в голландских домах XVII века. Что в ящиках?

Показать ответ

Скрыть ответ

– 12 –

В чёрном ящике находится предмет, которым пользовались ещё в Древнем Египте и Месопотамии. Со стороны он выглядит аппетитно, хотя считается совершенно несъедобным. В то же время многие съедают его по несколько раз в день и сразу накладывают следующую порцию. О чём речь?

Показать ответ

Скрыть ответ

– 13 –

«Он в том покое поселился,
Где деревенский старожил
Лет сорок с ключницей бранился,
В окно смотрел и мух давил».

В чёрном ящике находится приспособление, при помощи которого дядя Евгения Онегина «давил мух». Что внутри?

Показать ответ

Скрыть ответ

– 14 –

В 1921 году химик по фамилии Бо получил от певицы по имени Габриэль заказ на проведение опытов. Поначалу они не увенчались успехом. Если вы догадаетесь, каковы были специализация химика, фамилия певицы и порядковый номер удачного опыта, то без труда скажете, что в чёрном ящике.

Показать ответ

Скрыть ответ

– 15 –

Сначала он утопал в шелках, потом переоделся в чистый хлопок, а теперь щеголяет в особой бумаге. В чёрном ящике — изобретение для ленивых торговца Томаса Салливана. Какое?

Показать ответ

Скрыть ответ

Вопросы для подборки взяты из этого архива.

На сколько вопросов ответили? Рассказывайте в комментариях!

Взлом «черного ящика» искусственного интеллекта

В феврале 2020 года, когда COVID-19 быстро распространялся по всему миру, а тесты на антигены было трудно найти, некоторые врачи обратились к искусственному интеллекту (ИИ), чтобы попытаться диагностировать случаи ¹ . Некоторые исследователи поручили глубоким нейронным сетям — сложным системам, которые умеют находить тонкие закономерности в изображениях — просматривать рентгеновские снимки и компьютерную томографию (КТ) органов грудной клетки, чтобы быстро отличить людей с пневмонией, вызванной COVID, от тех, у кого нет ² . «В начале пандемии COVID-19 велась гонка за созданием инструментов, особенно инструментов искусственного интеллекта, чтобы помочь», — говорит Алекс ДеГрейв, компьютерный инженер из Вашингтонского университета в Сиэтле. Но в этой спешке исследователи не заметили, что многие модели искусственного интеллекта решили пойти несколькими путями.

Системы ИИ оттачивали свои навыки, анализируя рентгеновские снимки, которые были помечены как COVID-положительные или COVID-отрицательные. Затем они использовали обнаруженные ими различия между изображениями, чтобы делать выводы о новых, немаркированных рентгеновских снимках. Но была проблема. «В то время было не так много доступных данных, — говорит ДеГрейв.

Часть Nature Outlook: робототехника и искусственный интеллект

Рентгенограммы людей с COVID-19 были выпущены рядом больниц, объясняет он. Между тем сканы людей без COVID-19 поступали в основном из хранилища изображений легких, хранящегося в Национальном институте здравоохранения США, которое было собрано до пандемии. В результате наборы данных имели характерные различия, никак не связанные с наличием у человека заболевания. Например, во многих рентгеновских снимках правый бок человека обозначается буквой R, поэтому радиолог, глядя на изображение, может правильно сориентировать его. Однако внешний вид этих маркеров отличается от одной больницы к другой. Поскольку большинство COVID-негативных изображений поступает из одного источника, некоторые системы искусственного интеллекта, обученные таким образом, основывали свои диагнозы не только на отображаемой биологии, но и на стиле и расположении буквы R на рентгеновском снимке.

ДеГрейв и Джозеф Джанизек, оба сотрудники Лаборатории объяснимого ИИ Су-Ин Ли для биологических и медицинских наук в Сиэтле, опубликовали статью ³ в Nature Machine Intelligence в мае 2021 года, в которой сообщается о проблеме. Процесс принятия решений в модели машинного обучения часто называют «черным ящиком» — исследователи и пользователи обычно знают входные и выходные данные, но трудно понять, что происходит внутри. Но ДеГрейв и Джанизек смогли открыть эти ящики, используя методы, разработанные для тестирования систем ИИ и объяснения того, почему они делают то, что делают.

Части рентгеновских снимков, которые системы искусственного интеллекта использовали для постановки диагноза COVID-19 (красные пиксели), включали буквы, которыми были отмечены правые стороны пациентов. Предоставлено: А. Бустос и др. Мед. Анальный образ. 66 , 101797 (2020)

Создание объяснимого ИИ, иногда называемого XAI, имеет множество преимуществ. В медицинских условиях понимание того, почему система поставила определенный диагноз, может помочь убедить патологоанатома в его правомерности. В некоторых случаях разъяснения требуются по закону: например, когда система принимает решение о праве на получение кредита, и Соединенные Штаты, и Европейский Союз требуют доказательств того, что если в кредите отказано, это не по причинам, запрещенным законом, таким как расовая принадлежность. или секс. Понимание внутренней работы системы ИИ также может помочь специалистам по информатике улучшить и уточнить модели, которые они создают, и даже может привести к свежим идеям о том, как подходить к определенным проблемам. Тем не менее, преимущества XAI могут быть достигнуты только в том случае, если объяснения, которые он дает, сами по себе понятны и поддаются проверке, и если люди, создающие модели, считают это стоящим делом.

Нейрон с любым другим названием

Глубокие нейронные сети, которые исследовали ДеГрейв и Джанизек, стали популярными благодаря их сверхъестественной способности узнавать о том, что изображено на фотографии, о значении разговорной речи и многом другом, просто через экспозицию. Эти сети работают аналогично человеческому мозгу. Подобно тому, как некоторые живые нервные клетки срабатывают по определенному шаблону в ответ на внешние раздражители — например, вид кошки вызывает другой паттерн, чем вид дерева, — искусственные нейроны в нейронной сети производят характерный ответ на внешние раздражители. основе входных данных, которые они получают.

Подпишитесь на информационный бюллетень Nature о робототехнике и искусственном интеллекте

Нейроны в данном случае являются математическими функциями. Входные данные поступают в систему в числовой форме, описывая, например, цвет пикселя на фотографии. Затем нейроны выполняют расчет этих данных. В человеческом теле нейроны запускают сигнал только в том случае, если получаемый ими стимул превышает определенный электрический порог. Точно так же каждый математический нейрон в искусственной нейронной сети взвешивается пороговым значением. Если результат вычисления превышает этот порог, он передается другому слою нейронов для дальнейших вычислений. В конце концов, система изучает статистические закономерности того, как исходящие данные соотносятся с поступающими данными. Изображения, которые были помечены как содержащие кошку, будут иметь систематические отличия от изображений, помеченных как отсутствие кошки, и эти контрольные признаки могут затем искать на других изображениях, чтобы установить вероятность присутствия кошки.

Существуют различные конструкции нейронных сетей, а также другие методы машинного обучения. Чем больше уровней расчета модель применяет к входным данным, тем сложнее становится объяснить, что она делает. Простые модели, такие как небольшие деревья решений, которые взвешивают несколько конкурирующих вариантов, ведущих к разным ответам, на самом деле не являются черными ящиками, говорит Кейт Саенко, ученый-компьютерщик из Бостонского университета в Массачусетсе. Небольшие деревья решений — это «по сути набор правил, по которым человек может легко понять, что делает эта модель, поэтому она по своей сути интерпретируема», — говорит она. Однако глубокая нейронная сеть, как правило, слишком сложна, чтобы мы могли легко разобраться в ней. «Нейронная сеть выполняет вычисления, в которых задействованы миллионы, а сейчас, скорее всего, миллиарды чисел», — говорит Саенко.

Активность картирования

В общем, попытки объяснить таинственную работу глубокой нейронной сети включают в себя выяснение того, какие характеристики входных данных влияют на результаты, и использование этого для вывода о том, что происходит внутри черного ящика. Одним из инструментов, который помог ДеГрейву и Янизеку понять, что маркеры ориентации на рентгенограммах грудной клетки влияют на диагностику, были карты заметности — диаграммы с цветовой кодировкой, которые показывают, на какую часть изображения компьютер обращал больше всего внимания при вызове.

Саенко и ее коллеги разработали технику, называемую D-RISE (детекторная рандомизированная входная выборка для объяснения) для создания таких карт ⁴ . Исследователи фотографируют — например, вазу, полную цветов — и систематически блокируют различные части изображения, прежде чем показать его ИИ, которому поручено идентифицировать конкретный объект, например вазу. Затем они записывают, как затемнение каждого кластера пикселей влияет на точность результатов, а также сообщают системе о цветовом кодировании всей фотографии в зависимости от того, насколько важна каждая часть для процесса распознавания.

Алекс ДеГрейв и Джозеф Джанизек — студенты программы подготовки медицинских ученых в Вашингтонском университете в Сиэтле. Предоставлено: Алекс ДеГрейв

Неудивительно, что на изображении наполненной цветами вазы сама ваза подсвечивается яркими красными и желтыми цветами — ее присутствие важно. Но это не единственная область изображения, которая выделена. «Важность простирается вплоть до букета цветов», — говорит Саенко. «Они не помечены как часть вазы, но модель узнает, что если вы видите цветы, гораздо более вероятно, что этот объект — ваза».

D-RISE выделяет факторы, удаление которых может привести к изменению результатов модели ИИ. «Это полезно для понимания того, какие ошибки они могут совершать или делают что-то не по той причине», — говорит Саенко, чья работа в этой области частично финансировалась за счет уже завершенной программы XAI, проводимой Управлением перспективных исследований Министерства обороны США. Агентство проектов.

Изменение входных данных для определения важных функций — это базовый подход ко многим типам моделей ИИ. Но задача усложняется в более сложных нейронных сетях, говорит Анупам Датта, ученый-компьютерщик из Университета Карнеги-Меллона в Питтсбурге, штат Пенсильвания. В этих сложных случаях ученые хотят выяснить не только, какие характеристики играют роль в принятии решений и насколько велика эта роль, но также и то, как меняется важность характеристики по отношению к изменениям других характеристик. «Элемент причинности все еще сохраняется, потому что мы все еще пытаемся выяснить, какие функции оказывают наибольшее причинное влияние на прогноз модели», — говорит Датта. «Но механизм его измерения немного меняется». Как и в случае с картами заметности Саенко, он систематически блокирует отдельные пиксели на изображениях. Затем этой части изображения можно присвоить математическое значение, представляющее величину изменения, происходящего в результате затемнения этой части. Видя, какие пиксели наиболее важны, Датта узнает, какие нейроны в скрытых слоях играют наибольшую роль в результате, помогая ему составить карту внутренней структуры модели и сделать выводы о концепциях, которые она изучила 9.0003 5 .

Достижения по сравнению с объяснением

Другой способ, которым ДеГрейв и Джанизек измеряли значимость, основывался на сложном типе нейронной сети, известной как генеративно-состязательная сеть (GAN). Типичная GAN состоит из пары сетей. Один генерирует данные — например, изображение улицы, — а другой пытается определить, является ли результат реальным или фальшивым.

Две сети продолжают взаимодействовать таким образом, пока первая сеть не начнет надежно создавать образы, которые смогут обмануть другую. В их случае вашингтонские исследователи попросили GAN превратить рентгеновские снимки, положительные на COVID, в отрицательные изображения 9.0003 3 . Увидев, какие аспекты рентгеновских лучей он изменил, исследователи могли увидеть, какую часть изображения компьютер считал важной для своего диагноза.

Хотя основной принцип GAN прост, тонкая динамика пары сетей не совсем понятна. «То, как GAN генерирует изображения, весьма загадочно», — говорит Антонио Торральба, ученый-компьютерщик из Массачусетского технологического института в Кембридже, который пытается разгадать эту загадку. При случайном вводе чисел он в конечном итоге выводит изображение, которое выглядит реальным. Этот подход использовался для создания фотографий лиц, которых не существует, и создания новостей, которые читаются так, как если бы они были написаны человеком.

Торральба и его команда решили проанализировать GAN и посмотреть, что делают отдельные нейроны. Как и в случае с Даттой, они обнаружили, что некоторые нейроны сосредоточены на определенных концепциях ⁶ . «Мы нашли группы юнитов, которые отвечали за рисование деревьев, другие группы, отвечающие за рисование зданий, и некоторые юниты, рисовавшие двери и окна», — говорит он. И точно так же, как модели Саенко узнали, что цветы напоминают вазу, единицы в его GAN также узнали из контекста. Один из них разработал детектор кроватей, чтобы определить, является ли сцена спальней, а другой узнал, что в деревьях обычно нет дверей.

Карта значимости, показывающая, что цветы в вазе помогают системе искусственного интеллекта обнаружить саму вазу. Предоставлено: набор данных MS COCO

Способность распознавать, какие нейроны идентифицируют или производят какие объекты, открывает возможность усовершенствовать нейронную сеть без необходимости показывать ей тысячи новых фотографий, говорит Торральба. Если модель была обучена распознавать автомобили, но все изображения, на которых она обучалась, были автомобилями на асфальтированной поверхности, она могла бы дать сбой, когда показывали изображение автомобиля на снегу. Но ученый-компьютерщик, который понимает внутренние связи модели, может настроить модель, чтобы распознать слой снега как эквивалент мощеной поверхности. Точно так же дизайнер компьютерных спецэффектов, который может захотеть автоматизировать создание невозможной сцены, может для этого вручную перепроектировать модель.

Еще одно значение объяснимости заключается в том, что то, как машина выполняет задачу, может дать людям, наблюдающим за ней, некоторое представление о том, как они могли бы сделать что-то по-другому или лучше. Вычислительный биолог Лаура-Джейн Гардинер обучила ИИ предсказывать, какие гены задействованы в регулировании циркадных часов, внутренних молекулярных таймеров, управляющих рядом биологических процессов ⁷ . Гардинер и ее коллеги из IBM Research Europe и Earlham Institute, исследовательской группы в области наук о жизни в Норвиче, Великобритания, также заставили компьютер выделить функции, которые он использовал, чтобы решить, может ли ген играть роль в циркадном ритме. Его подход был неожиданным. «Мы были сосредоточены только на промоторах для регуляции генов», — говорит Гардинер, но ИИ нашел подсказки в последовательностях генов, которые исследователи проигнорировали бы. «В итоге вы получите ранжированный список функций», — объясняет Гардинер; команда может использовать это в своих лабораторных исследованиях для дальнейшего уточнения своего понимания биологии.

Точность и доверие

Придумывание объяснений — это начало, но также должен быть способ количественной оценки их точности, говорит Прадип Равикумар, специалист по информатике из Университета Карнеги-Меллона, который работает над способами автоматизации такой оценки ⁸ . Объяснения, которые кажутся понятными человеку, на самом деле могут оказаться мало связанными с тем, что на самом деле делает модель.

«Вопрос о том, как объективно оценивать объяснения, все еще находится на начальной стадии, — говорит Равикумар. «Нам нужны лучшие объяснения, а также лучшие способы оценки объяснений». Один из способов проверить достоверность объяснения — внести небольшие изменения в функции, которые, по его словам, важны. Если это действительно так, то эти незначительные изменения на входе должны привести к большим изменениям на выходе. Точно так же большие изменения нерелевантных признаков — например, удаление автобуса с изображения кота — не должны влиять на результаты. Если система оценки сделает еще один шаг вперед и предскажет не только то, какие функции важны, но и то, как изменится ответ модели, если в эти функции будут внесены небольшие изменения, это также можно протестировать. «Если бы объяснение на самом деле объясняло модель, то оно лучше понимало бы, как модель будет вести себя с этими небольшими изменениями», — говорит Равикумар.

Иногда поиск объяснений может показаться такой трудоемкой задачей, что у многих ученых-компьютерщиков может возникнуть соблазн пропустить ее и принять результаты ИИ за чистую монету. Но, по крайней мере, некоторый уровень объяснимости относительно прост — например, карты значимости теперь можно создавать быстро и недорого, говорит Янизек. Напротив, обучение и использование GAN является более сложным и трудоемким процессом. «Вы определенно должны хорошо разбираться в вещах глубокого обучения и иметь хороший компьютер с несколькими графическими процессорами, чтобы заставить его работать», — говорит Янизек. Третий метод, испробованный его группой — изменение нескольких сотен изображений вручную с помощью программного обеспечения для редактирования фотографий, чтобы определить, важна ли функция, — был еще более трудоемким.

Тип нейронной сети, известный как генеративно-состязательная сеть (GAN), может использоваться для создания новых изображений, например, путем добавления травы и деревьев. Фото: Дэвид Бау

Саенко говорит, что многие исследователи в области машинного обучения также склонны искать компромисс между объяснимостью и точностью. Они считают, что уровень детализации и количество вычислений, которые делают нейронные сети более точными, чем более мелкие деревья решений, также делают их недоступными для человеческого понимания. Но некоторые задаются вопросом, реален ли этот компромисс, говорит Янизек. «Может оказаться, что более интерпретируемая модель является более полезной и более точной моделью».

Также начинает казаться, что некоторые незаметные для людей паттерны, которые могут выделять нейронные сети, могут быть не такими важными, как когда-то думали ученые-компьютерщики, добавляет он. «Как часто они являются чем-то, что действительно предсказуемо и может распространяться на разные среды? И как часто они представляют собой какой-то странный шум, зависящий от источника?»

Еще из Nature Outlooks

Какой бы сложной ни была проблема объяснимости, хорошего объяснения не всегда будет достаточно, чтобы убедить пользователей полагаться на систему, говорит Равикумар. Знание того, почему помощник ИИ, такой как Alexa от Amazon, ответил на вопрос определенным образом, может не способствовать укреплению доверия среди пользователей в такой степени, как, скажем, законы, запрещающие неправомерное использование записей частных разговоров. Возможно, врачам потребуются клинические доказательства того, что диагнозы, поставленные компьютером, подтвердились с течением времени, и подтвержденная биологическая причина того, почему факторы, на которые смотрит компьютер, должны иметь значение. И политики могут потребовать, чтобы некоторые меры защиты в отношении использования таких систем были закреплены в законе. «Это более широкие вопросы, над которыми, я думаю, сообщество не задумывалось слишком глубоко», — говорит Равикумар.

Однако в области объяснений исследователи ИИ добились больших успехов. По словам Торральбы, хотя, возможно, еще предстоит проработать некоторые особенности, охватывающие разнообразие используемых моделей машинного обучения, проблема будет решена, вероятно, через год или два. Люди, говорит он, «всегда говорят об этом черном ящике, и мы не думаем, что нейронные сети — это черные ящики. Если они работают действительно хорошо, то, если вы посмотрите внутрь, то, что они делают, имеет смысл».

Глобальный поставщик ИТ-продуктов и сетевых решений

что нового

Решения

Ускорение успеха клиентов в постоянно меняющемся цифровом мире

Превосходное качество обслуживания клиентов, исключительные рабочие места и отказоустойчивые сети — все это начинается со стратегического планирования и лучших технических специалистов, занимающихся предоставлением решений и услуг, которые помогают организациям проектировать , строить, управлять, и защитите свои ИТ для будущего роста.

Цифровое рабочее место

Обеспечьте непрерывность бизнеса и бесперебойную и безопасную работу с помощью надежного, адаптируемого решения для рабочего места, которое обеспечивает связь и совместную работу в любом месте и в любое время.

Узнать больше

Connected Buildings

Пространства должны быть интерактивными, адаптивными и безопасными. Узнайте, как усилить безопасность, повысить эффективность, автоматизировать операции и персонализировать взаимодействие на рабочем месте.

Узнать больше

Корпоративные сети

Преобразуйте сети, чтобы дать сотрудникам возможность работать и сотрудничать безопасно и беспрепятственно в любом месте на любом устройстве — без перерывов.

Узнать больше

5G и Private LTE (OnGo)

Более быстрая и качественная беспроводная связь уже здесь. Разработайте стратегию, которая поддерживает все беспроводные технологии с критически важной производительностью, встроенной от проектирования до развертывания и далее.

Узнать больше

Центр обработки данных

Стремительно растущий спрос на вычислительную мощность, ускоренный пандемией, стимулирует потребность в новых или расширенных центрах обработки данных.

Узнать больше

Аудиовизуальные интеграции

Когда вы сотрудничаете с Black Box, вы сотрудничаете с лидерами отрасли. В наше обширное портфолио входят решения из нашего собственного подразделения Black Box Technology Product Solutions совместно с брендами, специализирующимися на аудиовизуальных технологиях, такими как Radian Flex.

Узнать больше

Просмотреть все решения

Продукты Black Box

Внедрение инноваций с помощью технологических решений, ориентированных на человека

Измените свое взаимодействие с постоянно развивающимся цифровым миром. Повышайте производительность, повышайте экономическую эффективность и расширяйте бизнес-возможности с помощью ИТ-решений, которые помогут вам создавать, управлять, оптимизировать и защищать вашу сеть.

Аудио-видео

Беспроблемная совместная работа для удовлетворения всех потребностей вашей видеоинфраструктуры и AV. Разверните цифровые вывески, улучшите презентации и распространите видео за пределы зала заседаний.

Подробнее

Кабели

Выполняйте все подключения от настольных компьютеров до центров обработки данных с помощью кабельных решений, разработанных для обеспечения безупречной связи и производительности, на которые вы можете положиться.

Подробнее

Инфраструктура

Найдите подходящее решение для хранения, защиты и защиты вашего ИТ-оборудования из широкого спектра шкафов, стоек, кожухов и аксессуаров.

Подробнее

IoT

Удаленно контролируйте и защищайте свои критически важные активы от физических угроз — от экстремальных температур до повреждения водой в режиме реального времени с помощью системы мониторинга AlertWerks™.

Подробнее

KVM

Оптимизируйте рабочие процессы и легко, надежно и быстро управляйте процессами и визуальными элементами с помощью удаленного доступа и упрощенного управления.

Подробнее

Сеть

Создавайте и расширяйте сети любых размеров, от небольших офисов до глобальных предприятий, чтобы обеспечить оптимальную безопасность и неограниченную пропускную способность.

Подробнее

Просмотреть все продукты

Отрасли

Совершенно новый подход к преобразованию вашей деятельности

Расширяя возможности вашего предприятия с помощью передовых технологических решений и консультационных услуг мирового уровня, мы ставим перед вами уникальные бизнес- и отраслевые задачи в авангарде всего, что мы делаем.

Розничная торговля

Цифровизация продолжает формировать интерактивный интегрированный потребительский опыт. Конкуренцию за клиентов выиграют те, кто создаст и интегрирует бесшовное онлайн-взаимодействие с клиентским опытом в магазине.

Подробнее

Армия и оборона

Когда необходимы безопасные, совместимые технологические решения, вам нужны передовые продукты, соответствующие последним и самым строгим стандартам безопасности, которые помогут вам достичь ваших целей, уложиться в бюджет и оптимизировать производительность. без ущерба для безопасности.

Подробнее

Производство

Проводная и беспроводная инфраструктура, интегрированные средства связи, устройства IoT и решения для управляемых услуг устраняют разрыв между производством и преобразованием, обеспечивая гибкие производственные процессы, соотношение цены и качества и поток спроса.

Подробнее

Здравоохранение

В отличие от любой другой отрасли, ваши пациенты зависят от вас, чтобы быть на переднем крае технологий. Технологии здравоохранения должны стимулировать уход за пациентами, оптимизировать рабочие процессы, повышать удовлетворенность и оптимизировать операции, одновременно уравновешивая отраслевые и государственные нормы.

Подробнее

Broadcast

Развитие технологий и быстрый переход к облачным рабочим процессам способствуют автоматизированным операциям вещания для передачи программ, основного управления, производства новостей и прямых трансляций.

Подробнее

Просмотреть все отрасли

Аналитика

Получите информацию и знания о последних новостях отрасли и тенденциях в области ИТ.

Быть впереди технологической кривой непросто. Узнайте у отраслевых экспертов, как современные ИТ закладывают основу для быстрого внедрения и достижимых инноваций, устойчивости и отказоустойчивости бизнеса.
Белая бумага
5G & OnGo: переосмысление мобильности в больницах
Узнайте, как эволюция 5G & OnGo внедряет революционные инновации в области здравоохранения и улучшает уход за пациентами, обеспечивая превосходное качество обслуживания и результаты.
Загрузить сейчас
Блог
Безопасное возвращение на работу с помощью бесконтактного измерения температуры
По оценкам, в постпандемическом мире 80–85% работников вернутся в офис. Но это не будет обычным делом. Узнайте, как подготовить свое пространство с помощью передовых технологий безопасности Интернета вещей.
Подробнее
Блог
Как последовательно и быстро развертывать новые технологии в каждом магазине
Узнайте, как можно упростить развертывание ИТ, ознакомьтесь с этой статьей в журнале Chain Store Age: Как последовательно и быстро развертывать новые технологии в каждом магазине.
Читать блог
видео
За кулисами: Экскурсия по производству кабелей на заказ
Посмотрите на людей за кулисами и поразитесь тому, сколько ручной работы все еще уходит на более чем 150 000 кабелей, производимых нашей командой каждый год.
Смотреть сейчас
Блог
Отложенный заказ: последствия великого сбоя в цепочке поставок в 2021 году
Узнайте, как нехватка цепочек поставок влияет на то, как компании планируют возвращение в офис, модернизацию сети и устойчивость бизнеса в будущем. Узнайте, как преодолеть эти проблемы с помощью планирования и коммуникации.
Подробнее
Белая бумага
Устранение угроз кибербезопасности с помощью безопасных KVM-переключателей
Узнайте, как NIAP 4.0 улучшает меры безопасности и изолирует сети правительственных и оборонных ведомств для защиты информации от внешних угроз и предотвращения потери секретной информации.
Белая книга
Гид
So Long с 9 до 5
Узнайте, как переоборудовать и переосмыслить свою сеть для поддержки растущего числа пользователей, устройств и местоположений, при этом привлекая и удерживая лучших специалистов в новой гибридной рабочей среде.
Получить руководство
Наши партнеры
Совместная поддержка ИТ-инноваций
Независимо от того, работаете ли вы на крупном предприятии, в малом бизнесе или где-то посередине, наши партнеры гарантируют, что у вас есть подходящие технологии, которые помогут вам расширить возможности сотрудников, упростить деятельности и добиться успешных результатов в бизнесе.
Партнеры по решениям
Партнеры по продукту
Истории успеха
Цифровая трансформация бизнеса Изменение результатов
Когда наши клиенты добиваются успеха, мы добиваемся успеха даже в самых сложных условиях и обстоятельствах. Посмотрите, как наша команда предугадывает постоянно меняющиеся потребности наших клиентов и помогает им добиться успеха.
Голландский медицинский центр строит современную лабораторию на KVM-решении
KVM-системы стали критически важными для сложных операций диспетчерской, имеющих дело с различными критически важными источниками; диагностические лаборатории и их диспетчерские не являются исключением. Медицинский центр Лейденского университета (LUMC) работал с Black Box над созданием перспективной KVM-инфраструктуры для своей лаборатории и диспетчерской, а также созданием основы для дальнейшего роста и развития с использованием новых методов и технологий
Читать пример из практики
Emerald KVM сияет в WeFadeToGrey
Когда WeFadeToGrey хотела добиться модернизации объекта и инфраструктуры с целью внедрения самых современных технологий
Прочитать пример из практики
Pandemic-Safe NOC для аэропорта Майами
Когда разразилась пандемия, команда Black Box столкнулась с серьезной проблемой: как быстро перевести агентов службы поддержки в удаленную и социально дистанцированную рабочую среду, продолжая при этом обеспечивать критически важную сеть и услуги связи без сбоев для международного аэропорта Майами. Команда плавно перешла на индивидуальное облачное решение и добилась значительной годовой экономии средств и значительного сокращения времени ожидания вызовов и очередей.
Читать пример из практики
Камеры 4K захватывают воров — сокращение убытков на 1 миллиард долларов
Чтобы повысить безопасность и сократить убытки, международный розничный продавец товаров для дома захотел обновить свои аналоговые камеры видеонаблюдения до высокотехнологичных IP-камер 4K. Они обратились к Black Box, надежному партнеру с более чем двадцатилетним стажем, для крупномасштабного развертывания на уровне предприятия, что привело к сокращению потерь.
Прочитать пример из практики
Компания финансовых услуг получает покрытие 5G даже под землей
Крупная финансовая компания хотела обеспечить покрытие 5G на своих объектах по всей стране, чтобы сотрудники и гости могли воспользоваться скоростью и надежностью 5G, в том числе в подземных убежищах от торнадо.