Глубокая нейронная сеть смоделирована по образцу мозга и состоит из слоев взаимосвязанных «нейронов». Нижний слой обрабатывает входные данные, такие как пиксели, и передает эту информацию на уровень выше, активируя некоторые из его нейронов, которые затем передают сигнал на ещё более высоким уровням, пока в конечном итоге не будет определено, что изображено на исходной картинке.

Но, что происходит в сознании машины, в скрытых слоях нейросети, часто не понимают даже те, кто её построил. Способ, как решить эту, так называемую проблему «черного ящика», придумала команда университета Дюка (штат Северная Каролина).

Обучение сети тому, чтобы демонстрировать свое понимание на промежуточных стадиях логического вывода, помогает понять, как различные концепции представлены в слоях модели. В журнале Nature Machine Intelligence исследователи показали, что после небольшой модификации нейронная сеть может идентифицировать объекты и сцены так же точно, как и исходная сеть, но при этом обеспечивает существенную интерпретируемость процесса своих логических рассуждений.

Предлагаемый метод контролирует информационные потоки внутри сети и замещает стандартную её часть на новую, которая заставляет срабатывать только один нейрон в ответ на конкретную концепцию, понятную людям. Этот приём значительно упрощает понимание того, как «думает» сеть.

Авторы успешно опробовали свой подход на нейронной сети, обученной на миллионах каталогизированных изображений, и заверяют, что новый модуль можно включать в любую нейронную сеть, распознающую изображения.

«Мы не должны слепо полагаться на модели «чёрного ящика» если не имеем представления, что внутри них происходит, особенно в отношении сложных медицинских диагнозов», — заявили они.

Источник: ko.com.ua