Модель внимания: определение и когда ее использовать (с советами)

25 ноября 2021 г.

Глубокое обучение — это подмножество машинного обучения, вдохновленное человеческим мозгом и его сетью нейронов. Это метод искусственного интеллекта, целью которого является преобразование данных и обработка информации. Это может потребовать сосредоточения внимания на одном или нескольких конкретных элементах, чтобы лучше понять концепцию, влияющую на фокус сети. В этой статье мы определяем, что такое модель внимания, объясняем, как она работает, обсуждаем, когда ее использовать, и даем несколько советов по эффективному использованию этих моделей.

Что такое модели внимания?

Модели внимания, также называемые механизмами внимания, представляют собой методы глубокого обучения, используемые для обеспечения дополнительного внимания к определенному компоненту. В глубоком обучении внимание связано с сосредоточением внимания на чем-то конкретном и отмечанием его особой важности. Модель обычно фокусируется на одном компоненте сетевой архитектуры, который отвечает за управление и количественную оценку взаимозависимых отношений внутри входных элементов, называемых самовниманием, или между входными и выходными элементами, называемых общим вниманием.

Цель моделей внимания состоит в том, чтобы свести более крупные и сложные задачи к более мелким, более управляемым областям внимания, которые нужно понимать и последовательно обрабатывать. Модели работают в нейронных сетях, которые представляют собой тип сетевой модели с аналогичной структурой и методами обработки, что и человеческий мозг для упрощения и обработки информации. Использование моделей внимания позволяет сети одновременно фокусироваться на нескольких конкретных аспектах и ​​игнорировать остальные. Это обеспечивает эффективную и последовательную обработку данных, особенно когда сети необходимо классифицировать целые наборы данных.

Как работают модели внимания?

Модели внимания предполагают сосредоточение внимания на наиболее важных компонентах при восприятии некоторой дополнительной информации. Это похоже на механизм зрительного внимания, который использует человеческий мозг. Например, человеческий мозг может первоначально сфокусироваться на конкретном аспектном изображении с фокусом более высокого разрешения и просматривать окружающие области с более низким разрешением. Однако по мере того, как мозг начинает понимать изображение, он настраивает фокальную точку, чтобы полностью понять все аспекты.

Модели внимания оценивают входные данные, чтобы определить наиболее важные компоненты и присвоить каждому из них вес. Например, при использовании модели внимания для перевода предложения с одного языка на другой модель выберет наиболее важные слова и присвоит им более высокий вес. Точно так же он присваивает менее значимым словам более низкое значение. Это помогает добиться более точного прогнозирования выходных данных.

Когда использовать модели внимания

Первоначальная цель моделей внимания состояла в том, чтобы помочь улучшить компьютерное зрение и систему нейронного машинного перевода на основе кодировщика-декодера. Эта система использует обработку естественного языка (NLP) и опирается на огромные библиотеки данных со сложными функциями. Однако использование моделей внимания помогает создавать карты для векторов фиксированной длины для создания переводов и понимания. Хотя они могут быть не совсем точными, они дают результат, отражающий общее настроение и намерение первоначальных входных данных.

Модели внимания стремятся устранить потенциальные ограничения модели кодер-декодер. Это помогает точно выровнять и перевести элементы ввода. Однако он создает вектор контекста, отфильтрованный специально для каждого вывода, а не кодирует входную последовательность как один фиксированный вектор содержимого.

Типы моделей внимания

Существуют разные типы моделей внимания, которые создают разные карты между входами и выходами. Они включают в себя различные источники, кодировщики, декодеры и веса. Вот некоторые распространенные типы моделей внимания:

Модель глобального внимания

Модель глобального внимания, которая также похожа на модель мягкого внимания, собирает входные данные из всех состояний кодировщика и декодера перед оценкой текущего состояния для определения выходных данных. Эта модель использует каждый шаг кодировщика и каждый шаг предварительного просмотра декодера для вычисления весов внимания или весов выравнивания. Он также умножает каждый шаг кодировщика на глобальные веса выравнивания, чтобы определить значение контекста для передачи в ячейку рекуррентных нейронных сетей (RNN). Это позволяет модели найти выход декодера.

Модель локального внимания

Модель локального внимания похожа на модель глобального внимания, но использует только несколько позиций энкодера для определения весов выравнивания. Модель вычисляет веса выравнивания и вектор контекста, используя первую позицию с одним выравниванием и набор слов из источника кодировщика. Модель локального внимания также допускает монотонное выравнивание и предиктивное выравнивание. Монотонное выравнивание предполагает, что имеет значение только избранная информация, тогда как прогнозирующее выравнивание позволяет самой модели предсказать конечное положение выравнивания.

Модель локального внимания аналогична модели жесткого внимания. Однако, в отличие от модели локального внимания, модель жесткого внимания в большинстве случаев не является дифференциальной. И наоборот, модель локального внимания сочетает в себе аспекты жесткого и мягкого внимания.

Модель собственного внимания

Модель внутреннего внимания фокусируется на разных позициях одной и той же входной последовательности. Для создания этой модели можно использовать модели глобального и локального внимания. Однако модель внутреннего внимания включает ту же входную последовательность вместо целевой выходной последовательности.

Советы по использованию моделей внимания

Примите во внимание следующие советы, которые помогут вам более эффективно использовать модели внимания:

• Исследуйте разные модели. Рассмотрим различные типы моделей, доступных для механизма внимания. Подумайте, какие из них могут наилучшим образом удовлетворить ваши потребности и обеспечить наиболее точные результаты.

• Обеспечить подготовку. Важно обеспечить последовательное обучение и подкрепление обратного распространения ошибки, чтобы ваши модели внимания были точными и эффективными. Это помогает выявлять потенциальные ошибки в ваших моделях и находить способы их уточнения и улучшения.

• Используйте их для перевода. Внедрите модели внимания для поддержки языковых переводов. Их частое использование может помочь повысить точность ваших переводов, особенно за счет надлежащего присвоения весов различным важным словам.