Вопросы и ответы: что такое обучение с подкреплением?

8 июля 2021 г.

Инженеры по искусственному интеллекту (ИИ) и машинному обучению часто полагаются на обучение с подкреплением при внедрении новых программ и приложений ИИ. Развитие вашего понимания машинного обучения и его методов может помочь вам развить свои навыки и отраслевые знания. Если вы подумываете о карьере в области машинного обучения и разработки программного обеспечения для систем искусственного интеллекта, вам может быть полезно разобраться в различных областях. В этой статье мы приводим обзор некоторых распространенных вопросов об обучении с подкреплением, чтобы лучше понять эту область карьеры в области технологий.

Что такое обучение с подкреплением?

Обучение с подкреплением — это подраздел машинного обучения и процессов ИИ, который фокусируется на методах обучения, которые обучают агента учиться в среде, которая представляет собой взаимодействие методом проб и ошибок. Агент использует обратную связь, которую он собирает на основе своих собственных действий и опыта, для формирования информации, которая подкрепляет его будущие действия при выполнении аналогичных функций. Подобно методам глубокого обучения, обучения с учителем и обучения без учителя, этот метод машинного обучения направлен на поддержку независимой и интеллектуальной функции систем искусственного интеллекта.

Почему обучение с подкреплением важно?

Обучение с подкреплением имеет решающее значение для процессов в приложениях машинного обучения и искусственного интеллекта. Инженеры-компьютерщики и программисты полагаются на этот тип машинного обучения, чтобы установить параметры и операционные стандарты для программного ИИ, которому следует следовать при извлечении и отображении информации, такой как помощник по поиску на мобильном устройстве. Еще несколько причин, по которым это подполе ИИ выгодно, включают:

• Устанавливает стандарты процедур для цифровых и технических систем, которым должны следовать

• Создает интерактивную среду для компьютеризированных агентов, чтобы создать основу для будущих действий.

• Усиливает программирование и компьютерный код, на которые полагаются приложения искусственного интеллекта, такие как робототехника, для работы

Каковы компоненты обучения с подкреплением?

В рамках машинного обучения, применяющего параметры подкрепления, у вас есть агент и среда, в которой он работает. Однако помимо этих двух компонентов есть еще несколько элементов, которые могут быть важны для системы обучения с подкреплением:

• Политики. Эта область машинного обучения использует политики для определения поведения агента в течение определенного периода. Реализация инженеров политики по существу отображает состояние среды на действие, а действие — на поведение агента в среде.

• Награды: Награды устанавливают цели для задач обучения с подкреплением, когда агент получает сигнал вознаграждения за достижение желаемых результатов.

• Функции ценности: функции ценности в системе представляют собой общее количество вознаграждений, которые агент может ожидать в будущем, если он инициирует действия в своем текущем состоянии окружающей среды.

• Модель среды: некоторые системы используют модели среды для воспроизведения поведения, специфичного для среды, что дает инженерам возможность делать выводы о том, как среда может реагировать на агентов.

Каким процессам следует обучение с подкреплением?

Данные, вводимые в агент, проходят через среду для выполнения набора действий. Если действия правильные, программисты вознаграждают агента, подкрепляя действия, предпринятые агентом для достижения результата. Если действия неверны, программисты наказывают агента за выполнение неправильных действий. «Наказание» в данном случае представляет собой реконфигурацию сложного программного кода, устанавливающего параметры для распознавания в поддерживающем его агенте при выявлении некорректных действий перед их выполнением. Эти шаги побуждают агента продолжать выполнять правильные процессы для достижения желаемого результата.

Какие существуют виды обучения с подкреплением?

При обучении с подкреплением инженеры могут применять как положительные, так и отрицательные методы обучения, чтобы научить агентов и среду выполнять желаемые действия. Положительное подкрепление возникает, когда агенты выполняют определенный набор действий или выполняют определенное поведение. Этот метод помогает увеличить силу и частоту желаемого поведения агента. Положительное подкрепление также влияет на агента, подтверждая обоснованность его действий, тем самым увеличивая вероятность того, что агент повторит поведение.

Отрицательное подкрепление, напротив, усиливает нежелательное действие или поведение из-за негативных условий, которых в противном случае агент должен избегать. В то время как положительное подкрепление может помочь вам максимизировать производительность состояний, отрицательное подкрепление сообщает агентам и средам, каков минимальный стандарт производительности, что приводит к достаточной функциональности, чтобы соответствовать минимальным поведенческим стандартам, установленным инженерами для системы.

В чем разница между подкреплением и контролируемым обучением?

Подкрепление и контролируемое обучение являются подобластями машинного обучения, которые полагаются на процессы глубокого обучения для интерпретации входных данных и получения успешных результатов. Хотя эти две дисциплины имеют сходство, есть несколько различий в том, как инженеры и программисты выполняют процессы в средах. В отличие от обучения с учителем, при обучении с подкреплением взаимодействие между агентами и средами происходит в виде дискретных шагов для выполнения задач эксплуатации или исследования. Это приводит к четкому пути, по которому агенты должны следовать для достижения результатов, где:

• Система содержит агента, модель нейронной сети и среду.

• Параметры используют элементы значений, действий, вознаграждений и процедур следующего состояния для установки политик, которые обучают модель нейронной сети.

• Политика обучения агента выполнению определенных действий для максимизации кумулятивных вознаграждений от реальной среды.

В отличие от обучения с подкреплением, обучение с учителем выполняет либо задачи регрессии, либо задачи классификации для анализа и установления данных обучения. Затем обучающие данные устанавливают параметры между действиями агента и окружающей среды для получения обобщенных результатов. Это позволяет получить различные пары входных и выходных значений, когда контролируемая среда обучения использует различные алгоритмы для выполнения определенных действий. Таким образом, вместо использования процессов принятия решений и математических основ для моделирования контролируемые процессы обучения требуют:

• Набор данных с метками и аннотациями объектов для каждого значения набора данных.

• Параметры обучения из набора данных для управления нейронными сетями при сопоставлении данных с соответствующими метками.

• Оценки производительности для оценки эффективности, функциональности и способности обученной модели достигать желаемых результатов.

Каковы некоторые недостатки обучения с подкреплением?

Хотя обучение с подкреплением выгодно для различных приложений, которые создают независимые системы ИИ, может возникнуть несколько проблем, которые иногда решают инженеры и программисты при работе с этой областью машинного обучения:

• Перегрузка состояния: в случаях обучения с положительным подкреплением слишком сильное подкрепление может привести к перегрузке состояния, когда состояние окружающей среды становится слишком наполненным входной информацией, что снижает выходные результаты.

• Сильная зависимость от данных: эта область машинного обучения часто больше подходит для решения сложных задач, чем для решения простых, поэтому для работы агентов и сред требуются большие объемы данных.

• Ограниченное моделирование: поскольку в этой области машинного обучения используется марковская модель обучения с подкреплением, это иногда может приводить к ограничениям в вычислениях вероятности, последовательных рассуждениях и моделировании событий.