Искусственные нейронные сети

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
Автор: Gianluca Marchio
Дата представления:29.04.2021

АБСТРАКТ

В этом документе рассматриваются искусственные нейронные сети, начиная с общего введения об их структуре и основном использовании заканчивая подробным объяснением, проясняющим наиболее характерные аспекты. Далее рассматриваются различные типы сетей, различные методы обучения, их наиболее распространенные применения, преимущества и недостатки

ВВЕДЕНИЕ

Искусственная нейронная сеть — это вычислительная модель для представления сети взаимосвязанных искусственных нейронов. Эти модели, состоящие из графов с соединенными между собой узлами (которые являются трансцендентными математическими функциями) арками, очевидно, имеют более низкую степень сложности, чем биологические нейронные сети, но, тем не менее, они представляют собой превосходные решения для созданных в настоящее время систем искусственного интеллекта.
Способы создания искусственной нейронной сети бывают как программного, так и аппаратного обеспечения, а области применения бесчисленны (особенно в системах управления).
Развитие началось в 1950-х и 1960-х годах, хотя и очень медленно, границы сетей не позволяли быстрой эволюции. Впоследствии, в 80-х годах, произошло возрождение, особенно благодаря работам Хопфилда и Румельхарта.
Первая из них фокусировалась на использовании сетей с механизмами обратной связи (графы с петлями), вторая, наоборот, на обучении с обратным распространением и прямого распространением (ациклические графы). Эти сети могут обучаться с помощью набора входных и выходных примеров.
Алгоритм обучения позволяет приблизить ответы, предоставляемые сетью к желаемым ответам из тренировочного набора путём корректировки весов, связанных с арками графа.
Эта способность обучаться на основе данных, предоставляемых с обучающим набором, позволила сначала лучше понять биологические механизмы нейронных связей, но прежде всего она дала результаты в широком спектре приложений, никогда ранее не достигавшиеся. 1

ПОДРОБНОЕ ОБЪЯСНЕНИЕ

Как уже упоминалось во введении, сеть искусственных нейронов может быть представлена графом, элементы которого (узлы) соединены между собой дугами.
Каждый узел (или нейрон) графа математически представляет собой передаточную функцию (обычно нелинейную). Если мы рассмотрим форму передаточной функции, то она будет выглядеть следующим образом

Где:
• -yi: выход узла y;
• -xj: вход узла j;
• -wij: вес дуги между узлом i и узлом j;
• -θi: порог (или смещение) узла i для возвращаемого выхода.

Определяемая таким образом передающая функция относится к первому порядку.
Порядок узла определяется как число получаемых входов, если мы считаем, что узел второго порядка изменяет свою функцию передачи на:

тогда сообщается масса дуг между узлами i, j и k, вход из узла k и узла j. Yi представляет собой выход узла i второго порядка.

Архитектура ИНС определяется по его топологию, полной связностью и передаточными функциями, которые характеризуют каждый узел сети. 2
Искусственные нейронные сети в конечном итоге должны быть регулируемыми, и алгоритмы обучения как раз вдохновлены динамической архитектурой биологических нейронных сетей в мозге. Это может быть очень сложно, если рассматривать биологические сети, то входы и выходы каждого нейрона изменяются как функция времени в виде импульсов спайка.
Дополнительную степень сложности придает сама архитектура, которая не является статичной, а скорее изменяется со временем: обучение, по сути, порождает новые нейронные связи (дуги графа ИНС и аксоны мозга).
Алгоритмы обучения для ИНС относятся к идеальным моделям нейронов, но основаны на том же фундаментальном принципе, что обучение включает в себя регулирование нейронных связей. Поэтому, чем тоньше регулируется ИНС, тем выше эффективность обработки данных. *
Таким образом, суть обучающего алгоритма заключается в модификации весов, связанных с дугами (нейронные связи), эта модификация продиктована обучающим правилом: очень распространенными примерами являются дельта-правило, правило Хебба, анти- Хеббиана правило и правило конкурентного обучения.
Кроме того, обучение ИНС можно разделить на 3 различные методологии:

1. Обучение с учителем→ Основан на сравнении между выходом, полученным сетью ИНС для заданного входа, и желаемым выходом. Алгоритм в этом случае должен минимизировать функцию ошибки, такую как, например, общая среднеквадратичная ошибка между полученным выходом и желаемым выходом, суммированная по всем имеющимся данным. Алгоритм, применяющий эту методологию, представляет собой метод обратного распространения ошибки, который используется итеративно для минимизации ошибки;
2. Обучение с подкреплением → Представляет собой частный случай обучение с учителем. В этом случае единственной доступной информацией является то, является ли полученный результат правильным или нет, желаемый результат «скрыт»;
3. Обучение без учителя→ в отсутствие контроля этот метод основан исключительно на корреляции между входными данными. Фактически, отсутствует какая-либо информация о правильности или неправильности выходных данных. 3
   Обучение без учителя в настоящее время изучено не очень хорошо. В этом случае сама сеть решает, с какой функцией группировать входные данные, это определяется как адаптация к окружающей среде. Исследования в этой области продолжаются, особенно в отношении роботов, которые, по сути, могут обучаться самостоятельно, когда сталкиваются с новыми ситуациями или новым окружением, для которых не существует специального обучающего набора. Поэтому основное отличие заключается в том, что эти сети не используют внешние воздействия для регулирования весов соединительных дуг, а занимаются самоконтролем своей внутренней работы.
   Правила обучения направляют действия алгоритмов обучения. Многие из этих законов являются вариациями самого старого и наиболее известного правила — правила Хебба.
   Среди основных законов обучения мы выделяем:
4. Правило Хебба: если нейрон получает входной сигнал от другого нейрона и оба они высоко активны (т.е. если математически они имеют одинаковый знак), вес нейронной связи между ними должен быть усилен.
5. Закон Хопфилда: он основан на законе Хебба, но определяет степень усиления или ослабления нейронной связи (вес).
   Он гласит: «Если желаемый выход и вход оба являются активными или оба неактивными, увеличьте вес связи на скорость обучения, в противном случае уменьшите вес на скорость обучения»;
6. Правило дельта: представляет собой дальнейшую вариацию правила Хебба, оно заключается в постоянном изменении силы нейронных связей для минимизации среднеквадратичной ошибки между полученным и желаемым выходом. При использовании этого правила необходимо убедиться, что набор входных данных хорошо рандомизирован, чтобы сеть была точно настроена.
   Правило заключается в преобразовании дельта-ошибки в выходном слое производной передаточной функции, которая затем используется в предыдущем нейронном слое для настройки весов входных соединений;
7. Правило градиентного спуска: это правило использует тот же метод, что и правило дельты, но здесь, однако, есть дополнительная пропорциональная константа, связанная со скоростью обучения, которая влияет на конечный коэффициент модификации, действующий на вес;
8. Закон обучения Кохонена: это правило вдохновлено обучением биологических нейронных систем. Согласно этому правилу, элементы обработки соревнуются друг с другом, чтобы обновить свой вес.
   Элемент, который возвращает наибольший выход, объявляется победителем и может как подавлять соседние элементы обработки, так и возбуждать их. Только победитель и его соседи могут изменять веса своих соединений. 4

ТИПЫ НЕЙРОННЫХ СЕТЕЙ

В зависимости от правила обучения и архитектуры сети мы выделяем различные типы ИНС. Некоторые проблемы требуют использования определенного типа ИНС, в то время как другие могут быть решены с помощью различных типов.
Среди этих ИНС мы обнаружили:

• Нейронная сети Хопфилда: эффективно используются для задач оптимизации. Это может быть применено только к двоичным входам и реализует энергетическую функцию;
• Адаптивные сети теории резонанс: обучаются без наблюдения. Поэтому они адаптируются к информационной среде. Их можно эффективно использовать для решения задач оптимизации (как, например, нейронная сети Хопфилда).
• Нейронная сети Кохонена: Они обучаются без наблюдения, но при этом меняется контекст оптимального применения. На самом деле они широко используются для сжатия больших данных в меньшие с сохранением их содержания;
• Сети обратного распространения: Это сети, широко используемые для оптимизации данных (моделирование, классификация и управление) и для сжатия изображений. Термин «обратное распространение» относится к тому, как ошибка, возвращенная на выходном уровне, распространяется назад на скрытый слой и, наконец, на входной слой;
• Рекуррентные нейронная сети: в рекуррентных сетях выходы нейронов возвращаются к тем же нейронам или к другим нейронам в разных слоях. Таким образом, поток идет в разных направлениях. Из-за этой особой архитектуры необходимо использовать специальные алгоритмы обучения;
• Сети встречного распространения: Эти сети обучаются с помощью гибридного обучения для создания само организованной таблицы поиска, полезной для аппроксимации функций и классификации;
• Сети с радиальной базисной функцией: это особый случай трехслойной сети распространения ошибок. 5

ПРИМЕНЕНИЯ

Нейронные сети — это отличный способ управления и решения проблем, которые не могут быть охарактеризованы простым и конкретным представлением. Области их применения бесчисленны, например, они используются в системах управления, в робототехнике, в распознавании образов, для прогнозирования, в медицине, в оптимизации и обработке сигналов, а также в социальных/психологических науках. 6
В случае прогнозирования, сети ИНС могут быть использованы для прогнозирования использования и экономии энергии, достижимой при реконструкции зданий и их систем (например, искусственное охлаждение). В этой области они будут очень полезны для инженеров-строителей, предоставляя общую модель, которая с небольшими изменениями может быть использована и для других зданий. 7

ПРЕИМУЩЕСТВА / НЕДОСТАТКИ

Использование ИНС имеет ряд преимуществ и недостатков. Среди предложенных преимуществ основными являются:

1. Хранение информации во всей сети: потеря некоторой информации в отдельных точках сети не означает ее неисправности;
2. Способность работать с неполной информацией: Поскольку сети обучаются, они также способны обеспечить выходной сигнал при недостающих фрагментах входной информации. Однако снижение производительности будет определяться важностью потерянной информации;
3. Постепенное повреждение: Сеть может ухудшаться и замедляться в реакции с течением времени, но это не означает ее немедленного выхода из строя;
4. Машинное обучение: Эти сети принимают решения, учитывая события, аналогичные входным;
5. Возможность параллельной обработки: Благодаря своей архитектуре они могут выполнять более одной задачи одновременно.

А основными недостатками являются:

1. Аппаратная зависимость: из-за своей структуры они обязательно требуют процессоров с параллельной вычислительной мощностью. Реализация архитектуры является зависимой.
2. Необъяснимое поведение сети: Это самая важная проблема ИНС. Когда ИНС выдает пробное решение, она не объясняет, почему и как;
3. Определение идеальной структуры сети: это часто делается методом проб и ошибок, поскольку не существует точного и конкретного правила для определения идеальной структуры искусственных нейронных сетей;
4. Трудность демонстрации проблемы сети: перед внедрением в сеть проблемы должны быть охарактеризованы и переведены в числовые значения, чтобы сеть могла работать над ними. 8

ЗАКЛЮЧЕНИЕ

Как было описано ранее, искусственные нейронные сети обладают рядом преимуществ, которые придают им роль мощного вычислительного инструмента для решения научных и инженерных задач. Однако в настоящее время они не могут заменить традиционные методы, такие как статистическая регрессия или распознавание образов. Безусловно, со временем и благодаря исследованиям они смогут усовершенствоваться и стать более полезными в других областях. Слияние традиционных методов и ИНС может стать настоящим поворотным моментом. 9
Фактически, мир компьютерных технологий может многое получить от нейронных сетей. Их главное преимущество — самообучение на примерах — позволяет использовать их в различных приложениях без необходимости написания специального алгоритма для выполнения одной задачи. Исследования в целях дальнейшего применения с уверенностью продолжаются и в будущем. 10

ПЕРЕЧЕНЬ ССЫЛОК

1. Terrence L Fine (1996) ‘Основы искусственных нейронных сетей — обзор книги’ [Online], доступно на:
https://www.researchgate.net/publication/3078997_Fundamentals_of_Artificial_Neural_Networks-Book_Reviews

2. XIN YAO (1999) ‘Эволюционирующие искусственные нейронные сети’ [Online], доступно на:
https://www.mit.bme.hu/eng/system/files/oktatas/targyak/9109/Yao_-_Evolving_Artificial_Neural_Networks_1999.pdf

3. BERNHARD MEHLIG (2021) ‘Машинное обучение с помощью нейронных сетей. Введение для ученых и инженеров’ [Online], доступно на:
https://arxiv.org/pdf/1901.05639.pdf

4. Dave Anderson и George McNeill (1992) ‘ТЕХНОЛОГИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ’ [Online], доступно на:
https://www.csiac.org/wp-content/uploads/2016/02/Artificial-Neural-Networks-Technology-SOAR.pdf

5. I.A. Basheer, M. Hajmeer ‘Искусственные нейронные сети: основы, вычисления, проектирование и применение’ (2000) [Online], доступно на:
http://ethologie.unige.ch/etho5.10/pdf/basheer.hajmeer.2000.fundamentals.design.and.application.of.neural.networks.review.pdf

6. Soteris A. Kalogirou (2000) ‘Применение искусственных нейронных сетей в энергетических системах’ [Online], доступно на:
https://www.sciencedirect.com/science/article/abs/pii/S0306261900000052

7. Melek Yalcintas, Sedat Akkurt (2005) ‘Применение искусственных нейронных сетей для прогнозирования энергии в строительстве и тематическое исследование по тропическому климату [Online], доступно на:
https://onlinelibrary.wiley.com/doi/abs/10.1002/er.1105

8. Maad M. Mijwil (2018) ‘Искусственные нейронные сети Преимущества и недостатки’ [Online], доступно на:
https://www.researchgate.net/profile/Maad-Mijwil/publication/323665827_Artificial_Neural_Networks_Advantages_and_Disadvantages/links/5aa2c01faca272d448b5a23d/Artificial-Neural-Networks-Advantages-and-Disadvantages.pdf

9. Yanbo Huang (2009) ‘Достижения в области искусственных нейронных сетей — методические разработки и применение’ [Online], доступно на:
https://res.mdpi.com/d_attachment/algorithms/algorithms-02-00973/article_deploy/algorithms-02-00973.pdf

10. Saumya Bajpai, Kreeti Jain, и Neeti Jain ‘Искусственные Нейронные сети’ (2011) [Online], доступно на:
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.301.5738&rep=rep1&type=pdf