Составляющие модели нейронной сети

Понятие, история развития теории нейронных сетей.

Нейронные сети - это обобщенное название нескольких групп алгоритмов, обладающих одним ценным свойством — они умеют обучаться на примерах, извлекая скрытые закономерности из потока данных. Данные м.б. неполные и противоречивые, и искажены,но система позволяет выделить в них скрытые закономерности.

Возможности Н.С.:

1. Сеть может уменьшать объем данных без потерь их значимости.

2. Распознает признаки критической ситуации.

3. Оценить значимость различных видов входной информации.

Н.С. заменяет прогнозирование и распознавание, т.е. узнает в текущем состоянии ранее встречавшееся состояние.

Этапы развития Н.С.:

1) 1943 г. МакКаллок и Питтс. Модель искусственного нейрона.

Простая нейронная модель использовалась в большей части их работы. Элемент (нейрон) умножает каждый вход х на вес w и суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае – нулю. Эти системы (и множество им подобных) получили название персептронов. Они состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов.

2)В 60-е годы Розенблатт доказал замечательную теорему об обучении персептронов (классификаторов). В процессе обучения подстраиваются в веса связи выходного слоя с ассоциативными элементами. На каждый входной вектор решающий элемент выдавал уникальный сигнал.

Методы обучения носили эвристический характер, и усложнение архитектуры нейронной сети не привело к качественному улучшению работы.

3) нач. 70х гг. ▪ Минский доказал теоретическую ограниченность нейронной сети Перцептрона. ▪Предложен алгоритм обучения сети на основе обратного распределения ошибки, кот. обеспечивает сходимость процесса обучения. ▪ Предлагаются различные архитектуры Н.С. и моделей нейронов.

4) сер. 80х гг. Коммерческй этап развития Н.С.

Основные свойства мозга, которые моделируются.

- Массовый параллелизм значений.

- Распределенное представление информации и обработка вычислений;

- Способность к обучению и обобщению информации;

- Адаптивность к изменяющимся условиям;

- Свойство контекстуальной обработки;

- Толерантность (невосприимчивость) к ошибкам;

Основные области применения нейронных сетей.

- Распознавание образов (отнесение образа к определенному классу);

- Кластеризация (формирование кластеров) – это группировка образов по классам без учителя, т.е. система сама выделяет признаки и группирует их;

- Аппроксимация функций (система позволяет адаптироваться к шуму);

- Предсказание и прогнозирование (система, учитывая опыт, выдает результат);

- Оптимизация – нахождение целевой функции при ограничениях;

- Ассоциативная память (помогают извлекать данные по содержанию);

- Управление.

Составляющие модели нейронной сети.

Нейронная сеть состоит из самого нейрона и его архитектуры, а также обучения. Основу каждой НС составляют относительно простые, в большинстве случаев – однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка НС. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Общий вид нейрона приведен на рисунке 1. Каждый синапс характеризуется величиной синаптической связи или ее весом wi, который по физическому смыслу эквивалентен электрической проводимости. n – размерность входного пространства, S – потенциал нейрона (состояние).

Понятие нейрона

Нейрономназывается элемент, вычисляющий взвешенную сумму входных величин

1) нейрон вычисляет взвешенную сумму входных сигналов:

x_i – входные сигналы;

W_i – веса связей;

n – размерность входного пространства;

V – потенциал нейрона (состояние).

2) потенциал сравнивается с пороговой величиной w₀, используя функцию активации нейрона. В результате формируется выходной сигнал как функция активации от потенциала

w₀ – пороговая величина; может рассматриваться как еще один весовой коэффициент при постоянном входном сигнале

+w₀