Метод коррекции с обратной передачей сигнала ошибки

Метод коррекции с обратной передачей сигнала ошибки - стохастический метод обучения перцептрона, необходимый, чтобы гарантировать сходимость при переменных связях больше чем у одного слоя. Метод был предложен Розенблаттом для перцептрона с переменными S-A связями и может быть использован для бинарных многослойных перцептронов. Является альтернативой методу обратного распространения ошибки, но в отличие от него гарантирует процесс сходимости (достижение решения).

Алгоритм

• Для каждого R-элемента устанавливается ошибка $E_r = R^* - r^*$, где $R^*$ - требуемая, а $r^*$ - достигнутая реакция.
• Для каждого А-элемента $a_i$ ошибка вычисляется следующим образом:
  • Вначале $E_i = 0$;
  • Если элемент $a_i$ активен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_r$, отличающейся по знаку от веса связи $w_{ir}$, то с вероятностью $p_1$ к $E_i$ следует прибавить коррекцию, равную -1;
  • Если элемент $a_i$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_r$, не отличается (совпадает) по знаку от веса связи $w_{ir}$, то с вероятностью $p_2$ к $E_i$ следует прибавить коррекцию, равную +1;
  • Если элемент $a_i$ неактивен и связь $c_{ir}$ оканчивается на R-элементе с ненулевой ошибкой $E_r$, отличающейся по знаку от веса связи $w_{ir}$ (или $w_{ir}=0$ ), то с вероятностью $p_3$ к $E_i$ следует прибавить коррекцию, равную +1;
  • При всех остальных условиях $E_i$ не изменяется.
• Если $E_i \not= 0$, то ко всем активным связям, оканчивающимся на А или R элементе, прибавляем коррекцию $\eta$ со знаком, совпадающим со знаком $E_i$, т.е. $\Delta w_{ij} = a_i^* sign(E_i) \varepsilon$, где $\varepsilon$ - абсолютное значение $\eta$ (как правило единица).

В большинстве случаев наилучшие характеристики могут быть получены если вероятности будут выбранны согласно следующему условию $p_1 > p_2 > p_3$.

Литература

• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.

• Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998