Теоремы Розенблатта об элементарных перцептронах
Первая теорема Розенблатта доказывает существование элементарного перцептрона, способного выполнить любую классификацию заданного множества черно-белых изображений, т.е. она показывает, что перцептрон является универсальным устройством для решения любой задачи классификации изображений.
Теорема 2.1. Пусть дано множество черно-белых изобра-жений на некоторой сетчатке , тогда для любой классификации C(W) множества W черно-белых изображений на два подмножества W 1, W 2 существует не пустой класс элементарных перцептронов с сетчаткой S, способных выполнить эту классификацию.
Доказательство. Для доказательства достаточно показать существование хотя бы одного элементарного перцептрона, способного выполнить произвольную классификацию C(W). Рассмотрим перцептрон, каждому изображению на сетчатке S которого соответствует один А-элемент – нейрон Ak, функционирование которого определяется выражением:
(2.24)
где – выходной сигнал нейрона Аk; – сигнал на входе нейрона Аk,
; (2.25)
- выходной сигнал j-го S-элемента,
(2.26)
wjk – вес связи между j-м S-элементом и k-м А-нейроном; – порог срабаты-вания k-го А-элемента; .
Для каждого изображения Wk зададим веса wjk соотноше-нием:
(2.27)
При предъявлении любого изображения перцептрону, удов-летворяющему соотношениям (2.24) – (2.27), только на входе одного k-го А-ней-рона, будет сигнал, равный в соответствии с соотношением (2.25) числу m, и только на выходе этого нейрона в соответствии с выражением (2.24) будет единичный выходной сигнал. Теперь для правильного выполнения разделение исходного множества W на два подмножества W 1, W 2 с помощью элементарного перцептрона необходимо только всем весам связей между R- и A-нейронами, которые соответствуют A-элементам, возбуждаемым изображениями подмножества W 1, придать положительные значения, а всем весам связей А-ней-ронов, которые возбуждаются изображениями подмножества W 2, - отрицательные значения, а затем задать выходной сигнал R-нейрона выражением вида:
где – входной сигнал R-элемента.
В этом случае все изображения подмножества W 1 будут кодироваться положительным единичным выходным сигналом нейронной сети, а подмно-жества W 2 – отрицательным, т.е. будет правильно выполняться классификация C(W) исходного множества W изображений.
Хотя построенная таким образом нейронная сеть не имеет существенного практического значения, однако ее наличие показывает, что элементарный перцептрон является универсальным устройством классификации любого множества изображений на два класса. В том случае, когда число изображений множества W превышает число А-нейронов, элементарный перцептрон теряет свою универсальную способность классифицировать изображения.
Теорема 2.2. Если число n изображений в множестве W больше числа А-элементов элементарного перцептрона, то существует некоторая класси-фикация С(W) множества W черно-белых изображений на два подмножества W 1, W 2, которая не может быть выполнена перцептроном.
Теорема 2.3. Для любого элементарного перцептрона с конечным числом А-нейронов вероятность выполнения классификации С(W), которая выбирается из равномерного распределения по всем возможным классификациям множества изображений на два класса, стремится к нулю при n, стремящемся к бесконечности.
Теорема 2.1 доказывает существование элементарного перцептрона, способного выполнять любую заданную классификацию С(W) изображений некоторого множества W на два класса, однако она не указывает алгоритмов достижения этой способности в процессе обучения нейронной сети. Розенблаттом была доказана важная для теории элементарных перцептронов теорема о наличии таких алгоритмов для α-перцептронов.
Рассмотрим некоторую классификацию С(W) множества W изображений на два подмножества W 1, W 2, которая может осуществляться перцептроном с R-элементом, выходной сигнал которого удовлетворяет условиям:
(2.28)
Положим также, что:
(2.29)
Определение 2.9. Метод коррекции ошибок без квантования – этот метод системы подкрепления с коррекцией ошибок, когда при ошибочной реакции R-элемента с порогом q на некоторое изображение к весу каждой из связей, соединяющих активные А-нейроны с R-элементом, прибавляется величина , где коэффициент выбирается из условия, что после коррекции весов связей выполняется соотношение (2.28), т.е. перцептрон правильно классифицирует предъявленное изображение. В методе коррекции ошибок с квантованием применяется это же правило коррекции весов связей, но величина в общем случае гораздо меньше и правильный сигнал на выходе R-нейрона, как правило, достигается не за одну итерацию.
Теорема 2.4. Пусть дан элементарный α-перцептрон, множество черно-белых изображений , некоторая классификация С(W) этих изображений на два подмножества, которая может быть выполнена α-перцеп-троном. Изображения подаются на вход перцептрона в произвольной последовательности, в которой каждое из них появляется неоднократно, через конечное число предъявлений других изображений. Тогда процесс обучения перцептрона методом коррекции ошибок ( с квантованием или без квантования подкрепления) независимо от начальных значений весов связей между R- и А-элементами всегда приводит за конечное число итераций к множеству весов связей, с помощью которых α-перцептрон может выполнить заданную классификацию изображений.
Теорема 2.4 доказывает наличие сходящегося детерминированного метода обучения с коррекцией ошибок для элементарного перцептрона с квантованием или без квантования подкрепления. Следующая теорема доказывает, что обучение элементарного перцептрона может быть выполнено и при менее жестких требованиях к виду коррекции – методом коррекции ошибок со случайным законом подкрепления, когда при появлении ошибки сигнал подкрепления формируется как в α-системе, но знак подкрепления с вероятностью 0,5 может быть положительным или отрицательным.
Теорема 2.5. Пусть дан элементарный α-перцептрон с конечным числом значений весов связей между R- и А-нейронами, множество черно-белых изображений , некоторая классификация C(W) этих изображений на два подмножества, которая может быть выполнена α-перцептроном при некотором наборе весов связей между R- и А-нейронами, изображения подаются на вход перцептрона в произвольной последо-вательности, в которой каждое из них появляется неоднократно через конечное число предъявлений других изображений. Тогда процесс обучения перцептрона, величина сигналов подкрепления которого формируется как и в α-системе с квантованием подкрепления, а знак подкрепления выбирается с вероятностью 0,5 положительным или отрицательным, может быть выполнен за конечное время с вероятностью, равной единице, независимо от начальных значений весов связей между R‑ и А‑нейронами.
Естественно, что метод со случайным знаком подкрепления требует большего объема вычислений при обучении перцептрона, чем прямая коррекция ошибок с квантованием или без квантования подкрепления. Еще большего объема вычислений требует метод, в котором производится случайный выбор не только знака, но и величины подкрепления. Розенблаттом доказана теорема о том, что с вероятностью, равной единице, обучение перцептрона может быть выполнено за конечное время и методом коррекции случайными возмущениями, когда подкрепление формируется как в α-системе, но при этом величина η и знак подкрепления для каждого веса связи выбираются отдельно и независимо в соответствии с некоторым заданным законом распределения вероятностей.
Менее универсальной системой подкрепления, чем α-система и системы со случайным формированием подкрепления, является γ-система. Это доказыва-ет следующая теорема Розенблатта.
Теорема 2.6. Пусть дан элементарный γ-перцептрон, подмножество черно-белых изображений и некоторая классификация C(W) этих изображений на два класса W 1, W 2. Тогда для выполнения классификации C(W) может существовать набор весов связей, недостижимый для γ-системы подкреплений.
Доказательство. Пусть функционирование А-нейронов определяется выражением:
где – соответственно выходной и входной сигналы k-го A-нейрона; – порог срабатывания А-нейронов.
Пусть также каждый А-нейрон возбуждается только одним изображением из множества W, а классификация C(W) осуществляется с помощью R-элемента, функционирование которого описывается соотношением:
где – соответственно выходной и входной сигналы R-нейрона. Выберем классификацию C(W), которая относит все изображения к классу или к классу . Очевидно, что в первом случае решение существует только тогда, когда веса всех связей между R- и А-элементами положительны (или отрицательны, если все изображения относятся к классу ). Если для первого случая начальные веса всех связей между R- и А-нейронами отрицательны, а для второго – положительны, то в силу свойства консервативности γ-системы подкрепления относительно суммы всех весов связей между R- и А-нейронами, она не сможет выполнить правильную настройку весов связей перцептрона для рассматриваемой классификации C(W).
ЗАДАЧА
Формировать два образа и выполнить обучение элементарного перцептрона с бинарными S- и A-нейронами и биполярным R-нейроном (рис. 2.3) их распознавание.
При этом потребуем, чтобы при предъявлении первого образа на выходе R-элемента был сигнал “–1”, при появлении второго – сигнал “+1”.
Задать в таблицах 2.1 и 2.2 веса связей ( ), ( ) соответственно между бинарными S- и A-нейронами и между A-нейронами и биполярным нейроном R с помощью генератора случайных чисел, генерирующего их из конечного множества {0,1; 0,2; …; 0,9}.
Таблица 2.1. Веса связей перцептрона между S- и A-элементами
| S1
| S2
| S3
| S4
| S5
| S6
| S7
| S8
| S9
| A1
|
|
|
|
|
|
|
|
|
| A2
|
|
|
|
|
|
|
|
|
| A3
|
|
|
|
|
|
|
|
|
| A4
|
|
|
|
|
|
|
|
|
| A5
|
|
|
|
|
|
|
|
|
| A6
|
|
|
|
|
|
|
|
|
|
Таблица 2.2. Веса связей перцептрона между R- и A-элементами
| A1
| A2
| A3
| A4
| A5
| A6
| R
|
|
|
|
|
|
|
Подать на вход перцептрона 1 образ.. Единичные сигналы с выходов возбужденных бинарных S-нейронов через связи, весовые коэффициенты которых заданы табл. 2.1, поступают на входы А-нейронов. Суммарный входной сигнал на входе i-го А-элемента определяется соотно-шением:
, (2.8)
где – сигнал на входе i-го А-нейрона; – сигнал на выходе j-го S-ней-рона; wji – вес связи между j-м S-нейроном и i-м А-элементом.
Аналогично вычислить сигналы на входах остальных А-элементов. Результаты этих вычислений свести в табл. 2.3.
Таблица 2.3. Величины сигналов на входах A-элементов
Изображе-ние
| Сигналы на входах A-элементов
| Uвх.A1
| Uвх.A2
| Uвх.A3
| Uвх.A41
| Uвх.A5
| Uвх.A6
| 1 образ
|
|
|
|
|
|
| 2 образ
|
|
|
|
|
|
|
Для упрощения расчетов пороги всех А-нейронов принять одинаковыми
Для обеспечения работоспособности нейронной сети порог необходимо выбрать между min и max и таким образом, чтобы при предъявлении разных изображений возбуждались различные множества M1, M2 А-элементов, причем желательно, чтобы эти множества не пересекались, т.е.
. (2.9)
Выходной сигнал А-элементов рассчитать по соотношению
Использовать для настройки перцептрона α-систему подкрепления при величине сигнала подкрепления η равном 0,1 и при предъявлении последовательности образов в моменты времени t1, t2, t3, … . Процесс адаптации весов связей между R- и A-нейронами занести в табл. 2.4.
Таблица 2.4. Адаптация весов связей перцептрона с помощью -системы
подкрепления
Весовые коэффи-циенты и входные сигналы
|
Моменты времени
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Выходное значение R-элемента рассчитать по соотношению:
где – порог R-элемента,
Не нашли, что искали? Воспользуйтесь поиском по сайту:
©2015 - 2024 stydopedia.ru Все материалы защищены законодательством РФ.
|