Элементы искусственного нейрона

История создания первых искусственных нейронных сетей

Первые шаги в области искусственных нейронных сетей были сделаны В. Мак-Калахом и В. Питсом, которые показали в 1943 г., что с помощью пороговых нейронных элементов можно реализовать исчисление логических функций для распознавания образов.

В 1949 г. Дональдом Хеббом было предложено правило обучения, ставшее основой для обучения ряда сетей, а в начале шестидесятых годов

Ф.Розенблатт исследовал модель нейронной сети, названной им персептроном.

Искусственные нейронные сети

Одним из базовых исследований в области искусственных нейронных сетей заключается в математическом описании взаимодействия входных и выходных данных и определении их прогнозных значений.

Нейрокомпьютерыкак новый класс устройств вычислительной техники являются модельным отображением особенностей, присущих процессам переработки информации в живых организмах, таким как самоорганизация, обучение, адаптация.

Позволяют создавать системы для решения задач управления, распознавания образов, диагностики заболеваний, автоматического анализа документов и многих других приложений.

НЕЙРОННЫЙ ЭЛЕМЕНТ

Связи, по которым выходные сигналы одних нейронов поступают на входы других, часто называют синапсами по аналогии со связями между биологическими нейронами. Каждая связь характеризуется своим весом.

Связи с положительным весом называются возбуждающими, а с отрицательным — тормозящими.

Нейрон имеет один выход, часто называемый аксоном по аналогии с биологическим прототипом.

С единственного выхода нейрона сигнал может поступать на произвольное число входов других нейронов.

Схема искусственного нейрона приведена далее.

Элементы искусственного нейрона

1- нейроны, выходные сигналы которых поступают на вход (x_i), w_i — веса входных сигналов

2- сумматор входных сигналов, умноженных на их весовые коэффициенты;

3- вычислитель передаточной функции (функция активации);

4- нейроны, на входы которых подается выходной сигнал данного нейрона.

Нейрон имеет один выход, часто называемый аксоном по аналогии с биологическим прототипом.

С единственного выхода нейрона сигнал может поступать на произвольное число входов других нейронов.

Уровень возбуждения нейронного элемента равен или в векторном виде S=X×W. Взвешенная суммаSпредставляет собой скалярное произведение вектора весов на входной вектор:

,

где |w|, |x| –длины векторов W и X соответственно,

а α – угол между этими векторами.

В большинстве случаев функции активацииявляется монотонно возрастающей и имеет область значений [−1, 1] или [0, 1], однако существуют исключения. Искусственный нейрон полностью характеризуется своей передаточной функцией. Использование различных передаточных функций позволяет вносить нелинейность в работу нейрона и в целом нейронной сети.

Можно провести аналогию с проблемой выбора архитектуры нейронной сети для каждой конкретной задачи. Здесь может быть два общепризнанных метода: конструктивный и деструктивный. Конструктивный метод предполагает, что мы строим нейронную сеть «с нуля» постепенно добавляя все новые нейроны и связи.

Деструктивный метод, наоборот, предполагает наличие некоторой начальной (с большим числом искусственных нейронов и связей) структуры сети, от которой затем происходит удаление избыточных звеньев. Возникает идея использования приведенных методов для декомпозиции ИНС на модули, т.е., имея некоторую структуру сети, подлежащую декомпозиции, мы можем применять конструктивный или деструктивный метод для поиска модулей.

К примеру, при использовании конструктивного метода поиска модулей вначале мы будем обучать лишь малую часть сети (буквально 1 или 2 нейрона), затем, отслеживая процесс минимизации ошибки обучения, мы сможем постепенно добавлять больше нейронов и связей, как бы наращивая модуль. Такой подход позволит постепенно осуществить декомпозицию исходной искусственной нейронной сети на модули, которые в дальнейшем можно будет обучать с использованием модульного принципа.

Рассмотренная модель конструктивного поиска приведена на рис.1.

Рис. 1. Модель конструктивного поиска модулей ИНС по наименьшей начальной ошибке

Аналогично следует поступить с оставшимися нейронами, пока вся ИНС не будет разделена на модули. В рассматриваемом случае все оставшиеся нейроны и связи могут составить второй модуль.

Очевидно, что в случае использования деструктивного метода поиска следует действовать в обратном порядке, т.е., постепенно убирая из модуля нейроны и связи. Стоит отметить, что каждый при поиске модулей, отслеживать ошибку следует, обучая модули «с нуля». И только когда все модули найдены, каждый из них будет обучаться с сохранением уже найденных весовых коэффициентов.

Не нашли, что искали? Воспользуйтесь поиском по сайту: