В.В. Подшивалов (Ярославль)

Изучение процесса музыкального восприятия представляет собой интересную проблему для академической и практической психологии, входя в более широкий контекст – исследование восприятия вообще, и модального восприятия (визуального, аудиального, кинестетического и др.) в частности. Если мы добавим к этому комплексу еще и специфику такого типа восприятия как художественное восприятие (классификация исходя из особенностей стимула), то получим исходное пересечение «множеств», на котором следует искать ответы на многочисленные вопросы, поставленные данной областью психологической проблематики…

Настоящая статья посвящена проблеме моделирования процесса музыкального восприятия в основном в его теоретическом аспекте. Однако необходимо отметить, что успешное ее решение смогло бы предоставить достаточно интересные возможности для психологической практики, которые схематически можно представить следующим образом: 1) построение некоторой эмпирической вероятностной модели психики клиента; 2) исследование модели на предмет выявления семантики тех или иных стимулов, используемых при работе с клиентом (т. е. различных видов музыки, в нашем случае), 3) отбор подходящих под те или иные критерии стимулов (т. е. под цели психологического воздействия) и; 4) в случае успеха, сокращение времени при непосредственной работе с клиентом, за счет более обоснованного отбора стимульного материала и повышение общей эффективности за счет предотвращения возможных неадекватных (с т. з. целей работы) реакций клиента.

Следует отметить, что в настоящее время данная схема является больше теоретической конструкцией, нежели конкретной психотехнологией, что связано с огромной сложностью моделирования психики вообще (практически полное отсутствие в психологии полноценных[13] шкал, обоснованных переменных, многомерность и нелинейность моделируемых феноменов, их стохастический характер и т. п.) и музыкального восприятия в частности (сложная, нестационарная структура стимульного вектора, процессуальность и др.). Публикуемое в данной статье исследование следует рассматривать в качестве попытки сделать вклад в эту сложную практическую задачу. Что касается академической стороны вопроса, то мы предложим достаточно перспективный и обоснованный подход к психосемантическому моделированию восприятия музыки.

Не смотря на отмеченные трудности, в последнее время, благодаря интенсивному развитию математических методов и компьютерной техники, открываются новые возможности для моделирования сложных процессов, к каким относятся и процессы музыкального восприятия. Новые методы обработки данных позволяют фиксировать нелинейные латентные трудно вербализуемые зависимости между изучаемыми переменными. А поскольку восприятие является очень сложной и многомерной системой, то использование данных методов при моделировании музыкальной перцепции является вполне перспективным и оправданным. Кроме того, в пользу этих методов говорит тот факт, что при исследовании музыкального восприятия приходится сталкиваться с большим количеством шумов, т. е. посторонних неконтролируемых внешних воздействий и внутренних факторов. Вышеотмеченные методы являются достаточно устойчивыми к шумам, и позволяют выделить полезный сигнал в экспериментальных данных.

Одним из наиболее перспективных направлений в современных методах обработки данных (data mining[14]) является использование искусственных нейронных сетей[15]. В различных отраслях науки оно получило разные названия. В психологической литературе чаше всего говорится о «новом коннекционизме» – тем самым подчеркивается генетическая связь с некоторыми идеями Эдварда Ли Торндайка. В математической и компьютерной литературе оно обычно обозначается как «нейрокомпьютинг».

Искусственная НС представляет собой математическую модель (достаточно упрощенную) биологических нейронных структур. Однако, не смотря на определенный схематизм искусственные НС обладают рядом важных особенностей, приближающих их к их естественным прототипам. К наиболее важным свойствам НС относится способность к фиксированию сложных нелинейных связей между переменными (интерполяция) и возможность экстраполяции – т. е. прогноза или классификации наблюдений, которые не встречались в прошлом. Математические исследования показали, что НС являются универсальными аппроксиматорами[16] функций произвольной степени сложности. Эти особенности делают НС незаменимыми в тех ситуациях, где традиционные методы математической статистики работают плохо или не работают вообще, т. е. в ситуациях сложных, трудно формализуемых взаимосвязей между многими переменными.

НС состоит из большого числа (как правило, от нескольких десятков) взаимосвязанных идентичных элементов – формальных нейронов. Существенное значение имеет топология сети. Наибольшее распространение получила многослойная организация нейронов. НС с такой структурой называются «многослойными перцептронами» (МСП). МСП состоит из трех типов слоев – «сенсорного», «ассоциативного» и «моторного». Сенсорный слой представляет собой просто набор входных (независимых переменных), которые соединяются посредством «синапсов» (весовых коэффициентов) с ассоциативным слоем. Ассоциативный слой в свою очередь соединяется с моторным – т. е. выходными (зависимыми) переменными. Схема 1 иллюстрирует строение отдельного «нейрона», а схема 2 – МСП.

Схема 1. Формальный нейрон

w – весовые коэффициенты, умножающие входной сигнал, ∑ - оператор суммирования, - пороговая функция активации. Нейрон суммирует входные сигналы и сравнивает полученную сумму с пороговым значением, если она больше некоторого числа – нейрон выдает на выходе 1, в остальных случаях 0. Биологически это наиболее правдоподобная модель. Однако в нейрокомпьютинге чаще используются другие передаточные функции (обычно гиперболический тангенс или логистическая функция). Это связано с тем, что данные функции дифференцируемы в каждой точке, а наиболее эффективные алгоритмы обучения основаны на нахождении производной.

Схема 2. Многослойный перцептрон

Каждый нейрон предыдущего слоя связан со всеми нейронами последующего слоя – вариант т. н. «полносвязной» архитектуры.

НС обучаются на примерах. Обучение заключается в подстройке весовых коэффициентов между нейронами – «синапсов». Т. о., НС просто устанавливает соответствие между входами и выходами – независимыми и зависимыми переменными, за счет изменения своего внутреннего состояния. После обучения сеть тестируется на контрольной группе примеров, не участвовавших в обучении – кросс-валидационной выборке. Если и здесь сеть дает хороший результат, значит, в данных содержится полезная информация, и сеть уловила какие-то существенные закономерности.

В завершение вводной части данной статьи мы хотели бы отметить, что использование нейросетевых методов именно в области психологии на наш взгляд является весьма перспективным. В соответствии с традиционными научными представлениями основой психической деятельности является нервная деятельность, а НС представляют собой хоть и упрощенную, но весьма удобную и наглядную модель естественных нейронных структур. К тому же объяснительная сила НС увеличивается, если рассматривать ее элементы – формальные нейроны не как аналог отдельных биологических нейронов, а как их целые популяции – нейронные ансамбли. Кроме того, в психологии традиционные статистические методы часто используются некорректно, поскольку они предполагают ряд трудновыполнимых предположений – нормальность распределения вариационного ряда, использование интервальных шкал, достаточно большого объема выборок и т. п. Нейросетевые методы позволяют успешно обойти часть этих ограничений, особенно в прикладных исследованиях, где важна не столько статистическая значимость, сколько практический результат. В настоящий момент практически для любого традиционного метода имеется его нейросетевой аналог, начиная от регрессионного и дискриминантного анализа (МСП, ВНС, ОРНС, РБФ-сети)[17] и заканчивая многомерными исследовательскими техниками, такими как факторный и кластерный анализ, многомерное шкалирование (АА-сети, СОК и др.)[18]. Не смотря на все это, нейросетевые методы в психологии используются еще достаточно мало. Психофизиологов и нейропсихологов больше интересуют биологические НС (хотя вполне можно представить сферы для успешного использования НС и в этих отраслях психологии – напр., анализ ЭЭГ), психологи в других отраслях часто даже не имеют представления о существовании подобных методов. Мы выражаем надежду, что данные методы найдут широкое распространение в психологии и дадут интересные результаты.

Прежде чем приступить к изложению результатов исследования, необходимо остановиться на одном важном аспекте. Вероятно, некоторые читатели уже задались вопросом: каким образом соотносятся искусственные НС и их реальные биологические прототипы. В принципе во многих областях применения НС это является не столь важным – важнее практический результат, достигаемый с помощью НС-прогнозирования. Однако в психологическом исследовании, и в исследовании музыкального восприятия, это имеет существенное значение. В целом можно констатировать, что в настоящее время структура и функции мозга являются недостаточно изученными, чтобы однозначно ответить на этот вопрос. Рассуждая на эту тему полезно использовать понятия, которые мы условно обозначили как «структурный» и «функциональный изоморфизм». Под функциональным изоморфизмом в данном случае следует подразумевать подобие по выполняемым функциям: если модель делает все тоже, что и оригинал, в некотором роде становится не так уж и важно, как именно она это делает (т. е. выполняет эти функции). В качестве примера функционального изоморфизма можно назвать соотношение между компьютерной и человеческой памятью. И та и другая системы могут хранить различного рода информацию (т. е. выполнять одну и ту же функцию), однако за счет совершенно различных механизмов. Различие в механизмах приводит к понятию структурного изоморфизма, который предполагает, что модель не только выполняет функции оригинала, но и имеет сходную в чем-то с ним структуру, аналогичные принципы. Т. о., можно сказать, что искусственные НС находятся в отношении частично структурного, частично функционального изоморфизма к биологическим НС. Примером структурного изоморфизма можно назвать ассоциативную память реализуемую на основе сетей Хопфилда. В отличие от компьютерной памяти она в гораздо большей степени напоминает человеческую. Как известно, хранение информации в мозге имеет распределенный характер, поэтому поражение какой-либо его части либо вообще не приводит к потере информации, либо приводит лишь к частичному ее искажению. В компьютерной памяти потеря хотя бы одного бита информации, как правило, влечет за собой полный крах функций системы, привязанной к данному информационному блоку. В сетях Хопфилда, как и в мозге, используется распределенный принцип хранения информации – информация храниться в распределении значений весовых коэффициентов, поэтому незначительное изменение весов или даже их удаление в основном не приводит к сильному искажению информации. Далее мы еще вернемся к вопросу структурного и функционального изоморфизма при рассмотрении НС-модели музыкального восприятия, а теперь же перейдем к изложению схемы эксперимента.

Основные цели исследования предполагали следующее:

1) разработать теоретическую модель музыкального восприятия;

2) подобрать необходимую архитектуру НС для решения задачи классификации входных векторов – экспериментальных музыкальных отрывков – методом семантического дифференциала;

3) сравнить эффективность нейросетевых и традиционных статистических методов.

Что касается теоретической модели, то она включила в себя три переменные – лад, тембр и темп[19]. Экспериментальный материал представлял собой набор относительно простых музыкальных тем, имеющих аналогичную структуру аранжировки: на фоне ритм-секции (ударные и бас) – мелодическая линия. Использовались сл. лады: мажор (Dur), минор (moll), с уменьшенной секундой (Sdim), пентатоника (PTTN) и додекафония (DDPH). Классификация тембров была осуществлена на основании объективных акустических характеристик звуковой волны – спектра и т. н. «огибающей». Было выделено четыре типа тембра – два по признаку спектра (гармонический – негармонический) и два по огибающей (дискретный – континуальный). Соответствующие кодировки: DH, DNH, CH, CNH – дискретный гармонический, дискретный негармонический, континуальный гармонический, континуальный негармонический. Темп представлен дихотомией «медленный – быстрый» (S – F). Следует отметить, что данный набор переменных не претендует на абсолютную полноту, поскольку в современной музыке существует огромное количество ладов и тембров[20]. Однако использованные нами относятся к наиболее распространенным.

Оценка восприятия музыкальных тем фиксировалась с помощью метода СД, в несколько модифицированном варианте, более подходящем для музыкального материала. Использовались следующие шкалы: «грустный – радостный», «темный – светлый», «горький – сладкий», «сильный – слабый», «маленький – большой», «застывший – подвижный», «вялый – стремительный». Последующий факторный анализ выявил трехфакторную структуру в целом соответствующую модели Ч. Осгуда. Факторы условно были обозначены как «эстетика» (первые три шкалы), «интенсивность» (четвертая и пятая шкалы) и «динамика» (последние две шкалы). Поэтому далее мы будем говорить не об отдельных шкалах, а об общих факторах.

Схема 3. Основная модель исследования

m – момент (разновидность обучающего алгоритма), L1 – знаковый критерий ошибки, Sangers – синапс с правилом Санджерса, backprop – поток обратного распространения ошибки.

Рассмотрим более подробно данную схему. Две основные парадигмы нейрокомпьютинга определяются как «обучение с учителем» (supervised learning) и «обучение без учителя» (unsupervised learning). В ситуации обучения с учителем имеется определенный внешний критерий ошибки, и сеть изменяет свое состояние минимизируя некоторую функцию (поверхность ошибки). Проще говоря, у нас есть набор входных переменных и выход – переменная, значение которой мы хотим предсказывать, основываясь на знании входа. В ходе обучения с учителем сеть подстраивает весовые коэффициенты таким образом, чтобы давать правильный отклик в как можно большем числе случаев, т. е. имеющихся выборочных наблюдений. Ключевым моментом в данном подходе является обратная связь, реализуемая за счет алгоритма «обратного распространения» (back propagation) ошибки. При инициализации сети весам присваиваются случайные значения. Далее предъявляются все наблюдения из обучающей выборки (одна «эпоха» обучения), НС дает выход, определяется ошибка – неправильная классификация. На следующем этапе информация об ошибке поступает обратно в сеть и используется для изменения весов. Цикл продолжается до тех пор, пока ошибка не достигнет некоторого приемлемого уровня, а конкретнее когда она начинает расти на кросс-валидационной выборке, используемой для контроля генерализации НС. Этот ключевой момент означает, что сеть уловила имеющиеся в данных закономерности и дальше начинает «аппроксимировать шум». Поэтому обучение должно быть остановлено.

Обучение без учителя предполагает отсутствие внешнего критерия ошибки. В этой ситуации сеть пытается уловить саму структуру данных – представить многомерные данные в пространстве меньшей размерности. Исторически первым правилом научения является правило Хебба, названное по имени выдающегося канадского нейрофизиолога и нейропсихолога Дональда Олдига Хебба, внесшего большой вклад в нейропсихологическое понимание процессов научения. Хебб предположил, что синаптическое соединение двух нейронов усиливается, если оба эти нейрона возбуждены. Это можно представить как усиление синапса в соответствии с корреляцией уровней возбужденных нейронов, соединяемых данным синапсом. По этой причине алгоритм обучения Хебба иногда называется корреляционным алгоритмом. Математически правило Хебба выражается следующим образом: ∆w=ηx_jy_i (∆w – изменение веса, η– скорость обучения,x_j – активация «житого» нейрона, y_i – выход «итого» нейрона). Самое поразительное, что НС обучающаяся по правилу Хебба выполняет операцию аналогичную анализу главных компонентов (АГК) – хорошо изученному традиционному статистическому методу, т. е. сеть учиться строить своего рода «обобщенный образ» сложного стимула. Однако применение правила Хебба в классической формулировке на практике затруднительно поскольку НС становится нестабильной – это связано с неограниченным ростом весов сети[21]. Поэтому было разработано несколько модификаций правила Хебба, предполагающих нормализацию весов. Наиболее распространенным правилом, применяемым для реализации АГК, является правило Санджерса.

Здесь необходимо сделать одно замечание. Считается, что обучение без учителя (в одном из хеббовских вариантов) является нейрофизиологически более правдоподобным. Однако в реальных когнитивных системах присутствуют оба типа научения. Научение по Хеббу является локальным. Алгоритм обратного распространения наоборот предполагает глобальную систему обратной связи. Поэтому можно сказать, что правило Хебба является более правдоподобным в частностях, в то время как алгоритм обратного распространения воспроизводит общую логику научения на основе обратной связи, конкретная нейрофизиологическая реализация которой может варьироваться, т. е. обучение без учителя находится в отношении структурного изоморфизма, а обучение с учителем – только функционального. Можно предположить, что в процессе восприятия музыки также имеют место оба варианта «научения» с преобладанием первого. Примером обратной связи в восприятии музыки можно назвать социальные ситуации с определенной семантикой (наиболее банально – свадебный марш, похоронный марш). Выполняя определенные социально-символические функции, музыка приобретает специфическую семантику, что выражается в использовании тех или иных музыкально-выразительных средств (ладов, ритмических структур). Будучи воспринятыми в тех или иных ситуациях, эти устойчивые структуры могут генерализироваться на более широкий круг музыкальных тем, а социальные ситуации выступать в качестве критерия обратной связи для эмоционально-эстетической оценки.

Теперь перейдем непосредственно к описанию эксперимента. Выборочный материал включил 80 тем, репрезентативных относительно основных музыкальных параметров – лада, ритма, тембра. Далее данные пропорционально к этим параметрам были разделены на обучающую (LS) и кросс-валидационную (C-VS) выборку. На вход сети подавалась спектрограмма (см. рис. 1) – графическое отображение звуковой волны. Горизонтальная ось в спектрограмме обозначает время, вертикальная – частоту волны, интенсивность спектральных компонент обозначается яркостью цвета (чем ярче, тем больше амплитуда).

Рис. 1. Экспериментальные спектограммы

Как видно из рисунка, спектрограмма является достаточно полным отображением музыкального материала. Помимо самого спектра, можно выделить также некоторые ритмические и др. особенности, например, вертикальные линии соответствуют отдельным нотам[22]. Т. о., подавая на вход сети спектрограмму, мы в некотором роде заставляем ее «слушать музыку».

Для каждой музыкальной темы из LS и C-VS была создана спектрограмма в виде матрицы размером 60х100 (графический файл в формате bmp). Эти матрицы подавались на вход сети (см. первый блок на схеме 3). Каждой точке в матрице сопоставлялось определенное числовое значение, т. о. данные переводились в форму доступную для НС-обработки. Архитектура сети совмещает обе парадигмы – обучение с учителем и обучение без учителя. На первом этапе синапс Санджерса осуществляет процедуру аналогичную АГК, переходя к пространству меньшей размерности (6х10, второй блок на схеме 3), далее главные компоненты обрабатываются с помощью алгоритма обратного распространения (МСП с одним скрытым слоем из 9 нейронов – матрица 3х3, см. блок 3 на схеме 3). В качестве критерия ошибки использовался L1 – знаковый критерий (правильность – неправильность классификации). Выходной переменной был эстетический фактор СД, т. е. НС училась классифицировать музыкальные темы с точки зрения их эмоционально-эстетической оценки на «позитивные» и «негативные».[23]

Несмотря на то, что в концепции data mining отсутствует понятие статистической значимости переменных при построении самой модели, мы можем оценить результаты деятельности НС со всей математической строгостью. Ниже приводятся классификационные таблицы для LS и C-VS.

Табл. 1. Классификационная матрица

Анализ аналогичной таблицы сопряженности по абсолютным долям свидетельствует о статистической значимости классификационных решений сети. Критерий χ² с поправкой Йетса на непрерывность значим на уровне α≈0,01. Как можно увидеть из таблицы, сеть правильно классифицировала 85% (59%) музыкальных тем как «позитивные» и 61% (83%) как негативные. Всего было правильно классифицировано ≈70% наблюдений как в LS, так и в C-VS. Табл. 1 также свидетельствует о хорошей генерализационной способности сети.

Рассмотрим теперь модель представленную на схеме 3 в терминах структурного изоморфизма. С этой точки зрения использованная нами архитектура реализует некий аналог «афферентного синтеза», осуществляемого в биологических когнитивных системах, поскольку количество элементов последовательно уменьшается (6000 – 60 – 9). Первый блок можно соотнести с периферией слухового анализатора. Второй блок соответствует нейронным ансамблям, на которые конвергируют сигналы из периферических нейронов. Третий блок выполняет функцию ассоциативной памяти (весьма и весьма упрошенной, конечно).

Интересны также параллели, которые можно провести между НС-моделированием и функциональной асимметрией головного мозга. В целом существует мнение, что искусственные НС более соотносятся с деятельностью правого полушария. Это так же является важным в контексте проблемы музыкального восприятия[24]. Вероятно, вполне адекватным является рассмотрение процесса эмоционально-эстетической оценки музыки как «бессознательных умозаключений» (Герман Гельмгольц). Фактически мы зачастую затрудняемся ответить, почему та или иная музыкальная тема воспринимается как «грустная» или «радостная», «темная» или «светлая». Очевидно «решение» принимается бессознательно правым полушарием в результате сложнейших ассоциативных и синестетических процессов. И только потом мы можем «строить гипотезы» из левого полушария, относительно причин этого «решения»[25]. Т. о., НС является инструментом позволяющим снимать сложную ассоциативную структуру «бессознательных умозаключений» – что и происходит в процессе обучения сети.

Одним из ключевых принципов науки, сформулированным еще Вильямом Оккамом, является принцип предпочтения более «скупых» моделей более сложным, если последние не дают существенного прироста эффективности. НС-модели являются более сложными по сравнению с традиционными аналитическими методами, поэтому третьей задачей нашего исследования было сравнение эффективности НС и традиционных техник. В нашем случае, однако, прямое сравнение является практически невозможным по техническим соображениям – трудно реализовать модель регрессионного или дискриминантного анализа, когда на входе имеется такое количество переменных (6000 каналов или аналогично – матрица 60х100). Однако задачу можно переформулировать в терминах НС, если понимать под классическими методами методы линейного моделирования. Тогда можно построить линейную архитектуру НС (сеть без скрытых слоев) типа АДАЛИН (адаптивный линейный элемент), что и было нами сделано на первом этапе исследования. Модель была идентична представленной на схеме 3, за исключением отсутствия третьего блока. НС с данной архитектурой значительно хуже справлялась с задачей классификации и к тому же имела тенденцию заносить все наблюдения в один класс, что по всей видимости свидетельствует о нелинейности в зависимостях между экспериментальными данными и об оправданности использования более сложной модели. Следует также отметить, что использованная нами архитектура не является самой «продвинутой». Например, первый блок осуществлял НС-аналог АГК, т. е. по существу реализовывал линейный алгоритм[26].

И, наконец, в завершении сравнения традиционных и НС-методов необходимо сказать, что они часто исходят из совершенно различных методологических предпосылок. Как правило, традиционные статистические модели включают относительное небольшое количество независимых переменных (верхняя граница находится приблизительно в районе 20). В НС-подходе входных каналов может быть очень много (в нашем случае их было 6000). Поэтому проблемы решаемые с помощью НС чаще всего определяются как проблемы «распознавания образов» – одной из центральных проблем в области искусственного интеллекта. Статистические же модели являются в большей степени моделями «идеальных типов» (в смысле Макса Вебера), описываемыми с помощью относительно небольшого числа чаще всего лингвистических переменных (в социальных и гуманитарных науках) – т. е. они являются рациональной реконструкцией ученого, в то время как НС фактически анализирует реальный стимул как «гештальт». В этом смысле проблема линейности – нелинейности вообще исчезает, и преимущество НС-методов является очевидным.

В завершение нашей статьи мы хотели бы обрисовать некоторые перспективы дальнейшего исследования проблемы музыкального восприятия. Очень интересным вопросом является рассмотрение момента интерсубъективности в восприятии музыки. Использование НС-моделирования позволяет раскрыть эту проблему под новым углом. В принципе, утверждение, что восприятие, а в особенности восприятие музыки[27], является глубоко индивидуальным, опосредованным особенностями личности является банальным. Между тем граница сугубо персонального и социально детерминированного, а так же акустически детерминированного (т. е. обусловленного особенностями самой музыки) является не совсем ясной. Иными словами: в какой же конкретно мере восприятие музыки индивидуально? Использование НС позволяет содержательно, и, видимо, даже количественно ответить на этот вопрос. В дальнейшем мы планируем провести исследование по схеме аналогичной изложенной нами выше с еще несколькими испытуемыми. Тогда можно будет проверить в насколько точно сеть «воспитанная» на оценочных реакциях одного из испытуемых сможет предсказывать оценки других. Кроме того, можно будет ввести в модель определенные внутренние переменные (например, тип темперамента и т. п.). Но это уже тема для следующей статьи.

Литература:

1. Заенцев И. В. Нейронные сети: основные модели. Воронеж, 1999.

2. Костандов Э. А. Психофизиология сознания и бессознательного. – СПб: ПИТЕР, 2004.

3. Марютина Т. М., Ермолаев О. Ю. Введение в психофизиологию. - М.: Флинта, 2002.

4. Подшивалов В. В. Методологические проблемы музыкальных психотехнологий. Пси

хотехнологии в социальной работе. Под ред. В. В. Козлова. Вып. 9. – Ярославль: РИА

«Титул», 2004.

5. Хегенхан Б., Олсон М. Теории научения. – СПб: ПИТЕР, 2004.

6. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. Электронная книга.

7. Principe J., Euliano N., Lefebvre C. Neural and Adaptive Systems. Interactive electronic book.

Не нашли, что искали? Воспользуйтесь поиском по сайту: