Сделай Сам Свою Работу на 5

Валидность и надежность психодиагностического теста





Для характеристики способности теста измерять действительный уровень психического свойства или качества используется понятие «валидность». Валидность теста показывает, в какой мере он измеряет то качество (свойство, способность, характеристику и т. п.), для оценки которого он предназначен. Инвалидные, т. е. не обладающие валидность тесты не пригодны для практического использования. Валидность и надежность — связанные понятия. Их соотношение может быть проиллюстрировано следующим примером. Допустим, имеются два стрелка А и В. Стрелок А выбивает 90 очков из 100, а стрелок В — только 70. Соответственно надежность стрелка А равна 0,90, а стрелка В — 0,70. Однако стрелок А всегда стреляет по чужим мишеням, поэтому на сорев­нованиях его результаты не засчитываются. Второй стрелок всегда правильно выбирает мишени. Поэтому валидность стрелка А нулевая, а стрелка В — 0,70, т. е. численно равна надежности. Если стрелок А станет правильно выбирать мишени, его валидность тоже будет равна его на­дежности. Если же он будет иногда путать ми-   шени, то часть результатов не будет зачтена и валидность стрелка А будет ниже надежности. В нашем примере аналогом надежности является меткость стрелка, а аналогом валидности — тоже точность стрельбы, но не по любой, а по строго определенной, «своей» мишени. В истории известны случаи, когда тесты, признанные инвалидными для измерения одних свойств, оказывались валидными для других. Значит, надежность является необходимым условием валидности. Ненадежный тест не может быть валидным, и, наоборот, валидный тест всегда надежен. Надежность теста не может быть меньше его валидности; в свою очередь, Валидность не может превышать надежность. В современной психометрии выделяются три основных вида валидности: 1) содержатель­ная (логическая); 2) эмпирическая и 3) концептуальная. По: Мельников В. М., Ямпольский Л. Т. Введение в экспериментальную психологию личности: Учеб. пособие для слушат. ИПК, препод. пед. дисциплин ун-тов и пед. ин-тов. — М.: Просвещение, 1985.

Субъективные методы основываются на самооценках или самоотчетах испытуемых, а также на мнении исследователей о том или ином наблюдаемом явлении или полученной информации. С выделением психологии в самостоятельную науку субъективные методы получили первоочередное развитие и продолжают совершенствоваться в настоящее время. Самыми первыми методами изучения психологических явлений были наблюдение, самонаблюдение и опрос.





Метод наблюдения в психологии является одним из самых старых и на первый взгляд наиболее простых. Он основывается на планомерном наблюдении за деятельностью людей, которое проводится в обычных жизненных условиях без какого-либо преднамеренного вмешательства со стороны наблюдателя. Наблюдение в психологии предполагает полное и точное описание наблюдаемых явлений, а также их психологическое толкование. Именно в этом заключается главная цель пси­хологического наблюдения:оно должно, исходя из фактов, раскрыть их психоло­гическое содержание.

Наблюдение — это метод, которым пользуются все люди. Однако научное на­блюдение и наблюдение, которым пользуется большинство людей в повседневной жизни, имеют ряд существенных различий. Научное наблюдение характеризуется систематичностью и проводится на основе определенного плана с целью получения объективной картины. Следовательно, научное наблюдение требует специальной подготовки, в ходе которой приобретаются специальные знания и содействующие объективности психологической интерпретации качества.

28 • Часть I. Введение в общую психологию

Рис. 1.9. Основные методы психологических исследований

Глава 1. Предмет психологии, ее задачи и методы • 29

Наблюдение может проводиться в разнообразных вариантах. Например, до­статочно широко применяется метод включенного наблюдения. Данный метод ис­пользуется в тех случаях, когда психолог сам является непосредственным участником событий. Однако если под влиянием личного участия исследователя его восприятие и понимание события может быть искажено, то лучше обращаться к стороннему наблюдению, что позволяет более объективно судить о происходящих событиях. Включенное наблюдение по своему содержанию очень близко к другому методу — самонаблюдению.



Самонаблюдение, т. е. наблюдение за своими переживаниями, является одним из специфических методов, применяемых только в психологии. Следует отметить, что данный метод помимо преимуществ обладает целым рядом недостатков. Во-первых, наблюдать свои переживания очень трудно. Они или изменяются под влиянием наблюдения, или совсем прекращаются. Во-вторых, при самонаблюдении очень трудно избежать субъективизма, поскольку наше восприятие происходящего имеет субъективную окраску. В-третьих, при самонаблюдении трудно выразить некоторые оттенки наших переживаний.

Тем не менее метод самонаблюдения очень важен для психолога. Сталкиваясь на практике с поведением других людей, психолог стремится понять его психологическое содержание. При этом в большинстве случаев он обращается к своему опыту, в том числе и к анализу своих переживаний. Поэтому, для того чтобы успешно работать, психолог должен научиться объективно оценивать свое состояние и свои переживания.

Самонаблюдение часто применяется в условиях эксперимента. В этом случае оно приобретает наиболее точный характер и его принято называть экспериментальным самонаблюдением. Характерной чертой его является то, что опрос человека проводится при точно учитываемых условиях опыта, в те моменты, которые наиболее интересуют исследователя. В данном случае метод самонаблюдения очень часто используется совместно с методом опроса.

Опрос представляет собой метод, основанный на получении необходимой ин­формации от самих обследуемых путем вопросов и ответов. Есть несколько вариантов проведения опроса. Каждый из них имеет свои преимущества и недостатки. Выделяют три основных вида опроса: устный, письменный и свободный.

Устный опрос, как правило, применяется в тех случаях, когда необходимо ве­сти наблюдение за реакциями и поведением испытуемого. Этот вид опроса позволяет глубже, чем письменный, проникнуть в психологию человека, поскольку вопросы, задаваемые исследователем, могут корректироваться в процессе исследования в зависимости от особенностей поведения и реакций испытуемого. Однако данный вариант опроса требует больше времени для проведения, а также наличия специальной подготовки у исследователя, поскольку степень объективности ответов очень часто зависит от поведения и личностных особенностей самого исследователя.

Письменный опрос позволяет охватить большее количество людей за сравнительно небольшое время. Наиболее распространенная форма данного опроса — анкета. Но ее недостатком является то, что нельзя предвидеть реакцию испытуемых на ее вопросы и изменить в ходе исследования ее содержание.

Свободный опрос — разновидность письменного или устного опроса, при котором перечень задаваемых вопросов заранее не определяется. При опросе данного типа можно достаточно гибко менять тактику и содержание исследования, что позволяет получить разнообразную информацию об испытуемом. В то же время стандартный опрос требует меньше времени и, что самое главное, полученная информация о конкретном испытуемом может быть сопоставлена с информацией о другом человеке, так как в данном случае перечень вопросов не меняется.

 

30 Часть I. Введение в общую психологию

Это необходимо знать

Моральные принципы деятельности психолога

Проведение психологических исследований всегда связано с привлечением к нему испытуе­мых. Поэтому встает вопрос об этике взаимо­отношений между психологом и испытуемыми. На каких принципах они должны строиться? Американской психологической ассоциаци­ей (АПА) и аналогичными организациями в Кана­де и Великобритании были выработаны основные инструкции по обращению с испытуемыми — как с людьми, так и с животными (Американ­ская психологическая ассоциация, 1990). Так, в Соединенных Штатах федеральное законода­тельство требует от любой организации, прово­дящей исследования на деньги федерального бюджета, существования внутреннего наблю­дательного совета. Этот совет должен контро­лировать проводимые исследования и гаранти­ровать, что при обращении с испытуемыми бу­дут соблюдены инструкции, основанные на определенных этических принципах. Первый принцип этического обращения с людьми-испытуемыми — это минимизация рис­ка. В США в соответствующих федеральных инструкциях сказано, что в большинстве случа­ев предполагаемый риск при ведении исследо­вания не должен превышать риск, связанный с обычной повседневной жизнью. Очевидно, что человеку не должен быть причинен физический вред или травма, но не всегда можно однознач­но решить, какой величины психологический стресс является этически оправданным в том или ином исследовательском проекте. Конечно, в обычной жизни люди часто ведут себя невеж­ливо, лгут и доставляют беспокойство другим. При каких условиях для исследователя будет эти­чески оправданным делать то же самое с испы­туемым с целью выполнения исследовательско­го проекта? Это именно те вопросы, которые наблюдательный совет должен рассматривать в каждом отдельном случае. Второй принцип этического обращения с ис­пытуемыми-людьми требует их информирован­ного согласия. Испытуемые должны участвовать в исследовании добровольно и должны иметь право отказаться от него в любой момент по своему желанию и безо всяких штрафов. Их также обязаны предупреждать заранее обо всех особенностях исследования, которые предполо­жительно могут повлиять на их желание сотруд­ничать. Как и принцип минимального риска, требование информированного согласия не всегда легко реализовать. В частности, это требование иногда противоречит другому общепринятому требованию к проведению исследования: чтобы испытуемый не знал, какие гипотезы в этом ис­следовании проверяются. Если планируется сравнить заучивание одними испытуемыми зна­комых слов, а другими — незнакомых слов, то никаких этических проблем не возникнет, если просто сказать испытуемым заранее, что они будут заучивать списки слов: им не нужно знать, чем отличаются слова  

 

Рассмотрев метод опроса, мы подошли вплотную к проблеме точности измере­ния получаемой информации, а также количественных и качественных характе­ристик в психологии. С одной стороны, данная проблема тесно связана с пробле­мой объективности исследования. Психологи давно задают себе вопрос: «Чем можно доказать, что наблюдаемое явление не случайно или что оно объективно существует?» В процессе становления и развития психологии была определена методология подтверждения объективности результатов эксперимента. Напри­мер, таким подтверждением может быть повторение результатов в исследованиях с другими испытуемыми, находящимися в аналогичных условиях. И чем больше будет количество совпадений, тем выше вероятность существования обнаружен­ного явления. С другой стороны, данная проблема связана с проблемой сопоста-

Глава 1. Предмет психологии, ее задачи и методы 31

Это необходимо знать

у различных испытуемых. Не будет серьезных этических проблем, даже если испытуемым устраивать внезапную проверку на знание слов, тестирования которых они не ожидали. Но что если исследователю надо сравнить заучивание слов испытуемыми, настроенными нейтрально, с заучиванием слов испытуемыми, пребывающими в состоянии гне­ва или замешательства? Ясно, что это исследова­ние не даст достоверных выводов, если испыту­емым придется сказать заранее, что их будут на­меренно злить (путем грубого обращения) или намеренно приводить в замешательство (застав­ляя поверить, что они случайно сломали какой-нибудь прибор). По этому поводу в инструкциях сказано, что такие исследования проводить можно, но испытуемых следует вывести из не­ведения как можно скорее после их участия. При этом следует объяснить им, почему их надо было держать в неведении или обманы­вать, и, кроме этого, следует устранить их оста­точный гнев или замешательство, так чтобы их достоинство не пострадало, а оценка проводимого исследования повысилась. Наблюдатель­ный совет должен быть убежден, что процедура выведения испытуемых из исследования со­ответствует этим требованиям. Третий этический принцип исследований — это право испытуемых на конфиденциальность. Информацию о человеке, полученную в процессе исследования, следует считать конфиденциальной и исключить доступ к ней других лиц без его согласия. Обычно с этой целью прово­дят отделение имен испытуемых и другой информации, позволяющей их идентифицировать, от полученных данных. В этом случае идентификация данных ведется по буквенному или цифровому коду. Таким образом, только экспериментатор имеет доступ к результатам испытуемого. Примерно в 7-8% всех психологических экспериментов используются животные (в основном грызуны и птицы), и в очень немно­гих из них животные подвергаются болезненным или причиняющим вред процедурам. Тем не менее в последние годы наблюдаются повышенный интерес к этой проблеме и споры по по­воду использования животных в научных исследованиях, их содержания и обращения с ними; инструкции как федеральных властей, так и АПА требуют, чтобы все болезненные или наносящие животному вред процедуры были полностью оправданы тем знанием, которое получается в результате такого исследования. Есть также специальные правила, регламентирующие условия жизни лабораторных животных и процедуры ухода за ними. Помимо конкретных инструкций действует общий этический принцип, говорящий, что участников психологических экспериментов следует считать полноценными партнерами исследователя. По; Аткинсон Р. Л., Атнмнсон Р. С., Смит Э. Е. и др. Введение в психологию: Учебник для университетов /Пер. с англ. под. ред. В. П. Зинченко. — М.: Тривола, 1999.

вимости результатов. Как сопоставить выраженность определенной психологической характеристики у различных людей?

Попытки количественной оценки психологических явлений стали предприниматься начиная со второй половины XIX в., когда возникла необходимость сделать психологию более точной и полезной наукой. Но еще раньше, в 1835 г., вышла в свет книга создателя современной статистики А. Кетле (1796-1874 ) «Социальная физика». В этой книге Кетле, опираясь на теорию вероятностей, показал, что ее формулы позволяют обнаружить подчиненность поведения людей некоторым закономерностям. Анализируя статистический материал, он получил посто­янные величины, дающие количественную характеристику таких человеческих актов, как вступление в брак, самоубийство и др. Эти акты ранее считались произвольными. И хотя сформулированная Кетле концепция была неразрывно связана с метафизическим подходом к общественным явлениям, она вносила ряд новых моментов. Например, Кетле высказал идею о том, что если среднее число является постоянным, то за ним должна стоять реальность, сопоставимая с физической, благодаря чему становится возможным предсказывать разнообразные явления (в том числе и психологические) на основе статистических законов. Для познания этих законов безнадежно изучать каждого человека в отдельности. Объектом изучения поведения должны быть большие массы людей, а основным методом — вариационная статистика.

Уже первые серьезные попытки решить проблему количественных измерений в психологии позволили открыть и сформулировать несколько законов, связывающих силу ощущений человека с выраженными в физических единицах стимулами, воздействующими на организм. К ним относятся законы Бугера—Вебера, Вебера—Фехнера, Стивенса, представляющие собой математические формулы, при помощи которых определяется связь между физическими стимулами и ощущениями человека, а также относительный и абсолютный пороги ощущений. Впоследствии математика широко вошла в психологические исследования, что в определенной степени повысило объективность исследований и способствовало превращению психологии в одну из наиболее целесообразных с практической точки зрения наук. Широкое внедрение математики в психологию определило необходимость разработки методов, позволяющих многократно проводить однотипные исследования, т. е. потребовало решить проблему стандартизации процедур и методик.

Основной смысл стандартизации заключается в том, что для обеспечения наи­меньшей вероятности ошибки при сравнении между собой результатов психоло­гических обследований двух людей или нескольких групп необходимо прежде всего обеспечить использование одинаковых методов, стабильно, т. е. независимо от внешних условий, измеряющих одну и ту же психологическую характеристику.

К числу таких психологических методов относятся тесты. Данный метод ис­пользуется чаще всего. Его популярность обусловлена возможностью получения точной и качественной характеристики психологического явления, а также возможностью сопоставить результаты исследования, что в первую очередь необходимо для решения практических задач. От других методов тесты отличаются тем, что имеют четкую процедуру сбора и обработки данных, а также психологической интерпретацией полученных результатов.

Глава 1. Предмет психологии, ее задачи и методы • 33

Принято выделять несколько вариантов тестов: тесты-опросники, тесты-задания, проективные тесты.

Тест-опросник как метод основан на анализе ответов испытуемых на вопросы, которые позволяют получить достоверную и надежную информацию о наличии или выраженности определенной психологической характеристики. Суждение о развитии данной характеристики осуществляется на основе количества ответов, совпавших по своему содержанию с представлением о ней. Тест-задание предполагает получение информации о психологических характеристиках человека на основании анализа успешности выполнения определенных заданий. В тестах это­го типа испытуемому предлагается выполнить определенный перечень заданий. Количество выполненных заданий является основанием для суждения о наличии или отсутствии, а также степени развития у него определенного психологического качества. Большинство тестов по определению уровня умственного развития относится именно к этой категории.

Одну из самых первых попыток разработатьтесты сделал Ф. Гальтон (1822-1911). На Международной выставке в Лондоне в 1884 г. Гальтон организовал ан­тропометрическую лабораторию (в дальнейшем переведенную в Южно-Кенсингтонский музей в Лондоне). Через нее прошло свыше девяти тысяч испытуемых, у которых измерялись наряду с ростом, весом и т. д. различные виды чувствительности, время реакции и другие сенсомоторные качества. Тесты и статистические методы, предложенные Гальтоном, в дальнейшем получили широкое применение для решения практических вопросов жизни. Это было началом создания прикладной психологии, получившей название «психотехника».

Этот термин вошел в лексикон ученых после публикации статьи Д. Кеттелла (1860-1944) «Mental Tests and Measurements» («Умственные тесты и измерения») в 1890 г. в журнале Mind с послесловием Гальтона. «Психология, — пишет в этой статье Кеттелл, — не сможет стать прочной и точной, как физические науки, если не будет базироваться на эксперименте и измерении. Шаг в этом направлении может быть сделан путем применения серии умственных тестов к большому числу людей. Результаты могут иметь значительную научную ценность в открытии постоянства психических процессов, их взаимозависимости и изменений в различных обстоятельствах».

В 1905 г. французский психолог А. Бине создал один из первых психологических тестов — тест для оценки интеллекта. В начале XX в. французское правительство поручило Бине составить шкалу интеллектуальных способностей для школьников, с тем, чтобы использовать ее для правильного распределения школьников по ступеням обучения. Впоследствии различными учеными создаются целые серии тестов. Их направленность на оперативное решение практических задач обусловила быстрое и широкое распространение психологических тестов. Например, Г. Мюнстерберг (1863-1916) предложил тесты для профессионального отбора, которые создавались следующим образом: первоначально они проверя­лись на группе рабочих, достигших лучших результатов, а затем им подвергались вновь принимаемые на работу. Очевидно, что предпосылкой этой процедуры служила идея взаимозависимости между психическими структурами, необходимыми для успешного выполнения деятельности, и теми структурами, благодаря которым испытуемый справляется с тестами.

34 • Часть I. Введение в общую психологию

В период Первой мировой войны использование психологических тестов при­обрело массовый характер. В это время США активно готовились к вступлению В войну. Однако они не имели такого военного потенциала, как прочие воюющие стороны. Поэтому еще до вступления в войну (1917 г.) военные власти обратились к крупнейшим психологам страны Э. Торндайку (1874-1949), Р. Йерксу (1876-1956) и Г. Уипплу (1878-1976) с предложением возглавить решение про­блемы применения психологии в военном деле. Американская психологическая ассоциация и университеты быстро развернули работу в этом направлении. Под руководством Йеркса были созданы первые групповые тесты для массовой оцен­ки пригодности (в основном по интеллекту) призывников к службе в различных родах войск: армейский тест «альфа» для грамотных и армейский тест «бета» для неграмотных. Первый тест был похож на вербальные тесты А. Бине для детей. Второй тест состоял из невербальных заданий. Были обследованы 1 700 000 солдат и около 40 000 офицеров. Распределение показателей делилось на семь частей. В соответствии с этим по степени пригодности испытуемые делились на семь групп. В первые две группы входили лица с самыми высокими способностями к ис­полнению обязанностей офицеров и подлежащие направлению в соответствую­щие военные учебные заведения. Три последующие группы имели среднестати­стические показатели способностей исследуемой совокупности лиц.

В это же время разработка тестов как психологического метода осуществлялась и в России. Развитие данного направления в отечественной психологии того времени связано с именами А. Ф. Лазурского (1874-1917), Г. И. Россолимо (1860-1928), В. М. Бехтерева (1857-1927) и П. Ф. Лесгафта (1837-1909).

Особо заметный вклад в разработку тестовых методов внес Г. И. Россолимо, который был известен не только как врач-невролог, но и как психолог. Для диагностики индивидуальных психических свойств он разработал методику их количественной оценки, дающую целостное представление о личности. Методика позволяла оценить 11 психических процессов, которые в свою очередь разбивались на пять групп: внимание, восприимчивость, воля, запоминание, ассоциативные процессы (воображение и мышление). По каждому из этих процессов предлагались задания, в зависимости от выполнения которых по специальной шкале оценивалась «сила» каждого процесса. Сумма положительных ответов отмечалась точкой на графике. Соединение этих точек давало «психологический профиль» человека. Задания варьировали по категориям испытуемых (для детей, для интеллигентных взрослых, для неинтеллигентных взрослых). Кроме этого Россолимо предложил формулу перевода графических данных в арифметические.

Сегодня тесты — это наиболее широко используемый метод психологического исследования. Все же необходимо отметить тот факт, что тесты занимают промежуточное положение между субъективными и объективными методиками. Это обусловлено большим разнообразием тестовых методик. Существуют тесты, основанные на самоотчете испытуемых, например тесты-опросники. При выполнении данныхтестов испытуемый может сознательно или неосознанно повлиять на результат тестирования, особенно если он знает, как будут интерпретироваться его ответы. Но существуют и более объективные тесты. К их числу прежде всего необходимо отнести проективные тесты. Данная категория тестов не использует самоотчеты испытуемых.Они предполагают свободную интерпретацию исследователем выполняемых испытуемым заданий. Например, по наиболее предпо­чтительному для испытуемого выбору цветовых карточек психолог определяет его эмоциональное состояние. В других случаях испытуемому предъявляют картин­ки с изображением неопределенной ситуации, после чего психолог предлагает описать события, отраженные на картинке, и на основе анализа интерпретации испытуемым изображенной ситуации делается вывод об особенностях его психики. Однако тесты проективного типа предъявляют повышенные требования к уровню профессиональной подготовки и опыту практической работы психолога, а также требуют наличия достаточно высокого уровня интеллектуального развития у испытуемого.

Объективные данные можно получить с помощью эксперимента — метода, основанного на создании искусственной ситуации, в которой изучаемое свойство выделяется, проявляется и оценивается лучше всего. Главным достоинством эксперимента является то, что он позволяет надежнее других психологических методов делать выводы о причинно-следственных связях исследуемого феномена с другими феноменами, научно объяснить происхождение явления и его развитие. Имеются две основные разновидности эксперимента: лабораторный и естественный. Они отличаются друг от друга условиями проведения эксперимента.

Лабораторный эксперимент предполагает создание искусственной ситуации, в которой изучаемое свойство может быть лучше всего оценено. Естественный эксперимент организуется и проводится в обычных жизненных условиях, где экспериментатор не вмешивается в ход происходящих событий, фиксируя их такими, какие они есть. Одним из первых метод естественного эксперимента стал использовать русский ученый А. Ф. Лазурский. Данные, получаемые в естественном эксперименте, лучше всего соответствуют типичному жизненному поведению людей. Однако следует иметь в виду, что результаты естественного эксперимента не всегда точны из-за отсутствия у экспериментатора возможности строгого контроля за влиянием разнообразных факторов на изучаемое свойство. С этой точки зрения лабораторный эксперимент выигрывает в точности, но при этом уступает в степе­ни соответствия жизненной ситуации.

Еще одну группу методов психологической науки образуют методы моделирования. Их следует отнести к самостоятельному классу методов. Они применяются, когда использование других методов затруднено. Их особенностью является то, что, с одной стороны, они опираются на определенную информацию о том или ином психическом явлении, а, с другой стороны, при их использовании, как правило, не требуется участия испытуемых или учета реальной ситуации. Поэтому бывает очень сложно отнести разнообразные методики моделирования к разряду объективных или субъективных методов.

Модели могут быть техническими, логическими, математическими, кибернетическими и т. д. В математическом моделировании используют математическое выражение или формулу, в которой отражена взаимосвязь переменных и отношения между ними, воспроизводящие элементы и отношения в изучаемых явлениях. Техническое моделирование предполагает создание прибора или устройства, по своему действию напоминающего то, что подлежит изучению. Кибернетическое моделирование основано на использовании для решения психологических задач понятий из области информатики и кибернетики. Логическое моделирова­ние основано на идеях и символике, применяемой в математической логике.

36 • Часть I. Введение в общую психологию

Развитие компьютеров и программного обеспечения для них дало толчок к моделированию психических явлений на основе законов работы ЭВМ, так как оказалось, что мыслительные операции, используемые людьми, логика их рассуждений при решении задач близки к операциям и логике, на основе которых работают компьютерные программы. Это привело к попыткам представить и описать поведение человека по аналогии с работой компьютера. В связи с этими исследованиями стали широко известны имена американских ученых Д. Миллера, Ю. Галантера, К. Прибрама, а также российского психолога Л. М. Веккера.

Помимо указанных методов существуют и другие методики изучения психических явлений. Например, беседа — вариант опроса. От опроса метод беседы отличается большей свободой проведения процедуры. Как правило, беседа проводится в непринужденной обстановке, а содержание вопросов изменяется в зависимости от ситуации и особенностей испытуемого. Другим методом является метод изучения документов, или анализ деятельности человека. Следует иметь в виду, что наиболее эффективное изучение психических явлений осуществляется при комплексном применении различных методов.

 

Практикум по общей, экспериментальной и прикладной психологии:

Учеб. пособие/В. Д. Балин, В. К. Гайда, В. К. Горбачевский и др., Под общей ред. А. А. Крылова, С А. Маничева. – СПб: Питер, 2000. - 560с.: ил. - («Практикум по психологии»)

 








Не нашли, что искали? Воспользуйтесь поиском по сайту:



©2015 - 2024 stydopedia.ru Все материалы защищены законодательством РФ.