Б. Ф. Скиннер. Оперантное поведение. Закон приобретения Поощрение с фиксированной частотой и с фиксированным интерва­лом.

Эдвард Чейс Толмен (1886-1959)

Система Толмена - целенаправленный бихевиоризм, сочетающий в себе объективное исследование поведения с учетом целенаправленности или ориентации на достижение определенной цели.

Один из ранних последователей бихевиоризма, Эдвард Толмен изу­чал инженерное дело в Массачусетском технологическом институте. Он переключился на психологию и под руководством Эдвина Холта начал работать в Гарварде, где получил звание доктора философии в 1915 году. Летом 1912 года Толмен учился в Германии вместе со специалистом по гештальт-психологии Куртом Коффкой. На последнем курсе аспиранту­ры, изучая традиционную, в духе Титченера, структурную психологию, Толмен познакомился с бихевиоризмом Уотсона. Будучи уже аспиран­том, Толмен подвергал сомнению научную полезность интроспекции. В своей автобиографии, написанной в 1952 году, он писал, что бихевиоризм Уотсона стал для него «мощным стимулом и опорой».

Основные положения учения Толмена представлены в его работе «Целенаправленное поведение у животных и человека» (1932). Его система целенаправленнго бихевиоризма может на первый взгляд показаться любопытной смесью двух противоречащих друг другу понятий: цель и поведение. Приписывание некоей цели организму подразумевает привлечение по­нятия сознания — то есть менталистической концепции, которой не находится места в психологии поведения. Тем не менее Толмен совер­шенно определенно дал понять, что по своей методологии и по предмету исследования он остается последовательным бихевиористом. Он не побуждал психологов принять концепцию сознания. Подобно Уотсону, он отвергал интроспекцию и не интересовался никакими подразумева­емыми внутренними переживаниями организмов, которые были недо­ступны для объективного наблюдения.

Целенаправленность поведения, писал Толмен, можно определить в терминах объективного бихевиоризма, без ссылок на интроспекцию или предположений о том, что организм «чувствует» в связи с тем или иным переживанием. Для него было совершенно очевидно, что любое поведение направлено на достижение определенной цели. Например, кошка старается выбраться из «проблемного ящика», крыса осваивается в лабиринте, а ребенок учится играть на фортепиано.

Как говорил сам Толмен, поведение «пахнет целью». Любое пове­дение направлено на достижение некоторой цели, на освоение некото­рых средств. Крыса неоднократно и настойчиво проходит лабиринт, всякий раз делая все меньше ошибок, чтобы быстрее добраться до выхода. Иначе говоря, крыса учится, и сам факт обучения — для крысы или для человека — является объективным поведенческим свидетель­ством наличия цели. Толмен имеет дело только с реакци­ями организмов. Все его измерения проводились в терминах изменений в ответном поведении, как функции научения. И эти измерения предо­ставляют объективную информацию.

Бихевиоризм Уотсона с большой легкостью подвергал критике приписывание какой-либо цели любому виду поведения, поскольку целе­направленность поведения подразумевает допущение о наличии созна­ния. Толмен отвечал на это, что для него нет разницы, обладает орга­низм сознанием или не обладает. Переживания сознания, связанные с целенаправленным поведением, если они даже и имеют место, не оказы­вают никакого влияния на поведенческие реакции организма. Толмен занимался исключительно явно выраженными реакциями.

Как бихевиорист, Толмен считал, что инициирующее причинное поведение и окончательное результирующее поведение должны быть объективно наблюдаемыми и пригодными для описания в терминах операций. Он предположил, что причины поведения включают пять основных независимых переменных: стимулы окружающей среды, пси­хологические побуждения, наследственность, предшествующее обучение и возраст. Поведение является функцией всех этих переменных, что выражается математическим уравнением.

Между этими наблюдаемыми независимыми переменными и ре­зультирующим ответным поведением (зависимой наблюдаемой пере­менной) Толмен ввел набор ненаблюдаемых факторов, которые назвал промежуточными переменными. Эти промежуточные переменные фактически являются детерминантой поведения. Они представляют собой те внутренние процессы, которые связывают стимулирующую ситуацию с наблюдаемой реакцией. Формула бихевиоризма S—R (стимул—реак­ция) теперь должна читаться как S—О—R. Промежуточными пере­менными является все, что связано с О, то есть с организмом, и форми­рует данную поведенческую реакцию на данное раздражение.

Поскольку эти промежуточные переменные не подлежат объектив­ному наблюдению, то они не представляют никакой практической пользы для психологии, если только их не удается связать с экспериментальны­ми (независимыми) переменными и с поведенческими (зависимыми) переменными.

Классическим примером промежуточной переменной является го­лод, который невозможно увидеть у подопытного человека или живот­ного. И тем не менее, голод можно вполне объективно и точно увязать с экспериментальными переменными — например, с длительностью того отрезка времени, на протяжении которого организм не получал пищу. Кроме того, его можно увязать и с объективной реакцией или с переменной поведения — например, с количеством съеденной пищи или со скоростью ее поглощения. Таким образом, ненаблюдаемый фактор вмешательства — голод — может получить точную эмпирическую оценку и следовательно становится доступным для количественного измерения и экспериментальных манипуляций.

Путем определения независимых и зависимых переменных, како­выми являются наблюдаемые события, Толмен получил возможность составить операциональные описания ненаблюдаемых, внутренних со­стояний. Сначала он называл свой подход «оперантным бихевиориз­мом», прежде чем выбрать термин «промежуточные переменные».

Промежуточные переменные — ненаблюдаемые и предполагаемые факторы организма, фактически являющиеся детерминантой поведения.

Промежуточные переменные оказались весьма полезными для раз­работки теории поведения, постольку они были эмпирически связаны с экспериментальными и поведенческими переменными. Однако для того, чтобы сделать этот подход всеобъемлющим, потребовался такой громад­ный объем работы, что Толмен в конце концов оставил всякую надеж­ду «составить полное описание хотя бы одной промежуточной перемен­ной»

Теория научения. Научение играло важнейшую роль в целенаправленном бихевио­ризме Толмена. Он отвергал закон эффекта Торндайка, утверждая, что вознаграждение или поощрение оказывает слабое воздействие на на­учение. Взамен этого Толмен предложил когнитивную теорию науче­ния, предполагая, что повторяющееся выполнение одного и того же задания усиливает создаваемые связи между факторами окружающей среды и ожиданиями организма. Таким путем организм познает окру­жающий его мир. Толмен называл эти создаваемые научением связи гештальт-знакам и, которые вырабатываются в ходе многократного вы­полнения какого-либо действия.

Крыса бегает по лабиринту, исследуя иногда правильные, а иногда неправильные ходы или даже тупики. Наконец крыса находит еду. При последующих прохождениях лаби­ринта цель (поиск пищи) придает поведению крысы целенаправлен­ность. С каждой точкой разветвления связываются некоторые ожида­ния. Крыса приходит к пониманию того, что определенные признаки, ассоциирующиеся с точкой разветвления, наводят или не наводят на то место, где находится пища.

Если ожидания крысы оправдываются и она действительно нахо­дит пищу, то знак гештальта (то есть признак, ассоциирующийся с неко­торой точкой выбора) получает подкрепление. Таким образом живот­ное вырабатывает целую сеть гештальт-знаков по всем точкам выбора в лабиринте. Толмен назвал это когнитивной картой. Эта схема представляет собой то, что выучило животное: а именно когнитивную карту лабиринта, а вовсе не набор некоторых моторных навыков. В некотором смысле крыса обретает всеобъемлющее знание своего лаби­ринта или иной окружающей ее среды. В ее мозге вырабатывается что-то вроде полевой карты, которая позволяет ей перемещаться от точки к точке, не ограничиваясь фиксированным набором заученных телодвижений:

Был использован лабиринт крестообразной формы. Крысы одной группы всегда находили пищу на одном и том же месте, даже если для того, чтобы добраться до пищи, им при разных точках входа приходилось иногда поворачивать не направо, а налево. Моторные реакции отлича­лись, но пища оставалась на том же самом месте.

Крысы второй группы должны были всегда повторять одни и те же движения, но пища всякий раз находилась в другом месте. Например, начиная путь с одного конца крестообразного лабиринта, крысы нахо­дили пищу, только повернув в точке выбора направо; если же крысы входили в лабиринт с противоположной стороны, то для того, чтобы найти пищу, им все равно надо было повернуть направо.

Результаты эксперимента показали, что крысы из первой группы, то есть те, которые изучили место действия, ориентировались гораздо лучше, чем крысы из второй группы, которые заучивали реакции. Тол­мен пришел к выводу, что аналогичное явление наблюдается и у тех людей, которые хорошо знают свои окрестности или город. Они могут пройти из одной точки в другую различными маршрутами, поскольку в их мозге сформирована когнитивная карта местности.

Другой эксперимент исследовал латентное научение — то есть такое научение, которое невозможно наблюдать в то время, когда оно фактически происходит. Голодную крысу поместили в лабиринт и пре­доставили ей возможность свободно бродить по нему. Сначала в лаби­ринте не было никакой пищи. Сможет ли крыса обучиться чему-либо при отсутствии подкрепления? После нескольких неподкрепленных попыток крысе дали возможность найти пищу. После этого скорость прохождения крысой лабиринта резко возросла, что показало наличие некоторого научения в период отсутствия подкрепления. Показатели этой крысы очень быстро достигли такого же уровня, что и у крыс, получавших подкрепление при каждой попытке.

Латентное научение — научение, которое не поддается наблюдению в то время, когда оно происходит.

Б. Ф. Скиннер (1904-1990)

Самой влиятельной фигурой в психологии в течение нескольких десятилетий являлся Б. Ф. Скиннер. Скиннер успешно закончил колледж со степенью по ан­глийскому языку, правом принадлежности к обществу «Фи Бета Кап­па» и стремлением стать писателем. Прочитав об экспериментах Уотсона и Павлова по формированию условных рефлексов, Скиннер круто повернулся от литературных ас­пектов человеческого поведения к научным. В 1928 году он поступил в аспирантуру Гарвардского университета по психологии — несмотря на то, что до этого ни разу не прослушал курса психологии. Через три года он получил ученую степень доктора философии. По завершении научной работы, после защиты докторской диссертации, он преподавал в университете штата Миннесота (1936—1945) и универ­ситете штата Индиана (1945—1974), после чего вернулся в Гарвард.

Тема его диссертации относится к положению, которому Скиннер неуклонно следовал в течение всей своей карьеры. Он предположил, что рефлекс представляет собой корреляцию между стимулом и реакци­ей, и ничего более. В его книге 1938 года «Поведение организмов» описываются основные положения этой системы.

Оперантное поведение возникает без воздействия каких-либо внеш­них наблюдаемых раздражителей. Реакция организма кажется спон­танной в том смысле, что внешне она никак не связана с каким-либо наблюдаемым раздражителем.

Классическая экспериментальная демонстрация заключалась в на­жатии на рычаг в скиннеровском ящике. В этом эксперименте крыса, лишенная пищи, помещалась в ящик и получала полную возможность исследовать его. В ходе исследований она неизбежно должна была задеть рычажок, который приводил в действие механизм, выдвигающий полочку с пищей. После получения нескольких порций пищи, которые должны были служить подкреплением, у крысы довольно быстро фор­мировался условный рефлекс. Обратите внимание, что поведение кры­сы (нажатие на рычаг) оказывает воздействие на окружающую среду и является инструментом приобретения пищи. Зависимая переменная в этом эксперименте проста и понятна: это скорость реакции.

Различием между респондентным и оперантным поведени­ем является то, что оперантное поведение воздействует на окружаю­щую организм среду, в то время как респондентное поведение этого не делает. Подопытная собака в лаборатории Павлова, закованная в сбрую, не может сделать ничего иного, как только реагировать (например, пус­кать слюну), когда экспериментатор предлагает ей какие-либо стимулы. Собака сама по себе ничего не может сделать, чтобы достать стимул (пищу).

Оперантное поведение крысы в коробке Скиннера, напротив, явля­ется инструментальным в том смысле, что крыса достигает своего сти­мула (пищи). Когда крыса нажимает на рычаг, она получает пищу; а если не нажимает на рычаг, то не получает пищи. Таким образом крыса воздействует на окружающую среду.

Скиннер считал, что оперантное поведение характерно для повсе­дневного научения. Поскольку поведение, как правило, носит оперантный характер, то наиболее эффективным подходом к науке о поведении является изучение обусловливания и угасания оперантного поведения.

На основании этого эксперимента Скиннер сформулировал свой закон приобретения, который гласит, что сила оперантного поведения возрастает, если поведение сопровождается подкрепляющим стимулом. Несмотря на то, что для формирования быстрой реакции нажатия на рычажок требуется практика, ключевым параметром все-таки является подкрепление. Практика сама по себе ничего не дает: она только пре­доставляет возможность возникновения дополнительного подкрепления.

Закон приобретения Скиннера отличается от положений о науче­нии у Торндайка и у Халла. Скиннер вообще не касался таких послед­ствий подкрепления, как боль—приятное ощущение или удовольствие-неудовлетворение, как это делал Торндайк. Скиннер так же не пытал­ся интерпретировать подкрепление в терминах снижения воздействия

В «скиннеровском ящике» поведение крысы при каждом нажатии на рычаг получало подкрепление. То есть всякий раз, выполнив правильное действие, крыса получала пищу. Скиннер отмечал, что хотя в реальной жизни подкрепление далеко не всегда бывает последовательным или непрерывным, тем не менее, научение все-таки происходит и поведение сохраняется, даже если подкрепление было случайным или редким.

Как-то раз в субботу вечером Скиннер обнаружил, что у него почти закончился запас корма. В то время (тридцатые годы) еще нельзя было купить корм у специальных компаний по снабжению исследовательских лабораторий; экспериментатор должен был делать шарики вручную, что являлось достаточно длительным и трудоемким процессом.

Вместо того, чтобы потратить свои выходные на изготовление кор­мовых шариков, Скиннер задал себе вопрос: что произойдет, если он будет давать подкрепление своим крысам один раз в минуту, независимо от того, какое будет количество ответных реакций? При таком подходе ему потребуется намного меньше корма, и на выходные дни должно хватить. Скиннер решил провести длительную серию экспериментов, чтобы проверить различные варианты системы подкреплений.

В одном таком исследовании Скиннер сравнил частоту реакции у животных, которые получали подкрепление при каждой реакции, с час­тотой реакций тех животных, которые получали подкрепление только по истечении некоторого интервала времени. Последнее условие полу­чило название схемы подкрепления с фиксированным интервалом. Подкрепление могло выдаваться, например, один раз в минуту или каж­дые четыре минуты. Важным моментом в данном случае является то, что подопытное животное получало подкрепление только по истечении определенного отрезка времени. Исследование Скиннера показало, что чем короче интер­вал между подкреплениями, тем чаще животное проявляет обусловлен­ную реакцию. И наоборот, по мере того, как увеличивается интервал между подкреплениями, частота реакции снижается.

Частота подкрепления также оказывает влияние на угасание услов­ной реакции. Проявление условной реакции угасает с большей скоро­стью, если имело место непрерывное подкрепление, которое затем резко было прекращено, чем в том случае, когда подкрепление выдавалось с перерывами. Некоторые голуби демонстрировали до десяти тысяч реакций без подкрепления, если исходно у них был сфор­мирован условный рефлекс на основе периодичного, прерывистого под­крепления.

Скиннер исследовал также схему подкрепления с фиксированной частотой. В этом случае подкрепление выдается не по истечении определенного отрезка времени, а после выполнения определенного количества условных реакций. Само поведение животного определяет, насколько часто будет выдаваться подкрепление. Например, требуется совершить десять или двадцать обусловленных ответных реакций, чтобы получить новое подкрепление. Животные, получающие поощрение по схеме с фиксированной частотой, реагируют намного интенсивнее, чем те, которые получают подкрепление по схеме с фиксированным интерва­лом. Ведь очевидно, что высокая частота реагирования при схеме с фиксированным интервалом не приводит к получению дополнительного подкрепления; животное может нажать на рычаг пять раз или пятьдесят, но подкрепление появится только тогда, когда истечет заданный отре­зок времени.

Те звуки, которые человеческий организм производит в процессе речи, утверждал Скиннер, также являются формой поведения, а имен­но — вербальным поведением. Они представляют собой реакции, кото­рые могут подкрепляться другими звуками речи или жестами точно так же, как нажатие крысой рычага подкрепляется получением пищи.

Для вербального поведения требуются два взаимодействующих человека —говорящий и слушающий. Говорящий определенным обра­зом реагирует — это значит, что он произносит звук. Слушатель может управлять последующим поведением говорящего путем выражения под­крепления, отсутствия подкрепления или наказания — в зависимости от того, что было сказано.

Например, если всякий раз, как говорящий употребляет то или иное слово, слушатель улыбается, то он тем самым увеличивает вероятность того, что говорящий снова употребит это слово. Если слушатель реаги­рует на слово тем, что хмурит брови или отпускает язвительные замеча­ния, то он тем самым увеличивает вероятность того, что говорящий в будущем будет избегать употребления этого слова.

Примеры такого процесса можно наблюдать в поведении родите­лей, когда их дети учатся говорить. Недопустимые слова или выраже­ния, неправильное применение слов, плохое произношение вызывают реакцию, в корне отличающуюся от той, которой встречают вежливые

Вопросы: