Оперативное исследование

Особую разновидность социологического исследования, про­водимого обычно с практическими целями, в короткие сроки и по сокращенной научной программе, принято называть оператив­ным исследованием.

Оперативные исследования были распространены в советское время, популярны они и сегодня. Можно привести в качестве примера, выполненное корреспондентами газеты «Версты» опера­тивное журналистское исследование: они в течение дня просмот­рели информационные выпуски ведущих столичных телеканалов, и обнаружили преобладание официоза (38%), а также мелькание одних и тех же государственных лиц32.

К разряду оперативных, а потому и весьма эффективных спосо­бов сбора социологической информации, специалисты относят ме­тод фокус-группы получивший в последние годы широкое распрос­транение33. Например, средствами оперативного опроса, в том чис­ле фокус-группы, РОМИР проводил изучение маркетинговых потребностей участников выставки непосредственно на самой выс­тавке. Консалтинговая служба фирмы вполне может провести опе­ративное исследование, занимающее от одной до трех недель, о по­тенциальном поведении целевой аудитории потребителей, сегмен­тации рынка, на котором работает фирма-заказчик, реальной и потенциальной емкости рынка, поведении и планах конкурентов, а затем представить администрации быструю и точную информацию. Многочисленные маркетинговые фирмы часто проводят небольшие оперативные исследования по эксклюзивным вопросам заказчика.

В правоохранительных организациях то и дело организуются оперативно-розыскные мероприятия, всевозможные исследования по заданиям оперативно-розыскных органов, например, выясне- ния причин и условий, способствующих росту преступлений в конкретной области или микрорайоне. Оперативные исследова-ния проводятся «по горячим следам» событий.

Центр социологических и политических исследований Белорусско- го госуниверситета ведет как фундаментальные разработки, так и one-ративные социологические замеры. Он может осуществить опрос на-селения страны по репрезентативной выборке в течение нескольких суток. Это стало возможным благодаря наличию в составе Центра

мобильной группы интервьюеров, которые проживают в 60 населен­ных пунктах страны, и высоко профессиональной группы обработки социологической информации, оснащенной современной вычисли­тельной техникой и высокопродуктивными программами обработки, а также благодаря высококвалифицированным аналитикам-социоло­гам. Сегодня Центр является признанным лидером по разработке методик проведения оперативных социологических исследований. Не случайно в 1997 г. его сотрудники написали и издали учебное посо­бие «Оперативные социологические исследования». Пожалуй, это пер­вая подобного рода книга на всем постсоветском пространстве. И это не удивительно, ибо сам термин «оперативное социологическое ис­следование» был внедрен сотрудниками белорусского Центра34.

Первая особенность такого исследования — направленность на практические задачи, принятие определенных управленческих решений. Вторая характерная черта — исследование проводится не по собственной инициативе ученого, а по инициативе заказчика. Это не теоретико-содержательная, а узкая научно-практическая проблема, решение текущих, тактических задач сегодняшнего дня.

Допустим, мы формулируем исходную проблему следующим образом: «влияние социальной мобильности на становление соци­альной структуры среднего класса». Ясно, что в такой широкой подаче проблема может быть предметом только фундаментального исследования. И то ее придется впоследствии конкретизировать, как только она станет составной чадтью программы исследования.

Частный случай социальной мобильности — текучесть кадров — может стать самостоятельной темой уже прикладного исследова­ния, а не академического. На практике так и происходит. Прав­да, для глубокого изучения вопроса необходимы постоянный сбор информации, регулярные обследования, т.е. мониторинг, позволя­ющий сопоставить информацию, лучше выяснить, из-за каких именно факторов растет текучесть кадров.

Однако непрофессионалы, проводящие одноразовые обследо­вания, не имеют возможности применять данные предыдущих опросов. Их попросту нет. Отсюда вытекает другое ограничение — невозможность поэтапного проведения исследования с постепен­ным расширением и углублением проблемы. В этой ситуации трудно создать банк социальной информации, а вслед за тем — рассчитанную на перспективу цепочку оперативных исследований, начальное звено которой представляет собой самый общий набро­сок программы, а последующие этапы — развернутые варианты исходной проблемы с детальной конкретизацией.

 

 

Прежде всего надо ознакомиться с существующей литературой по исследуемому вопросу — не исключено, что в ней уже есть го-товое решение. Если вы нашли похожую ситуацию и готовые ре-шения, то вынесите их на суд экспертов, либо приглашенных из-вне, либо из числа сотрудников предприятия. Они подскажут са-мый эффективный способ.

Но часто даже после ознакомления с литературой человек остает-ся в нерешительности — избыток информации не всегда принос» пользу. Проведите цикл коротких исследований самостоятельно. Вна-чале вычерпайте всю возможную информацию из заводской докумен-тации и научной литературы, чтобы не задавать респондентам ненуж-ных вопросов. Затем постройте «ветвящуюся структуру» исследования выясните общие причины текучести, конкретные «факторы риска» по отдельным цехам, социально-демографическим и профессионально-квалификационным группам персонала, проанализируйте каждый фактор в отдельности: насколько сильно он влияет, можно ли его ус-транить или минимизировать, сколько на это уйдет времени и средств, окупятся ли они, если потенциальная текучесть в ближайшие годы все равно будет велика. В ходе построения сети краткосрочных опросов возникнут какие-то новые проблемы, которые вам захочется изучить, например, потребности работников в повышении квалификации. Так или иначе получится довольно цельная система оперативных опросов, в совокупности решающих одну задачу.

Такого рода локальные обследования, проводимые на малой выборке, в сжатые сроки, небольшим научным коллективом (2— 4 человека), на одном объекте (своем предприятии), с помощью простого инструментария, принято называть оперативными. Удель-ный вес анкетирования в таких исследованиях может уменьшать-ся, и, наоборот, чаще применяются интервью и анализ объектив-ных данных. Объясняется это высокой информационной доступ-ностью объекта исследования и преимущественной ориентацией опроса на решение практических задач. И всегда надо помнить: спрашивать только то, о чем нет объективной информации.

По сравнению с академической версией программа оперативного исследования сокращается в 2—3 раза. Одна лишь методологическая часть «полнометражного» исследования включает пять элементов: 1) формулировка проблемы, определение объекта и предмета ис-следования; 2) постановка цели и задач; 3) интерпретация основ-| ных понятий; 4) предварительный системный анализ исследования; 5) выдвижение гипотез35. Для оперативного, т.е. «короткометраж-

ного», исследования сохраняются первые два пункта и последний, но в измененном виде — в качестве изложения предполагаемых результатов исследований36.

В оперативном исследовании отсутствуют интерпретация ос­новных понятий и системный анализ объекта. Первое объясняет­ся тем фактом, что все исходные понятия заимствуются из лите­ратуры или ранее проведенных исследований, а второе — хорошим знанием профсоюзными работниками своего предприятия (чего не скажешь об академических социологах, впервые встречающихся с объектом исследования уже в «поле»). Вместо раздела о гипоте­зах специалисты предлагают включать его облегченный вариант — предполагаемые результаты. Разработка научной гипотезы — дело высокопрофессиональное, ответственное и не каждому под силу. Гораздо проще прикинуть «на глазок» возможные результаты ва­шего будущего опроса, например предусмотреть получение инфор­мации о доле людей, намеренных покинуть предприятие а бли­жайшие полгода и неудовлетворенных условиями труда. Такого рода временные гипотезы составляются просто, на основе тех воп­росов, которые вы включили в анкету. Это иное переложение или описание их, не претендующее на особую научную глубину.

Но целиком отказаться от гипотез все-таки нельзя. Они система­тизируют и организуют ваше исследование, приучают к определен­ной методической дисциплине. Кроме того, гипотезы еще более проясняют для вас же самих (и для заказчика) задачи и конечный результат исследования. Точное обозначение характера и содержа­ния будущих данных поможет лучше сформулировать практическое решение о тех же условиях труда и потенциальной текучести кадров.

При формулировании гипотез не следует стремиться к науко­образию. К сожалению, это весьма распространенный недостаток. В присылаемых в редакцию журнала «Социологические исследо­вания» статьях то и дело встречаешь выражения типа «научная гипотеза исследования — выяснение влияния характера труда на изменение профессионально-квалификационной структуры рабо­тающих». Эта и подобные абстрактные формулировки совершен­но бесполезны на практике, да и по своему содержанию гипоте­зами не являются. Единственная их функция — создать видимость научного благополучия исследования.

Для того чтобы быстро и качественно провести оперативное исследование, важно иметь каталог стандартизированных вопро­сов. Почему вопросов, а не методик? Толковых и грамотно состав-64

 

ленных методик не так уж много. Часто это громоздкие и непо-нятные инструкции, изложенные «занудным» языком, мало что объясняющие по существу дела. Да и достать хорошую методику не всегда удается. Но если у вас под рукой небольшая картотека тщательно подобранных, уже апробированных кем-то вопросов, то группа опытных работников (три-четыре специалиста) всего за несколько дней может разработать программу и инструментарий исследования общественного мнения37. Не пожалейте времени на сбор вопросов, их сортировку, сравнение и выбор лучшего.

Дополнительная экономия в проведении оперативного исследо-вания достигается при переходе от индивидуального к групповому (аудиторному) опросу. При индивидуальном методе анкеты разда-ются каждому респонденту, а сами респонденты находятся в раз-ных местах (в домах, на участках, в цехах или на рабочих местах). При групповом опросе все делается, как и при индивидуальном, но с той лишь разницей, что группа респондентов собирается в одном месте. Таким образом, групповой (аудиторный) опрос — это метод единовременного, но индивидуального анкетирования респонден-тов, собранных в определенное время в одном помещении38. Но это отнюдь не заполнение группой людей одних и тех же анкет.

Полевой документ (анкета) имеет здесь свои отличительные чер-ты: он является сравнительно небольшим по объему и простым по сюжету, компоновке и формулировке вопросов и вариантов отве-тов. Максимальный объем — 30—40 вопросов, оптимальный — 20-25 вопросов. Анкета заполняется обычно в течение 20—30 мин.

Объектом группового опроса могут быть служащие одного от-дела, рабочие одной бригады (если выборка квотная) либо работ-ники разных цехов, бригад, собранные в одном помещении благо-даря тому, что они попали в список случайной выборки. С руко-водством организации заранее оговариваются возможность, цели, время и место проведения исследования. Помещение должно быть достаточно вместительным и удобным: для каждого участника оп-роса желательно поставить отдельный стол (всего их должно быть от 10 до 30), всех снабдить отточенными карандашами или авто-ручками, выделить дополнительный стол или урну для сбора запол-ненных анкет, изолировать помещение от постороннего шума, со-здать хорошее освещение. Желательно, чтобы опрос проводили не непосредственное начальство или официальные лица, а социоло-ги — но перед началом опроса кто-то из официальных лиц обяза-

 

тельно представляет их аудитории. На всякий случай руководите­лю опроса нужно иметь в своем распоряжении двух-трех ассистен­тов, которые также являются нейтральными лицами.

Если будущие респонденты знакомы друг с другом, например, работают в одном коллективе, то их лучше рассадить, ограничивая разговоры, консультирования. Во время вступительного слова пе­ред началом опроса и краткого инструктажа аудитории о сути и правилах его проведения целесообразно сразу же объявить, что за всеми разъяснениями следует обращаться к руководителю опроса. Опыт показывает, что, если в аудитории обнаруживаются один-два человека, публично высказывающие неодобрительное отношение к самому опросу, им следует вежливо предложить не участвовать в нем и покинуть помещение. Наиболее удобным временем для оп­роса считается междусменок или обеденный перерыв, а наилучшим помещением — комната отдыха или красный уголок.

Кратко подытожим суть и технологию проведения оперативного исследования. По мнению специалистов, это весьма перспективный и наиболее подходящий для предприятия метод изучения обществен­ного мнения. Он экономичен и прост по технологии организации. Его цель — не получение нового научного знания о реальности, а конкретизация, уточнение уже имеющихся знаний (например, из литературы) об объекте для принятия управленческого решения. Никаких объективных закономерностей протекания социальных процессов здесь не открывается. Ведь закономерность — это знание об устойчивых, независящих от места и времени, тенденциях, име­ющих объективный характер, — знание, многократно подтверждае­мое другими исследованиями в иных условиях и в разное время. Напротив, знание, полученное в оперативном исследовании, четко локализовано и связано с конкретным предприятием, оно способно быстро устаревать и в новых условиях должно перепроверяться. Это информация оперативного использования.

Технологическая простота достигается благодаря всевозможным упрощениям (а стало быть, и известным снижением качества ин­формации, ее надежности, что особенно ценится в науке) и «сжа­тию» самого процесса получения знания. О сокращении методоло­гической части программы исследования уже говорилось. Но и в процедурной части устраняются некоторые промежуточные этапы, например, пробное исследование. Пробная («пилотажная») стадия необходима во всяком «нормальном» исследовании, так как в про­грамму обязательно закладывается цель получить новое знание но-выми способами. Поэтому надо «пристрелять» инструментарий, опробовать его работу на малой выборке. Но в оперативном иссле­довании ничего этого нет.

 

Использование уже имеющегося методологического и методи-ческого материала (блоков программ, стандартных вопросов, их наборов, готовых ответов) позволяет «сжать» отдельные элемен-ты исследования. Например, вместо развернутой программы дать ее краткий проект, перечень основных положений. В целом же оперативное исследование проходит четыре этапа: 1) подготови-тельный; 2) полевой; 3) машинная обработка информации (вклю-чая подготовку массива для перфорирования); 4) подготовка на-учного отчета. «На этапе подготовки отчета также есть определен-ные резервы повышения оперативности. Они связаны, во-первых с ликвидацией операции составления таблиц-матриц по гисто-граммам. Однако такой прием можно применять лишь в том слу-чае, если члены исследовательского коллектива владеют навыка-ми чтения информации табуляграмм «с листа», используя для ори-ентации код. Значительно облегчает работу по написанию отчета и немедленное составление так называемой «линейки», т.е. фик-сации процентных распределений ответов опрошенных на вопро-сы непосредственно на бланке анкеты, интервью и т.д., применяв-шихся в данном исследовании»39.

Оперативное социологическое исследование — это своего poда собирательное название для социологических методов «быстрого реагирования». Вместо этого термина могут применяться другие, например, зондаж или экспресс-опрос, но суть дела не изменится. Их общая цель — оценка конкретного состояния общественног мнения в данный момент времени, получение моментальной «фо-тографии». Различие между ними вот в чем. Зондаж как метод свя-зан с изучением отдельных срезов социального явления, а экспресс-опрос — с исследованием отдельных характеристик этого явления. И в том, и в другом случае используются сравнительно небольшие выборки (для страны до 2 тыс.) и вопросники, стандартные мето-ды и прошлое знание, но не применяются традиционные для со-циологического исследования специальные приемы повышения надежности данных и их верификации. Без всяких натяжек поня-тая «зондаж», «экспресс-опрос» и «оперативное исследование» мож-но употреблять как синонимы. Групповой же опрос, как и инди-видуальный, выступает их разновидностью. Он показывает только одно: способ раздачи анкет и заполнения их респондентами.

В заключение мы приведем некоторые наблюдения, советы и пра-вила, которые могут оказаться полезными в практической работе.1

 

1. Парадоксально, но факт, что в большинстве случаев програм­ма исследования выкристаллизовывается в ясном виде не в нача-де, а в конце исследования.

2. Подумайте, стоит ли вам проводить опрос, если в литерату­ре данная проблема изложена достаточно основательно. Имеет ли смысл плохо повторять то, что сделано До вас лучше?

3. Если после исследования у вас накопилась огромная масса та­буляграмм, из которых вы полезно применили не более 30%, то ис­следование в целом вы провели ниже оценки «удовлетворительно».

4. Помните, что составленная вами анкета «выдает вас с голо­вой», показывает уровень знаний, компетентность, умение здра­во и логично рассуждать, даже ваш характер и склад ума.

5. Все анкеты, за незначительным исключением, должны быть анонимными. Иногда руководство требует снять аноним­ность, ссылаясь на эпоху гласности и закон борьбы с аноним­ками. Лучше не поддаваться на такую провокацию. Научная анонимность и анонимки (как форма доноса или клеветы) — вещи разные. Последствия же «разанониминивания» анкет мо­гут быть плачевными.

1.11. Опросные и неопросные методы исследования

Методы эмпирического исследования в социологии, а их все­го четыре разновидности (опросы, наблюдение, анализ докумен­тов и эксперимент), непропорционально делятся на две группы — опросные и неопросные. К опросным методам относятся только анкетирование и интервью, к неопросным — наблюдение, анализ документов, эксперимент. Методы эмпирического исследования разделяются по способу их проведения:

Опросы

Интервью: свободное или стандартизированное, клиническое или фокусированное, групповое или индивидуальное, прямое или опосредованное.

Анкетные опросы: экспресс-опрос, групповой или индивидуа­лизированный, очный (раздаточная анкета) или заочный (почто­вая анкета, прессовая анкета), массовые или экспертные.

2. Анализ документов:качественный или количественный (кон-тент-анализ).

3. Наблюдение:включенное или невключенное, форматизован-ное или неформатизованное.

4. Эксперимент:истинные эксперименты, квазиэксперименты, натурные эксперименты, натуралистические эксперименты.

К неопросным относятся и так называемые аппаратные мето-ды регистрации реакций людей, например, при тестировании. Один из них — метод регистрации зрительской реакции в момент просмотра (прослушивания) рекламы, передач, иных видео-аудио-фрагментов с помощью ручных пультов. Пульт используется для фиксирования оценок каких-либо параметров в процессе просмот-ра или прослушивания. Хотя численно вторые преобладают, од-нако основной массив информации, от 50 до 75% — социологи получают именно за счет первых.

Выделяют две основные разновидности социологического оп-роса: анкетирование и интервьюирование. При анкетировании оп-рашиваемый сам заполняет вопросник в присутствии анкетера или без него. По форме проведения оно может быть индивидуальным или групповым. В последнем случае за короткое время можно оп-росить значительное число людей. Анкетирование бывает также очным и заочным. Наиболее распространенные формы последне-го: почтовый опрос, опрос через газету.

69

Интервьюирование предполагает личное общение с опрашива­емым, когда интервьюер сам задает вопросы и фиксирует ответы. По форме проведения оно может быть прямыми или опосредован­ным, например, по телефону.

В зависимости от источника информации различают опросы мас­совые я специализированные (или экспертные). В первом случае источ­ником информации выступают представители больших социальных групп (этнических, религиозных, профессиональных), во втором случае — главный источник информации — компетентные лица (зна­токи, эксперты), обладающие необходимыми для исследователя про­фессиональными и теоретическими знаниями либо жизненным опы­том, которые позволяют им делать авторитетные заключения. Участ­ников массовых опросов называют респондентами.

Сложность и качество проведения опроса зависит от многих обстоятельств: содержания анкеты или интервью (т.е. перечня вопросов, в которых реализован предмет исследования); качества работы анкетера или интервьюера, организующего и непосред­ственно обеспечивающего заполнение анкет; ситуации опроса, его условий, которые должны быть максимально благоприятными для спокойной и сосредоточенной работы респондента; психологичес­кого состояния респондента на момент опроса и др.

Метод опроса, опирающийся на достаточное число обученных анкетеров или интервьюеров, позволяет в максимально короткие сроки опрашивать большие совокупности людей и получать разно­образную информацию. Хотя познавательные возможности опроса безграничны, информация, полученная с его помощью, отражает изучаемую реальность лишь в том виде, в котором она преломи­лась в сознании респондента. Поэтому социологи не спешат ста­вить знак равенства между объективной реальностью, выступающей предметом исследования, и данными, отражающими мнения лю­дей о фактах, событиях и явлениях. Они тщательно учитывают и по возможности нивелируют вероятное искажение информации.

Все разновидности вопросов трудно даже перечислить, еще труд­нее описать то, как они работают. Над этой проблемой работают профессионалы-методисты, которые отрабатывают технику поста­новки вопросов, сбора и анализа данных, математической обработ­ки и эмпирической интерпретации ответов в специально для таких Целей поставленных экспериментах. Их именуют, в отличие от ис­следовательских, призванных познавать закономерности поведения Реальных людей, методическими экспериментами, которые показы­вают особенности поведения инструмента. Например, не всегда ясно, на какой вопрос — закрытый или открытый — респонденты лУчше реагируют и дают более достоверную информацию.

У каждого метода исследования есть свои достоинства и недо­статки, область распространения и область ограничения, круг ре­шаемых вопросов и предмет изучения. В табл. 1.2 приводятся дан­ные, характеризующие достоинства и недостатки трех часто ис­пользуемых методов опроса.

Таблица 1.2

Достоинства и недостатки трех опросных методов42

Метод Достоинства Недостатки
По почте Может проводиться малой группой исследователей. Низкая стои­мость. Легкость организации. От­сутствует влияние со стороны ин­тервьюера. Могут быть использо­ваны иллюстрации. Возможна однобокость, обуслов­ленная малым числом ответов. Не­возможность уточнить вопросы. Невозможность пояснений и объ­яснений. Низкое качество ответов на открытые вопросы.
По телефону Низкая стоимость. Полевые иссле­дования могутбытьзавершены до­статочно быстро. Пригоден для сбора как фактических данных, так и данных, характеризующих вопро­сы отношений. Централизованный контроль. Ограничен респондентами, имею­щимителефон. Не могут быть по­казаны вопросник и иллюстрации. Трудно поддерживать интерес бо­лее 15-20 минут. Трудно задавать сложныевопросы.
Личное интервью Глубина опроса. Возможность де­монстрировать продукт. Возмож­ность приковывать внимание рес­пондента в течение долгого вре­мени. Возможность слушать жи­вую речь. Высокая стоимость. Сложно про­верить степень влияния интервью­ера на респондентов. Интервью может быть прервано. Требуется большая команда интервьюеров.

1.12. Признаки научного опроса

В широком смысле опрос включает в себя как интервью, так и анкетирование. В узком смысле термин «опрос» подразумевает только устную беседу, а потому сводится к нескольким видам интервью. Анкетирование сюда не входит.

Известные специалисты в области методики Дж. Мангейм и Р. Рич предлагают нам на выбор четыре основных типа опроса: оч-

ное интервьюирование, телефонное интервьюирование, анкетиро­вание по почте и опрос через прессу. В их классификации явно прослеживается широкая трактовка опроса, однако она не прове­дена до конца: отсутствует указание на традиционное (индивиду­альное и групповое) анкетирование. Само по себе анкетирование присутствует, но только в форме почтового и прессового.

Таким образом, среди специалистов не достигнуто единого мнения относительно употребляемых терминов. Да и вообще, не­возможно сказать, какое словоупотребление — широкое или уз­кое — единственно верное. Правильно и то и другое. Авторы име­ют право придерживаться либо узкой, либо широкой трактовки, но если уж они выбрали один из вариантов, то проводить его надо через всю книгу. Путаница возникает именно тогда, когда оба значения используются одновременно. Авторы настоящей рабо­ты придерживаются расширенной трактовки опроса.

Будем считать, что опрос — это социологический метод полу­чения информации, при котором людям (их называют респонден­тами) в письменной или устной форме задают специально подо­бранные вопросы и просят ответить на них. Это наиболее распро­страненный вид социологического исследования и одновременно самый используемый метод сбора первичной информации. Опрос незаменим в тех ситуациях, когда изучаются содержательные ха­рактеристики массового или индивидуального сознания, соци­альных или межличностных отношений, которые мало поддают­ся или вообще не поддаются прямому наблюдению. Скрытые от внешнего наблюдения события дают о себе знать лишь в опреде­ленных условиях и ситуациях.

Социолог обращается к методам опроса в том случае, когда изу­чаемая проблема недостаточно обеспечена документальными источ­никами либо такие источники вообще отсутствуют. Опрос незаме­ним в тех ситуациях, когда изучаются содержательные характерис­тики массового или индивидуального сознания, социальных или межличностных отношений, которые мало поддаются или вообще не поддаются прямому наблюдению. Он используется при изуче­нии состояния и уровня развития общественного мнения, социаль­но-психологических факторов. С его помощью получают инфор­мацию о потребностях, интересах, мотивации, настроениях, цен­ностях, убеждениях людей. В этих ситуациях метод опроса может оказаться основным, а иногда и единственным способом получе­ния эмпирических данных. Кроме того, опрос применяется в ка­честве контрольного (дополнительного) метода, т.е. для расшире­ния возможностей описания и анализа изучаемых характеристик и Для перепроверки данных, полученных другими методами.

Опрос предусматривает, во-первых, устное или письменное обращение исследователей к определенной совокупности людей с вопросами, содержание которых представляет изучаемую про-блему на уровне эмпирических индикаторов, и, во-вторых, — ре-гистрацию и статистическую обработку полученных ответов, а также их теоретическую интерпретацию.

Цель опроса состоит в том, чтобы правильно измерить мнения, установки и поведение людей, задавая им вопросы. Успех здесь в значительной степени зависит от их качества: хорошие (грамотно сформулированные) вопросы обещают нам правильные ответы; плохие вопросы дают несоответствующие стимулы и имеют сво-им результатом недостоверные или неточные ответы. Продумы-вая вопросы, исследователю надлежит избегать двусмысленных, неопределенных, неясных или наводящих формулировок и ис- пользовать подходящую лексику. Небрежность здесь может при-вести к несовершенному вопроснику, вызывающему раздражение или оскорбляющему респондента, и в конечном счете привести исследователя к данным, лишенным всякого смысла.

Таким образом, опрос — это систематизированный сбор инфор-мации, которая извлекается из ответов на вопросы, задаваемые рес-пондентам. Мы не случайно выделили определение «систематизи-рованный»: оно означает, что предпринимаются все меры к тому, чтобы сделать результаты не только, по возможности, точными, но и типовыми, а кроме того, иметь возможность применить к ним статистические оценки их надежности и достоверности.

Опрос привлекает исследователей благодаря своей универсаль-ности и незаменимости как основной канал поступления инфор- мации. Незаменимым его делает то обстоятельство, что он служит лучшим источником знаний о внутренних побуждениях людей (правда, для получения надежных и достоверных сведений надо постараться). Только опрос позволяет сделать невидимое (наши мысли, намерения, мнения) видимым (протокольными суждени-J ями, процентными распределениями, наконец, научным фактом). Значительная часть необходимой социологу информации скрыта в субъективных состояниях человека, которые могут и не найти выражения в его поведении, а потому не стать предметом науч-| ного наблюдения. Многое, даже очень многое человек скрывает от постороннего взгляда, не доверяя свои мысли даже бумаге. Стало быть, анализ документов, скажем, мемуаров или дневни-ков, в которых автор часто любит приукрашать себя, имеет мно-жество ограничений. И уж тем более ограничен в своих действи-ях эксперимент. Остается опрос — основной канал поступления информации для социологов.

Универсальность опроса имеет два измерения — тематическую широту и широту охвата социальных слоев населения. Спрашивать можно обо всем, даже о том, чего самому ни увидеть, ни прочитать, ни услышать, ни придумать. Ученый нередко так хитро, умно и даль­новидно строит свои вопросы, что выведывает у респондента то, в чем он сам стеснялся признаться себе, о чем не задумывался и ни­когда не спрашивал себя. К тому же ему не надо выглядеть очень умным и грамотно формулировать свои мысли, вопросы кажутся ему легкой и незатейливой игрой: отвечая на каждый просто и однослож­но, респондент в конце получает целостную картину — своеобразный автопортрет. Кто его автор — респондент, дающий информацию, или ученый, умело выстроивший вопросы, остается загадкой.

При соблюдении надлежащих предосторожностей этот метод позволяет получить не менее надежную, чем в наблюдении или по документам, информацию о событиях прошлого или настоящего, о продуктах деятельности, короче — о чем угодно. В этом и состоит его универсализм. Опрос позволяет мысленно моделировать любые нуж­ные социологу ситуации для того, чтобы выявить устойчивость его мнений, намерений, мотивов. В этом заключается надежность оп­роса: он дает ученому именно ту информацию, которую тот намере­вался получить, и в такой форме, которая не зависит от колебаний мировой конъюнктуры, места и времени проведения опроса (т.е. может быть воспроизведена другими учеными).

Искусство применения опросного метода — ив этом сходятся все специалисты — состоит в том, чтобы знать, о чем именно спра­шивать, как спрашивать, какие задавать вопросы и, наконец, как убедиться в том, что можно верить полученным ответам. Добавив несколько других условий — кого спрашивать, где вести беседу, как обработать данные и нельзя ли узнать все эти вещи, не при­бегая к опросу, — мы получим достаточно полное представление о возможностях этого метода.

Общение социолога с респондентами здесь опосредуется воп­росником, выполняющим функции инструмента для сбора эмпи­рических данных, и анкетером (интервьюером), играющим роль оператора. В основе любого вопросника лежат некоторые теоре­тические представления (пусть даже неявные, не оформленные в виде программы) о предмете исследования. В зависимости от того, в какой форме вы проводите опрос — личное интервью или заоч­ное либо групповое анкетирование, — вопросник будет называться бланком интервью или анкетой. Его название — бланк интервью или анкета — зависит от формы проведения опроса (личное ин­тервью, заочное или групповое анкетирование). В любом случае вопросник представляет собою формализованный набор вопросов,

предназначенный для получения информации от респондентов. Каковы основные требования, предъявляемые к нему? Нередко говорят, что вопросник должен быть подобен закону — ясным, недвусмысленным. Исследователю необходимо соблюдать целый ряд правил формулировки вопросов, чтобы быть уверенным в том, что его поймут, дадут четкие и однозначные ответы.

Метод опроса, опирающийся на достаточное число обученных анкетеров или интервьюеров, позволяет в максимально короткие сроки опрашивать большие совокупности людей и получать раз­нообразную информацию. Хотя познавательные возможности оп­роса безграничны, информация, полученная с его помощью, от­ражает изучаемую реальность лишь так, как она преломилась в сознании респондента. Поэтому социологи не спешат ставить знак равенства между объективной реальностью, выступающей пред­метом исследования, и данными, отражающими мнения людей о фактах, событиях и явлениях. Они тщательно учитывают и по возможности нивелируют возможное искажение информации.

Искусство опроса состоит в правильной формулировке и рас­положении вопросов. Вопросы задают не только социологи. Пер­вым задумался о научной постановке вопросов древнегреческий философ Сократ, который разгуливал по улицам Афин и ставил прохожих в тупик хитроумными парадоксами. Сегодня опросным методом пользуются кроме социологов также журналисты, врачи, следователи, учителя. Первая отличительная черта научного оп­роса — количество опрошенных. Названные выше специалисты имеют дело, как правило, с одним человеком. Социолог же опра­шивает сотни и тысячи людей и лишь затем, обобщив получен­ную информацию, делает выводы. Суть социологического опроса заключается в том, чтобы на основании нескольких сотен мнений людей судить о тысячах и миллионах. Почему он так поступает?

Когда опрашивают одного человека, то получают личное мне­ние. Для журналиста, интервьюирующего эстрадную звезду, врача, составляющего диагноз на основании слов пациента, следователя, доискивающегося до причин гибели человека, большего и не надо. Им необходимо именно личное мнение опрашиваемого, которое он в своей статье может препарировать в нужном для себя свете.

Социолог же, опрашивающий множество людей, напротив, ин­тересуется общественным мнением. Индивидуальные отклонения, субъективные предубеждения, предрассудки, ошибочные суждения, намеренные искажения, если их обработать статистически, — вза­имопогашаются. В результате социолог получает усредненную кар­тину реальности. Он опросил 100 инженеров, но выявил среднети-пичного представителя данной профессии. Вот почему в социоло-

гической анкете не требуют указывать свою фамилию, имя и отче­ство, адрес. Она анонимная. Итак, социолог, получая статистичес­кую информацию, выявляет социальные типы личности.

1.13. Виды опроса

Опрос как вид исследования разбивается на две большие раз­новидности — анкетирование и интервью. Анкетирование — воп­росно-ответная форма организации текста. Интервью — проводи­мая по заранее разработанному плану беседа, предполагающая прямой контакт интервьюера с респондентом, в ходе которой ин­тервьюер фиксирует его ответы.

В свою очередь, каждый из этих видов опроса разделяется на множество подвидов: 1) по числу опрашиваемых (групповой и ин­дивидуальный); 2) по месту проведения (дома, на работе и в целе­вых аудиториях — посетители клуба, пациенты в поликлинике и т.п.).

Анкеты можно разделить по способу распространения среди опрашиваемых: раздаточная (курьерская) анкета; почтовая (рассы­лаемая по почте); прессовая (публикуемая в газете или журнале).

Кроме того, виды опросов можно классифицировать по другим критериям, а именно: а) количественные (с применением статисти­ки) и качественные (глубинное интервью, фокус-группа); б) пись­менные (анкеты, тесты) и устные (интервью); в) очные и заочные; г) стандартизированные, полустандартизированные и нестандарти-зированные; д) клинические и фокусированные; е) направленные и ненаправленные; ж) пробные (пилотажные, зондажные, экспресс-опросы) и основные (как главный способ сбора первичной инфор­мации); з) массовый опрос (для респондентов-неспециалистов) и экспертный опрос (для специалистов в той или иной области).

Каждый вид опроса зависит от многих обстоятельств: содержа­ния анкеты или интервью (т.е. перечня вопросов, в которых реа­лизован предмет исследования); качества работы анкетера или интервьюера, организующего и непосредственно обеспечивающего заполнение анкет; ситуации опроса, его условий, которые долж­ны быть максимально благоприятными для спокойной и сосре­доточенной работы респондента; психологического состояния респондента на момент опроса и других.

При всех различиях виды опроса объединяет одно обстоятель­ство — вопросник, т.е. соответствующая исследовательскому за­мыслу и логически выстроенная система вопросов — адресован­ных респонденту речевых сообщений в вопросительной, утверди­тельной или отрицательной форме, а также предлагаемых к ним

вариантов ответа. Вопросник — более широкий термин, чем ан­кета. Он применим по отношению как к анкетированию, так и интервью. В свою очередь, анкета — это документ опроса («Анке­та для рабочего») и метод опроса (т.е. анкетирование). В западных методиках анкетой называется вопросник (questionnaire), который чаще всего заполняется с помощью интервьюеров, но иногда рас­сылается по почте либо раздается респондентам для самостоятель­ного заполнения.

Групповой анкетный опрос широко применяется по месту ра­боты и учебы. Анкеты раздаются для заполнения в аудитории, куда приглашаются включенные в выборку респонденты. Обычно один анкетер работает с группой из 15—20 чел. При этом обеспечива­ется стопроцентный возврат анкет, респонденты могут прокон­сультироваться по технике заполнения, выяснить трудные и не­ясные места, а анкетер, собирая вопросники, может проконтро­лировать качество заполнения.

Групповое анкетирование требует соблюдения некоторых специ­альных условий, обеспечивающих психологический комфорт ситу­ации опроса и повышающих качество ответов. Помещение, где про­водится опрос, должно быть психологически нейтральным (комна­та отдыха), свободным от мешающих факторов (телефонные звонки, посторонние разговоры, музыка, телепередачи, присутствие посто­ронних людей и т.п.). Опрашиваемые обеспечиваются условиями для заполнения анкет: сидеть достаточно удаленно друг от друга, чтобы не было ощущения, что рядом сидящие «заглядывают через плечо»; иметь возможность сосредоточиться и обдумать свои ответы инди­видуально, не советуясь, не комментируя ситуацию, вопросы и воз­можные варианты ответов. Совершенно недопустимо вмешательство руководителей различного уровня, тем более знакомство с ответами опрашиваемых в процессе заполнения анкет. Конфиденциальность ответов должна обеспечиваться неукоснительно. В случае необходи­мости сбор заполненных анкет производится в опечатанную урну, при этом анкеты предварительно не нумеруются.

В отечественной социологии самым популярным является ин­дивидуальный анкетный опрос. Им пользуются приблизительно в 75—80% случаев. При использовании индивидуального анкетиро­вания, с помощью раздаточной (курьерской) анкеты, анкетер либо вручает анкету респондету, договариваясь о сроке возврата при повторной встрече, либо, объяснив правила заполнения и цели опроса, ожидает заполнения анкеты. В первом случае респондент получает больше времени на заполнение анкеты, обдумывание от­ветов, но при этом осложняются проблемы возврата и появляется возможность обсудить тему опроса с посторонними людьми, даже

подменить респондента. Раздаточное индивидуальное анкетирова­ние применяется как по месту жительства, так и по месту работы.

Социальные психологи больше склонны к тестам и социомет­рическим методам. Но и анкетная процедура отнюдь не редкость в психологии, изучающей поведение людей, мотивацию деятель­ности и ценностные ориентации. При индивидуальном анкетиро­вании вопросники раздаются на рабочих местах или по месту жительства (учебы) респондентов, а время возврата заранее обго­варивается. Эта форма опроса имеет те же преимущества, что и групповое анкетирование.

За рубежом ситуация иная. До сих пор большинство исследо­ваний в США, Германии, Франции проводится посредством лич­ных интервью. По разным и достаточно веским причинам (люди не любят или не могут читать и(или) писать, избегают длинных ответов, допускают много ошибок, делают много пропусков, дают ответы не по существу и т.д. и т.п.) социологи стремятся избегать анкетирования, т.е. самозаполнения. Респондент, а затем и интер­вьюер оказываются самыми слабыми звеньями в длинной цепи научного процесса.

Как бы то ни было, но в социологии опрос вообще, включая обе его разновидности (устный и письменный), является абсолютным рекордсменом популярности. Вовсе не случайно социологию отож­дествляют с применением опроса. Правда, психологу, оперирую­щему тестами, опросная процедура социолога может показаться чрезмерно примитивной или ненадежной. Однако давно установ­лено, что жестких границ между дисциплинами не существует, одни и те же методы применяются в разных науках. Специалист подби­рает нужный метод для решения своей проблемы, но не подгоняет проблему под имеющийся метод.

Четыре вида опроса — индивидуальный и групповой, устный и письменный — взаимодополняют друг друга, образуя логичес­кий квадрат, в клетках которого, как комбинация двух признаков, образуется множество разновидностей опроса (рис. 1.3).

К примеру, групповой анкетный опрос попадает в клеточку ГП, а индивидуальный анкетный опрос — в клеточку ИП; телефонный опрос — в клеточку ИУ, а фокус-группа — в клеточку ГУ.

Логический квадрат — очень удобная и наглядная форма пост­роения классификации или типологии чего-либо, в данном случае методов опроса. Она применима лишь к таким ситуациям, где каж­дая клеточка (квадрант) таблицы заполняется. К примеру, с четырь­мя другими видами опроса — очным и заочным, индивидуальным и групповым — построить логический квадрат не удастся. Причи­на в том, что одна клеточка остается пустой. Действительно, труд-

но себе представить групповой заочный опрос. Хотя, возможно, он когда-то и кем-то проводился, но остался в истории науки экзоти­ческим примером, нежели устоявшейся практикой.

Письменный Устный

 

Индивидуальный ИП ИУ
Групповой ГП ГУ

Рис. 1.3. Логический квадрат основных видов социологического опроса'

1.14. Технические средства опроса

Социологические опросы — дорогостоящее мероприятие, осо­бенно если одновременно опрашивается несколько тысяч человек. При исследовании культурных различий подобные опросы иног­да проводятся в нескольких странах одновременно. Их стоимость велика, так как высока цена единичного контакта с респондентом, передачи полученных результатов в центр обработки, будь то меж­дугородний телефонный звонок, почтовое сообщение, телефакс.

Сегодня телефон и компьютер — два лидера среди технических помощников социолога. Первый позволяет опрашивать большое количество респондентов, находящихся за тысячи километров от офиса, в короткие сроки. Второй в онлайн-режиме дает возмож­ность опросить еще большее число людей по минимальной себе­стоимости и при этом быстро обработать данные с помощью спе­циальных программ.

С каждым годом растет число пользователей Интернетом во всем мире. Это дает возможность исследовательским компаниям исполь­зовать Интернет в качестве средства проведения исследования. Нет сомнений, что уже в самом ближайшем будущем большинство ис­следований, которые сейчас проводятся традиционными способа­ми, будут проводиться в режиме онлайн. Здесь два очевидных пре-

имущества: стоимость и сроки проведения. Понятие web-интерьъю станет таким же традиционным, как./асе-/о-./ясе-интервыо. Цену единичного контакта Интернет снизил практически до нуля.

О возможностях использования технических средств в социо­логическом опросе в нашей стране начале говорить давно, прак­тически одновременно с институциализацией социологии в кон­це 1960-х гг. Однако на практике дело ограничивалось только ста­дией анализа данных, где использовались ЭВМ. В 1970-е и особенно в 1980-е гг. техника начинает проникать и на стадию сбора первичной информации.

Первые попытки автоматизации социологического исследова­ния, в частности анкетного опроса, приходятся в нашей стране на вторую половину 1970-х гг., тогда как в США уже широко при­менялись компьютеризованные методики типа CAPL

В конце 1980-х гг. специалисты говорили о том, что в развитии методики сбора социологической информации уже достаточно чет­ко обозначились три направления: традиционное, когда интервьюер проводит опрос с помощью пера и бумаги; сравнительно новое, когда исследователь в ходе беседы использует различные техничес­кие средства; и, наконец, перспективное направление, при кото­ром осуществляется передача всех функций и операций ЭВМ.

Острая потребность социологии в технических средствах объяс­няется рядом причин. Одна из важнейших заключается в необхо­димости сократить затраты времени и средств на сбор, обработку, хранение и использование полученных результатов при проведении больших (по объему выборочной совокупности) исследований. При обработке вручную величина этих затрат часто обусловливала про­ведение опроса на небольших выборках, в противном случае резуль­таты исследования можно было получить только очень не скоро. Иногда это время измерялось годами. Во-вторых, привлечение к опросам большого количества интервьюеров с разной подготовкой вело к получению ненадежных, нерепрезентативных данных и, в свою очередь, также стимулировало применение разного рода тех­нических средств.

Телефон — одно из первых технических средств, получивших довольно быстрое распространение в социологических исследова­ниях. В регионах с высоким уровнем телефонизации он является главным средством получения сведений о реакции аудиторий га­зет, журналов, радио и телевидения на их материалы и передачи, а также на различные события. В перспективе при телефонном интервью будут применяться факсимильные аппараты. Использо­вание таких аппаратов позволит соединить достоинства анкети­рования с преимуществами телефонного интервью.

Телефоны, оборудованные автоматическими ответчиками и накопителями информации, а также селекторными и факсимиль­ными установками, помогают организовать коллективный разго­вор, фиксацию сообщений в отсутствие респондента, передачу копий материалов. Кроме того, специальный блок телефонного устройства обеспечивает автоматический перенос вызова абонен­та при временной занятости линии.

В отличие от телефонного телевизионное интервью с его на­глядностью практически снимает проблему длины вопросов и са­мого вопросника, необходимость ограничивать количество альтер­натив. Однако в телеинтервью практически отсутствует обратная связь. Это приводит к необходимости ориентироваться на «сред­нестатистического» опрашиваемого, использовать определенные приемы для завоевания доверия и расположения телеаудитории. Прототипом быстрой и надежной обратной связи могут служить телевизионные производственные совещания — планерки — на некоторых крупных предприятиях нашей страны.

В 1980-е гг. в опросах использовались и другие технические средства. В частности, социологи стали активно применять мик­рокалькуляторы, переносные кассетные магнитофоны и диктофо­ны, совмещая этапы сбора и анализа, сокращая время и стоимость исследования. Например, использование программируемых мик­рокалькуляторов (микро-ЭВМ) в некоторых случаях оказывалось более эффективным и экономичным, чем применение стационар­ных ЭВМ.

Первые попытки автоматизации, например, анкетного опроса приходятся на вторую половину 70-х гг. Именно в это время за рубежом, по преимуществу в США, стали разрабатываться мето­дики CAP/ (Computer-Assisted Personal Interviewing — личное интер­вью с помощью компьютера), CAT/ (Computer Assisted Telephone /nterview — телефонное интервью с помощью компьютера), CSAQ (Computer Assisted Self-Administered Questionnaire — заполнение ан­кеты респондентом на компьютере), CASI/P (Computer Assisted Self-Administered /nterview With an /nterviewer Present — интервью с по­мощью компьютера в присутствии интервьюера). Традиционные же интервью получили название PAP/ (Paper and Pen /nterview), т.е. «интервью с карандашом и бумагой»43.

вит порядка 20 анкет. Это означает, что для полного сбора пер­вичной информации нам потребуется 85 тыс. человеко-дней. Предположим, что мы намереваемся завершить опрос за 10 дней и заплатить за каждое интервью 20 руб. Таким образом, нам при­дется привлечь 8,5 тыс. помощников и заплатить им в общей слож­ности 340 тыс. руб. Какой бы важной ни была полученная инфор­мация, вряд ли она окупит столь огромные расходы, не говоря о прочих издержках. К прочим можно отнести, например, те день­ги, которые теряет предприниматель, разрешая социологам от­влечь для опроса пару-тройку сотен своих рабочих, которые в этот момент не создают материальной продукции и тем самым лиша­ют бизнесмена определенной части прибыли.

Вот почему практически всегда2 социологи прибегают к выбо­рочным методам опроса. Суть выборочного метода заключается в том, что по определенным — довольно строгим — правилам из общей численности людей, так называемой генеральной совокуп­ности (население всей страны, все городское население, все жи­тели одного города или района, вся молодежь и т.п.), отбирается ограниченное число людей, которое призвано в качестве своеоб­разной модели воспроизводить структуру объекта. На языке со­циологов эта группа людей (равно как и процедура по ее опреде­лению) именуется выборкой.

Правильное построение выборочной совокупности — основа и гарантия высокой точности социологического исследования. Опрашивать всю генеральную совокупность, например всех нар­команов, физически невозможно, экономически невыгодно, а в научном плане бесполезно. Ученые давно заметили, что после известного количества анкет результаты начинают повторяться, выстраиваясь в определенные закономерности. Минимальным порогом служат обычно 20 анкет (для страховки социологи услов­но приняли цифру 50 — некий гарантированный объем выбороч­ной совокупности, которая позволяет ученому обнаружить общие тенденции). Если респонденты не очень сильно отличаются друг от друга, скажем, принадлежат к одной профессии, классу, полу, возрасту, то очень скоро в их ответах начинают просвечивать об­щие тенденции. К примеру, все 30-летние в основном женаты, редко меняют место работы и больше ориентированы на карьеру, чем 20-летние.

Выяснились и другие любопытные особенности. Скажем, чем проще вопросы, тем быстрее выявляются повторы. Чем меньше

альтернатив (или, как еще говорят, закрытий) в анкетном опро­се, тем через меньшее число анкет начинают проступать общие тенденции. Таким образом, в простейшем случае, если социолог не ставит целью провести фундаментальное исследование с соблю­дением всех методических требований, ему лучше сконструиро­вать несложную анкету, сделать однородную выборку и охватить небольшое число респондентов. Обычно подобные исследования называют разведывательными, постановочными, зондажными.

Разумеется, всего этого недостаточно для широкомасштабно­го обследования, гетерогенной выборки, разнородной и громозд­кой анкеты либо для эмпирического подтверждения гипотезы, отвечающего всем требованиям научного канона. Но для пробного или, лучше сказать, постановочного исследования, где социолог не идет дальше постановки проблемы, этого вполне достаточно.

Итак, социологи отказались от сплошного исследования в пользу выборочного не только по финансовым, но и по научным соображениям. Поэтому мы должны себе сказать: собирать инфор­мацию обо всей популяции (или генеральной совокупности) не только невозможно, но часто и не нужно. Но в тех ситуациях, особенно в маркетинговом исследовании, где от социолога тре­буют точной информации о целой категории людей, например потребителях растворимого кофе, заказчик выделяет из своего кармана (по существу, отказывается от части прибыли) немалые деньги и исследовательская фирма рискует своим авторитетом, к выборочному опросу следует подходить по всем правилам, про­являть максимум ответственности, соблюдать все методические правила.

История свидетельствует, что когда нарушаются принципы случайной выборки и какой-то группе респондентов оказывается предпочтение — произвольно или непроизвольно, намеренно или в силу независящих от ученого обстоятельств, — происходит ка­тастрофа. Применение смещенной или неправильно составленной выборки специалисты любят демонстрировать на примере круп­ного скандала, случившегося в 1930-е гг. с журналом «Литэрари Дайджест», организовавшим опрос общественного мнения отно­сительно результатов выборов. Как и любой другой дайджест, журнал в основном жил чужими материалами, перепечаткой га­зетных и журнальных статей, в данном случае посвященных оп­росам общественного мнения. Начиная с 1920 г. журнал стал за­ниматься организацией собственных опросов, в частности провел широкомасштабный общенациональный опрос, в ходе которого более чем миллиону человек по почте были разосланы избиратель­ные бюллетени с просьбой отметить, чья кандидатура на предсто-

 

 

Глава 2. ТЕОРИЯ И МЕТОДОЛОГИЯ ВЫБОРКИ1

Большинство социологических исследований носит не сплош­ной, а выборочный характер: по строгим правилам отбирается определенное количество людей, отражающих по социально-де­мографическим признакам структуру изучаемого объекта. Такое исследование именуется выборочным.

Выборочное обследование представляет собой способ система­тического сбора данных о поведении и установках людей посред­ством опроса специально подобранной группы респондентов, да­ющих информацию о себе и своем мнении. Оно является более экономичным и не менее надежным методом, чем сплошное ис­следование, хотя требует более изощренной методики и техники.








Дата добавления: 2016-11-22; просмотров: 992;


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию.

Поделитесь с друзьями:

Если вам перенёс пользу информационный материал, или помог в учебе – поделитесь этим сайтом с друзьями и знакомыми.
helpiks.org - Хелпикс.Орг - 2014-2024 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.067 сек.