Насколько Вы лично удовлетворены следующими сторонами своей жизни? 4 страница
Итак, средняя ошибка при таком способе оценивания респондента составляет почти 1 балл.
В том случае, если число измерений каждого объекта равно 3, ;1 формула для расчета ошибки будет
где п — число респондентов (объектов);
— дисперсия оценок i-го респондента.
Допустим, что рассмотренную выше совокупность из 13 респондентов оценивают не двое, а трое судей, т. е. добавляется еще одна строчка данных и следующие расчеты:
Судья | Респондент | ||||||||||||
А В С | |||||||||||||
3,3 | 5,3 | 2,3 | 4,3 | 3,3 | |||||||||
0,67 | 2,89 | 0,67 | 0,22 | 1,56 | 0,67 | 0,67 | 2,67 | 0,89 | 0,89 | 0,67 |
Как видно, оценивание с помощью трех лиц значительно надежнее, чем с помощью двух (соответствующие ошибки 0,69 и 0,97).
Обоснование измеряемого свойства путем определения уровня согласованности нескольких шифровальщиков — классический прием, используемый в контент-анализе документов. Этот метод выявления надежности особенно необходим здесь, ибо, как правило, анализируемый документ не имеет в тексте четких границ измеряемого признака, референты которого расплывчаты и толкуются неоднозначно, самые детальные инструкции по шифровке все же не дают исчерпывающих указаний.
Тем же способом можно изучать совпадения оценок и самооценок. Если согласованность оценок со стороны судей и соответствующих самооценок респондентов будет достаточно высокой, это может означать, что методика достаточно обоснованна. Во всяком случае, одновременное использование оценок, и самооценок дает возможность глубже понять сущность измеряемых, признаков, уточнить их смысл.
Несколько методов и несколько исполнителей. Одним из способов установления обоснованности измерения некоторого качества у одного и того же респондента (объекта) является фиксирование данного свойства разными исполнителями, владеющими разными методами. Как и в предыдущих случаях, здесь нельзя установить некую абсолютную обоснованность, поэтому рассматривается лишь обоснованность одного способа относительно другого.
Такая ситуация наблюдается, например, в случае, если руководитель ранжирует своих подчиненных по какому-то качеству, а исследователь ранжирует этих же людей на основании их опроса по специально разработанной методике. Скорее всего надежность первого способа ранжирования значительно выше, и обоснованность второго метода следует проверять по его согласованности с первым.
Используя параллельные методы измерения одного и того же свойства, исследователь сталкивается с целым рядом трудностей.
Во-первых, неясно, в какой мере оба метода измеряют одно и то же качество объекта, причем, как правило, формальных критериев для проверки такой гипотезы не существует. Следовательно, необходимо прибегнуть к содержательному (логико-теоретическому) обоснованию того или иного метода.
Во-вторых, если обнаруживается, что параллельные процедуры измеряют общее свойство (данные существенно, не различаются), остается вопрос о теоретико-содержательном соответствии этих процедур.
Нельзя не признать, что сам принцип использования параллельных процедур оказывается не формальным, а скорее содержательным принципом, и решение остается за теоретико-методологической концепцией исследования.
Именно теоретическая позиция исследователя, теоретическая обоснованность метода измерения оказываются решающими факторами при решении вопроса о предпочтительности той или иной процедуры. Такое заключение необходимо сделать по отношению к параллельным процедурам, когда ни одна из них не обладает большей достоверностью по сравнению с другой.
Метод судейства при обосновании процедур измерения. Один из широко распространенных подходов к установлению обоснованности — это использование так называемых судей. Исследователи обращаются к определенной группе людей с просьбой выступить в качестве судей или компетентных лиц. Им предлагают набор признаков, предназначенный для измерения изучаемого явления, и просят оценить правильность отнесения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого явления. В качестве набора признаков может выступить список отдельных суждений, серия предметов, совокупность обследуемых лиц и т. д.
Процедуры судейства многообразны. Способ выявления отношения признаков к измеряемому свойству определяет сущность метода. Это могут быть методы парных сравнений, ранжирования, последовательных интервалов и т. д. В каждом случае, выбирая ту или иную технику судейства, необходимо учитывать ее специфические возможности, влияющие на уровень обоснования судейских оценок.
Вопрос о том, кого следует считать судьями, достаточно дискуссионен. Судьи, выбираемые в качестве представителей изучаемой совокупности, так или иначе должны представлять ее микромодель: по оценкам судей исследователь определяет, насколько адекватно будут истолкованы респондентами пункты опросной процедуры или другие обращенные к респонденту стимулы.
Однако при отборе судей возникает трудноразрешимый вопрос, каково влияние собственных установок судей на их оценки, ведь эти установки могут существенно отличаться от установок обследуемых в отношении того же самого объекта.
Ясно, что в каждом конкретном случае, следует осуществлять контроль такого рода ошибок применительно к данной выборке судей.
Так, используя мужчин и женщин в качестве судей для оценки потенциальных творческих возможностей различных занятий на досуге, нашли, что установки судей-мужчин существенно отличаются от установок судей-женщин. Более того, их установки зависят от того, увлекается ли сам судящий данным видом досуга. Например, женщины, которые занимаются рукоделием, значительно выше оценивают творческие возможности этого занятия, чем те, которые им не занимаются.
В общем виде решение проблемы состоит в том, чтобы: а) внимательно проанализировать состав судей с точки зрения адекватности их жизненного опыта и признаков социального статуса соответствующим показателям обследуемой генеральной совокупности; б) выявить эффект индивидуальных уклонений в оценках судей относительно общего распределения оценок. Наконец, следует оценить не только качество, но и объем выборочной совокупности судей. Здесь также нет единодушия между специалистами. Рекомендуется брать то 25 — 30 человек, то 200 — 300 и более. Серьезных обоснований в обоих случаях не приводится.
Рассмотрим эту проблему на языке измерения. Поскольку судьи должны измерить некоторое свойство, которое содержится в данном признаке, процедуру судейства можно понимать таким образом: каждый судья i (i = 1, 2, ..., N), измеряя одно и то же свойство, дает признаку некоторую оценку , и помещает его в некоторый класс значений. Имея оценки N судей, получаем N измерений одного и того же признака. Если признаков k, то имеем Nk измерений. Количество судей надо поставить в прямую зависимость от вариации их мнений и, таким образом, от однозначности измеряемого объекта.
С одной стороны, это количество определяется согласованностью: если согласованность мнений судей достаточно высокая и соответственно ошибка измерения мала, численность судей может быть небольшой. Нужно задать значение допустимой ошибки и на основании ее рассчитать требуемый объем выборки.
При обнаружении полной неопределенности объекта, т, е. в случае, когда мнения судей распределятся равномерно по всем категориям оценки, никакое увеличение объема выборки судей не спасет ситуацию и не выведет объект из состояния неопределенности.
С другой стороны, количество измерений и соответственно число судей должны быть целесообразными. Очевидно, что 1000 судей дадут более надежные данные, но разумнее ограничиться меньшим количеством, особенно если требования к точности измерения являются не слишком высокими.
Здесь возникает проблема точности (устойчивости измерения. Рассмотрим с этой точки зрения принципиально разные варианты судейства:
1) производится классификация состояний объекта (сам объект имеет качественные градации);
2) находится количественная оценка изменяющихся состояний объекта, представляющих собой континуум.
В первом случае при определении объема выборки судей необходимо задать некоторый уровень определенности в их мнениях, т. е. энтропия распределения оценок должна быть не выше некоторого порогового значения. Во втором задается уровень допустимой ошибки. Далее возникает вопрос о численности градаций в судейских оценках, что относится к чувствительности любой измерительной процедуры. В общем случае речь идет не о чем ином, как о чувствительности измерения, зависящей и от изменчивости объекта, и от устойчивости инструмента измерения. Основной способ определения дробности судейских оценок — выявление их устойчивости путем двух последовательных (с временным интервалом) судейств по единой процедуре. Эта операция уже рассматривалась выше в разделе об устойчивости.
Если объект достаточно неопределен, то большое число градаций только внесет дополнительные помехи в работу судей и не принесет более точной информации. Нужно выявить устойчивость судейских мнений с помощью повторной пробы и соответственно сузить число градаций.
***
Выбор того или иного конкретного способа, метода или техники проверки на обоснованность зависит от многих обстоятельств.
Прежде всего следует четко установить, возможны ли какие-то существенные отклонения от запланированного предмета измерения. Как правило, интерпретация полученных данных вследствие различных погрешностей измерения не отвечает полностью эмпирической интерпретации понятий или свойств, которыми, согласно гипотезе, обладает этот объект. Если программа исследования ставит чрезвычайно жесткие рамки, следует использовать не один, а несколько приемов проверки данных да обоснованность, с тем чтобы четко определить границы достоверности заключения по гипотезе. Если же она не столь жестко ограничивает содержание объекта, уточнение уровня обоснованности поможет интерпретировать данные в несколько иных направлениях в соответствии с результатами проверки на обоснованность исходного измерения.
Во-вторых, нужно иметь в виду, что уровни устойчивости и обоснованности данных тесно взаимосвязаны. Неустойчивая информация уже в силу недостаточной надежности по этому критерию не требует слишком строгой проверки на обоснованность. Следует обеспечить достаточную устойчивость и уже затем принять соответствующие меры для уточнения границ интерпретации данных (т. е. выявить уровень обоснованности).
Наконец, надо сказать, что для оперативных исследований, программа которых разработана лишь в общем виде (т. е. имеется скорее общий набросок логики исследования, общий замысел), можно ограничиться проверкой данных на устойчивость, используя эту информацию для некоторых, хотя бы гипотетических, суждений относительно обоснованности.
Выбор конкретной техники проверки данных на обоснованность — задача скорее содержательная, чем формальная. Мы показали, как решается эта задача в зависимости от особенностей методики, подлежащей проверке на обоснованность, того места, которое она занимает в рамках всего исследования, и, главное, в соответствии со спецификой объекта измерения.
Многочисленные эксперименты по выявлению уровня надежности исходной информации, в частности рассмотренные в этой главе, позволяют заключить, что в процессе отработки инструментов измерения со стороны их надежности целесообразна следующая последовательность основных этапов работы:
1. Предварительный контроль обоснованности методов измерения первичных данных на стадии проб методики. Здесь проверяется, насколько информация отвечает своему назначению по существу и каковы пределы последующей интерпретации данных.. Для этой цели достаточны небольшие выборки в 10 — 20 наблюдений с последующей корректировкой структуры методики.
2. Пилотаж методики и тщательная проверка устойчивости исходных данных, в особенности итоговых показателей, индексов, многомерных шкал и т. п. На этом этапе нужна выборка не менее 100 человек, представляющая микромодель реальной совокупности обследуемых с учетом представительства по существенным характеристикам объекта исследования.
3. В период общего пилотажа осуществляются все необходимые операции, относящиеся к проверке уровня обоснованности. Результаты анализа данных генерального пилотажа приводят к усовершенствованию методики, к доработке всех ее деталей и в итоге — к получению окончательного варианта методики для основного исследования.
4. В начале основного исследования желательно провести проверку используемого варианта методики на устойчивость с тем,, чтобы рассчитать точные показатели ее устойчивости. Последующее уточнение границ обоснованности проходит через весь анализ самого исследования.
Литература для дополнительного чтения
1. Аванесов В. С. Тесты в социологическом исследовании. М.: Наука, 1982. 199 с.
2. Бородкин Ф. М., Миркин Б. Г. Эмпирические описания в социологии. — В кн.: Математика и социология. Новосибирск: Наука. Сиб. отд-ние, 1972, е. 3 — 41.
3. Воронов Ю. П., Ершова Н. П. Общие принципы социологического измерения. — В кн.: Измерение и моделирование в социологии. Новосибирск: Наука. Сиб. отд-ние, 1969, с. 3 —15.
4. Грин Ф. Б. Измерение установки. — В кн.: Математические методы в современной буржуазной социологии. М.: Прогресс, 1966, с. 227 — 287.
5. Докторов Б. 3. О надежности измерения в социологическом исследовании. Л.: Наука, 1979. 128 с.
6. Жуков Ю. М. Применение шкалирования в социально-психологических исследованиях. — В кн.: Методология и методы социальной психологии. М.: Наука, 1977, с. 126 — 135.
7. Зайцева М. И. Методы шкалирования при измерении установки.— В кн.; Социальные исследования. М.: Наука, 1970, вып. 5, с. 220—242.
8. Клигер С. А., Косолапое М. С., Толстова Ю. Н. Шкалирование при сборе и анализе социологической информации. М.: Наука, 1978. 112 с.
9. Лазарсфельд П. Ф. Измерение в социологии. — В кн.: Американская социология: Перспективы, проблемы, методы. М.: Прогресс, 1972, с. 134 — 149.
10. Осипов Г. В., Андреев Э. П. Методы измерения в социологии. М.: Наука, 1977. 183 с.
11. Процесс социального исследования. М.: Прогресс, 1975, разд. 1.4.2.
12. Саганенко Г. И. Социологическая информация: Статистическая оценка надежности исходных данных социологического исследования. Л.: Наука, 1979. 142 с.
13. Статистическое измерение качественных характеристик. М.; Статистика, 1972. 173 с.
14. Суппес Л., Зинес Дж. Основы теории измерений. — В кн.: Психологические измерения. М.: Мир, 1967, с. 9 — 110.
РАЗДЕЛ ТРЕТИЙ
МЕТОДЫ СБОРА ДАННЫХ В СОЦИОЛОГИЧЕСКОМ ИССЛЕДОВАНИИ
ГЛАВА ВОСЬМАЯ
АНАЛИЗ ДОКУМЕНТОВ И СУЩЕСТВУЮЩИХ ДАННЫХ
В каждом обществе существуют специальные средства обмена информацией, которые называются документами. Они предоставляют в распоряжение социолога как объективно проверяемые факты (структура общества, миграция и т.д.), так и закрепленные в этих документах проявления общественного сознания. Реконструкция прошедших социальных изменений, производимая на основе анализа документов, теоретическая интерпретация и сравнительный анализ различных документальных источников позволяют исследователю обнаружить и сформулировать закономерности возникновения новых социальных явлений в ходе исторического процесса, что блестяще было продемонстрировано основоположниками марксизма-ленинизма в таких работах, как Положение рабочего класса в Англии, Капитал, Происхождение семьи, частной собственности и государства, Развитие капитализма в России, Империализм, как высшая стадия капитализма и целом ряде других.
Достаточно сказать, что в ленинских произведениях упоминается 16 тыс. книг, брошюр, журналов и газет, из которых 4 тыс.— на иностранных языках. Только в работе Развитие капитализма в России, целиком построенной на изучении документов подворной переписи населения, В. И. Ленин цитирует более 400 источников. Подготовительные материалы в работе Империализм, как высшая стадия капитализма, содержат выписки из 146 иностранных, 2 русских книг, а также ссылки на 232 зарубежные статьи, помещенные в 49 периодических изданиях.
Анализ документов дает исследователю возможность увидеть многие важные стороны социальной жизни, помогает установить нормы и ценности, свойственные определенному обществу в определенный исторический период, получить сведения, необходимые для описания тех или иных социальных структур, проследить динамику взаимодействия между различными социальными группами и отдельными людьми и т. д.
Можно с уверенностью утверждать, что в обществе вряд ли можно найти какую-либо единицу, ячейку, элемент структуры общества, начиная от самых больших (государство, политическая партия) и кончая самыми маленькими (производственная бригада, семья), которая бы не была оформлена документально. Для таких крупных элементов структуры общества, как государство, — это конституция, законодательство и т. п. Для партий, союзов—это уставы, программы. Для маленьких ячеек — отдела, бригады — определенные положения об отделе, приказы или постановления о его создании, штатное расписание в отделах кадров и т. д.
Всякая социальная информация представляет собой результат определенной социальной деятельности и как таковая отражает классовые, национальные и другие отношения людей, их интересы, потребности и т. д. Это отражение обусловлено мировоззренческой позицией воспринимающих субъектов (авторов документов), которая непосредственно определяется их местом в общественной системе...Приводя цитаты,— подчеркивал Ф. Энгельс, — я в большинстве случаев указываю на партию, к которой принадлежит автор, потому что либералы почти всегда пытаются подчеркнуть нищету в сельскохозяйственных округах и отрицать ее в фабричных округах, а консерваторы, наоборот, признают нужду в фабричных округах,но не хотят признавать ее в сельских местностях. По этой же причине в тех случаях, когда у меня не хватало официальных документов, я предпочитал при описании положения промышленных рабочих всегда пользоваться свидетельствами либералов, стараясь бить либеральную буржуазию ее же собственными свидетельствами; на консерваторов же или чартистов я ссылался вообще только в тех случаях, когда был знаком с настоящим положением дела по собственным наблюдениям или мог быть убежден в искренности приводимых свидетельств на основании личной или литературной репутации цитируемых авторов[147].
1. Понятие документа. Классификация документов
Понятие документа. Документом в социологии называется специально созданный человеком предмет, предназначенный для пере- дачи или хранения информации.
Из этого понятия исключены такие серьезные источники информации,как предметы материальной культуры и быта. Ценность этих объектов для получения определенной социальной информации не подлежит сомнению, однако включение предметов материальной культуры и быта в понятие документа привело бы к неправомерному расширению понятия (таким образом, документами оказались бы дома, мосты, мебель, часы, авторучки и т.д. Различение документации и предметов материальной культуры э быта подтверждает также и тот факт, что методы анализа тех И других существенно отличаются друг от друга.
Круг собственно социологических документов, отражающих различные стороны общественной жизни, настолько широк, что люб эмпирическое социологическое исследование должно начинать с анализа имеющихся по интересующей исследователя проблеме документов.
Чтобы хорошо ориентироваться в многообразии документов, прежде всего необходима их классификация, основанием которой служит форма, в которой тот или иной документ фиксирует содержащуюся в нем информацию.
От формы, в которой зафиксирована информация, зависят цели его использования и методы анализа.
По форме фиксации информации документы делятся на: письменные документы; архивы эмпирических данных в машиночитаемой форме; иконографическую документацию (кино-, видео- и фотодокументы,- картины и т. д.); фонетические документы (магнитофонные записи, грампластинки).
Письменные документы — наиболее обширный вид документации. Источниками этого типа документов для социолога являются:
государственные и центральные архивы, архивы .организаций и предприятий, статистическая отчетность, научные публикации, пресса, личные документы.
Государственные и центральные архивы. В нашей стране существует хорошо организованная, широко разветвленная служба архива. Во главе этой службы стоит Главное архивное управление (ГАУ) при Совете Министров СССР. При республиканских Советах Министров в свою очередь есть республиканские архивные управления или комитеты. Последние подчинены республиканским Советам Министров, но методическое руководство их работой осуществляет ГАУ.
В ведении ГАУ и республиканских архивных управлений находятся центральные государственные архивы, такие, как Центральный государственный архив народного хозяйства СССР, Центральный государственный исторический архив, Центральный государственный архив древних актов СССР и др. В этих архивах хранятся материалы центральных органов власти.
В краях и областях функционируют соответственно краевые и областные архивные управления со своими архивами. Наконец, в районах существуют районные архивы.
Кроме этой общей сети архивов, существуют некоторые специальные архивы, такие, например, как партархив, профархив. В методическом отношении эти архивы также руководствуются правилами ГАУ.
Помимо системы общегосударственных и специальных архивов, существуют архивы в рамках министерств и ведомств, в том числе и республиканских. Эти архивы хранят, в частности, научно-техническую документацию.
В методическом отношении и эти архивы руководствуются правилами ГАУ. Таким образом, вся архивная, работа в рамках Советского Союза осуществляется по единым методическим правилам, что обеспечивает четкое функционирование всей сложной системы службы архивов.
Сроки хранения документов в архивах определяются следующими правилами. Ведомственные архивы получают документы от организаций по истечении десяти лет хранения. В свою очередь они передают материалы на хранение в центральные архивы через 25—30 лет[148].
При описании методов работы с документами многие западные авторы специально останавливаются на вопросе доступности архивов. В целом ряде стран принято так называемое правило пятидесяти лет. Это значит, что общественность имеет доступ лишь к материалам пятидесятилетней давности. Доступ к более современным документам резко ограничен, так как считается, что это может повредить государственным интересам. В нашей стране такого ограничения нет. В соответствии с установленными правилами (например, по письму от заинтересованной организации) возможен доступ практически к любым архивам.
Основная особенность всех исследований, построенных на анализе архивной документации, заключается в их большей или меньшей ретроспективности. Это относится не только к историческим исследованиям, но и к исследованиям, посвященным некоторым современным социальным феноменам (в тех случаях, когда современное явление рассматривается как фаза эволюции определенного процесса, идущего от прошлого). Анализ архивных материалов может быть полезен при выработке критериев оценки того или иного феномена и в некоторых случаях для контроля при проведении исследований другими методами.
Архивы организаций и предприятий. Между архивами организаций и иными архивами имеется существенное для социолога различие. По принятым в советском делопроизводстве правилам все документы подразделяют на документы постоянного хранения та документы временного хранения[149]. Это различие зависит от ценности того или иного документа. Документы временного хранения через определенные сроки уничтожаются; документы постоянного хранения через десять лет передаются в иные архивы. Таким образом, документация, в которой отражается текущее положение дел, находится в архивах организаций.
Документы временного хранения часто бывают для социолога значительно более ценными, чем документы постоянного хранения. На основе временно сохраняемых документов часто удается проследить специально не учитываемые процессы, которые в своей совокупности полнее характеризуют жизнь предприятия или организации.
Текущая документация может быть проанализирована для достижения тех же целей, которые обычно достигаются с помощью наблюдений, опросов, экспериментов и других методов. Текущая документация может быть использована как вспомогательный источник информации и как средство оценки достоверности всего исследования в целом.
Статистическая отчетность. Связь между статистикой и социологией настолько тесна, что в некоторых случаях только чисто формально можно провести границу между статистическим и социологическим исследованием. Более того, сама идея конкретных социологических исследований, сам методический аппарат их во многом исторически обязаны своим происхождением опыту социально-экономической статистики. Естественно, что многие социологические исследования существенным образом опираются на статистические данные.
В. И. Ленин рассматривал статистические документы как одно из самых могущественных орудий социального познания, считал их одним из важнейших источников сбора фактического материала для своих исследований[150]. Основанный на материалистическом понимании социальных явлений анализ статистической информации максимально широко и многообразно использовался В. И. Лениным при решении как теоретических, так и практических вопросов.
В таких работах, как Выборы в Думу и тактика русской социал-демократии, Итоги выборов, Политические партии в России и др., В. И. Ленин демонстрирует высокое мастерство социологического анализа количественной информации, используя данные о структуре правительственной партии и партии либералов, числе депутатов Думы от разных партии, числе губернских собраний, где, большинство принадлежит отдельным партиям и т. д.
Ценным свойством статистических данных является методическая строгость их сбора и обработки и, как следствие этого, большая степень их доступности для всестороннего анализа, большая обоснованность и достоверность выводов, полученных на их основе.
Вместе с тем следует помнить указание В. И. Ленина об опасности, таящейся в своеобразии статистической информации, о необходимости составлять обстоятельную программу анализа статистических данных, производить выбор основных показателей для характеристики классовой сущности того или иного социального явления.
За рядами цифр не упускаются ли иногда из виду типы, общественно-экономические типы хозяйств (крепкий хозяин) — буржуа; средний хозяйчик; полупролетарий; пролетарий? Опасность эта очень велика в силу свойств статистического материала. «Ряды цифр» увлекают. Я бы советовал автору учитывать эту опасность: наши «катедеры», безусловно, душат таким образом живое, марксистское содержание данных. Топят классовую борьбу в рядах и рядах цифр[151]. В работе Капиталистический строй современного земледелия В. И. Ленин пишет: Капиталистической строй сельского хозяйства характеризуется отношениями, которые существуют между хозяевами и рабочими, между хозяйствами разных типов, и если признаки этих типов взяты неправильно, подобраны неполно, то самая лучшая перепись может не дать политико-экономической картины действительности[152].
Статистические данные имеют определенные преимущества перед данными непосредственного наблюдения (при условии, если измеряется один и тот же параметр). Статистический оперативный учет проводится постоянно и позволяет выбирать показатели за любые отрезки времени, сравнивать эти показатели с показателями прошлыми и выявлять тем самым тенденцию изменений и т. д.
Степень использования статистических материалов в социологических исследованиях зависит от цели каждого конкретного исследования и от того, насколько глубоко и всесторонне организован оперативный статистический учет. Общеизвестно, что в нашей стране оперативный статистический учет и статистическая отчетность ведутся более подробно, чем в любой стране мира, поэтому перед советскими социологами открыты широкие возможности для использования статистических материалов. Вдумчивый и всесторонний анализ статистических материалов дает основания для глубоких социальных выводов и обобщений.
Дата добавления: 2015-09-29; просмотров: 612;