Статья Эксперименты

Исследовательские методы, представленные в предыдущих двух главах, являются, прежде всего, описательными. Проведение описательных исследований дает рекламистам возможность сделать “моментальный снимок” потребителя или рынка, что способствует лучшему пониманию установок и поведенческих особенностей потребителя, места товара на рынке или условий его существования. Однако случается так, что людям, принимающим решения в рекламном бизнесе, требуется не только описание. Возникают ситуации, когда необходимо понять, как происходящие изменения условий рекламирования, структуры товара и его места на рынке влияют на форматирование отношения, мнения и поведения или на позиционирование товара на рынке. Выяснить это можно с помощью экспериментальных исследований, в процессе которых исследователь изменяет или преобразует что-либо в окружении потребителя или товара с целью узнать, что произойдет. В этой главе рассматривается роль экспериментов в рекламных исследованиях.

Прочитав данную главу, вы узнаете...

n каковы характерные особенности экспериментов;

n о факторах, отрицательно влияющих на способность эксперимента служить надежной основой для принятия решений;

n как составляются и для чего нужны планы проведения экспериментов;

n как рекламисты используют результаты лабораторных или полевых экспериментов для принятия решений в отношении товара, рекламы и средств рекламы.

Для рекламистов и маркетологов существует два способа понять потребителя, товар и рынок. Описательные исследования дают возможность познакомиться с отношением, мнением, образом жизни и поведенческими особенностями потребителя в определенное время. Так, в ходе проведения описательных исследований осуществляется опрос отдельных представителей целевой аудитории для определения степени их осведомленности о рекламе и способности припомнить ключевые идеи, передаваемые рекламой. Проведение экспериментальных исследований выходит за рамки описания. Целью проведения экспериментаявляется установление причинной связи — влияния изменений, происходящих в одной сфере, на ситуацию в других сферах. При проведении эксперимента, например, может варьироваться количество рекламы, размещенной на определенном рынке, с целью определить воздействие интенсивности (насыщенности) рекламы на осведомленность целевой аудитории и припоминание рекламного обращения. Одной группе людей демонстрируют большое количество рекламы, а другой — совсем немного. Эксперимент направлен на получение ответа на вопрос: “В какой мере количество экспонируемой рекламы влияет на осведомленность о ней и припоминание рекламного обращения?”

В этой главе рассматривается процесс проведения экспериментов. Начинается глава с рассмотрения характерных особенностей проведения и составных частей экспериментов. Особое внимание уделяется требованиям, соблюдение которых необходимо для того, чтобы на основании эксперимента установить наличие причинно-следственной связи. Далее мы рассматриваем понятие внутренней валидности. Внутренняя валидностьэксперимента определяет степень нашей уверенности в том, что наблюдаемые результаты были получены именно вследствие экспериментальной манипуляции. После рассмотрения внутренней валидности в главе представляются варианты планирования экспериментов и обсуждаются возможности повышения внутренней валидности путем использования различных экспериментальных планов. Таким образом повышается ценность информации, полученной в ходе проведения эксперимента. Затем мы рассмотрим лабораторные и полевые условия проведения экспериментов, подчеркивая сильные и слабые стороны каждого из подходов. Условия проведения эксперимента влияют на его внешнюю валидность, степень возможного обобщения результатов эксперимента для их применения в “реальной жизни”. Завершается глава рассмотрением характерных особенностей внешней валидности в контексте трех распространенных ситуаций проведения экспериментов в области рекламы: пробные рынки на местах продаж, электронные пробные рынки и смоделированные пробные рынки.

Характерные особенности проведения экспериментов

Эксперименты проводятся для того, чтобы понять причинно-следственные связи, влияние изменений одной переменной на другие. Каждый эксперимент состоит из четырех основных этаповнезависимо от того, кем он осуществляется, и от предмета изучения. При проведении эксперимента следует:

· определить, что именно необходимо узнать;

· предпринять соответствующие действия (провести эксперимент, манипулируя одной или несколькими переменными);

· наблюдать эффект и последствия этих действий на другие переменные;

· определить, в какой мере наблюдаемый эффект может быть обусловлен предпринятыми действиями.

Эксперимент из повседневной жизни прекрасно иллюстрирует каждый из названных этапов.

Питер хотел бы улучшить тесто для пиццы, которую он обычно выпекает. Итак, он задумал провести эксперимент и посмотреть, насколько количество воды, добавляемой в тесто, влияет на его качество. Питер подготовил три замеса, тщательно соблюдая одинаковые пропорции добавляемых ингредиентов, за исключением воды. Тесто для пиццы А приготовлено с добавлением одного стакана воды, для пиццы Б — полутора стаканов, а для пиццы В — двух стаканов воды. Все ингредиенты добавляются и смешиваются в одной и той же последовательности. Хлебопекарная печь Питера рассчитана на одну пиццу. Каждое тесто он выпекает при одной и той же температуре в течение одного и того же времени. Тесто замешивается непосредственно перед каждой выпечкой. В промежутке между выпечками печь должна охлаждаться. Питер внимательно следит за тем, как выпекается пицца, и оценивает состояние корочки после выпечки. В итоге Питер принимает решение, что тесто, приготовленное для пиццы В, лучше: оно более пышное, лучше хрустит (при этом не подгорая), да и цвет у него лучше. Теперь Питер знает, что рецепт приготовления теста для пиццы В самый лучший.

Эксперимент, проведенный Питером по приготовлению пиццы для теста, прошел четыре этапа. Питер хочет увидеть, как количество воды влияет на качество теста. Для этого он предпринимает соответствующие действия: делает три замеса, добавляя разное количество воды для каждого из рецептов, наблюдает эффект, вызванный добавлением разного количества воды в тесто, и с уверенностью делает вывод о том (поскольку эксперимент он планировал и проводил очень тщательно), что оптимальное количество воды было добавлено в тесто для пиццы В.

Кроме наличия характерных особенностей проведения эксперимента, пример Питера с приготовлением теста для пиццы также дает представление о составных частях эксперимента и требованиях, соблюдение которых необходимо для установления причинной связи.

Составляющие эксперимента

В каждом эксперименте имеется, по крайней мере, одна зависимая переменная, одна независимая переменная и манипулирование. Зависимая переменная(переменные) — это то, что исследователь стремится объяснить. В эксперименте Питера зависимыми переменными являются пышность, рассыпчатость теста и его цвет, оцениваемые по результатам наблюдения. Независимая переменная(переменные) используется для объяснения изменений зависимой переменной. Количество воды, добавляемое Питером в тесто, является независимой переменной. Зависимая переменная (переменные) эксперимента — критерий, используемый для того, чтобы оценить влияние независимой переменной. И, наконец, независимыми переменными манипулировали определенным систематическим образом. Варьирование количества воды для каждого из замесов отражает манипулирование независимой переменной.

Требования к установлению причинной связи

Эксперименты дают возможность установить причинную связь, т.е. предположить, что причина изменений зависимой переменной (переменных) обусловлена манипуляциями, совершенными с независимой переменной (переменными). Однако прежде чем признать эту причинную связь, необходимо соблюсти три критерия.

1.События должны происходить в соответствующем порядке. Для того чтобы одно событие влекло за собой другое, оно должно предшествовать ему. Питер, проводя свой эксперимент, следовал этому критерию, так как его манипулирование с содержанием воды предшествовало оценке результатов — испеченной пиццы[1].

2.Причина должна быть статистически связана с эффектом. Это свойство причинно-следственной связи, называемое совместной вариацией (ковариацией), требует, чтобы причина и следствие происходили или сменяли друг друга в одно и то же время. Эксперимент, проведенный Питером, также соответствует этому критерию, поскольку качество теста испеченной пиццы и манипулирование с количеством воды изменялись совместно.

3.Альтернативные объяснения должны быть сведены к минимуму. Если невозможно устранить все альтернативные толкования результатов эксперимента, вы должны построить свой эксперимент таким образом, чтобы исключить максимальное количество альтернативных причинных факторов. Когда все правдоподобные альтернативные толкования результатов будут исключены, вы сможете быть уверены в том, что манипулирование с независимой переменной обусловило наблюдаемые перемены зависимой величины. Посмотрите, что произошло в результате проведенного Салли эксперимента, тоже связанного с приготовлением теста для пиццы.

Салли начала свой эксперимент точно так же, как и Питер. Она тщательно приготовила каждый из замесов, манипулируя лишь количеством воды. Но так как она была ограничена во времени, и у нее не было нужного количества противней, Салли испекла пиццу А в своей хлебопекарной печи на своем противне, пиццу Б – в соседней печи на противне другой торговой марки, а пиццу В – в еще одной соседней печи на противне третьей торговой марки.

При проведении этого эксперимента не были устранены два правдоподобных альтернативных толкования результатов. Различия в качестве испеченного теста могут объясняться различиями печей и противней.

Хотя для установления причинной связи важны все три критерия, наиболее значительным все же представляется третий из них, так как он влияет на внутреннюю валидность эксперимента. Внутренняя валидностьотносится к той мере, в какой удается устранить альтернативные наблюдаемым результатам эксперимента объяснения. Чем больше преуспел исследователь в демонстрации того, что именно манипулирование независимой переменной обусловило наблюдаемые перемены зависимой переменной, тем выше уровень внутренней валидности эксперимента. Эксперимент с пиццей, проведенный Питером, характеризуется высоким уровнем внутренней валидности, так как приготовлению и выпеканию каждого теста было уделено максимум внимания. Последовательность и согласованность действий Питера исключила альтернативные толкования. А вот эксперимент, проведенный Салли, не обладает внутренней валидностью, так как возможно несколько альтернативных объяснений результатов. В ее эксперименте различия в качестве испеченного теста для пиццы могут быть отнесены за счет разных типов печей и противней, использованных при выпекании.

Следующий раздел рассматривает факторы, воздействующие на внутреннюю валидность эксперимента.

Факторы, влияющие на внутреннюю валидность

Уровень внутренней валидности снижается, когда присутствуют альтернативные объяснения. Исследователи выделяют семь типов возможных угроз внутренней валидности эксперимента:

· предварительное измерение;

· взаимодействие;

· влияние фона;

· естественное развитие;

· инструментальная погрешность;

· отбор;

· выбывание.

Наличие подобных угроз при проведении эксперимента снижает вероятность того, что основанные на результатах исследований решения будут корректными, поскольку уменьшается степень уверенности исследователя в существовании причинно-следственной связи между экспериментальным манипулированием и результатами экспериментов.

Ниже рассматривается каждая из угроз внутренней валидности эксперимента. В следующем разделе описываются способы устранения этих угроз выбором соответствующего экспериментального плана.

Предварительное измерение и взаимодействие. Угрозы предварительного измерения и взаимодействия тесно связаны между собой. Каждая из них возможна в том случае, если участники опрашиваются перед экспериментальным манипулированием и воздействием независимой переменной. Угроза предварительного измерения возникает тогда, когда беседа, проведенная в начале эксперимента, непосредственно сказывается на действиях и поведении респондента, фиксируемых беседой, проведенной уже после экспериментального манипулирования. Угроза взаимодействия имеет место, когда беседа, проведенная в начале эксперимента, увеличивает чувствительность и восприимчивость респондента к действию независимой переменной и, следовательно, влияет на его реакцию при измерении зависимой переменной.

Приведенные ниже гипотетические ситуации иллюстрируют угрозы предварительного измерения и взаимодействия для внутренней валидности.

Предварительное измерение.

Том проживает в пределах пробного рынка, выбранного производителем моющих средств, — фирмой Wisk. Wisk собирается провести испытание новой рекламной кампании на пробном рынке. Том был отобран для участия в исследованиях, в ходе которых будут отслеживаться изменения в восприятии товара и поведенческих особенностях его приобретения. Перед началом исследований Том заполнил анкету, в которой предлагается дать оценку пяти маркам моющих средств и характеристику особенностей своего поведения при их приобретении за последние четыре месяца. Заполнив анкету, он подумал: “В последнее время я покупал все марки моющих средств, о которых спрашивалось в анкете. Все, кроме Wisk. Я давно не покупал Wisk. Почему? В следующий раз я обязательно куплю средство этой фирмы”. И действительно, вскоре Том купил моющее средство фирмы Wisk. Четыре недели спустя он заполнил еще одну анкету, в которой указал, что приобрел средство фирмы Wisk.

Wisk приписывает положительную перемену в поведении Тома воздействию рекламы. Однако покупка Тома не имеет ничего общего с тестированием рекламы. На самом деле, он даже не видел рекламу Wisk. На решение купить товар непосредственно повлияли вопросы анкеты, заполненной Томом перед началом тестирования.

Взаимодействие.

Мэри, соседка Тома, стала участницей другого исследования. Оно было разработано с целью дать оценку воздействия рекламы в поддержку здравоохранения на установки потребителей. Перед началом исследования и развертывания рекламной кампании Мэри было предложено заполнить анкету с целью выяснения ее отношения к реформе в сфере здравоохранения и к рекламе в поддержку развития здравоохранения. Анкета, заполненная Мэри, свидетельствует о значительной перемене ее отношения, которая произошла между первым и вторым анкетированием.

Спонсор проведенных исследований объясняет изменение отношения Мэри влиянием рекламы и обобщает результаты на широкие слои населения. Но Мэри не является репрезентативным случаем для генеральной совокупности. Заполнив первую анкету, она задалась вопросом: “Очень интересная тема. До сих пор я не видела рекламы в поддержку реформы сферы здравоохранения”. Первая анкета повлияла на восприимчивость Мэри. Она с большей вероятностью, чем обычный потребитель, будет ожидать появления подобной рекламы. Изменения ее установок могут быть значительнее, чем у обыкновенного потребителя, менее восприимчивого и уделившего не так много внимания этой рекламе, в отличие от Мэри.

В случаях с Томом и Мэри лица, ответственные за принятие решений, объяснили изменения зависимой переменной (поведение и отношение при покупке) показом рекламы (независимая переменная). Но эта связь может быть ложной (в данном случае так оно и есть) ввиду существования двух неконтролируемых угроз внутренней валидности. Существование этих угроз внутренней валидности делает неясной интерпретацию результатов и уменьшает нашу уверенность в том, что изменения зависимой переменной следует приписывать независимой переменной.

Наконец, понимая связь между угрозами предварительного измерения и взаимодействия, следует также видеть различия между ними. Угроза предварительного измерения на валидность происходит без предъявления независимой переменной. Все наблюдаемые изменения в отношении и поведении происходят в результате воздействия первоначального измерительного средства. Угроза взаимодействия не требует непосредственного влияния предварительного измерения. Взаимодействие происходит всякий раз, когда независимая переменная с большей вероятностью замечается респондентом и вызывает его реакцию, нежели без предварительного измерения. Итак, угрозы взаимодействия возникают тогда, когда предварительное измерение и независимая переменная оказывают особенное комбинированное воздействие на зависимую переменную. Это отличие очень важно иметь в виду при планировании экспериментов. Как вы увидите в следующем разделе, некоторые экспериментальные планы позволяют контролировать угрозы предварительного измерения, не контролируя при этом угроз взаимодействия.

Влияние фона. Фоном в контексте проведения экспериментов называются события и воздействия, которые имеют место в эксперименте, помимо тех воздействий, которыми исследователь целенаправленно манипулирует, и потенциально влияют на его результат, измеряемый зависимой переменной (переменными). Угрозы фонового влияния могут происходить из нескольких источников. Некоторые фоновые влияния возникают при обстоятельствах, не поддающихся какому-либо контролю. Например, результаты эксперимента по измерению воздействия различных способов стимулирования потребления некоторых безалкогольных напитков могут быть искажены из-за нескольких недель непрогнозируемой, не по сезону жаркой или холодной погоды. Некоторые фоновые влияния являются результатом преднамеренных действий других лиц. Например, лосьон для рук фирмы Wondra был протестирован на рынке штата Милуоки. Во время тестирования конкурент Wondra, фирма Vaseline Intensive Care lotion[2], предложила неожиданно большие скидки. Способность компании влиять на результаты экспериментов конкурентов (обычно именуемых “противодействием конкурентов”) служит одной из причин возрастающей популярности смоделированного (или лабораторного) пробного рынка. (Смоделированные (или лабораторные) пробные рынки рассматриваются далее в этой главе.)

Естественное развитие. Во время эксперимента отношение, поведение и физиология респондентов меняются. Опрашиваемые лица могут устать, проголодаться, испытывать жажду, заскучать или утратить интерес к исследованию в процессе проведения эксперимента. Именно эти изменения естественного развития представляют угрозу для внутренней валидности. Все они могут потенциально повлиять или исказить проявление зависимой переменной. К концу эксперимента интерес респондентов к нему и к его теме может значительно снизиться по сравнению с тем, что было вначале. Это повлечет за собой поверхностные ответы на анкетирование, проводимое в конце эксперимента. Анализ таких ответов может некорректно отразить глубину отношения и заинтересованности респондентов в испытуемом товаре, хотя в действительности они в нем более заинтересованы, а на вопросы анкеты отвечали односложно, чтобы побыстрее закончить свое участие в эксперименте.

Инструментальная погрешность. Под инструментальной погрешностью понимаются изменения в использовании измерительных инструментов (например анкеты) или методов фиксации данных во время эксперимента. Подобные изменения воздействуют на внутреннюю валидность эксперимента, так как неизвестно, чему приписывать различия в отношении или поведении, наблюдаемые до и после экспериментального манипулирования: самому процессу манипулирования, изменению измерительных инструментов, методики записи, способов сбора данных или непоследовательному проведению интервью. Примеры возникновения каждого из источников угрозы инструментальной погрешности приводятся во врезке 7.1.

Врезка 7.1. Примеры возникновения угрозы инструментальной погрешности для внутренней валидности

Изменение измерительных инструментов

Компания Harris Toys хочет определить влияние двух рекламных кампаний на восприятие товаров и покупательское поведение. В эксперимент включены четыре сопоставимых рынка. На двух из них будет проведена новая рекламная кампания, на двух других рекламу показывать не будут. Перед началом кампании участников исследований опрашивают на предмет их восприятия товаров. Один из ключевых тестовых (проверочных) вопросов, направленных на оценку игрушек компании Harris, оказался непонятным и трудным для респондентов. Этот вопрос заменяют, и его измененная версия включается в анкету для замера отношения и поведения в конце эксперимента. Однако поскольку вопрос был изменен, невозможно точно сравнить отношение, выявленное в ходе предварительного тестирования, и отношение, высказанное респондентами при заключительном тестировании.

Изменение или несовместимость методов записи

Компания Harris Toys задумала разработать два новых варианта существующей игрушки. Образцы старого варианта игрушки дали детям, проследили за их реакцией и записали характерные проявления их поведения во время игры в протокол наблюдений. Через три дня тем же детям дали новые образцы игрушки и снова записали результаты наблюдений за их реакцией. Однако во второй раз наблюдение за детьми проводили другие сотрудники. Поскольку фиксация результатов наблюдения опирается на субъективное суждение, нет уверенности в том, что суждения, лежащие в основе рейтинга старой игрушки, сопоставимы с суждениями, послужившими для выставления рейтинга реакции на модернизированную игрушку.

Изменение методов сбора данных

В январе 1995 года банк Talpin провел исследования отношения потребителей к банковским и финансовым учреждениям Чикаго. Исследования осуществлялись с помощью метода личных интервью лицом к лицу на репрезентативной выборке из целевой аудитории. Хотя в ходе исследований была собрана ценная и очень объемная информация, применение метода личных интервью оказалось невыгодным из-за его дороговизны и длительности. Через год, в январе 1996 года, банк использует ту же анкету, но проводит исследования по почте на второй репрезентативной выборке. Различные методы сбора данных не позволяют с уверенностью сравнивать отношение, высказанное в 1995 и в 1996 годах.

Непоследовательное проведение интервью

Remmie Corporation наняла компанию, специализирующуюся по сбору данных, для проведения 300 интервью методом перехвата в торговых центрах. Интервью должны проводиться в течение двух недель. Через неделю оказалось, что проведено только 100 интервью. В ходе обсуждения проблемы с интервьюерами выяснилось, что много времени уходит на объяснение содержания вопросов и проверку ответов. Чтобы закончить работу в оговоренный срок, интервьюерам дали указание уделять этим видам работы как можно меньше времени. Изменение формы ведения интервью может в значительной степени повлиять на содержание и качество информации и, следовательно, на внутреннюю валидность исследований.

Отбор и выбывание. Угрозы отбора и выбывания для внутренней валидности имеют отношение к составу и характерным особенностям групп, участвующих в проведении экспериментальных исследований.

План проведения экспериментов требует участия, по крайней мере, двух отдельных групп — экспериментальной и контрольной. Контрольная группа не подвергается экспериментальному манипулированию и служит основой для сравнения с экспериментальной группой, подвергаемой экспериментальному воздействию. Угроза отбора для внутренней валидности возникает всякий раз, когда характерные черты этих двух групп перед началом проведения эксперимента отличаются. Угроза отбора имеет место, когда участники экспериментальных и контрольных групп отличаются по важным демографическим признакам, установкам, поведению, а также своим первоначальным уровнем в отношении зависимой переменной или по вероятной восприимчивости к воздействию независимой переменной. Возможность возникновения этого риска можно свести к минимуму, используя метод случайного отбора при распределении участников в экспериментальную и контрольную группу[3].

Угроза выбывания для внутренней валидности возникает всякий раз, когда характеристики экспериментальных и контрольных групп различаются по важным демографическим переменным, отношениям, поведению, первоначальному уровню в отношении зависимой переменной или вероятной восприимчивостью к воздействию независимой переменной при завершении эксперимента. Угроза валидности, связанная с выбыванием, обычно имеет место, когда отличающиеся типы людей перестают участвовать в проведении исследований в каждой из групп. Например, предположим, что экспериментальная и контрольная группы перед началом исследований были сопоставимы. Каждая групп представляла собой выборку, репрезентативную для взрослого населения Соединенных Штатов Америки. В ходе проведения исследований по 10% участников исследований выбыли из той и другой группы. Но из контрольной группы выбыли лица в возрасте 18–24 лет (увеличив таким образом количество людей среднего возраста в группе), тогда как из экспериментальной группы выбыли лица в возрасте от 45 лет и старше (уменьшив таким образом количество людей среднего возраста в группе). Следовательно, различия в отношении и поведении в конце эксперимента нельзя однозначно отнести за счет влияния независимой переменной. Различия между средними значениями возраста в обеих группах могут повлиять на ответы при измерении зависимой переменной.

Экспериментальный план

Рассмотренные в предыдущем разделе семь угроз внутренней валидности могут, в большей или меньшей степени, контролироваться правильно разработанным планом эксперимента. Некоторые из планов эксперимента предполагают контроль всех угроз для внутренней валидности, тогда как другие пытаются (или в состоянии) контролировать лишь некоторые из них, как это показано в табл. 7.1.

Обычно точность информации и ее стоимость возрастают при увеличении контроля в экспериментальном плане. Принимая во внимание взаимосвязь между стоимостью и осуществлением контроля, исследователь вовсе не обязан всегда выбирать тот план, который бы контролировал все семь угроз для внутренней валидности. Хорошо спланированное исследование требует соблюдения баланса между точностью собранной информации и стоимостью ее сбора. Исследователь должен определить такой план проведения эксперимента, который, ввиду важности решения и настоятельной потребности в информации, обеспечит баланс между ее точностью и стоимостью.

В этом разделе рассматривается каждый из экспериментальных планов, представленных в табл. 7.1, с указанием сильных и слабых сторон каждого плана. Планы будут рассматриваться в контексте гипотетических ситуаций, описанных во врезке 7.2.

Врезка 7.2. Типичная ситуация рассмотрения экспериментального плана

American Savings Association, Ассоциация ссудосберегательных учреждений, разработала кампанию прямой рассылки, нацеленную на создание положительного восприятия местных ссудосберегательных учреждений. Особо подчеркивается их стабильность, дружественность к потребителю и участие в жизни района. В качестве зависимых переменных использовались потребительские рейтинги каждой из перечисленных областей. В ходе кампании были использованы четыре прямых почтовых отправления, в каждом из которых содержались вопросы об уровне стабильности, дружественности и участия ссудосберегательных учреждений в жизни жителей района.

Ниже приведены примеры надписей на конвертах. Кампания прямой рассылки организована таким образом, что каждому респонденту отправляют один конверт в неделю. Следовательно, в конце четырехнедельного периода каждый респондент получит все четыре конверта. (Участие респондента в кампании прямой рассылки — независимая переменная.)

Под конец рассылки ассоциация сможет дать определение эффективности почтовой кампании путем оценки отношения потребителей к уровню стабильности, дружественности и участия в жизни жителей района ссудосберегательных учреждений.

Вот образцы четырех конвертов, использованных для проведения прямой почтовой кампании.

(Первый конверт)

American Nonprofit Org. (некоммерческая орг.)

Savings U.S. Postage Paid (почтовые расходы оплачены)

Association Permit #456A (разрешение ¹ 456А)

Allenville, NH (Алленвилл, Нью-Гэмпшир)

Внутри важная информация о сберегательных услугах!

(Второй конверт)

American Nonprofit Org. (некоммерческая орг.)

Savings U.S. Postage Paid (почтовые расходы оплачены)

Association Permit #456A (разрешение ¹ 456А)

Allenville, NH (Алленвилл, Нью-Гэмпшир)

Знаете ли вы, что каждый третий взрослый будет...

(Третий конверт)

American Nonprofit Org. (некоммерческая орг.)

Savings U.S. Postage Paid (почтовые расходы оплачены)

Association Permit #456A (разрешение ¹ 456А)

Allenville, NH (Алленвилл, Нью-Гэмпшир)

Вы можете иметь все! Каждый день!

(Четвертый конверт)

American Nonprofit Org. (некоммерческая орг.)

Savings U.S. Postage Paid (почтовые расходы оплачены)

Association Permit #456A (разрешение ¹ 456А)

Allenville, NH (Алленвилл, Нью-Гэмпшир)

Мы хотим помочь сделать вашу жизнь...

Квази-экспериментальные планы

Эффективность прямой почтовой кампании, проведенной American Savings Association (врезка 7.2), можно оценить с помощью одного из двух квази-экспериментальных планов, представленных в табл. 7.1.

Таблица 7.1. Экспериментальные планы: относительная способность контролировать угрозы внутренней валидности

Эти планы называются квази-экспериментальными[4], поскольку они не являются истинными экспериментами. Результаты экспериментов, использующих подобные планы, с трудом поддаются интерпретации, так как они не предполагают (или лишь частично предполагают) контроль над угрозами для внутренней валидности. Такие планы, в отличие от подлинных экспериментальных планов, ненамного превосходят описательные исследования и не могут служить основой для принятия решений. Таким образом, если эти планы обычно и используются, то лишь для специфических типов рекламных и маркетинговых исследований (таких как предварительное рекламное тестирование, тестирование концепции товара и т.д.). Они, в общем, не пригодны для проведения экспериментальных исследований. Маркетологи и рекламисты, использующие такие планы для проведения экспериментов, делают это на свой страх и риск.

План с одной группой и заключительным тестированием. Этот план предполагает участие одной-единственной группы испытуемых, которая подвергается воздействию или экспериментальному манипулированию (независимая переменная). После этого измеряется зависимая переменная (переменные) как часть заключительного тестирования. Символически этот план можно представить таким образом:

Группа 1. Обработка ® Заключительное тестирование

Если бы подобный план использовался American Savings Association при проведении кампании методом прямой рассылки, это повлекло бы за собой разработку описанного ниже эксперимента и вызвало бы такие наблюдения. American Savings Association рассылает прямые почтовые отправления отобранной группе лиц. Две недели спустя каждому из участников звонят и задают вопрос о его восприятии уровня стабильности, дружественности и участия в жизни района местного отделения Savings & Loans. Затем American Savings Association знакомится с мнениями, высказанными при анкетировании, и определяет, была ли почтовая кампания успешной.

Как показывает сценарий, подобный план имеет три существенных недостатка. Во-первых, ассоциация вынуждена всецело полагаться на собственные суждения при интерпретации результатов. Предположим, что критерий “дружественности” измеряется по пятибалльной шкале, в которой “1” означает чрезвычайно дружественный, а “5” — чрезвычайно недружественный. Как тогда расценивать оценку “3”? Это хорошо или плохо? У ассоциации нет ответа, так как неизвестно, насколько “дружественным” воспринималось отделение Savings & Loans до начала кампании. Во-вторых, поскольку контрольной группы не существует, ассоциация не может определить, в какой степени какие-либо изменения в отношении вызваны получением почтового отправления (а не другими факторами, влияющими на потребителя). Это и называется угрозой для внутренней валидности, связанной с фоновыми влияниями. В-третьих, с помощью этого плана невозможно контролировать некоторые другие дополнительные угрозы для внутренней валидности, такие как естественное развитие, отбор и выбывание.

План с одной группой, предварительным и заключительным тестированием. Этот план, называемый также “планом с тестированием до и после, без контрольной группы”, подобен вышеописанному плану с одной группой и заключительным тестированием. Отличие заключается в том, что производится предварительное измерение перед экспериментальным манипулированием независимой переменной. Символически этот план можно представить так:

Группа 1. Предварительное тестирование ® Воздействие ® Заключительное тестирование

Этот план часто используется при тестировании цены товара, его упаковки и реакции на рекламу. Схематически это выглядит таким образом:

Измерение доли торговой марки ® Изменение цены ® Измерение доли торговой марки

Измерение удовлетворенности заказчика ® Изменение состава товара ® Измерение удовлетворенности заказчика

Измерение восприятия товара ® Проведение новой рекламной кампании ® Измерение восприятия товара

В каждом из этих случаев измерение эффекта экспериментального воздействия осуществляется путем сравнения уровня зависимой переменной при заключительном измерении с уровнем, наблюдавшимся при предварительном тестировании.

В этом случае план исследований, воспроизведенный во врезке 7.2, воплощался бы в жизнь так. American Savings Association отбирает для участия в проведении исследований группу лиц. Каждому из участников звонят по телефону и интересуются его восприятием (до проведения почтовой кампании) уровня стабильности, дружественности и участия в жизни района местного отделения Savings & Loans. Ассоциация начинает почтовую кампанию через неделю после проведения предварительного тестирования. Спустя две недели после последней почтовой рассылки, каждому из участников звонят по телефону и интересуются его восприятием уровня стабильности, дружественности и участия в жизни района местного отделения Savings & Loans. American Savings Association изучает мнения, высказанные в ходе проведения бесед после почтовой кампании, и сравнивает их с мнениями, высказанными до нее. После этого принимается решение, считать ли изменения уровней, наблюдаемых до и после почтовой кампании, показателями эффективности кампании, или нет.

Как и в предыдущем случае, недостатки этого метода проведения экспериментов становятся очевидными при попытке истолковать полученные результаты. Мы не можем заявить с полной уверенностью, что любые наблюдаемые различия в уровнях предварительного и заключительного тестирования вызваны проведением почтовой кампании, потому что, во-первых, мы не в состоянии изолировать воздействие рекламной кампании от других влияющих факторов, и, во-вторых, этот план не может обеспечить контроль всех других угроз для внутренней валидности, за исключением угрозы отбора.

Планы истинных экспериментов

Две важнейшие особенности отличают планы истинных экспериментов от квази-экспериментальных планов. Планы истинных экспериментов предполагают участие контрольной группы. Кроме того, единицы измерения (т.е. участники, точки розничной торговли) назначаются в контрольные и экспериментальные группы случайным образом. (Случайное назначение имеет место тогда, когда каждый член совокупности имеет известную и равную вероятность стать участником исследований.) Применение метода случайного отбора чрезвычайно важно, так как случай дает возможность контролировать многие из угроз для внутренней валидности. Таким образом, несмотря на то, что истинные экспериментальные планы по сравнению с квази-экспериментальными требуют больших затрат времени и средств, с их помощью собирают более качественную информацию для принятия решений. Существует четыре основных плана истинных экспериментов[5].

· Смоделированный план с предварительным и заключительным тестированием.

· План с заключительным тестированием и контрольной группой.

· План с предварительным и заключительным тестированием и с контрольной группой.

· План Соломона для четырех групп.

Как видно из табл. 7.1, каждый из этих планов предполагает контроль различных угроз для внутренней валидности, поэтому все они намного надежнее, нежели квази-экспериментальные планы.

Возможность полнее контролировать угрозы для внутренней валидности влечет за собой значительные затраты денег и времени, прежде всего в связи с необходимостью осуществлять большее количество измерений и формировать больше групп респондентов. Таким образом, исследователь должен выбрать тот план, который предполагает оптимальную сбалансированность, учитывая при этом текущие информационные потребности.

Планы с двумя группами и двумя измерениями

Две наиболее распространенные формы планирования экспериментальных исследований в области рекламы предполагают участие двух групп респондентов и осуществление двух измерений. Эти планы — смоделированный план с предварительным и заключительным тестированием и план заключительного тестирования с контрольной группой — приобрели большую популярность благодаря реальной возможности контролировать большинство существующих угроз для внутренней валидности при минимальном количестве необходимых групп участников и требуемых измерений. При осуществлении и того, и другого плана можно свести к минимуму количество необходимых групп участников и измерений, поскольку предполагается, что случайный отбор участников отдельных групп приведет к их эквивалентности.

Смоделированный план с предварительным и заключительным тестированием. Данный план был разработан с целью обеспечить контроль угрозы предварительного измерения и взаимодействия для внутренней валидности, в частности, при проведении экспериментов, исследующих отношение и осведомленность потребителя[6]. Экспериментальный план контролирует эти угрозы благодаря тому, что одна группа, состоящая из случайно отобранных респондентов, формируется для участия в предварительном тестировании, а вторую группу подвергают экспериментальному воздействию и проводят заключительное тестирование.

Группа 1 (случайный отбор). Предварительное тестирование

Группа 2 (случайный отбор). Воздействие ® Заключительное тестирование

Угрозы предварительного измерения и взаимодействия в этом случае исключаются, потому что предварительное и заключительное тестирование проводятся на разных людях. Тем не менее, возможность возникновения других угроз, таких как угроза влияния фона, естественного развития, инструментальной погрешности и отбора, все еще существует.

В соответствии с этим планом, при анализе данных сравниваются уровни измерений при проведении заключительного и предварительного тестирований. Если других объяснений не существует, различия этих измерений относят за счет экспериментального воздействия, так как план предполагает, что контрольная и экспериментальная группы (Группа 1 и Группа 2, соответственно) эквивалентны.

American Savings Association смогла бы использовать этот план таким образом. Две репрезентативные выборки, состоящие из представителей взрослого населения страны, формируются методом случайного отбора из генеральной совокупности. Первой группе предлагается заполнить анкету, оценивающую их отношение к работе местного отделения Savings & Loans. Вторая группа респондентов участвует в прямой почтовой кампании. После последней почтовой рассылки второй группе предлагается заполнить ту же анкету, что ранее заполняла первая группа. Если группы достаточно велики, а случайный отбор и назначение респондентов проводились как следует, тогда какие-либо различия в отношениях двух групп можно отнести за счет влияния прямой почтовой кампании в дополнение к воздействию факторов фона, естественного развития, инструментальной погрешности или отбора.

План с заключительным тестированием и контрольной группой. В данном плане также участвуют две группы респондентов и используются два измерения. Стоимость эксперимента с данным планом примерно такая же, как для предыдущего плана при приблизительном равенстве объема выборок.

План с заключительным тестированием и контрольной группой отличается от предыдущего плана тем, как измеряется эффект воздействия (манипулирования). При осуществлении смоделированного плана с предварительным и заключительным тестированием для оценки эффекта воздействия (манипулирования) сравниваются результаты предварительного и заключительного тестирования. План с заключительным тестированием и контрольной группой оценивает эффект воздействия, сравнивая результаты двух заключительных измерений — одного в экспериментальной группе, и другого в контрольной группе:

Группа 1 (случайный отбор). Заключительное тестирование

Группа 2 (случайный отбор). Воздействие ® Заключительное тестирование

Если других объяснений не существует, различия заключительных измерений двух групп объясняются экспериментальным воздействием, так как при разработке плана предполагается, что группы перед экспериментальной манипуляцией были эквивалентными.

План с заключительным тестированием и контрольной группой более эффективен, чем смоделированный план с предварительным и заключительным тестированием, поскольку существует возможность контроля большего числа угроз для внутренней валидности. Поскольку оба заключительных измерения осуществляются в одно и то же время, этот план предполагает возможность контроля угроз фона, естественного развития, инструментальной погрешности, равно как и предварительного измерения и взаимодействия.

American Savings Association осуществляла бы этот план следующим образом. Две репрезентативные выборки представителей взрослого населения страны формируются методом случайного отбора из генеральной совокупности. Участники второй группы получают прямые почтовые отправления. После последней рассылки обеим группам участников предлагается заполнить одну и ту же анкету. Так как предполагается, что случайное назначение (случайный отбор) участников двух групп приводит к эквивалентности их установок перед экспериментальным воздействием, какие-либо отличия в результатах заключительного тестирования двух групп можно объяснить влиянием экспериментального воздействия — проведением прямой почтовой кампании.

Две группы — четыре измерения: план с предварительным и заключительным тестированием и контрольной группой

При разработке предыдущего плана предполагается, но никогда не проверяется тот факт, что метод случайного отбора позволяет получить группы, эквивалентные с точки зрения установок, предшествующих экспериментальному воздействию. План с предварительным и заключительным тестированием и контрольной группойпозволяет убедиться в том, что группы действительно эквивалентны перед началом исследования. Это обеспечивается тестированием обеих групп перед началом исследований:

Группа 1 (случайный отбор). Предварительное тестирование ® Воздействие ® Заключительное тестирование

Группа 2 (случайный отбор). Предварительное тестирование ® Заключительное тестирование

Этот план подходит в том случае, если исследователю необходимо получить прямое доказательство эквивалентности групп перед осуществлением экспериментального воздействия, или когда возникают сомнения в степени эквивалентности групп.

План с предварительным и заключительным тестированием и контрольной группой достаточно эффективен. Наличие контрольной группы наравне с двумя предварительными тестированиями дает возможность контролировать все потенциальные источники экспериментальной погрешности, за исключением выбывания и взаимодействия. Более того, план позволяет компенсировать различия предварительных измерений, если таковые были выявлены уже после того, как исследования начались. Исходные различия групп компенсируются путем подсчета разницы отличий заключительного и предварительного тестирования в каждой из групп с помощью следующего выражения:

(Группа 1 Заключительное тестирование минус Группа 1 Предварительное тестирование) минус (Группа 2 Заключительное тестирование минус Группа 2 Предварительное тестирование)

Тем не менее, этот план имеет более высокую стоимость по сравнению с планами, предполагающими участие двух групп и использование двух измерений.

American Savings Association осуществляла бы этот план следующим образом. Две репрезентативные выборки взрослого населения страны формируются методом случайного отбора из генеральной совокупности. Участникам обеих групп предлагается заполнить анкеты перед началом опроса. Затем первой группе участников рассылают четыре прямых почтовых отправления. После последней рассылки обеим группам участников предлагается заполнить ту же анкету, что и в начале.

План с предварительным и заключительным тестированием и контрольной группой является альтернативой плану с заключительным тестированием с и контрольной группой. Оба экспериментальных плана предполагают контроль угрозы для внутренней валидности: предварительного измерения, фона, естественного развития. Однако план с заключительным тестированием и контрольной группой исключает угрозу взаимодействия, тогда как план с предварительным и заключительным тестированием и контрольной группой исключает угрозу отбора. При этом ни один из планов не исключает возникновения угроз внутренней валидности вследствие выбывания. Таким образом, выбор плана отражает потребность исследователя в информации, а также прогнозируемые угрозы для валидности и бюджета исследования.

Четыре группы — шесть измерений: план Соломона с четырьмя группами

План Соломона с четырьмя группами — наиболее эффективный, и в то же время наиболее ресурсоемкий экспериментальный план. Его эффективность обеспечивается возможностью контроля над всеми семью угрозами для внутренней валидности эксперимента. Это достигается сочетанием двух планов: плана с предварительным и заключительным тестированием и контрольной группой и плана с заключительным тестированием и контрольной группой.

Группа 1 (случайный отбор). Предварительное тестирование ® Воздействие ® Заключительное тестирование

Группа 2 (случайный отбор). Предварительное тестирование ® Заключительное тестирование

Группа 3 (случайный отбор). Воздействие ® Заключительное тестирование

Группа 4 (случайный отбор). Заключительное тестирование

Количество измерений, осуществляемых в этом плане, дает возможность получить широкий спектр сравнений во время проведения анализа данных. Например:

· предварительное тестирование группы 1 в сравнении с заключительным тестированием группы 1;

· заключительное тестирование группы 1 в сравнении с заключительным тестированием группы 2;

· заключительное тестирование группы 1 в сравнении с заключительным тестированием группы 3;

· заключительное тестирование группы 2 в сравнении с заключительным тестированием группы 4.

American Savings Association осуществляла бы этот план следующим образом. Четыре группы, каждая из которых состоит из репрезентативной выборки взрослого населения страны, формируются методом случайного отбора из генеральной совокупности. В начале исследования участникам первой и второй групп предлагается заполнить анкету. Участникам первой и третьей групп отсылают четыре прямых почтовых отправления. Всем группам участников предлагается заполнить ту же анкету, что и в начале исследования, после проведения последней рассылки.

Следует отметить, что, несмотря на свою экспериментальную действенность, план Соломона редко используется при проведении рекламных или маркетинговых исследований, прежде всего из-за сложности, высокой стоимости и значительной продолжительности.

Более сложные экспериментальные планы

Предыдущие примеры иллюстрируют самые основные формы проведения экспериментов. Они предполагают наличие только одной независимой переменной, и эта переменная имеет только два уровня (наличие или отсутствие). Однако зачастую для проведения рекламных исследований требуется разработка более сложных экспериментальных планов, в которых независимая переменная имеет гораздо больше уровней, или имеется две и более независимых переменных.

Несколько уровней переменной

План проведения истинного эксперимента можно расширить на случай нескольких уровнейодной независимой переменой. Представьте себе, что American Savings Association собирается протестировать степень воздействия количества различных почтовых отправлений на формирование у потребителя отношения к деятельности местного отделения Savings & Loans. В этом случае независимая переменная имела бы четыре уровня, каждый из которых представлял бы количество отправлений в адрес респондента. План эксперимента для данной конкретной ситуации может быть расширен путем добавления экспериментальной группы для каждого уровня независимой переменной. Например, план с предварительным и заключительным тестированием и контрольной группой примет форму, состоящую из четырех экспериментальных групп и одной контрольной:

Группа 1 (случайный отбор). Предварительное тестирование ® Воздействие 1 ® Заключительное тестирование

Группа 2 (случайный отбор). Предварительное тестирование ® Воздействие 2 ® Заключительное тестирование

Группа 3 (случайный отбор). Предварительное тестирование ® Воздействие 3 ® Заключительное тестирование

Группа 4 (случайный отбор). Предварительное тестирование ® Воздействие 4 ® Заключительное тестирование;

Группа 5 (случайный отбор). Предварительное тестирование ® Заключительное тестирование.

Как и в предыдущих случаях, каждая группа состоит из репрезентативной выборки взрослого населения страны, сформированного методом случайного отбора из генеральной совокупности. Участникам каждой из пяти групп предлагается перед началом опроса заполнить анкету. Все почтовые отправления совершаются на протяжении одной недели. Участники группы 1 получают одно почтовое отправление, участники группы 2 — два, и т.д. Участникам группы 5 (контрольной группы) отправления не рассылаются. Неделю спустя после последней рассылки все пять групп получают все ту же анкету. Затем сравниваются все уровни заключительного тестирования по всем пяти группам.

Факторные планы: манипулирование несколькими переменными

Бывают случаи, когда от рекламного исследователя требуется манипулирование и наблюдение за воздействием двух или более независимых переменных одновременно. Например, представьте себе рабочую творческую группу в такой ситуации.

Мы целыми днями спорили о вариантах исполнения нашей новой рекламной кампании, но две проблемы остались нерешенными. Во-первых, мы не можем никак договориться, кто же все-таки должен представлять компанию в рекламном ролике — знаменитость или обыкновенный человек. Во-вторых, мы не можем определить, какими должны быть тон и манера подачи ролика — юмористическими или серьезными. Чтобы ответить на эти вопросы, необходимо провести исследование. Для проверки убедительности рекламного ролика нужно выяснить следующее.

1.Какой эффект вызовет изменение представителя компании, участвующего в рекламном ролике?

2.Какой будет эффект от изменения тона рекламного ролика?

3.Какой будет эффект, если изменить и представителя, и тон рекламного ролика одновременно? Иными словами, существует ли взаимодействие между представителем компании и тоном ролика?

Ответить на эти вопросы можно с помощью факторного плана. Факторный план — это экспериментальный метод, измеряющий одновременно воздействие двух или более независимых переменных (каждая из которых имеет несколько уровней) на одну или несколько зависимых переменных.

Факторные планы рассматривают главные эффектыи взаимодействия. Главным эффектом является отдельное воздействие каждой независимой переменной на зависимую переменную (переменные). В рассматриваемом примере главные эффекты — представитель компании (два уровня: знаменитость или обыкновенный человек) и тон (два уровня: юмористический или серьезный). Следствием комбинированного действия независимых переменных на зависимую переменную (переменные) будет взаимодействие. Взаимодействие имеет место тогда, когда совместный эффект двух или нескольких независимых переменных отличается от суммы их независимых эффектов. В нашем примере взаимодействие произойдет тогда, когда реакция на комбинацию конкретных значений “представитель–тон” будет отличаться от суммы независимых реакций на конкретного представителя самого по себе и конкретный тон сам по себе.

Факторный план, который можно было бы использовать для решения вопросов о выборе представителя и тона рекламного ролика, графически представлен в верхней части рис. 7.1. Столбцы представляют уровни одного главного эффекта, тогда как строки — уровни второго главного эффекта. Вся выборка состоит из 240 респондентов, назначенных случайным образом для участия в одном из условий эксперимента. Каждая из ячеек рис. 7.1 представляет эти условия. Каждому из респондентов покажут один рекламный ролик. Респондентам, попавшим в верхнюю левую ячейку, будет продемонстрирована забавная реклама с участием знаменитости. Респондентам, попавшим в нижнюю правую ячейку, покажут серьезную рекламу с участием обыкновенного человека.

Рис. 7.1. Характеристики и данные факторного плана

После просмотра всех роликов реакции участников каждой из ячеек усредняются. Схема в нижней части рис. 7.1 показывает средний балл степени убедительности по каждому из уровней каждого главного эффекта (с внешней стороны ячейки) и каждой отдельной ячейки факторного плана. Средний балл каждого уровня главного эффекта “участие представителя” подсчитывается путем усреднения баллов тона рекламного ролика. И наоборот, средний балл каждого уровня главного эффекта “тон рекламного ролика” подсчитывается путем усреднения баллов по каждому “представителю”. Статистический анализ данных свидетельствует о том, что ни один из главных эффектов не является значимым.

· Средний балл юмористического тона (2,4) незначимо отличается от среднего балла за серьезный тон (2,1).

· Средний балл участия знаменитости (2,2) незначимо отличается от среднего балла участия обыкновенного человека (2,3).

Тем не менее, при визуальном изучении степени убедительности по каждой из ячеек видно, что различия все же существуют. (Сравните, например, баллы ячейки за убедительность рекламы с участием обыкновенного человека и заданным юмористическим тоном и баллы ячейки с участием знаменитости и заданным серьезным тоном.) Статистический анализ показывает, что существует значительный эффект взаимодействия. Средний балл убедительности в ячейке участия обыкновенного человека с заданным юмористическим тоном намного выше балла, поставленного трем остальным комбинациям. Таким образом, участие того или иного представителя и тон рекламного ролика не влияют на убедительность рекламного ролика независимо. Но совместно оба этих фактора оказывают значимое влияние.

Как видим, действенность и польза факторных планов состоят в том, что благодаря им можно определить влияние отдельных независимых переменных самих по себе, а также влияние их взаимодействия.

Внутренняя валидность: более широкий взгляд

Предыдущий раздел показывает, как план эксперимента воздействует на внутреннюю валидность, предполагая или исключая альтернативные объяснения результатов эксперимента. Внутренняя валидность повышается при исключении как можно большего числа угроз. Кроме этих конкретных аспектов внутренней валидности, Д. Крэсволь (D. Krathwohl)[7] настаивает на том, что на внутреннюю валидность эксперимента также влияет характер предсказаний эксперимента и его результатов. Этот более широкий взгляд на внутреннюю валидность предполагает, что внутренняя валидность эксперимента повышается при следующих обстоятельствах.

1.Внутренняя валидность растет при формулировке более точных предсказаний. Более точные предсказания предполагают указание направления и величины изменений, происходящих в результате экспериментального манипулирования. “Просто предвидеть, что воздействие вызовет какой-то эффект, — самое слабое предсказание. Более точное предсказание содержит указание на направление эффекта, самое точное — на силу и характер изменений”. Например, исследователю нужно изучить связь между показом рекламы и отношением к торговой марке. Утверждение “показ влияет на формирование отношений” — самое слабое предсказание, так как не указан характер связи между показом и формированием отношений. Более точное предсказание предполагает определение направления (т.е. более интенсивный показ положительно повлияет на отношение к торговой марке). Но самый точный и определенный прогноз указывает на характер изменения (т.е. более интенсивный показ положительно повлияет на отношение к торговой марке в том, что касается ее характеристик и качества).

2.Внутренняя валидность выше, если изменения причины влекут за собой более сильные изменения следствий. Результаты экспериментов обычно оцениваются посредством методов статистического вывода. При этом определяется, существуют ли статистически значимые различия между условиями эксперимента. Однако не все статистически значимые различия значительны и не все значительные различия статистически значимы. Поэтому исследования, доказывающие существенные изменения зависимой переменной (переменных), обычно влекут за собой как значимые, так и значительные результаты, повышая тем самым внутреннюю валидность эксперимента.

3.Внутренняя валидность выше, когда эффект воздействия полностью изменяет преобладающую тенденцию или условие, по сравнению с ситуацией, когда воздействие всего лишь несколько усиливает существующую тенденцию. Эксперимент, улучшающий отношение к торговой марке со стороны тех, кто отрицательно к ней расположен, обычно имеет более высокую внутреннюю валидность, чем эксперимент, улучшающий отношение к торговой марке тех, кто уже расположен к ней положительно.

Мы полностью согласны с г-ном Крэсволем и рекомендуем учитывать эти факторы в процессе планирования эксперимента[8].

Условия проведения эксперимента

Все эксперименты направлены на достижение максимально возможного уровня внутренней валидности при ограниченных времени и смете. Однако, кроме плана эксперимента и внутренней валидности, исследователь обязан также определить оптимальные условия для проведения запланированного эксперимента.

Эксперименты проводятся как в лабораторных, так и в полевых условиях. Рассмотрим, к примеру, два подхода к оценке реакции на новую упаковку.

· Участники сидят перед монитором. Им предлагается совершить “виртуальную” прогулку по магазинам. Для “прохода” по торговым рядам бакалейно-гастрономического магазина используется дистанционное управление. Участники могут остановиться там, где им захочется, и “выбрать” товар, который их заинтересовал.

· Товар в новой упаковке размещается на настоящих, не виртуальных полках торговых рядов. У покупателей, которые прошли мимо товара, спрашивают, заметили ли они товар. Если да, интересуются их реакцией на новую упаковку.

Первый подход описывает лабораторный эксперимент, а второй — эксперимент в полевых, естественных условиях.

Лабораторные эксперименты

Лабораторные эксперименты могут играть важную роль в принятии решений в области рекламы и маркетинга. Обычно лабораторные эксперименты проводятся, когда нужно оценить дизайн упаковки, уровни установленных цен, альтернативные формулировки товара, творческие разработки рекламы.

· При лабораторном тестировании упаковки используется наблюдение за движением глаз, тахистоскопия или предъявление снимков. Таким образом оценивается способность разработанного дизайна привлечь внимание, пробиться сквозь перегруженные витрины, и тем самым заявить о наименовании торговой марки или предоставить другую желаемую информацию о продукте.

· Лабораторные испытания рекламной кампании могут использовать регистрацию психофизиологических реакций, например наблюдение за направлением взгляда, тахистоскопию или кожно-гальваническую реакцию. Другие формы лабораторного тестирования рекламной кампании включают: сценарные тесты, когда отобранные респонденты приходят в какое-либо учреждение (например в бизнес-центр, гостиницу или торговый центр) для просмотра рекламы во время реальных телевизионных программ. (Использование лабораторных экспериментов при оценке творческой концепции рекламного продукта рассматривается в главе 23.)

· Лабораторное тестирование товара обычно предполагает использование слепого метода. При этом потребителям раздают товары без этикетки и спрашивают их мнение о характеристиках и привлекательности товара. Хотя слепое тестирование довольно информативно, все же оно вводит в заблуждение, если в наименовании торговой марки содержатся многозначительные и побудительные намеки для потребителя, как в случае с Coca-Cola и новой торговой маркой Coke.

Полевые эксперименты

Рекламисты используют полевые эксперименты или эксперименты на местах продаж для получения ответов на вопросы, касающиеся внедрения новых товаров, упаковки товара, содержания рекламы, набора средств рекламы, расходов на рекламу. Например[9].

· Компания Brown-Forman Beverages Worldwide проводила тестирование новой линии коктейлей под названием “Заморозки в тропиках” в Бирмингеме, Сент-Луисе, Фениксе и Хьюстоне[10].

· Компания Sega of America провела тестирование совместного с компаниями Blockbuster Enterntainment и IBM предприятия по прокату видеоигр. Тест проводился на одном из рынков юго-запада и продолжался около четырех месяцев[11].

· Компания Coors Brewing провела тестирование торговых марок легкого и светлого пива повышенного качества в Канзасе и Оклахоме. Тестирование было разработано с целью определить, будет ли способствовать внедрение этих товаров увеличению доли компании Coors на рынке недорогих марок пива[12].

· Компания Perrier инициировала создание пробного рынка для своей новой торговой марки — готового к употреблению холодного чая под названием Celestial Seasons. Пробный рынок организован в Далласе, Денвере, Хьюстоне, Майами, Сан-Франциско и Тампе. Тестирование товара проводится при широкой рекламной поддержке на ТВ, радио, а также наружной рекламы[13].

· Компания Evian провела тестирование работы своих торговых автоматов, продающих воду в бутылках на пляжах, в оздоровительных центрах, на территориях колледжей в Нью-Йорке, Далласе, Бостоне, Лос-Анджелесе и Фениксе. В автоматах продается вода в маленьких