 |
|
|
 |
|
|
|
<<
< |
Ирина, годами как раз ничего не меняется, так как фокус-группы используются повсеместно. На них ни одна отличная от обычных идея не проходит. Так что можете писать жалобу только на саму себя и таких же модераторов.
Вы всё путаетесь, на этот раз в устойчивости данных одного способа вращения и различия в результатах разных способов. Устойчивость результатов одного способа достаточная, чтобы сравнивать результаты ежегодных исследований.
Мы делали много интересного, не только структурные уравнения, но и нейронные сети и много чего другого. Но в практическом плане это оказалось избыточным. Статьи на эту тему вы, конечно, от меня не дождетесь, лично мне это не интересно.
Михаил Дымшиц |
|
<
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
25.11.2003 20:46 |  |
|
|
|
<<
< |
2 Михаил, Chantre, Anmos и Геннадьевне.
Михаил, как всегда, используя богатый арсенал НЛП, ловко ушел от ответов на важные вопросы и аргументы оппонентов, перевел дискуссию на другие темы, использовал ложные логические конструкции и нелепые доводы, перешел на личности и т.д. и т.п.
Ну не хорошо так, особенно с дамами!
Есть мнение, что фокус-группы имеют право на жизнь при проведении определенных исследований и с определенными ограничениями.
Михаил считает, что фокус-группы это шарлатанство и применять их нельзя. Даже в тех случаях, которые сторонники метода считают правомерными.
Модератором изначально ставился вопрос о применении фокус-групп при тестирования креатива.
Предлагаю Chantre, или Anmos, или Геннадьевне выбрать один или несколько случаев тестирования креатива, в котором можно и нужно применять фокус-группы.
Привести пример такого случая. Хотя бы один.
Или не приводить для сохранения интриги.
После чего всем желающим собраться на очередную «дуэль», где Chantre, Anmos или Геннадьевна будут защищать свою позицию (первый выстрел Вам - как защитникам метода), а Михаил доказывать, что для такого тестирования применение фокус-групп неправильно.
Сразу предлагаю Михаилу не использовать аргументы:
-фокус-группа слишком дорогая, есть более дешевые методы (т.к. на «Мерседесах» ездят, не смотря на то, что они намного дороже «Жигулей»),
-существующее в России качество проведения фокус-групп плохое (т.к. плохое качество «Жигулей» не означает, что на «Мерседесах» не надо ездить).
Михаил, как я понял, готов участвовать в любой дискуссии и в любое время.
Слово за Chantre, Anmos и Геннадьевной.
Чтобы данная дискуссия была интересна и полезна зрителям, предлагаю несколько правил, которыми оппоненты должны пользоваться.
1. Не использовать некорректные методы ведения дискуссии. Пусть за этим, особенно за Михаилом, следят арбитры из числа «старейших» маркетологов или рекламистов.
2.Излагать свою точку зрения понятным для начинающих маркетологов и рекламистов языком с минимумом специальных терминов.
3.Давать время на обдумывание и формулировку ответов (зарядку оружия перед выстрелом).
4.Оппоненты имеют право на (двух-трех) секундантов, которые могут помогать им в ходе дискуссии.
5.Чтобы не было фраз: «Вы меня не убедили в своей правоте», победу сторон определить голосованием зрителей по окончании дискуссии.
Для этого всем присутствующим раздать бюллетени для оценок выступления сторон.
Ну, как, слабо?
Пожелание организаторам: выберите зал без колонн и гигантских стульев.
Содержание бюллетеня и их изготовление готов взять на себя. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
26.11.2003 10:11 | |
|
|
|
Постов: 1424
Дата регистрации: 23.05.2003 |
Автор оригинала Зритель
Ну, как, слабо? |
Для начала зарегистрироваться? |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
   26.11.2003 12:12 | |
|
|
|
<<
< |
2 Anmos.
А зачем регистрироваться? И кому? |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
26.11.2003 12:20 | |
|
|
|
Постов: 28
Дата регистрации: 11.11.2003 |
Хорошая идея!
Согласна.
Сейчас очень много работы, но ближе к весне - можно.
Боюсь, что единственное, но огромное затруднение - заказчиком практически всегда оговаривается эксклюзивность.
Очень изящно вышла из этого положения Мельникова, в совей книге приводя только инициалы марок и используя материалы не менее, чем пятилетней давности, но при обсуждении тестирования конкретной рекламы это невозможно.
Надо подумать над тем, в какой форме это будет и наглядно, и с соблюдением интересов заказчика.
Кстати, Михаил - если вы не знали - при волновых исследованиях вообще категорически не рекомендуется вращать факторы. Если используете какой-либо метод при анализе, то попробуйте почитать литературу (даже если эта тема лично вам неинтересна). |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
26.11.2003 12:49 | |
|
|
|
<<
< |
Ирина, если в исследование включаются один и тот же набор марок и они оцениваются по одному и тому же набору критериев, то факторы очень устойчивы. Но жизнь не стоит на месте, одни марки уходят, другие приходят, критерии меняются...
А вращаем мы их потому, что нас не очень интересуют сами факторы и их устойчивость, а степень дифференцированности брендов.
Кстати Мельниковой принадлежит "Результаты, полученные с помощью качественных методов [фокус-группы], не могут быть проверены количественными методами. Но часто это и не нужно..." .
И что же это за метод исследования, который не дает воспроизводимых и контролируемых результатов? Ответ: фоку-группа. Насколько это вообще исследование и чем оно отличается от простого трепа на придуманную тему.
Михаил Дымшиц
PS. Кстати, Зритель, я ничего не писал ни о стоимости, ни о каких-либо региональных особенностей модераторов. Модераторы, они везде одинаковые.
А тема мотивов, их замеряемости, способов замеряемости и различий результатов в зависимости от идеологии, на которой построен проективный тест (дрейфу факторов по сравнению с этим просто горный массив по устойчивости), и применимости для дальнейшей работы является базой для принятия решения об использовании фокус-групп, а не уходом от темы.
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
26.11.2003 17:25 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Уважаемый Михаил!
Чувствую острую необходимость вмешаться в Ваш диалог с многочисленными участниками дискуссии:). Не могу не согласиться с Ириной, что каждый метод имеет свои плюсы и минусы. Не понимаю, как с этим вообще можно спорить:) Мне кажется, что все негативные высказывания в адрес фокус-групп связаны только с двумя сюжетами: (я сознательно не говорю про непрофессиональное проведение фокус-групп, любой метод, используемый халтурщиком, может быть справедливо обруган).
- Не понятно, как интерпретировать полученные данные.
- Как оценить достоверность полученных результатов.
1. Насчет интерпретации... Любое маркетинговое исследование проводится для того, чтобы получить недостающую информацию. И в этом смысле метод фокус-групп, как и все другие количественные и качественные методы эту задачу в определенной степени решает. По моему глубокому убеждению, информацию фокус-групп можно интерпретировать только одним образом - это широкий спектр мнений по обсуждаемой проблеме, каждое из которых (мнений) может подтолкнуть ЛПР или рекламиста и вообще любое заинтересованное лицо к неким дальнейшим размышлениям. Думаю, Вы со мной согласитесь, что в 99% Заказчик принимает решение не только на базе исследования (пусть даже самого лучшего). Если результаты исследования в корне противоречат его представлениям, нередко эти самые результаты просто игнорируются. Поэтому, объясняя Заказчику, что он получит после проведения фокус-групп, я всегда говорю одно и то же: это будут взгляды на Вашу проблему со стороны 20-30 совершенно разных людей, это даст Вам возможность "снять шоры", посмотреть на себя (свой продукт) не одной, а несколькими десятками пар глаз. Все равно решение принимаете Вы, свой рынок лучше любого маркетолога знаете Вы. Фокус-группа добавит Вам знания о своих потребителях. Вы сможете увидеть новые "фишки", другие интерпретации и т.п. Думаю, мысль понятна:)
В моей практике (а занимаюсь я маркетинговыми исследованиями уже около 10 лет) была масса примеров, когда Заказчик действительно черпал что-то полезное для себя из фокус-групп. Я, кстати, разрешаю Заказчику во второй части дискуссии, когда основные вопросы уже обсуждены, выйти к людям и задать им лично какие-то вопросы. Если на фокусах обсуждается креатив, настаиваю, чтобы присутствовал дизайнер, разработавший варианты упаковок и также приглашаю его лично пообщаться с народом. И дизайнеры часто черпали идеи для доработок тех же этикеток из фокус-групп.
Но... Ни в коем случае нельзя принимать управленческие решения на основе фокус-групп. Об этом исследователи часто забывают (кто-то сознательно:). И, на мой взгляд, в этом кроется причина негатива по отношению к фокусам. И ведь правильный негатив – окончательное решение на основе фокусов это профанация. Думаю, не надо снова повторяться почему, это понятно. Но ведь решение о названии продукта, принятое только на основе, например, той же фоносемантики, ровно такая же профанация, так как не учитывается масса других факторов, влияющих на восприятие названия.
Можно ли называть фокус-группы научным методом? Да как хотите, какая разница. Главное, что фокус-группы помогают продвигаться дальше в решении проблемы (разработки креатива и т.п.). А то, что многие не умеют или не хотят объяснить заказчику, как надо использовать результаты фокус-групп, это не является недостатком метода.
2. О достоверности результатов… Совершенно понятно, что в качественных методах термины типа «репрезентативность», «достоверность» и т.п. не употребимы. Но существуют понятия:
- очевидной валидности - результаты группы считаются валидными в том случае, если фокус-группа проведена с соблюдением основных требований (они есть во всех учебниках) + участники активны, заинтересованы в предмете разговора, дружелюбно настроены и т.п. (короче, хорошая групповая динамика, способствующая участию в дискуссии).
- предсказательной валидности, которая проверяется количественными опросами или просто реальным поведением людей на рынке. Так что г-жа Мельникова не права насчет того, что "Результаты, полученные с помощью качественных методов [фокус-группы], не могут быть проверены количественными методами». Еще как могут:) Я скорее, не понимаю, почему результаты фокус-групп нельзя проверить:) На мой взгляд, она права, говоря «Но часто это и не нужно». Если результатом фокус-групп является, как я писала выше, широкий спектр мнений и т.п., что тут проверять.
Вся эта самая валидность не с неба упала. Уверена, Вы знаете, насколько развиты качественные методы в Америке, сколько теоретических разработок было, сколько книжек (не всяких Крюгеров и Стюартов), а социологов и социальных психологов – теоретиков написано на эту тему.
Извините, но мне давно кажется (по Вашим статьям и выступлениям), что Ваши столь жесткие нападки на фокус-группы являются не чем иным, как PR-шагом, попыткой выделиться среди толпы прочих исследователей, предлагающих одни и те же методы. Если бы это было не так, то Вы – как человек, в свое время весьма активно занимавшийся этими самыми фокус-группами, просто не могли не увидеть в них рационального зерна. Ваш негативизм в отношении фокус-групп вызывает у меня массу ассоциацийJ Он напоминает ролевую позицию нонконформиста в фокус-группе, который думает, что не зависит от группы, а на самом деле это конформист со знаком «минус»:) И параллель из нашей истории: сначала сделаем революцию, а потом перевешаем всех революционеровJ Я понимаю, что со временем взгляды человека меняются, но для профессионала такие прыжки от любви до ненависти несколько удивляютJ
С точки зрения использования результатов фокус-группы ничем не отличаются от прочих качественных методов. Вы предлагаете другие качественные методики, убеждаете в том, что они лучше. В чем? Ни один качественный метод не может быть основой для принятия решений. В этом смысле те же вызывающие у Вас интерес электронные фокус-группы по ВААR-методике куда хуже. 30-40 человек, крутящие ручку, в зависимости от своей реакции… Где тут достоверность? Вы сами пробовали это делать?. И какая тут статистика и репрезентативность на этих 40 бедолагах. Никакой, но, пардон. И пресловутого спектра мнений нет. Вот это действительно выброшенные деньги заказчика, которому впаривают, извините, лажу под умные слова про новую методику. Кстати. Фокус-группы с этого самого и начинались. Лазарсфельд с Мертоном тоже на заре своей юности анализатор (коробку с кнопочку) респондентам раздавали, чтобы они на кнопочки нажимали. Слава богу. Не прижилосьJ) Так что и методика не нова.
Продолжать можно бесконечно… Попробую сделать резюме: во всех Ваших статьях и репликах я не нашла объяснения, чем фокус-группы хуже других качественных методик. Точнее, то что они плохие – есть, а почему другие хорошие – нет. Ваши аргументы против фокус-групп применимы для качественного подхода в целом. Нельзя отрицать фокус-группы как метод и при этом признавать другие качественные методики. Если бы Вы были специалистом по количественным исследованиям, то Ваше отрицание фокус-групп, я бы еще как-то могла понять. Но, насколько я знаю, Вы все же качественник.
С уважением.
Марина Власова |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
 28.11.2003 02:54 | |
|
|
|
<<
< |
Марина, Вы первая, кто указал, что полученные результаты на фокус-группе можно и, что важнее, нужно проверять на репрезентативных опросах (я цитировал Мельникову второй раз в рамках этой дискуссии, но первый раз никто не отреагировал). Что, собственно говоря, нужно делать со всеми результатами всех качественных исследований. Но этого никто практически не делает и делать не собираются (отговорка типа "денег" и "времени" может быть использована в любой момент).
Ваша практика выхода Заказчика и дизайнера к участникам фокус-группы является довольно грубым нарушением технологии, и Вы, судя по всему, сами это понимаете. Также понятно, что Вы можете их таким образом "разшорить", но делая это на фокус-группе Вы их "шорите" в другую, чаще всего глубоко ошибочную, сторону.
Теперь по методике: я действительно считаю неразумным собирать людей в группы и получать искаженную групповым влиянием позицию, а не получать индивидуальное мнение.
Как раз тот опыт, который у меня есть (он у меня на самом деле небольшой, 6 проектов, я никогда активно фокус-группами не занимался, у Вас ошибочное представление), позволяет утверждать, что именно с "предсказательной валидностью" у фокус-групп очень большие проблемы в принципе, на них обычно гипертрофируются критерии принятия решения, которые не имеют ни малейшей значимости в реальном поведении.
Технология BAAR конечно не нова, она старше фокус-групп лет на 10-15 даже в нынешнем виде, когда с нажимания кнопочек перешли на вращение ручки. Но Ваше второе заблуждение, это мнение о достоверности результатов по BAAR. Даже формально, ошибка формального параметра на выборке в 50 индивидуальных интервью легко оценивается (чего нельзя сказать о фокус-группе), практически вся экспериментальная психология сделана на выборках, напомню, хорошо когда в 30 человек, чаще всего и того меньше.
С внешней валидностью у BAAR вообще все отлично: если взять посекундные данные с пиплметров и сравнить с результатами на BAAR, то выявляется связь с ростом переключения каналов и негативной оценкой на BAAR. То есть, в реальной жизни люди часто даже не узнают, кто и что именно так плохо рекламируется, они успевают переключить канал до демонстрации упаковки в конце ролика.
Да, мы не получаем спектр мнений, мы получаем набор однозначных фактов: что-то люди готовы смотреть и верить, а чему-то не верят и смотреть не будут. А почему это так, по большому счету не важно, нужно хорошо знать, что люди смотреть отказываются. В конце концов, Вы наверное согласитесь, что когда что-то известно точно, небольшая начитанность позволяет убедительно объяснить, почему это именно так, а не иначе ;-) , и аналогичные примеры привести... С точки зрения дальнейших действий это ничего не меняет, если тест рекламной не пройден, креативщикам нужно просто все придумывать по-новой.
Фокус-группы принципиально хуже других качественных методик с точки зрения методики именно групповой формой проведения, а с точки зрения бизнес-процесса тем, что Вы первая из модераторов, кто в прямую указал, что "ни в коем случае нельзя принимать управленческие решения на основе фокус-групп". Общая практика такова, что ссылаясь на них принимают именно управленческие решения (решение об использовании того или иного креатива является не творческим, а управленческим решением).
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
28.11.2003 17:42 | |
|
|
|
<<
< |
Уважаемый Михаил!
Попробую ответить короче, чем в прошлый раз (знаете ли, бессонница была, 2 часа ночи и т.п.) Ваши фразы будут в кавычках.
1. «Полученные результаты на фокус-группе можно и, что важнее, нужно проверять на репрезентативных опросах (я цитировал Мельникову второй раз в рамках этой дискуссии, но первый раз никто не отреагировал). Что, собственно говоря, нужно делать со всеми результатами всех качественных исследований».
На мой взгляд, проверять результаты качественных исследований на репрезентативных опросах нужно в случае предварительного тестирования на них креатива, попыток выделить различные модели потребительского поведения и всяких прочих задач, которые требуют количественной оценки. Но нередко целью фокус-группы является получение информации, не подразумевающей этой самой количественной оценки. Это я неутомимо продолжаю про широкий спектр мнений на любую тему. Если задача заранее поставлена таким образом, и Заказчик это понимает - количественное тестирование необязательно.
2. «Этого никто практически не делает и делать не собираются (отговорка типа "денег" и "времени" может быть использована в любой момент)».
Согласна, но мы не такие Рассуждать о халтурщиках (сознательных или бессознательных) просто не хочется. Они и так создали отрицательный образ фокус-групп (даже у Вас, человека очень профессионального и знающего).
3. «Ваша практика выхода Заказчика и дизайнера к участникам фокус-группы является довольно грубым нарушением технологии, и Вы, судя по всему, сами это понимаете».
Не могу с Вами согласиться. Качественные методы тем и хороши, что подразумевают доработку инструментария, изменение процедуры и т.п. по ходу сбора информации (в отличие от количественных методов). Об этом написано абсолютно во всех серьезных книгах по качественным методам (про Белановского, Мельникову, Дмитриеву и прочих отечественных авторов не скажу, просто не помню Если Вам приходилось читать статьи зарубежных авторов последних лет, то Вы должны были обратить внимание на то, насколько либеральными и демократичными стали требования к процедуре. Чтобы не писать много, скажу, что на нашем сайте (www.rusinfomar.ru) в разделе библиотека висят рефераты такого рода статей.
Фокус-группы в современном понимании это уже не то, что писал Мертон в 50-х гг. Это гораздо более свободная, творческая, если хотите, методика, в которой могут быть использованы самые разные приемы для того, чтобы решить мою любимую задачу - получить широкий спектр мнений и обеспечить для респондентов максимально комфортную обстановку, способствующую активной дискуссии.
4. «Также понятно, что Вы можете их таким образом "разшорить", но делая это на фокус-группе Вы их "шорите" в другую, чаще всего глубоко ошибочную, сторону».
Разшорить и зашорить Заказчика при желании можно абсолютно любым методом. В этом смысле фокус-группы ничем не отличаются от любых исследовательских методик. Когда мы проводим фокусы, то Заказчик ВСЕГДА знает, как можно использовать полученную информацию. Справедливости ради, признаюсь, что в некоторых случаях Заказчик просто не хочет верить в то, что по фокусам нельзя выбрать лучший ролик и т.п. В таких случаях мы отказываемся от проведения исследования.
5. «Я действительно считаю неразумным собирать людей в группы и получать искаженную групповым влиянием позицию, а не получать индивидуальное мнение.»
Глубинное интервью я тоже люблю больше, чем фокус-группы, хотя бы потому, что в этом случае респондент говорит не менее 40 минут, а на самой длинной фокус-группе в среднем на одного человека более 10 минут не приходится. Но:
- в глубинках также велико влияние интервьюера (даже самого квалифицированного);
- больше вероятность формирования у респондента эффекта эксперта;
- нет возможности посмотреть, как респондент будет реагировать на противоположные точки зрения (если роль оппонента берет на себя интервьюер, то его влияние возрастает в геометрической прогрессии);
- наконец, этот метод просто более дорогой и трудоемкий (хотя это не главное)
В чем плюсы фокусов по сравнению с глубинками:
- проще поддерживать интерес к обсуждаемой проблеме (а это ключевой момент в проведении любого качественного исследования);
- шире спектр применяемых методик, связанных с той самой групповой динамикой (ролевые игры, сознательное создание групп конфликта и т.п.);
- шире возможности в плане презентации обсуждаемого продукта, рекламных материалов и т.п. (я являюсь упрямой сторонницей того, что индивидуальные интервью надо проводить в удобном для респондента месте, а не вызывать его «на ковер» под глазок видеокамеры);
- есть возможность вмешательства (в хорошем смысле слова) заказчика (дизайнера и т.п.) в процесс, концентрации на наиболее интересном вопросе и т.д. Наши фокус-группы всегда полуформализованные, спектр для маневра остается очень широким.
И так далее…
Не могу не сказать о минусах ФГ, это было бы нечестно:
- труднее контролировать рекрутмент (но можно, есть для этого специальные методики, уверена, Вы их знаете);
- есть риск появления более и менее активных респондентов (когда я была юным модератором, то страдала от этого ужасно и изо всех старалась разговорить молчунов. Теперь так в это не упираюсь. Главное – создать максимально дружелюбную обстановку, подчеркнуть, что у нас просто беседа за дружеским столом (с угощениями). Если через 15-20 минут после начала кто-то молчит, перестаю его дергать, нарушая все написанное в книжке. Человек успокаивается и начинает говорить сам).
- чертовски велико влияние модератора(И в это я перестала упираться. Главное, чтобы модератор не влиял на формирование мнения. Пусть модератор будет психологическим лидером, это очень стимулирует дискуссию. Кстати, однажды мне пришлось «выручать» одного господина с фокусами по Калмыкии (Вы не смогли туда поехать и правильно сделали) Даже там с чабанами и строителями, обманутыми тем кандидатом, чьи материалы тестировались, психологическое лидерство помогло спасти ситуацию и провести интересные фокусы)
- выше требования к квалификации модератора (чем интервьюера по глубинкам)
- труднее отделить личное мнение от мнения, сформированного под влиянием группы (для этого я применяю различные проективные методики на самостоятельное выполнение, заполнение анкет респондента и т.п., а только затем обсуждение. При анализе сравниваются противоречия в оценках письменных (до обсуждения) и вербальных (в процессе обсуждения)).
И так далее…
Короче говоря, и плюсы есть у фокусов, и минусы. Надо просто их знать и учитывать…
6. «Как раз тот опыт, который у меня есть (он у меня на самом деле небольшой, 6 проектов, я никогда активно фокус-группами не занимался, у Вас ошибочное представление)»
Извините за неправильную оценку. Неоднократно приходилось слышать в былые годы о Вас, как известном специалисте по фокус-группам. Теперь буду разрушать это представление.
7. «Именно с "предсказательной валидностью" у фокус-групп очень большие проблемы в принципе, на них обычно гипертрофируются критерии принятия решения, которые не имеют ни малейшей значимости в реальном поведении».
На самом деле это далеко не всегда так. У меня был смешной пример. На фокусах с потребителями кальмаров был озвучен, с моей точки зрения, странноватый мотив употребления консервов из кальмаров – летом на даче. Не знаю, как Вы, а я никогда таким продуктом при поездке на дачу не затаривалась). Каково же было мое удивление, когда вставленный в анкету закрытый вопрос с альтернативами показал, что это третий по значимости мотив покупки таких консервов. И таких примеров было много.
К тому же известны эффекты группового мышления (огруппления мышления, групповой поляризации, «сдвига риска» и т.п.). Это всегда учитывается при анализе результатов.
8. «Ваше второе заблуждение, это мнение о достоверности результатов по BAAR. Даже формально, ошибка формального параметра на выборке в 50 индивидуальных интервью легко оценивается (чего нельзя сказать о фокус-группе), практически вся экспериментальная психология сделана на выборках, напомню, хорошо когда в 30 человек, чаще всего и того меньше»
Ну что ж, подойдем к BAAR формально). Ошибка выборки при ее объеме в 50 человек составляет примерно +14-15% (лень залезать в калькулятор). И, кстати, это в том случае, если отбор респондентов осуществлялся с применением процедуры случайной выборки. Практически уверена, что это не так. Скорее всего, Вы отбираете респондентов снежным комом, в местах продаж (скопления целевых групп) и т.п. А это все стихийные выборки, для которых нельзя оценить размер ошибки. Быть может, Вы подбираете народ по квотам, и в этом случае также нельзя рассчитать ошибки выборки. Таким образом, Ваш якобы количественный подход все равно является качественным.
Выборки в 30 человек в психологии это норма. Психологи, они хитрые. Что является объектом изучения в психологии – индивид или малая группа. Поэтому они чисты со своими 30-ью людишками. На таких выборках делаются выводы о существовании, например, психологических типов, моделей поведения. Но покажите мне хотя бы одну статью по психологии, где на основе 30 человек приводятся количественные распределения о распространенности этих типов в обществе. Вы же, полагаю, представляете Заказчику именно цифры, процентные распределения. Но, извините, традиционный (не индивидуальный) маркетинг работает преимущественно с большими группами людей, поэтому исследователь просто обязан опираться не на психологические, а социологические подходы.
9. «Да, мы не получаем спектр мнений, мы получаем набор однозначных фактов: что-то люди готовы смотреть и верить, а чему-то не верят и смотреть не будут. А почему это так, по большому счету не важно, нужно хорошо знать, что люди смотреть отказываются».
В этом я не согласна с Вами на 100% по причинам, описанным выше. Какие однозначные факты при неслучайной выборке объемом в 50 человек. Трактовка результатов BAAR может быть только такой: из этих конкретных 50-ти человек, например, 20 готовы это смотреть, а 30 не готовы. Абсолютно также можно представлять результаты обычных фокус-групп. Ни в коем случае нельзя транслировать результаты BAAR на генеральную совокупность (какую-то целевую группу, которую Вы изучаете).
10. «Фокус-группы принципиально хуже других качественных методик с точки зрения методики именно групповой формой проведения».
Не согласна, написала почему. Каждый метод имеет свои плюсы и минусы.
11. «Общая практика такова, что ссылаясь на них (ФГ) принимают именно управленческие решения (решение об использовании того или иного креатива является не творческим, а управленческим решением).»
Вот тут я скорблю вместе с Вами, но бороться с ветряными мельницами бесполезно. Надеюсь, все же, что 4 выпуска магистров Манчестерского университета, у которых я вела курс по фокус-группам так не поступают). Стараемся донести правильный подход к интерпретации результатов качественных месяцев и на постоянных бесплатных семинарах, организованных нашей компанией и ГФК в Высшей школе экономик. Кстати, давайте после Нового года проведем семинар на тему этой дискуссии. Приглашаю Вас в качестве выступающего. Вы – очень интересный собеседник
Эх, получилось длиннее, а не короче. Но редко приходится общаться со столь профессиональным человеком, поэтому извините меня за болтливость
С уважением,
М.Власова |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
29.11.2003 01:41 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
| Так увлеклась, что забыла имя написать. Да еще смайлики в квадратики превратились:) Нельзя по ночам такими важными делами заниматься:) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
29.11.2003 01:43 | |
|
|
|
<<
< |
Как говориться в одном анекдоте на другую тему, "Видите ли, Марина...", распад технологии, описанный Вами в пункте 3, говорит как раз о неэффективности и неинформативности. С точки зрения разнообразия мнений, выскажу весьма еретическую мысль, что профессионалы в рамках нормального обсуждения порождают куда больше разнообразных идей, чем профаное мнение. Меня часто и безосновательно обвиняют в использовани НЛП, но как раз для порождения различных гипотез модели НЛП очень подходят, кто посерьезней относится к рекламному творчеству, могу посоветовать книги Gaede, в них с немецким занудством все рекламные приемы отклассифицированны и описаны, можно сидеть и перебирать, пока "приход" у креативщика не случиться.
Пример с кальмарами не убеждает, на индивидуальных интервью это выскочило бы обязательно; а вот гипердиагностика всякой ерунды на фокус-группе сплошь и рядом.
С Вами у меня есть одно ключевое расхождение, я считаю, что все "ролевые игры и т.д." это конечно прикольно, но не нужно, они никак не соответствуют реальному поведению при покупке, а получаемую на них информацию можно получить и без сбора группы.
Вот, Марина, скажите, просто интересно, как Вы можете учитывать выраженность групповых эффектов; то есть, как Вы определяете, насколько именно произошло смещение, если у Вас нет данных других исследований (тех же количественников)? Сама по себе фокус-группа внутренних критериев такого контроля не содержит, а если вы редактируете данные фокус-группы по другим исследованиям, что же дала фокус-группа? Если на основе экспертного мнения, то это произвол! :-)
Теперь о BAAR: выборка квотная, только целевая группа (мнение других нас не интересует), формально, конечно, не случайная (но и не снежный ком, очень плохо к нему отношусь в принципе). Но и цифры по BAAR не являются коэффициентами эффективности (может и являются, но при реальном прокате начинается влияние многих шумовых факторов, собственного давления и т.д.), а решение по роликам "да-нет" или что-то где-то отредактировать. Посмотрите на сайте, там дается в левой части распределение оценок по участникам, там разброс значений обычно не очень велик, так что ошибка среднего не велика. Кстати, я писал о 30 человеках про экспериментальную психологию (внимание, память и т.д.), а не про личностные стандартизированные опросники, где выборки могли быть и десятки тысяч человек; мотивационная психология вообще часто на единичных наблюдениях построена и "доказана" (тот же Фрейд, "социологическую" экстраполяцию делал умозрительно; и не надо ссылаться на Х.Хекхаузена и еще нескольких, такие классификации и диагностика мотивов в рекламной деятельности не диагностируются и не используются).
Так вот, экспериментальные результаты на выборке в 50 человек "целевой группы" при небольшой дисперсии признаков впоне достаточны для управленческого решения как о рекламной материале в целом, так и о конкретных сценах. Я уже написал о статистической валидности оценок по BAAR и поведением при реальном просмотре, все достаточно внешне валидно даже на "всех" при тестировании на таргете, а с таргетом вообще все очень хорошо и устойчиво. Так что, транслировать результаты BAAR на генеральную совокупность можно.
Никаких распределений Заказчику мы не предоставляем, то есть он их видит, но мы их практически не обсуждаем. Кстати, мы проверяли, межиндивидуальные корреляции оценок при BAAR очень низки, сравнительно низкие оценки на каждом ролике это оценки разных люди, а не просто негативно настроенных на рекламу, никаких групповых смещений.
Судя по всему, можно закрыть дискуссию по вынесенной проблеме "тестирование творческих концепций и рекламных материалов на фокус-группах": никаких управленческих решений по поводу креатива на основе фокус-групп принимать нельзя.
Относительно других применений фокус-групп, мне, если откровенно, все равно: вы любите собрать людей и с ними повеселиться в группе; мы делаем индивидуально, основные различия, что индивидуально быстрее (мы, конечно, никуда никого не приглашаем, интервью там, где удобно респонденту) и результаты разнообразнее за счет отсутствия группового давления. Но это, как говориться, "на любителя".
Михаил Дымшиц
PS.На семинар я всегда согласен. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
29.11.2003 20:08 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
1. Любой метод предполагает развитие. Фокус-группа это метод, а не методика. Метод шире методики; он включает в себя обилие методик, которые трансформируются со временем; какая-то умирает, какая-то появляется. Я совершенно не удивлюсь, если и Вы что-то добавите в свои BAAR со временем или, наоборот, что-то исключите (если, конечно, совсем от них не откажетесь.
2. Профессионалы, безусловно, на обсуждениях порождают много идей, больше, чем простые люди на фокус-группах. Где здесь что-то еретическое?. И всякие брейнсторминги, синектические группы и т.п. мы также проводим. Но при чем здесь фокус-группы? Кто сказал, что мнения профессионала и потребителя всегда аналогичны? Кто сказал, что с профессионалами и потребителями надо обсуждать одно и то же? Зачем профессионалов спрашивать о мотивах потребления, например? Зачем у них спрашивать, понравилась ли им этикетка (точнее, спрашивать про «понравилось» можно и нужно, но в другом не обывательском смысле)? Профессионалы – это один объект исследования, со своими целями и задачами, а потребители – другая. Не вижу причин для аналогий и сравнений. Мы никогда не ставим перед фокус-группой задачи, которые бывают у нас на брейнстормингах и т.п. Про других, как обычно, говорить не хочу.
3. «Пример с кальмарами не убеждает, на индивидуальных интервью это выскочило бы обязательно» - согласна. Но ведь и на фокус-группах выскочил, несмотря на групповое давление) У Вас интересно получается… Любой плюс «в корзинку» других методов, автоматом выглядит минусом, пинком в адрес фокус-групп. Неубедительно как-то
4. Ролевые игры мы не используем для имитации покупательского поведения. Чаще всего применяем их при оценке креатива и т.п. Одна группа – якобы сделали рекламу и защищают ее, другие (якобы конкуренты), цель которых эту рекламу обругать. Это все занимает минут 15. Очень забавно и содержательно получается (с точки зрения спектра мнений).
5. Эх, если бы у нас с Вами было одно это ключевое расхождение про «ролевые игры», все гораздо серьезнее «Получаемую на них информацию можно получить и без сбора группы». Да, между нами говоря, массу исследований можно было бы вообще не заказывать. Есть вторичка, есть возможность собрать экспертов, провести силами сотрудников наблюдение в магазинах (отличный метод, жаль, его редко используют) и т.п. Опять-таки, при чем тут фокус-группы (или ролевые игры), чем они такие плохие, чем отличаются в худшую сторону от других методов, не поняла.
6. «Как Вы можете учитывать выраженность групповых эффектов; то есть, как Вы определяете, насколько именно произошло смещение, если у Вас нет данных других исследований (тех же количественников)». Вот и проболтались, Михаил У Вас наблюдается абсолютно количественный подход к интерпретации результатов качественных исследований. Даже, когда есть результаты «количественников», никогда НЕ НАДО оценивать результаты фокус-групп в терминах «насколько». Это методическая ошибка. Все результаты фокус-групп (как и глубинок, кстати) носят ИСКЛЮЧИТЕЛЬНО качественный характер. Не должно быть НИКАКИХ количественных оценок при использовании любых качественных методов. Вероятно, Вас ввело в заблуждение мое согласие с Вами насчет Мельниковой. Поясню, что я имела в виду. Если на фокус-группах тестируются, например, этикетки, нельзя принимать решение на основе результатов ФГ, надо проводить количественник. Вот и все! Выраженность групповых эффектов учитывается тоже на качественном уровне и никак иначе. Просто сил и времени нет про это писать. В двух словах не скажешь. Если не забуду, обещаю рассказать во время зимнего отпуска.
7. «Сама по себе фокус-группа внутренних критериев такого контроля не содержит, а если вы редактируете данные фокус-группы по другим исследованиям, что же дала фокус-группа? Если на основе экспертного мнения, то это произвол! :-)» Про это в п.6. Нет никакой редактуры. Просто, когда пишешь отчет, надо знать про ту же групповую поляризацию, и не писать жирными шрифтом про то, что потребители либо крайне негативно, либо крайне позитивно оценили нечто. Мягче надо быть Вы знаете, что качественные методы называют еще «мягкими». В том числе по этой причине, они не дают возможности делать однозначные выводы, рейтинги составлять и т.п.
8. О BAAR. Вы меня всерьез расстроили
- Выборка не случайная, сами написали. А затем пишите «разброс значений обычно не очень велик, так что ошибка среднего не велика». Не считается ошибка выборка для квотной выборки, это написано во всех учебниках.
- Хоть убейте, не понимаю, чем отличаются Ваши 50 человек от 5 фокус-групп по 10 человек, набранных по аналогичной схеме. Вы просите крутить ручку при просмотре, а я – ставить оценку в анкету (без обсуждения, сначала оценку – потом поговорим). Можно дискутировать о том, что крутить ручку лучше… Но суть от этого не меняется… И тот, и другой метод остаются КАЧЕСТВЕННЫМИ. И тот, и другой метод не позволяют профессиональному исследователю говорить заказчику о том, что на их основе можно принять окончательное решение. Повторяться не буду, почему BAAR – ровно такая же качественная методика, как и фокус-группы, писала раньше. После Вашего разъяснения тем более готова еще раз подтвердить каждое свое слово про BAAR из предыдущей реплики.
9. «Так вот, экспериментальные результаты на выборке в 50 человек "целевой группы" при небольшой дисперсии признаков вполне достаточны для управленческого решения как о рекламной материале в целом, так и о конкретных сценах. Я уже написал о статистической валидности оценок по BAAR и поведением при реальном просмотре, все достаточно внешне валидно даже на "всех" при тестировании на таргете, а с таргетом вообще все очень хорошо и устойчиво. Так что, транслировать результаты BAAR на генеральную совокупность можно».
Вот Вы и присоединились к толпе народа, бьющего себя кулаком в грудь и говорящего, что результаты правильно проведенных фокус-групп можно транслировать на всю генеральную совокупность. Правда, Вы про BAAR, но какая разница, это ведь тоже качественный метод. Попробуйте доказать мне обратное. Куча публикаций и рассказов практиков про то, как подтвердились результаты фокус-групп на практике, Вы на игнорируете и правильно делаете. Метод есть метод, как был он качественным, так и остался. Ваша «любовь» к BAAR закрывает Вам глаза (как, впрочем, это и бывает с любовью).
Михаил, пожалуй, Вы правы. Дискуссию (по крайней мере, наш диалог) пора заканчивать, потому что нам с Вами друг друга не переубедить.
На мой взгляд, В своих репликах Вы продолжаете исключительно односторонне критиковать одну методику, не критикуя другие (в которых, между прочим, ничуть не меньше собственных минусов). Диалог в таком ключе просто не конструктивен.
А про семинар, если позволите, я Вам напишу сразу после Нового года.
С уважением,
Марина |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
29.11.2003 22:47 | |
|
|
|
<<
< |
Марина, есть существенные различия между экспериментальными (как BAAR) и квази-экспериментальными методиками и качественными исследованиями. И на BAAR считается не ошибка выборки, а ошибка измерения. И в этом смысле это,в принципе, соответствует ошибке измерения 50 индивидуальных интервью (даже если после них проводиться фокус-группа). Это настолько же репрезентативно, насколько репрезентативно признание 50 респондентами без нарушения цветого зрения какого-то оттенка "красным" или "желтым". При увеличении выборки до 1000 человек мы получим нескольких, не признающих это, но результат в принципе не измениться.
Есть существенные и значимые различия экспериментальных и бланковых методик: 1) на BAAR можно оценить 20-30 роликов; заполнением анкет одним человеком больше 5-6 уже сложно, публика устает и это приводит к тому, что народ легко выявляет объект тестирования и начинает завышать оценки; 2) анкетами не выявляются баги внутри ролика (люди часто их не успевают запомнить, даже если реагируют бурно), оценивается ролик целиком после принудительного просмотра.
По поводу моей селекции: пример про кальмаров важен не сам по себе, понятно, что наиболее частотные моменты на группе получают, я писал в предыдущем посте, что фокус-группы страдают гипердиагностикой и как бы Вы не старались, Вы должны это в отчете отразить. Будете Вы это выделять жирным шрифтом или нет, не важно: мнение будет высказано и включено в дальнейшую работу.
Кстати, где-то выше я признал "недостатком" того же BAAR, что мы не узнаем, почему люди негативно или положительно на что-то реагируют, но,в принципе, я просто не считаю необходимым это объяснять. Маркетинговая практика тонет в многочисленных "объяснениях", "мотивах", "архетипах" и т.д. С точки зрения творческого поиска это пустое, для создания привлекательных и содержательных картинок, называемых рекламой, эти объяснения ничего не дают.
С чем с Вами абсолютно согласен, так это с непонятным игнорированием, если не сказать, избеганием, методов непосредственного наблюдения покупателей в магазинах. Мы каждому это предлагаем, но на длительную видеозапись не согласились даже владельцы магазинов, чего уж тут ждать от производителей.
Пишите.
Михаил Дымшиц
PS. За рамками нашего обсуждения, как говориться, "ничего личного": Вы наверняка видели двух истолопов на щитах, пока исполняющих роли председателей палат ГосДумы, в позе Маркса-Энгельса-Ленина-Сталина. Участие "семиологов" во всем этом было даже широко освещено в прессе, результат понятен. Это, конечно, кристаллизация результативности "мягких" методов, но увлеченность ими тянет общий уровень массовой коммуникации именно в эту сторону. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
30.11.2003 19:17 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Михаил, пишу:)
Мне кажется, что мы с Вами просто говорим о разном. Это может длиться бесконечно.
Давайте, я по ходу дела задам Вам несколько ключевых, с моей точки зрения, вопросов, хорошо?
1. Правильно ли я понимаю, что Вы считаете возможным транслировать результаты BAAR на генеральную совокупность?
Если да, то при чем тут ошибка измерения? Она существует сама по себе и к трансляции результатов никакого отношения не имеет. Все мои слова о невозможности трансляции результатов BAAR на генеральную совокупность сохраняются.
Если нет, то результаты BAAR носят качественный характер и не могут быть транслированы на всю генеральную совокупность, Вы согласны? И в этом смысле BAAR является качественным методом, как и фокус-группа (экспериментом, проводимым по принципам качественного исследования).
2. Совершенно согласна, что эксперимент и качественные методики являются разными методами. Но, ведь эксперимент это настолько размытое (или емкое, как Вам больше нравится) понятие. Эксперимент может быть организован и как качественное, и как количественное исследование. Если я правильно Вас понимаю, Вы старательно открещиваетесь от качественного характера результатов Ваших исследований. В связи с этим серия вопросов про Ваш эксперимент (в соответствии со стандартами эксперимента как научного метода):
а) Эксперимент предполагает наличие контрольной и экспериментальной групп. Кто у Вас является контрольной группой? Как Вы ее изучаете? Как сравниваете результаты (мнения) контрольной и экспериментальной группы? Или у Вас контрольная группа отсутствует?
б). Во всех учебниках написано, что нарушение внешней валидности эксперимента связаны в первую очередь с нарушением репрезентативности отбора участников. Вы признались, что Вы отбираете людей не по репрезентативной выборке. Как с этим быть?
в). Внешняя валидность также нарушается в тех случаях, когда план эксперимента основан на искусственных допущениях, когда эксперимент проводится в условиях, отличных от реальных. Трудно предположить, что в реальной жизни люди смотрят подряд 20-30 роликов и пытаются их оценить, крутя ручку:) Налицо – создание искусственной ситуации. Как быть с этим?
На самом деле, все, что Вы пишите про BAAR это попытки объяснить внутреннюю валидность. Вероятно, она присутствует, спорить не буду, не знаю. Но наличие только внутренней валидности не позволяет транслировать результаты на генсовокупность, тем самым, придавая Вашим результатам качественный характер.
Согласны ли Вы, что результаты эксперимента, в котором не доказана внешняя валидность, должны интерпретироваться как качественные данные (это я упорствую про перенос на генсовокупность)? Если не согласны, аргументируйте (хотя, не представляю, как это можно сделать).
3. При оценке рекламных материалов на практике редко стоит задача оценить 20-30 вариантов. Обычно их как раз не больше 5-ти. Правильно ли я Вас понимаю, что при оценке 5-6 вариантов метод фокус-групп применим настолько же, как и BAAR? (Понятное дело, без трансляции на всю ту же генсовокупность).
4. Совершенно согласна с Вами, что BAAR вполне забавная и полезная штука. Но почему Вы считаете, что этот метод заменяет собой стандартную связку «фокусы + количественный опрос»? По-моему мнению, BAAR представляет собой худший вариант холл-теста. Сам по себе холл-тест та еще песня, это и не качественное, и не количественное исследование, а некий суррогат. Там, между прочим, тоже о трансляции результатов говорить не приходится, поэтому мы ими просто не занимаемся, если задача стоит таким образом. Но в холл-тесте хотя бы выборка в несколько раз больше, чем у Вас.
5. Не считаете ли Вы, что «кручение» ручки требует определенных навыков, как любой новый вид деятельности? Человеку трудно с такой скоростью механически реагировать на увиденное. Сама пробовала:). Не кажется ли Вам, что в этой сложности (которую разные люди преодолевают по-разному, и Вы никогда не узнаете, кто и как именно) кроются будущие ошибки в результатах теста? Если не считаете, поясните, почему?
6. Я не согласна с Вами насчет того, что не надо спрашивать, почему что-то нравится, а что-то нет. Конечно, глупо делать выводы, например, о цветовых предпочтениях, принимать на 100% к сведению советы типа «лучше красненькое с золотой каемочкой». Но у меня была масса примеров, когда после фокусов подход к этикетке менялся. Например, хотели вино сделать в стиле a la France, а народ упорно хотел a la Дионис-клуб. И это проявилось через их высказывания и объяснения, что именно не понравилось. Последующий опрос (а не холл-тест) с демонстрацией этикеток это подтвердил. Еще пример. Нынешняя реклама Вулкана. В исходном ролике была другая концовка и другой герой. Народ пояснил, что в ней (и в нем) раздражает. Не буду приводить цифр, но результаты рекламной кампании оказались на удивление хороши.
Если резюмировать все вышесказанное, то получаются два ключевых вопроса.
1. Что же все-таки там у Вас с трансляцией на генсовокупность?
2. Считаете ли Вы, что результаты BAAR носят количественный характер?
А что касается Вашего примера про Маркса-Энгельса… Да, ужас! Но ведь хорошо проведенное исследование ни в коей мере не гарантирует, что будет сделана хорошая реклама. Даже как-то странно говорить на эту тему. Неужели Вы с этим не согласны? Так что опять, при чем тут фокус-группы (и любое другое исследование), когда креатив ни к черту, ни ума, ни вкуса у дизайнеров нет или заказчик хочет, чтобы ему так нарисовали. А ведь бывает и с точностью до наоборот – отличная реклама вообще без исследований. Не могу воспринять Ваш пример как доказательство убожества «мягких» методов.
С уважением.
Марина |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
30.11.2003 22:07 | |
|
|
|
Постов: 52
Дата регистрации: 01.12.2003 |
ДА!
Тестирование на ФГ Полезно!!!
(за исключением некоторых случаев)
Именно ПОЛЕЗНО, т.к. эффективность есть
отношение количественного выражения эффекта к затратам, этот эффект вызвашим...
т.е. постановка темы откровенно "корява", а ФГ (повторюсь) - ПОЛЕЗНЫ!!!
Дальше можно спорить, что "не всегда и не для всех", но это
уже разговор про исключения (не всем же утренняя гимнастика показана?) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 08:49 | |
|
|
|
<<
< |
а чем маркетинг принципиально отличается от этнографии и культурной антропологии?
ака уллой |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 10:33 | |
|
|
|
<<
< |
| Маркетинг отличается от этнографии и культурной антропологии статистическим подходом и чувствительностью к мелочам. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 10:40 | |
|
|
|
<<
< |
Марина, отвечаю по пунктам
>1. Правильно ли я понимаю, что Вы считаете возможным >транслировать результаты BAAR на генеральную >совокупность?
На "генеральную совокупность" покупателей товарной группы - да. В целом на "генеральную совокупность 18+" тоже "да", но средняя "по больнице" для рекламирования несущественно.
>а) Эксперимент предполагает наличие контрольной и >экспериментальной групп. Кто у Вас является контрольной >группой? Как Вы ее изучаете? Как сравниваете результаты
>(мнения) контрольной и экспериментальной группы? Или у >Вас контрольная группа отсутствует?
"Контрольной группой" был анализ телесмотрения по пиплметрам, оказались сопоставимые результаты даже по "генеральной совокупности". При конкретном исследовании всегда собираются "юзеры"-"не юзеры" и анализируется разница в реакциях: "юзеры" должны оценивать хорошо, "не юзеры" достаточно нейтральной оценки.
>б). Во всех учебниках написано, что нарушение внешней >валидности эксперимента связаны в первую очередь с >нарушением репрезентативности отбора участников. Вы >признались, что Вы отбираете людей не по репрезентативной выборке. Как с этим быть?
Марина, проблема в смысле слова "репрезентативности". Для целевой группы выборка репрезентативна в соответствии с объемом выборки.
>в). Внешняя валидность также нарушается в тех случаях, >когда план эксперимента основан на искусственных >допущениях, когда эксперимент проводится в условиях, >отличных от реальных. Трудно предположить, что в >реальной жизни люди смотрят подряд 20-30 роликов и >пытаются их оценить, крутя ручку Налицо – создание >искусственной ситуации. Как быть с этим?
Ситуация более реальна, чем на других методах исследования - люди смотрят "рекламный блок". Нарушение даже не в кручении ручки (идиомоторные реакции присущи людям), а в принуждении к внимательному просмотру.
>Согласны ли Вы, что результаты эксперимента, в котором не >доказана внешняя валидность, должны интерпретироваться >как качественные данные (это я упорствую про перенос на >генсовокупность)? Если не согласны, аргументируйте (хотя, >не представляю, как это можно сделать).
Марина, внешняя валидность доказана сопоставлением с данными с пиплметров.
>3. При оценке рекламных материалов на практике редко >стоит задача оценить 20-30 вариантов. Обычно их как раз >не больше 5-ти. Правильно ли я Вас понимаю, что при >оценке 5-6 вариантов метод фокус-групп применим >настолько же, как и BAAR? (Понятное дело, без трансляции >на всю ту же генсовокупность).
На BAAR выноситься не 30 вариантов, а 2-3, остальные - фон из транслируемых роликов. Первичный отбор из 5-ти проводиться на "Карте восприятия".
>4. Совершенно согласна с Вами, что BAAR вполне забавная и >полезная штука. Но почему Вы считаете, что этот метод >заменяет собой стандартную связку «фокусы + >количественный опрос»?
После BAAR количественник проводить не надо. Я вообще не понимаю, как можно сделать количественник для оценки ролика. На раскадровке что ли?
>5. Не считаете ли Вы, что «кручение» ручки требует >определенных навыков, как любой новый вид деятельности? >Человеку трудно с такой скоростью механически >реагировать на увиденное.
> Сама пробовала. Не кажется ли Вам, что в этой сложности (которую разные люди преодолевают по-разному, и Вы никогда не узнаете, кто и как именно) кроются будущие ошибки в результатах теста? Если не считаете, поясните,
почему?
Время идиомоторной реакции 0,1-0,2 секунды. Так что на негативные моменты реагируют очень быстро. Навык формируется за минуту, мы просим поворачивать, не привязываясь к делениям, фиксируется только нейтральная позиция. Народ справляется.
6. Я не согласна с Вами насчет того, что не надо спрашивать, почему что-то нравится, а что-то нет.
Этот пункт уже не относиться к валидности результатов исследования, это различия в дальнейших процедурах.
1. Что же все-таки там у Вас с трансляцией на генсовокупность?
На наш взгляд, очень хорошо.
2. Считаете ли Вы, что результаты BAAR носят количественный характер?
Частично "да". С точки зрения сравнения вариантов это метрика. С точки зрения последующего зрительского поведения - тоже. С точки зрения последующего потребительского поведения - судя по всему тоже, но однозначно утверждать пока не могу.
>Не могу воспринять Ваш пример как доказательство убожества «мягких» методов.
Марина, опасность широкого применения мягких методов в их легкой искажаемости без внешних признаков искажения. В количественных и экспериментальных методах это гораздо сложнее и всегда вскрываемо.
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 11:06 | |
|
|
|
<<
< |
| ха, а ВААЛ ничуть не убедительнее фокус-групп :) |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 11:28 | |
|
|
|
<<
< |
| ВААЛ это программа контент-анализ, можно использовать при обработке текстов, в том числе и фокус-групп |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 16:48 | |
|
|
|
 | Тема является закрытой на добавление сообщений! |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
