 |
|
|
 |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Михаил!
1. Трансляция результатов исследования, в котором респонденты отбираются не методом случайного отбора, на генсовокупность НЕ ВОЗМОЖНА. Откройте любой учебник (причем не по социологии или психологии, хотя там это тоже написано), а по математической статистике. Вы как человек с психологическим образованием просто обязаны были этот предмет изучать. И все равно, потребители это товарной группы или все население. Ошибка выборки рассчитана быть не может при неслучайной выборке. Ошибка измерения, о которой Вы говорили ранее, к факту трансляции результатов никакого отношения не имеет, а лишь характеризует качество измеренных величин для данной (и только!) выборки. Так что Ваш метод на порядок хуже, чем правильно проведенные фокус-группы (при которых по крайней мере никого не вводят в заблуждение насчет %-ных соотношений и степени распространенности мнений в целевой группе). Хуже – в смысле менее профессиональный и честный. Любому студенту-социологу поставили бы 2 балла за такую методику, если бы он пытался доказать ее репрезентативный характер.
2. «Проблема в смысле слова "репрезентативности". Для целевой группы выборка репрезентативна в соответствии с объемом выборки».
Более бессодержательного и бессмысленного набора слов трудно придумать Репрезентативность она, извините, и в Африке репрезентативность. У этого понятия нет разных смыслов. Это свойство выборки отражать характеристики изучаемой генеральной совокупности. Репрезентативной может быть только случайная выборка. У Вас – квотная выборка с «темной» (но не случайной, как Вы сами написали) схемой отбора. О какой репрезентативности тут можно говорить!
3. «Внешняя валидность доказана сопоставлением с данными с пиплметров». Внешняя валидность эксперимента, проведенного по непонятной выборке, не может быть доказана «путем сопоставления данных с пиплметрами». Кстати, что именно Вы сопоставляли? Насколько мне известно, пиплметр фиксирует факт смотрения и все. Или я отстала от жизни, и современные пиплметры фиксируют реакцию (нравится, не нравится) на программы и рекламу? Сомневаюсь. В чем тогда состояло сравнение Вашей группы с контрольной?
После этих трех пунктов рассуждать про все остальное мне стало совсем неинтересно. Извините, оставляю их без комментариев
Таким образом, Вы, Михаил, наглядно продемонстрировали:
1. Полное непонимание ключевых понятий, на которых базируются все количественные исследования. А может быть, Вы все понимаете, но это еще хуже; значит, сознательно предлагаете халтуру. Причем, если Ваша критика фокус-групп в основном касалась неправильного их проведения и использования результатов, то в BAAR эта халтура заложена на уровне идеи. И от этого уже никуда не деться.
2. Своими собственными словами Вы подтвердили КАЧЕСТВЕННЫЙ характер предложенной Вами методики BAAR. Из приведенных Вами аргументов не было НИ ОДНОГО, который позволил бы затеплиться надежде, что Ваша методика является действительно количественным инструментом. BAAR – пример лабораторного эксперимента, который реализован как качественная методика. При желании ее можно было сделать количественной. Для этого надо было:
a. Обеспечить отбор респондентов по случайной выборке;
b. Обеспечить достаточный объем выборки;
c. Провести специальные эксперименты по оценке надежности, устойчивости и валидности измерений методики BAAR.
Но это уже другие организационные и финансовые затраты, которые сделают Вашу методику не такой продаваемой.
На основании нашей дискуссии я могу сделать только один вывод. И BAAR, и фокус-группы являются примерами качественных методов. Да, по характеру получаемых результатов (у Вас они формализованы, а в фокус-группах – нет) они отличаются друг от друга. Плюсы и минусы есть у каждой из них.
В связи с этим я хочу обратиться к Вам с настоятельной просьбой. Прекратите, пожалуйста, безосновательное и лишенное конструктивных аргументов обругивание метода фокус-групп. Ваша активная деятельность в этом направлении – наглядный пример сравнительной рекламы: КАЧЕСТВЕННАЯ методика BAAR, ничем не отличающаяся по возможностям использования результатов от фокус-групп, подается как некая гениальная разработка, позволяющая наконец-то покончить с этими шарлатанами, проводящими фокус-группы. Любой человек, занимающийся сравнительной рекламой, должен быть готов к тому, что его оппоненты возьмут в руки его же оружие. Надеюсь, Вы понимаете, что мне ничего не стоит дать серию интервью в СМИ о действительной полезности таких лабораторных методик, как BAAR. Я не думаю, что коллеги должны вести себя подобным образом. Но если Вы не прекратите своих нападок, мне ничего другого не останется.
В заключение хочу подчеркнуть, что согласна с кучей претензий и замечаний, которые предъявляются различным методам (в том числе и фокус-группам). Готова это обсуждать. Но я кардинально против того, чтобы для продвижения любой собственной методики (и особенно, методики непрофессиональной, якобы «количественной», но при этом построенной на игнорировании основ количественного подхода) использовался такой метод, какой избрали Вы.
С уважением,
Марина |
|
 |
0 |
 |
0 |
| Комментарий понравился? |
|
0 |
|
0 |
    01.12.2003 20:46 |  |
|
|
|
<<
< |
Марина, вы что-то путаете: генеральную совокупность можно задать любым, самым произвольным способом. Что Вы захотите считать генеральной совокупностью для ваших задач, то генеральной совокупностью и будет считаться.
Репрезентативность имеет, строго говоря, один параметр - объем выборки, который, кстати, не зависит от объема генеральной совокупности. Случайность отбора это способ обеспечения репрезентативности, на малых выборках случайность отбора обеспечить сложно технически (только из-за этого я признал, что она не очень случайна), но формально объем выборки на случайность не влияет и я могу занять более формальную позицию и у Вас не будет не единой возможности доказать, что это не так. Есть методы статанализа, которые анализируют распределение и из 3 наблюдений в группах сравнения (дискриминантный анализ, очень рекомендую).
Ваш задор строиться на ложной посылке, что BAAR оценивает долю, а это не так. Для примера: допустим, при случайном отборе в выборке в 50 человек будет 50% мужчин и 50% женщин при общем среднем росте 168 см. При увеличении выборки выясниться, что мужчин 46%, а женщин 54%, это колебания в пределах ошибки выборки. Но рост, при обеспечении случайности в первом отборе, будет 166, это тоже в пределах ошибки.
Так вот, BAAR измеряет рост и если оценка 65, то при увеличении выборки она будет 58 или 72. Для нас важно, что при увеличении выборка она не будет ниже 50 и оценки сравниваемых объектов не поменяются местами. Если же оценивать на фокус-группах, то распределение ответов "нравиться - не нравиться" 60% на 40% на каждой группе в 10 человек и на 5 группах ошибка будет суммироваться, искажаться за счет группового давления (что нарушает уже не случайность отбора, а независимость оценки) и уже на 3-ей группе ошибка распределения будет больше любой замеренной частоты, отличной от 0% или 100%.
Так что с оценками студентам осторожней, преподаватель может быть и сам быть дисквалифицирован за такое отношение к статистике.
Относительно пиплметров: они измеряют факт смотрения. Если считать факт РОСТА переключения во время рекламного ролика как поведенческий коррелят "нравиться- не нравиться" (или Вы не согласны с этим предположением?), то пиплметрическая панель являлась контрольной, абсолютно репрезентативной, заметьте, группой для BAAR (если Вы не согласны с репрезентацией панели, то это уже не ко мне).
Результаты одних и тех же роликов за трехмесячный период на разных группах показали устойчивость результатов на сопоставимых группах (понятно, что мужчинам нравиться одно, женщинам - другое). Всего этого для нас достаточно для подтверждения надежности, устойчивости и валидности методики.
Если Вас это не убеждает, я готов на следующее: вы осуществляете набор репрезентативной выборки в 400 человек, мы проводим 8 групп по 50 человек (это аппаратное ограничение) при Вашем присутствии. Сам я такое исследование делать не буду, публика будет все равно относиться с недоверием, но к сотрудничеству готов.
Заметьте, для фокус-групп так задача даже не ставиться. Это, собственно говоря, основной аргумент, что они в лучшем случае бесполезны, а чаще всего вредны.
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 21:45 | |
|
|
|
<<
< |
Кстати, Марина, Вы параллельно и интервью давайте, это еще никому не вредило...
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
01.12.2003 22:21 | |
|
|
|
Постов: 4
Дата регистрации: 01.12.2003 |
"Репрезентативность имеет, строго говоря, один параметр - объем выборки, который, кстати, не зависит от объема генеральной совокупности"
Репрезентативность не имеет никакого отношения к объему выборки. Репрезентативность, как уже сказала Марина, есть свойство выборки отражать характеристики ген совокупности. Могу лишь заметить, что отражать их в пределах допустимых интервалов ошибки выборки. Не нужно путать ошибки, которые зависят от объема выборки и репрезентативность, которая, фактически, означает несмещенность оценок.
По-моему, кому-то не лишне было бы почитать первую главу книжки по мат. статистике. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
02.12.2003 00:41 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Уважаемый Михаил!
Вот теперь точно в последний раз пишу столь подробно. Ваши рассуждения о репрезентативности и случайном отборе привели меня в полное замешательство. Ну нельзя же так. Вы ведь не журналист, пишущий об исследованиях, а руководитель компании, которая предлагает Заказчикам проведение этих самых исследований. Фантастическое непонимание того, о чем Вы говорите (или сознательное забалтывание собеседника?).
Я не готова в дальнейшем тратить столько времени в бесполезных спорах о том, является ли исследование, проведенное по неслучайной выборке, репрезентативным и какова у него ошибка выборки. Последний раз отвечаю. Не является! Ошибка выборки для него подсчитана быть не может! Это просто медицинский факт, с которым надо смириться. Не хотите смириться, почитайте книжки. У меня нет сил приводить здесь фрагменты из учебников по статистике и методам сбора и анализа данных.
Комментарии к Вашим фразам.
1. «Репрезентативность имеет, строго говоря, один параметр - объем выборки, который, кстати, не зависит от объема генеральной совокупности»
Эта фраза не несет в себе абсолютно никакого смысла. Репрезентативность вообще параметров не имеет, она сама является параметром выборки. Объем выборки действительно не зависит от объема генеральной совокупности (кроме тех ситуаций, когда объем выборки сопоставима с объемом генсовокупности, но это не наш случай). Объем выборки имеет отношение не к репрезентативности, а к ошибкам выборки (которые рассчитываются только для случайных выборок).
Но какое отношение все это имеет к нашей дискуссии? РЕПРЕЗЕНТАТИВНА ТОЛЬКО СЛУЧАЙНАЯ ВЫБОРКА, а Ваша – случайной не является. Вы с этим снова не согласны? В таком случае, мне нечего более Вам добавить, кроме уже стандартного - читайте книжки. Вы с этим согласны? Тогда я не понимаю, что Вы хотите сказать про репрезентативность.
Кстати, если бы даже Ваша выборка в 50 человек была случайной, то ее ошибка составила бы примерно плюс-минус 15%. Что само по себе, ох как не мало. А если у Вас пополам мужчин и женщин, и Вы представляете Заказчику результаты отдельно по половым группам, то для каждой группы ошибка выборки – плюс-минус 20%. А если Вы дробите свою «50-человечную» выборку дальше, то… Сами посчитайте. 1 разделить на корень из N. Так что если даже Вы сделаете свою выборку случайной – 50 человек это все равно слишком мало для того, что принимать серьезные решения на основе такого исследования.
2. «На малых выборках случайность отбора обеспечить сложно технически».
Просто глупость какая-то. Случайность отбора одинаково можно осуществить как на малых, так и на больших выборках. Абсолютно одинаково!!! Случайность отбора предполагает выполнение следующего требования: каждый элемент генсовокупности должен иметь сопоставимые возможности попасть в выборку (при простых случайных выборках так просто равные). При чем тут размер выборки?
3. «Объем выборки на случайность не влияет»
Конечно, как и случайность на объем выборки) Дикая фраза для человека, занимающегося исследованиями, свидетельствующая о глубинном непонимании предмета.
4.«Она (выборка) не очень случайна».
Михаил, ну это просто классика! Не бывает осетрины не первой несвежести, также не может быть «не очень случайной» выборки. Выборка или случайная или неслучайная. Посередине не бывает. Вы пытаетесь доказать, что Ваша осетрина не первой несвежести чертовски хороша? Не убеждает.
5. «Я могу занять более формальную позицию и у Вас не будет не единой возможности доказать, что это не так». Попробуйте занять формальную позицию. Это интересно.
6. «Есть методы статанализа, которые анализируют распределение и из 3 наблюдений в группах сравнения (дискриминантный анализ, очень рекомендую)»
Любой стат.метод может работать с малыми группами, проблема здесь в том, что оценки параметров (скажем, в дискриминантом, или в близком к нему регрессионном анализе) будут крайне неустойчивыми, доверительные интервалы – огромными. В этой связи Ваши рекомендации не хороши и пользоваться ими при работе с малыми выборками я не буду.
7. «Ваш задор строиться на ложной посылке, что BAAR оценивает долю, а это не так. Для примера: допустим, при случайном отборе в выборке в 50 человек будет 50% мужчин и 50% женщин при общем среднем росте 168 см. При увеличении выборки выясниться, что мужчин 46%, а женщин 54%, это колебания в пределах ошибки выборки. Но рост, при обеспечении случайности в первом отборе, будет 166, это тоже в пределах ошибки. Так вот, BAAR измеряет рост и если оценка 65, то при увеличении выборки она будет 58 или 72. Для нас важно, что при увеличении выборка она не будет ниже 50 и оценки сравниваемых объектов не поменяются местами. Если же оценивать на фокус-группах, то распределение ответов "нравиться - не нравиться" 60% на 40% на каждой группе в 10 человек и на 5 группах ошибка будет суммироваться, искажаться за счет группового давления (что нарушает уже не случайность отбора, а независимость оценки) и уже на 3-ей группе ошибка распределения будет больше любой замеренной частоты, отличной от 0% или 100%».
Я ничего не поняла из этого объяснения. Видимо, Вы пытались мне как-то пояснить про то, что Вы не точные проценты даете, а с учетом доверительных интервалов. А что если на фокусах считать, то будут накапливаться ошибки измерения и ошибки выборки. Что-то в этом роде? Если так. То вновь повторю у Вас не случайная выборка. Забудьте Вы про ошибки выборки. А что касается ошибок измерения, они у Вас есть наверняка. Но отдельную дискуссию на эту тему я затевать не хочу.
Единственное, что еще стоит повторить, мы ничего не считаем на фокус-группах (только для более наглядного представления их результатов и все; никакая цифра ни на какую целевую группу никогда не транслируется). И потому не вижу смысла подобных сравнений. Вы можете считать по BAAR все, что Вам угодно. И снова повторяю (уже из последних сил): только это нельзя транслировать на генсовокупность по причине неслучайности Вашей выборки.
8. «Относительно пиплметров: они измеряют факт смотрения. Если считать факт РОСТА переключения во время рекламного ролика как поведенческий коррелят "нравиться- не нравиться" (или Вы не согласны с этим предположением?), то пиплметрическая панель являлась контрольной, абсолютно репрезентативной, заметьте, группой для BAAR (если Вы не согласны с репрезентацией панели, то это уже не ко мне).
Михаил, я не могу просто так согласиться с тем, что факт роста переключения во время рекламного ролика это поведенческий коррелят. Вероятно, Вы это как-то изучали и обладаете какой-то информацией, которой у меня нет. Могу только сказать (как страстный любитель качественных методов), что я переключаю ТВ с канала на канал независимо от того, нравится или нет мне реклама. Это скорее связано с интересом к той программе, в которой идет рекламный блок. Если она для меня скучна, то рекламная пауза – повод пощелкать кнопкой. Если интересна, я не переключаю. В крайне редких случаях, когда я вижу рекламный ролик впервые, могу на нем задержаться и досмотреть до конца и в случае скучной программы. Если так себя веду я, могу допустить, что есть еще люди с аналогичной моделью поведения, а вот сколько их, оценить не могу. Качественные методы этого не позволяют, но сомнения в истинности Вашей гипотезы заронить могут. Спорить не буду, это надо специально проверять.
Про репрезентативность пиплметрических панелей не надо. Столько про это было сказано... Понимаю, что это не к Вам, поэтому дальше не обсуждаю. Но я бы не стала, на Вашем месте, «нажимать» на слова «абсолютно репрезентативные» пиплметрические измерения. Это свидетельствует о Вашем незнании основ выборочного метода и всяких его деталей, типа систематических ошибок, влияющих на репрезентативность. Выборка пиплметров просто кишит этими систематическими ошибками.
5. «Результаты одних и тех же роликов за трехмесячный период на разных группах показали устойчивость результатов на сопоставимых группах (понятно, что мужчинам нравиться одно, женщинам - другое). Всего этого для нас достаточно для подтверждения надежности, устойчивости и валидности методики».
Вот это первое более ли менее внятное слово про достоинства BAAR. С этого надо было начинать. Но все равно настаивать при этом на репрезентативности повода нет (сто раз выше написала почему), как нет повода считать BAAR количественной методикой. Ваш аргумент доказывает лишь, что методика валидна. Но ее характер (качественный) от этого не меняется.
Кстати, об устойчивости и т.п.… Классический пример 2-х выборных исследований в США 1936 г. Подробно описывать не буду, есть во многих учебниках. Если не знаете его, непременно почитайте. Абсолютно не удивлюсь, если вы столкнетесь с аналогичным случаем на своих BAAR.
6. «Если Вас это не убеждает, я готов на следующее: вы осуществляете набор репрезентативной выборки в 400 человек, мы проводим 8 групп по 50 человек (это аппаратное ограничение) при Вашем присутствии. Сам я такое исследование делать не буду, публика будет все равно относиться с недоверием, но к сотрудничеству готов».
Конечно же, я этим заниматься не буду. Мне не очень интересна Ваша методика, особенно, после этой дискуссии. Но самое главное даже не в этом. Что Вы докажете таким образом? Что Ваша методика работает? Да ради Бога! Она от того, что работает, репрезентативной и количественной не станет. Ну как Вы не понимаете, что репрезентативность, валидность, надежность и т.п. это разные вещи. Почитайте хотя бы Паниотто.
7. «Заметьте, для фокус-групп так задача даже не ставиться. Это, собственно говоря, основной аргумент, что они в лучшем случае бесполезны, а чаще всего вредны.»
Да ну что Вы! Масса статей в западных журналах 100-летней давности была про такие эксперименты. И проводили их стойкие позитивисты, сторонники количественных методов в период активного противостояния количественников и качественников. К сожалению, на домашнем компьютере у меня закончился доступ к PROQUEST, а то сразу бы статьи скачала. «Легкие» темы типа потребления молока или знания и отношения к политическому деятелю дают примерно те же цифры (на фокусах и при опросах). «Сложные» (например, отношение к гомосексуализму) не всегда. Но кто тут больше «врет» - опрос или фокус-группа – непонятно. На самом деле давным-давно никому (я имею в виду специалистов, а не халтурщиков) в голову не приходит решать количественные задачи методом фокус-групп. Поэтому смысла в таком эксперименте я просто не вижу. А для Вас, конечно, подобный эксперимент смысл имеет, Вы ведь пытаетесь доказать, что BAAR – количественный метод.
Михаил, при всем моем искреннем уважении к Вам (мне, правда, понравились Ваши статьи, связанные с брендингом, иначе не втянулась бы в эту дискуссию)… Но кому показать Ваши рассуждения о репрезентативности и случайной выборке, ведь стыда не оберешься. Не сочтите за наглость, но я бы не рекомендовала Вам позиционировать свою методику как количественный метод. Говорите, что она носит качественный характер, но в отличие от фокус-групп:
- стандартизирована;
- формализована;
- позволяет собрать одновременно больше людей (а, значит, более оперативна)
- проверена на надежность и устойчивость;
- лишена недостатков группового давления
- позволяет делает сравнения;
и так далее… Наверняка много, чего еще придумаете).
В этом случае Вы хотя бы сохраните лицо профессионала, которое сейчас скрылось за маской типичного «впаривателя» своего товара ничего не понимающим Заказчикам, смотрящим с робкой надеждой на человека, который за разумные деньги даст им конкретные цифры (цифры это ключевое слово), а не отчет на 50 страниц. А все остальное пусть останется на Вашей совести…
Пожалуй, наряду с приглашением выступить на нашем круглом столе, приглашу Вас и на наши учебные семинары по методам анализа данных. Думаю, для Вас лишним это точно не будет.
Кстати, понимая, что Вы можете не воспринимать мои слова, так как специалистом по количественным методам я не являюсь, я попросила прочитать это письмо А.Крыштановского (если вы не знаете – декан ф-та социологии, зав.каф.методов сбора и анализа информации, специалист именно по количественным исследованиям с огромным опытом практической работы в социальных и маркетинговых исследованиях). Надеюсь его мнение позволит нам поставить точку в бессмысленных рассуждениях о репрезентативности (Ваша позиция) или нерепрезентативности (моя позиция) неслучайной выборки объемом в 50 человек.
С уважением,
М.Власова
А.Крыштановский |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
02.12.2003 11:53 | |
|
|
|
<<
< |
Марина, ошибка выборки по доле в 50 человек составляет 11%. По сравнительным величинам - в зависимости от дисперсии. Почитайте учебник раздел "Формирование выборки при неизвестной дисперсии",а потом уже так кипятитесь.
При наборе группы что в 50, что в 400, что в 1500 Вы, как правило, еще не знаете дисперсию и ошибку выборки для метрик. Вы "фиксированы" на ошибке доли, но нас доля не интересует. Получив определенную дисперсию на СЛУЧАЙНОЙ выборке в 50 человек мы можем решить, надо нам увеличивать выборку или нет. Обычно - нет.
ВСЕ исследования, проводимые везде, строятся на несколько ступенчатых выборках, обычно с квотным контролем. Или Вы строите действительно случайную выборку? Извините, не верю.
А мнение факультета социологии меня с некоторых пор не интересует, эти люди проводят "российские репрезентативные исследования" с выборкой в Питере в два раза больше, чем в Москве. Что они могут нам рассказать?
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
03.12.2003 02:00 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Уважаемый Михаил!
1. Начну с конца. Если Вы про ф –т социологии МГУ, то я про Высшую школу экономики. Извините, забыла вписать. Никакие "российские репрезентативные исследования" факультет точно не проводил. Ваше мнение насчет МГУ полностью разделяю.
2. «ВСЕ исследования, проводимые везде, строятся на несколько ступенчатых выборках, обычно с квотным контролем. Или Вы строите действительно случайную выборку? Извините, не верю».
Да, случайные (или вероятностные) выборки бывают и многоступенчатыми, и стратифицированными, но далеко не все и далеко не всегда.
Квотный контроль – это вообще про другое. Это именно контроль по окончании сбора данных, а не реализация выборки. Быть может, Вы имеете в виду квотную выборку, в которой отбор респондентов осуществляется по принципу случайного отбора. Да, эмпирически доказано, что результаты такого исследования (случайный отбор внутри квот категорически необходим!), оказываются сопоставимыми с результатами исследований по случайным выборкам. Но, заметьте, квотную выборку случайной никто не называет.
Но какое это все имеет отношение к теме нашей дискуссии? Это Вы так пытаетесь объяснить свою «не очень случайную выборку»? Не получится. Потому что ВСЕ вероятностные выборки (в том числе и многоступенчатые) базируются на принципах случайного отбора. А Ваша – нет, сами сказали.
3. «Ошибка выборки по доле в 50 человек составляет 11%. По сравнительным величинам - в зависимости от дисперсии. Почитайте учебник раздел "Формирование выборки при неизвестной дисперсии",а потом уже так кипятитесь.
При наборе группы что в 50, что в 400, что в 1500 Вы, как правило, еще не знаете дисперсию и ошибку выборки для метрик. Вы "фиксированы" на ошибке доли, но нас доля не интересует. Получив определенную дисперсию на СЛУЧАЙНОЙ выборке в 50 человек мы можем решить, надо нам увеличивать выборку или нет. Обычно – нет.»
Я ничего не поняла из Вашего объяснения. Откуда взялись 11%? Ошибка выборки (СЛУЧАЙНОЙ) считается при наихудшей дисперсии (разброс 50/50). Быть может, Вы откуда-то знаете, что у Вас дисперсия меньше? И для этой «меньшей» дисперсии ошибка получается 11%? Так надо было про это написать. Хотя, впрочем не надо:) Так как нет формул ошибки выборки для неслучайных выборок, Вы наверянка используете формулу для случайной выборки. Но откуда вдруг взялась СЛУЧАЙНАЯ выборка в 50 человек? Она же у Вас не случайная:) Или вдруг за эту ночь стала случайной?:)
4. Раздел "Формирование выборки при неизвестной дисперсии" – это практически весь учебник. В подавляющем большинстве случаев дисперсия неизвестна. Так что специфики не вижу.
Что мы с Вами обсуждаем, Михаил? Ну, честное слово, раз от разу ощущение старательного забалтывания Вами собеседника у меня возрастает. Свои явные ошибки Вы не желаете признать (впрочем, Это Ваше право), а уводите разговор все дальше и дальше от темы. Это не интересно и не конструктивно.
М. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
03.12.2003 03:00 | |
|
|
|
Постов: 28
Дата регистрации: 11.11.2003 |
Реплика в сторону.
Про принятие решений.
С моей точки зрения, любое исследование – это только уменьшение неопределенности при принятии решения.
А решать все равно самим.
Так что, в конечном счете, неважно – количественное это исследование или качественное.
Важно то, дает ли оно дополнительную информацию, которая проясняет ситуацию или не дает.
Как говорит один хороший человек:
«Сколько исследований не делай, а принимать решение все равно придется!» |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
03.12.2003 14:00 | |
|
|
|
Постов: 28
Дата регистрации: 11.11.2003 |
Еще одна реплика в сторону:
Я тут прочитала, что было написано за время моего отсутствия.
По-моему, позиции сторон предельно ясны (спасибо Марине за четко аргументированные реплики!), дискутировать по этому вопросу далее бессмысленно.
Но, у Михаила, очевидно, принцип:
«Умру, но последняя реплика должна остаться за мной»
По-видимому, именно это ассоциируется у него с победой в споре, а вовсе не четкие аргументы и ясная позиция.
Так вот:
Михаил!
Я дарю Вам эту последнюю реплику!
Обещаю промолчать, чтобы Вы ни сказали.
Пожалуйста, можете еще раз высказать по поводу абсурдности всех исследований.
Да даже (гулять - так гулять!) по поводу случайной выборки и её ошибки.
прощайте!
(или... до встречи в других дискуссиях?) |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
03.12.2003 14:45 | |
|
|
|
<<
< |
Марина, как известно, "случайная выборка" процесс совсем не случайный. Для формирования её необходимо контролировать довольно много параметров. Конечно же, при наборе 50 человек конкретной целевой группы, мы не контролируем все возможные параметры, из-за этого я и признал, что она "не вполне случайна".
Как Вы понимаете, выполняя в дальнейшем отбор 50 человек соответствующей квоты (репрезентация 18+ при тестировании же не нужна в принципе) по полной процедуре случайного отбора (для Москвы), я же сниму это возражение к BAAR. Что тогда Вы скажите против информативности метода?
Михаил Дымшиц
PS. Пару дней меня не будет, не смогу ответить сразу. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
03.12.2003 16:19 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Михаил!
Как можно понять из Вашего текста, для Вас СЛУЧАЙНАЯ выборка это не метод формирования выборки путем случайного (конечно же, не в бытовом смысле слова) отбора, а соответствие параметров выборочной совокупности параметрам генеральной совокупности. Вы путаете причину и следствие. Ваше описание случайной выборки это скорее квотная, а не случайная выборка. При случайной выборке контролировать надо не параметры, а схему отбора и интервьюеров! При правильной реализации случайной выборки параметры появятся автоматически:)
Рада, что заронила в Вас сомнение в Вашей методике:) А то стали бы Вы свой взор на такую чепуху, как случайная выборка обращать:)) . Но сначала все же разберитесь, что такое случайная выборка, а то все усилия будут впустую. Пока не очень похоже, что Вы это понимаете.
В ответ на информативность опроса объемом в 50 человек я уже все сказала раньше и неоднократно. Вам позволяет совесть давать на такой выборке рекомендации Заказчикам, это Ваше дело. Мне и любому профессионалу – не позволяет.
Все! Это был мой последний ответ! Надоело и времени жаль! Я все для себя поняла. Думаю, наблюдатели за нашей дискуссией тоже.
С уважением и пожеланиями успехов,
Марина Власова |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
03.12.2003 17:37 | |
|
|
|
<<
< |
Зритель
Так как я записан модератором раздела (одним из трех), Ваше предложение это камень в мой огород. По моему представлению о нашей специализации среди тройки, Loaf должен вносить конструктивизм в эту дискуссию. Мне не хватает знания нюансов предметов. Второе высшее образование по математике есть, а по психологии нет. А спор на грани психологии и социологии. Предложения Ваши толковые. Назрела очная дуэль. Как с Манном. Только острая в обе стороны. Предлагаю провести на клубе или к 23 февраля или к 8 марту. Зал есть. Теперь у клуба все на 100%. Опрос маркетологов, кто победил организуем. Я сразу встану на сторону Марину. Она выиграет у Михаила. Такой мой прогноз. Есть еще проблема объявление надо давать за месяц. Ребятам тем, что работают в практическом маркетинге надо перечитать материалы по ФГ, проективным методом, факторному анализу и т. п. В работе отделов маркетинга все это занимает менее 10, ну, 15% времени.
С уважением Эдуард Бутаев |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
06.12.2003 14:08 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Уважаемый Эдуард!
Благодарю за приглашение. Но вряд ли я его приму. Причин этому несколько.
1. Наш спор с уважаемым г-ном Дымшицом мне кажется настолько неинтересным и непрофессиональным, что я не вижу "поляны" для массового обсуждения. То, о чем мы "спорили" написано во всех учебниках. Меня попросили коллеги ответить Михаилу, я и отвечала:)
2. Я сама являюсь одним из организаторов встреч маркетологов в ГУ-ВШЭ (круглый столы Русинфомар + ГФК + Высшая школа экономики). По этой причине дискуссию о качественных методах, как Вы понимаете, мне интереснее проводить на своей площадке.
3. Опрос маркетологов, кто победил, мне вообще не кажется хорошей идеей. Я понимаю, если бы мы обсуждали что-то новое. Но какой смысл голосовать о "классике жанра"? Это просто нечестно по отношению к Михаилу.
4. По Вашим же словам, Вашим коллегам необходимо заранее подготовиться, восстановить в памяти эти азы. У практикующего маркетолога (если под данным словом Вы понимаете специалиста по маркетинговым исследованиям) они должны от зубов отскакивать; если под маркетологом Вы имеете в виду сотрудников отделов маркетинга, так все эти тонкости им не так уж и нужны. При таком уровне подготовки участников обсуждение с большой вероятностью превратится в ликбез, а это также не вызывает у меня ни малейшего интереса. Тем более, что наша компания и так проводит и бесплатные и платные семинары по методам маркетинговых исследований.
Так что еще раз спасибо. Извините за отказ.
С уважением,
М.Власова
директор консалтинговой группы "Русинфомар" |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
06.12.2003 22:11 | |
|
|
|
<<
< |
Господа, я готов участвовать в обсуждении на любой площадке.
Марина Власова умело, модератор все-таки, передернула кое-что в обсуждении. Она так и не ответила на основной вопрос дискуссии и внесенный ей дополнительный:
1) зачем нужно проводить фокус-группы при тестировании рекламы, если управленческих решений принимать по их результатам нельзя (а невозможность таких решений Марина признала)
2) почему результаты тестирования на 50 респондентах, относящихся к определенной целевой группе и отобранных по правилам случайного отбора (я цитирую Марину: "квотную выборку, в которой отбор респондентов осуществляется по принципу случайного отбора"), нельзя экстраполировать на генеральную совокупность этой целевой группы. Хотелось бы узнать, на чем основано утверждение что "50 человек это все равно слишком мало" для экспериментального исследования, лишенного факторов группового и модераторского давления. Почему мало 50? Или при каких условиях 50 мало? Никаких формальных оснований для этого нет, меня же пытались убедить, что случайность отбора обеспечивает репрезентативность при любом объеме выборки (я вообще с этим согласен, но тогда BAAR количественное исследование).
Михаил Дымшиц
PS. Некоторые цитаты от Марины Власовой я включу в ближайщий текст о тестировании рекламы и принципиальной бесполезности фокус-групп, а также мы расширим аргументацию за экспериментальные методы кое-какими подсказанными нюансами. Спасибо. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
07.12.2003 13:32 | |
|
|
|
Постов: 42
Дата регистрации: 28.11.2003 |
Уважаемый Михаил!
Единственная просьба. Покажите, пожалуйста, мне свой текст перед публикацией. Ваши два вопроса наводят на мысль о том, что мои цитаты могут быть выдернуты из контекста или просто изменены. По-моему, в такой просьбе нет ничего особенного. Так поступают все нормальные журналисты, когда публикуют материалы с цитатами других людей.
Не хотелось бы без собственного участия стать сторонником оппонента, с которым у меня настолько разные взгляды на методы маркетинговых исследований и ответственность исследователя перед Заказчиком. |
|
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
07.12.2003 15:05 | |
|
|
|
<<
< |
Уважаемый Михаил!
Ваши вопросы вызывают, по меньшей мере, искреннее удивление. Тем более, что ответы на них совершенно очевидны, и уже звучали в данной дискуссии.
Во-первых.
Фокус-группы полезны при ПРЕДВАРИТЕЛЬНОМ тестировании рекламных материалов, когда еще есть возможность внести в эти самые материалы некие корректировки. Они дают возможность взглянуть на рекламу глазами потребителей, увидеть то, что, вероятно, ускользнуло от дизайнера, заказчика и прочих профи. Спросите любого модератора, и он Вам приведет множество примеров того, как невинный, на первый взгляд, креативный ход, воспринимается людьми совершенно не так, как это мог предположить дизайнер. Вы считаете, что такая информация не важна и не интересна? Рекламисты так не считают. Заказчики тем более.
На фокус-группах также могут быть выявлены худшие образцы (которые негативно были восприняты всеми или подавляющим большинством представителей различных целевых групп).
Но эти плюсы фокус-группы, тем не менее, не позволяют отобрать окончательный вариант рекламного материала, а, следовательно, принять управленческое решение. И про это Марина Вам писала.
Во-вторых.
50 человек - мало всегда. И в этом смысле эксперимент это или опрос – никакого значения не имеет. Почему мало – Вам Марина написала несколько раз. Из-за огромной ошибки выборки. Это и есть то самое, что ни на есть, формальное основание, описанное в любом учебнике. Вас никто не пытался убедить, что «случайность отбора обеспечивает репрезентативность при любом объеме выборки». Откуда Вы это взяли? Покажите, приведите цитату, пожалуйста. Скорее наоборот, Вам терпеливо пытались объяснить, что даже если Ваши 50 человек будут отобраны случайным образом, это не позволит принимать аргументированные решения на основе такого исследования (из-за огромной ошибки выборки).
Я прекрасно понимаю, почему Марина отказалась от дальнейшей дискуссии. Чужие аргументы Вы не видите или видеть не желаете, что в общем-то одно и то же. Книг, похоже, не читаете… С таким собеседником разговаривать было бы не интересно даже мне, хотя я себя «крутым профи» пока не считаю.
С уважением,
К.С. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
07.12.2003 17:14 | |
|
|
|
<<
< |
Добрый вечер уважаемая Марина! Видел Ваш ответ. Прочел внимательно. Ну,…
Позвольте шутку. Когда за столом задают вопрос: «Кто такой маркетолог»? Вспоминается байка, что если у слесаря большая беда, он инстинктивно начинает искать тиски, литейщик кувалду, оперативник пистолет. А что начинает делать маркетолог? |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
07.12.2003 19:28 | |
|
|
|
<<
< |
Прохожий
В студенчестве помню, учили, как только дискуссия переходит на личности. Типа: «Вы книжки-то читали»? Она превращается в выяснение личных отношений в … С 1993 года российские социологи широкой сетью семинаров «образовывают» маркетологов и рекламистов. Не надо образовывать. Для этого есть студенты. Дайте отработанные методы. Создайте процедуры и выкиньте из среды исследователей не профессионалов. Тех, кто дал неверную рекомендацию заказчику, потому, что схалтурил методически. Или просто не понимает, как работает рынок, как там конкурируют. Таких много и начитанность (не хочу заменять этот термин) их не вызывает сомнения. Да не мне Вам это говорить, если Вы знающий социолог. До тех пор, пока нет гарантий эффективности рекомендованных исследователями рекламных продуктов, интересны любые мнения. |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
07.12.2003 20:42 | |
|
|
|
<<
< |
Дополнение Прохожему.
После ответа Вам начал работать. Открыл сайт журнала "Практика рекламы" и тут же был приглашен обучиться за два дня (13.12 и 14.12.2003) у "известного социолога" методике проведения фокус-групп на 100%. http://4p.ru/katarsis/katarsis.html#4. Да по вполне доступным ценам $120.
А Вы хотите, чтобы маркетологи относились ко всему к этому без настороженности и без улыбки.
"Эдуард Ридецкий - тренер УЦПП "Катарсис", бизнес-консультант. Социолог, тренер НЛП Международной категории. Специалист по маркетинговым исследованиям, психологии рекламы. Большой опыт участия в политических кампаниях и маркетинговых исследованиях в бизнесе. Модератор и аналитик фокус-групп с 1998 года." |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
07.12.2003 22:35 | |
|
|
|
<<
< |
Господа, что такое "огромная ошибка выборки?" . Это эмоциональная оценка, а не статистический факт. Более того, когда я написал, что случайность отбора при выборке в 50 человек проблема техническая, мне "поставили на вид", теперь некто К.С. говорит, что я не прав, утверждая, что случайность и репрезентативаность можно обеспечить на малых выборках. Вы займите консолидированную позицию, а то постоянная смена точки зрения слегка надоела.
Относительно тех "положительных" моментов групповых дискуссий, которые указал К.С., выше я уже писал, что эти задачи отлично решаются с помощью индивидуальных интервью, без некоррегируемых технических недостатков групповой динамики и влияния модератора, а также опасностью ложноположительного внимания к незначимым моментам.
Также стало ясно, что ни технической, ни содержательной разницы между результатами экспериментальных методов, количественных исследований и групповых дискуссий мои оппоненты или не знают или не понимают или в этом не признаются.
Суть же в том, что если:
при долевой оценке 1) если 70% случайной выборки в 50 человек оценили без групповых и других модерирующих смещений конкретный вариант положительно, то как бы вы дальше выборку не увеличивали, результат тестирования на отрицательный не измениться (по крайней мере, при согласии со статистической гипотезой, не должно);
2) если у вас сравнительная шкала, то в зависимости от средней и дисперсии у вас также есть возможность оценить возможность изменения результата теста на противоположный или оценить достоверность различий тестируемых вариантов.
В результате 1) если вариант тест прошел, почему "он это смог сделать" уже не важно; 2) если вариант тест не прошел, то почему, тоже знать не обязательно, кроме того, что использованная аргументация оказалось "пустой" и надо использовать другую аргументацию. Но эту "другую" с надеждой на эффективность на фокус-группе можно найти только случайно.
Михаил Дымшиц |
|
<
|
0 |
|
0 |
| Комментарий понравился? |
|
0 |
|
0 |
07.12.2003 23:15 | |
|
|
|
 | Тема является закрытой на добавление сообщений! |
|
|
|
|
|
© "ООО Состав.ру" 1998-2024
тел/факс: +7 495 225 1331 адрес: 109004, Москва, Пестовский пер., д. 16, стр. 2
При использовании материалов портала ссылка на Sostav.ru обязательна!
Администрация Sostav.ru просит Вас сообщать о всех замеченных технических неполадках на E-mail
|
|
|
|
