Использование частотных словарей в КР

Profile

Дмитрий Петряшов^©

Ride the lightning

Постов: 2245
Дата регистрации: 08.08.2006

Любопытный материал из блога Юрия Смирнова:

Как бы ни была красива гипотеза, рожденная с помощью URS, ее нужно проверить с двойным усердием: все-таки мы исследуем статистические закономерности в ограниченной персональной базе данных. Однако практика показывает, что в качественно отфильтрованной информационной «капле» можно обнаружить примерно те же тенденции, что и в «океане» данных.

Unique Record Set (www.downloads.noolab.ru/urs.zip)

Утилита URS, строго говоря, создавалась для лингвистов, составляющих частотные словари употребления слов. Но, за неимением других эффективных бесплатных инструментов, будет полезна и бизнес-аналитику (и, к слову, отчасти возьмет на себя часть функций, с которыми в силу слабого знания русского языка не может справиться программа Inxight SE).
К примеру, вы можете сформировать словарь часто употребляемых слов в папке публикаций о фирме Nokia. Затем – создать точно такие же словари для других производителей мобильных телефонов: Samsung, Motorola, Sony- Ericson , Alkatel и др. После этого остается сравнить с помощью утилиты полученные словари – и проанализировать различия. А затем приступить к целенаправленному поиску ответов на вопросы: «Что скрывается за словом «конфликт», которое повторяется 20 раз, или за словом «инвестор», встречающимся 50 раз?» В этом вам помогут рассмотренные ранее программы.
URS позволяет наглядно сравнивать не только отличия, но и пересечения частотных словарей. Их анализ, возможно, породит рабочую гипотезу о типичном для данного рынка поведении и об отстройке отдельных компаний от конкурентов. Ясное дело, как бы ни была красива гипотеза, ее нужно проверить с двойным усердием: все-таки мы исследуем статистические закономерности в ограниченной персональной базе данных. Однако практика показывает, что в качественно отфильтрованной информационной «капле», можно обнаружить примерно те же тенденции, что и в «океане» данных.
Чтобы не просматривать сотни бесполезных с точки зрения вашего запроса слов, вы можете отобрать только те слова, которые встречаются в текстах не реже определенного количества раз. Либо – соответствуют заранее определенному набору слов.
© Юрий Смирнов

Взято отсюда: http://ury-smirnov.mylj.ru/11375.html

--------
Маркетинг и конкурентная разведка

21.05.2007 10:59