воскресенье, апреля 27, 2008

Статистика и модели

На Гуглпосте сделали внутреннюю статистику. Считается:
  • количество экспертов
  • количество обработанных вопросов (т.е. общее количество поступающих на ВиО новых вопросов),
  • сколько вопросов распознано (т.е. определена тема и вопрос будет отправлен на e-mail эксперту),
  • сколько вопросов не распознано (вопрос никому не отправляется),
  • сколько разослано писем (экспертам),
  • количество разосланных в письмах вопросов (в одно письмо могут входить несколько вопросов),
  • количество кликов по ссылкам в письмах (попытка сделать ответ).
Дополнительно еще доделываем статистику по учету эффективности экспертов в темах, но об этом подробно чуть позже.

Для чего это все надо. Давайте рассматривать ВиО как модель, т.е. абстрагируясь от личного отношения и вещей, которые невозможно формализовать, таких, например, как "качество ответа" или "качество аудитории экспертов".

Есть поток входящих запросов, который несложно увеличить во много раз с помощью рекламы. Есть определенное количество людей, которые хотят отвечать на эти вопросы. Если поток станет слишком большим, эксперты попросту не будут успевать отвечать, поэтому, чтобы обеспечить хорошие ответы при наличии заданного количества экспертов и возрастающем потоке необходимо предпринимать усилия для максимальной экономии времени экспертов, т.е.
  • не заставлять экспертов читать вопросы, которые им не интересны,
  • "заставлять" читать один и тот же вопрос несколько экспертов, которым этот вопрос интересен,
  • максимально точно определять тему, чтобы фокусировать на вопросе внимание только тех экспертов, которые отлично разбираются в предмете.
Иными словами, "на лету" создавать вокруг каждого вопроса сообщество экспертов-ответчиков. Гуглпост как раз и является механизмом, который должен решить эту задачу. А вышеприведенная статистика может рассматриваться следующим образом:
  • количество экспертов - чем больше, тем лучше,
  • количество обработанных вопросов - популярность ВиО, чем больше, тем лучше,
  • сколько вопросов распознано - идеально, 100%,
  • сколько вопросов нераспознано - идеально, 0%,
  • количество разосланных писем - технический показатель, это количество зависит от периода рассылки,
  • количество разосланных в письмах вопросов - один вопрос может попасть в письма двум, трем и более экспертам, т.е. чем больше этот показатель, тем больше размер экспертной группы (в среднем), формируемой вокруг вопроса,
  • количество кликов по ссылкам в письмах - идеально, оно равно количеству разосланных вопросов, т.е. чем ближе к нему, тем лучше.
Вот пара показателей на сегодняшний день:
  • всего зарегистрированных на Гуглпосте экспертов - 63,
  • количество обработанных системой вопросов (с 8 апреля) - 4488,
  • количество нераспознанных вопросов - 1615, т.е. 36%.
Соответственно, необходимо повышать первый показатель и снижать второй. О динамике и методах этого дела я буду регулярно рассказывать.

6 комментариев:

DepoZit комментирует...

Отметим совпадение:
- всего зарегистрированных на Гуглпосте экспертов - 63
- Подписчиков блога - 63

neiron комментирует...

Угу, совпало. Хотя полная версия выглядит так.
Количество экспертов:
8 апреля - 4
15 апреля - 5
22 апреля - 11
23 апреля - 50
24 апреля - 57
25 апреля - 61
26 апреля - 62
27 апреля - 66 (может, к вечеру еще добавятся)

vol комментирует...

Вообще то это несколько нескромно величать подписчиков гуглпоста "экспертами". Это всего лишь участники ВиО выразившие желание получать сообщения о вопросах в выбранных ими темах на "мыло".
И помещенный в вопрос "ответ" чаще всего ответом не является.
Я не заметил увеличения количества ответов на странице, да и качество их не изменилось.
Так что хоть и есть попытка создания механизма, но решающего значения в изменении ситуации в количестве ответов, их полезности и уменьшении вопросов без ответов без реальной заинтересованности экспертов не будет.
Ну засадит neiron всех работников "Ашманова" отвечать- к закрытию этапа по продвижения ВиО видимость может и будет создана, но на этом все и закончится

neiron комментирует...

=но решающего значения в изменении ситуации в количестве ответов, их полезности и уменьшении вопросов без ответов без реальной заинтересованности экспертов не будет=
Я тоже в курсе, что Волга впадает в Каспийское море. :0) Насчет "ну, засадит neiron", как говорится, красиво мыслить не запретишь.

Экспертами я называю всех, кто отвечает на ВиО. Естественно, определенную путаницу в терминологию это вносит, многие "эксперты" вопросы задают. Но не в словесных тонкостях сейчас дело. Необходимо сформировать ядро людей (экспертов, можно?), которые будут хорошо отвечать на вопросы по теме. Тем много, т.е. "ядер" тоже должно быть много. Человеку нравится, когда его называют "экспертом", а если он эксперт еще и гугловского сервиса - нравится вдвойне, так что слово вполне канает под графу "нематериальное стимулирование".

Спасибо, что Вы пытаетесь оценивать количество и качество ответов на ВиО и делиться наблюдениями. Если будут конкретные предложения, кидайте на форум, пожалуйста. http://www.orkut.com/CommTopics.aspx?cmm=44970365

Anastasia комментирует...

Меня с первой рассылки заинтересовало, а после второй любопытство возросло еще больше. Создавать тему для таких городов как Москва, Питер, Киев резонно, но с первой рассылки и до сегодняшнего дня я не получила ни одного вопроса про г. Тула.
И таких городов, видимо, будет большинство.
Ну и будут висеть эти темы, и что из того?
И еще у меня есть вопрос непосредственно по рассылке вопросов на почту. Дело в том, что в другой моей теме, связанной с языкознанием и литературой, я ввела только 3 ключевых слова, первое, что пришло в голову:
литература
язык
автор.
Но получаю часто вопросы, в которых эти слова не содержатся, однако достаточно релевантные моей теме.
Например, такой:
"Как правильнее (культурнее) говорить: "хавать", или "хамать"? "
или "Марокканский диалект! Переведите, пожалуйста! Что значит "wa bara zab hadik hbila"?"

Таких вопросов было много.
Может быть, я чего-то не понимаю, но ощущение такое, что мой список ключевых слов был расширен, потому что на самом деле вопросы по теме. НО...

neiron комментирует...

=с первой рассылки и до сегодняшнего дня я не получила ни одного вопроса про г. Тула=
Рост популярности - процесс обоюдный. Сами по себе вопросы о Туле, и др. не ВиО не появятся, необходимо активно привлекать аудиторию. Но привлекать ее можно только когда уже есть эксперты, умеющие отвечать на вопросы о Туле. Эксперты есть, реклама пока не началась. Но начнется, думаю.

=получаю часто вопросы, в которых эти слова не содержатся, однако достаточно релевантные моей теме=
Гуглпост пока работает крайне "тупо", что указано в списке, по тем словам и отбирает, разве что морфоразбор учитывает. Описанные Вами вопросы могли попасть к рассылке через свои ярлыки. Гуглпост учитывает слова ярлыка, но в письмах они отбрасываются, т.к. не являются частью вопроса.