четверг, мая 08, 2008

Эксперты-лидеры

Система учета "КПД" экспертов потихоньку устаканивается. Скоро, по совету Николая, будем открывать статистику для общего просмотра. Пока картина получается вот какая.
  • Эксперт сам определяет, вопросы с какими словами ему присылать. Отвечает только на те, которые считает нужным.
  • Система считает вообще все ответы эксперта и смотрит на два параметра: а) соответствие вопроса заявленной тематике, б) количество лучших ответов.
Для экспертов, где цифры количества ответов уже более-менее значимы.

Эксперт
Ответов


Лучших %
Николай 116


20 17,2
Жук Люк 40


6 15,0
Zhumak 77


8 10,4
sanchoys 73


5 6,8
wizard 125


6 4,8

Получается, что у Николая за последние 30 дней самый высокий КПД при очень приличном количестве ответов.

Система также ведет учет вообще всех ответов, не только тех экспертов, что зарегистрированы на Гуглпосте Через некоторое время сравним средние показатели.

19 комментариев:

mikolya комментирует...

Прикольно, не ожидал.

Всего один вопрос: по какой методике считается КПД, если можно, с контрольным примером.

neiron комментирует...

Ежедневно мониторится список закрытых вопросов. Как только появляется новый закрытый, для него определяется эксперт и тема. Если тему определить не удалось, так и пишется - "неопределенная".

Данные идут в таблицу по следующей форме:
эксперт | всего ответов | лучших
И дополнительно разбивка по каждой теме.

Конкретно по Николаю сейчас.
*******************************
Всего ответов - 119 (обсчет за последние 31 день).
Лучших - 20
По темам:
Санкт-Петербург - 1/0 (первая цифра "всего", вторая "лучших"
Законы и Право - 3/2
Разное - 21/4
Мой список про ВиО - 25/3
Эксперты - 3/0
Неопределенная - 66/11

mikolya комментирует...

По какой дате определяется КПД, по дате вопроса, дате (лучшего) ответа или по дате закрытия вопроса?

neiron комментирует...

По дате съема данных. Идеально было бы парсить историю эксперта. Там сразу все, и новые ответы, и лучшие ответы. Но логины-пароли мы, естественно, со всех не получим, поэтому приходится информацию брать из открытых данных.

Т.е. для каждого зарегистрированного эксперта парсится лента ответов. Каждый новый ответ проверяется на соответствие темам, на которые эксперт подписан (если соответствия нет - тема "неопределенная").

И то же самое делается для списка закрытых вопросов. Только в этом случае идет еще и подсчет лучших ответов, которые сделали эксперты, не зарегистрированные на Гуглпосте.

Скрипт запускается, если верно помню, каждые 15 минут.

mikolya комментирует...

т.е. получается, что по дате зарытия вопроса. Другими словами, если эксперт отвечал в апреле, но его вопросы авторами не были в апреле закрыты, то его апрельский кпд будет равен 0, когда в мае все его ответы будут признаны лучшими (даже если в мае он не дал ни одного ответа), то его кпд будет 100.

neiron комментирует...

Да, по дате закрытия, так пока экономнее всего. Там пока нет разделения на апрель-май, смотрим на нарастающий итог.

mikolya комментирует...

понятно,
когда будет доступно в он-лайн?

neiron комментирует...

Думаю, скоро. Секретов там нет, просто дошлифовать чуть хочется. И уж как "прожженный рекламист" сделаю только для экспертов, зарегистрированных на Гуглпосте. :0)

mikolya комментирует...

Еще интересный момент - наблюдение.
Т.к. вопросы гостей не закрываются (нет лучшего ответа), то ответы на гостевые вопросы никак не влияют на кпд, не уменьшают и не увеличивают.

neiron комментирует...

=вопросы гостей не закрываются=
Странно... я несколько раз видел, что вопросы гостей закрывались с лучшим ответом. Попробую понаблюдать, может, ошибся просто.

Интересное еще наблюдение. В таблице подсчитываются вообще все лучшие ответы, которые удалось "поймать". При этом сразу же определяется "наш" это эксперт (зарегистрирован на Гуглпосте) или "не наш".

Пока вот что по лучшим ответом:
- "наших": 107 ответов на 26 экспертов,
- "ненаших": 1068 ответов на 368 экспертов.
Т.е. средняя эффективность зарегистрированного на Гуглпосте эксперта 107/26 = 4,1. Незарегистрированного - 1068/368 = 2,9

Показатели сейчас довольно прилично скачут еще, но со временем средние устаканятся и колебания будут уже неплохо отражать тренды развития.

Вышеприведенные цифры - общие. То же самое считается и по каждой теме, данные со временем накопятся.

Я таким "статистическим" способом пытаюсь проверить гипотезу, что идея рассылки писем соответствующим экспертам в целях экономии их времени - рабочая.

mikolya комментирует...

не надо делить экспертов на "наших" и "не наших".

neiron комментирует...

=не надо делить экспертов на "наших" и "не наших"=
Когда открывать будем, заменю, конечно. Будет что-то вроде "эксперты, получающие вопросы на почту" и "не получающие".

sanchoyz комментирует...

А у меня такой вопрос: ведь суммируется сумма всех ответов? У меня например, на большинство вопросов, где мой ответ-лучший 3-4 ответа! Надо суммировать не кол-во ВСЕХ ответов, а количество вопросов, на которые ответил пользователь.

Надеюсь, буду услышан.

neiron комментирует...

=ведь суммируется сумма всех ответов=
Нет. В зачет идет только один ответ эксперта в теме. Т.е. то самое количество вопросов, на которые ответил эксперт.

sanchoyz комментирует...

Это хорошо))
Ответы на свои вопросы не считаются)?

sanchoyz комментирует...
Этот комментарий был удален автором.
neiron комментирует...

=Ответы на свои вопросы не считаются?=
Считаются. :0) Мы как-то не планировали, что эксперт будет "самообслуживаться" таким образом, поэтому никаких защит и не вводили.

sanchoyz комментирует...

Я почти на каждый свой вопрос отвечаю (тк в основном обсуждения, а иногда уточняю что-либо))

А где можно найти обновленную статистику?

neiron комментирует...

=А где можно найти обновленную статистику?=
Программисту отправлено ТЗ на вывод полных таблиц для зарегистрированных пользователей. Надеюсь, на неделе сделает.