Турнир рейтинговых систем

Сравнение и оценка рейтинговых систем

Рейтинг нужен для того чтобы оценивать силу игроков на канале.

Есть много подходов к тому как сделать рейтинговую систему. Рейтинговая система смотрит на сыгранные партии -- и предлагает свои числа, характеристики того, насколько же сильный каждый игрок.

Как нам оценить рейтинговую систему, понять адекватные ли она числа раздала или нет?

 

Подход я вижу более-менее один. Давайте спрячем от рейтинговой системы одну нашу последнюю игру. А против Б. Потом спросим, кто скорее выиграет -- А или Б?  Если система оказывается права - даём ей доп.балл. Если оказывается не права - штрафуем.

 

Такой подход, очевидно, позволит выявить слишком неточные системы. Но просто результат -- "А или Б" - это достаточно грубый метод. Можно точнее. Давайте попросим рейт.систему... Предсказать количество побед игрока А против Б если бы мы им дали сыграть 100 партий. А более строго - попросим предсказать вероятность выигрыша А у Б.

Теперь, имея, скажем, число "90%", и увидев победу А над Б, мы вряд ли захотим сильно оштрафовать систему. А если увидим "30%" - то наверняка оштрафуем куда сильнее.

Дальше я мог бы привести мат.выкладки с доказательствами фактов про среднеквадратичное отклонение, но не буду. Просто скажу сразу результат. Выявить наиболее точную рейтинг-систему так действительно можно. Для этого надо:

1. Спросить у неё вероятность выигрыша.

2. Шансы которые она давала реально проигравшему _возвести в квадрат_ и зачесть как _штраф_. Это - среднеквадратичное отклонение.

3. Давать системе предсказывать последовательно все игры на канале и просуммировать её результаты. Чем больше отклонение (штраф) - тем она хуже. Чем меньше она отклонялась от настоящего результата - тем она лучше.

 

Результаты для игр канала pointsXT

Ниже приведены результаты подсчёта вероятностей для некоторых систем:

Список систем будет пополняться!!! Предлагайте свои!  В конце концов на канал будет поставлена та система которая даёт лучшие предсказания.

Каждая колонка - это своя система. Они друг от друга изолированы - каждая даёт свои собственные предсказания.

Около каждой игры для написан текущий штраф и среднее его значение за все предыдущие игры. При хорошей системе, чем ниже опускаешься - тем меньше это среднее значение -- система становится как бы всё точнее и точнее.

Лучшая из систем та, для которой отклонение (среднее число снизу всей таблицы) -- меньше.

Коротко. Мы сравниваем системы рейтингов. Каждая система предсказывает количество партий из 100 которые один игрок выигрывает у второго. Мы берём число неугаданных партий и возводим в квадрат. Это - штраф. Чуть правее написан штраф за все прошедшие игры в целом.

Табличка перенесена на отдельную страницу т.к. иначе не помещается по ширине:

http://pointsgame.net/pxt/gameAnalyze.html