Главная проблема в индустрии визуализации данных: качество графики повышается, а понимание лежащих в основе процессов и их свойств — не особо.
Предыдущие заметки на эту тему:
Миф о криминальных иммигрантах
https://www.cashin.ru/blog/all/vis-fault-1/
Бессмысленные данные
https://www.cashin.ru/blog/all/times-zero/
* * *
Сегодня посмотрим на графику к чемпионату мира по футболу 2018 года.
https://projects.fivethirtyeight.com/2018-world-cup-predictions/matches/
Авторы ведут блог fivethirtyeight.com и периодически строят прогнозы разных событий.
Вот так выглядела оценка вероятностей в матчах по дням:
Вот такая графика появилась к финалу:
Такие вещи сходу нравятся. Как вписаны варианты исхода вничью. Как подобраны цвета. Разделительные линии между таймами. Перетекание команд в финале. В общем, техника визуализации. При забивании гола меняется график, это наводит на мысли о том, что прогноз учитывает ход игры.
Поначалу это внушает доверие. Чаще всего люди примерно с таким впечатлением и уходят, не вникая глубже. А если не уходят, появляются вопросы.
Что произошло вот здесь, в кружочке?
Испанцы забили гол. В самом начале матча. Прогноз стал показывать, что вероятность победы (WIN PROB.) команды Испании резко увеличилась примерно в два раза: с 25% до 48%.
Ладно. Матч только начался и продолжается. В середине тайма снова что-то происходит:
Теперь гол забивает Португалия. Вероятность победы Испании резко снижается более чем в два раза. Вероятность победы Португалии теперь в два раза выше.
Такое происходит еще 4 раза в течение матча — забили всего 6 мячей. Прогноз вероятности прыгает то в одну, то в другую сторону.
В конце происходит совершенно дикая вещь: незадолго до конца матча система показывала вероятность исхода «Португалия победит» как максимальную, на глаз более 80 %. Внезапно (!) испанцы забивают шестой гол. Прогноз вероятности победы Португалии рушится в ноль.
Внимание, вопрос. Почему «вероятность» так сильно прыгает при забивании голов? Вероятность ли это вообще? Авторы явно пишут — да, WIN PROB.
Как на самом деле ведёт себя вероятность? И чем вероятность отличается от текущего счета в игре?
* * *
Давайте так. Представим, начинается чемпионат, и на поле выходят две команды. На трибунах десятки тысяч зрителей, у экранов — миллионы.
Почему команды состязаются друг с другом? Потому что неизвестно, кто победит. Именно в этом интерес.
Иногда одна команда сильнее другой. И, типа, видно, кто победит наиболее вероятно. Но тогда зачем команды выходят на поле? Да потому что всё равно неизвестно! А что если кто-то выложится получше? Потому и состязаются. Шансы есть. Забивай на последней минуте, атакуй, даже проигрывая, никогда не сдавайся, и т. п. Неопределенность заложена в саму суть игры.
Рассмотрим процесс.
Для простоты исключаем ничью, как в финале.
Вот две команды, с какой-то оценкой относительного уровня.
Команда А оценивается как чуть более сильная, чем Б.
Вероятность победы А чуть выше:
Но когда начинается матч, мы не знаем наверняка результат «точно победит команда А». Результат этой игры зависит сейчас от действий конкретных людей на поле. Если хорошая команда будет плохо работать, она не победит. Быть сильной командой недостаточно.
Начинается матч, и менее сильная команда Б забивает гол. Как авторы нашего прогноза в такой ситуации корректируют прогноз? Они показывают резкое увеличение вероятности победы в матче забившей команды:
Вероятность резко повышается... Чувствуете, что здесь что-то не то?
Может ли команда забить гол? Ну, а зачем ей ещё выходить на поле, а-ха-ха! Конечно, может.
Окей. Может ли команда Б забить не один, а несколько голов? Вот так:
Опять же, почему нет? У них что, ноги отвалились после первого гола? Ноги есть, мяч по-прежнему круглый, всё зависит от действий людей. Напомню, что изначально мы рассматриваем ситуацию, когда командам действительно имеет смысл играть, их шансы изначально близки.
Рассмотрим теперь, что происходит с командой А. Проходит несколько минут, и они... тоже забивают гол.
Сколько голов ещё забьет команда А? Ну как сколько. Это неизвестно. Матч же только начался. Исходная картинка наглядно показывает вполне возможный разброс количества голов за игру: 1, 1, 6:
Потому, вполне может быть так:
Итого, возможности забивать есть у обеих команд:
А может забивать.
Б может забивать.
Как распределяются шансы?
Мы полагаем, что более сильная команда имеет больше шансов. Поэтому смещаем прогноз 50 на 50 (обе могут победить) в сторону сильных. 45 на 55, например.
Но смещаем не слишком далеко, потому что у менее сильной команды тоже есть шанс победить, мы не знаем исхода и поэтому наблюдаем за игрой.
И вот самая интересная деталь, ради которой вся история.
Прогноз вероятности исхода матча — это не то же самое, что счёт игры. Вероятность не прыгает по ходу игры так, как показывают авторы визуализации. Это разные процессы.
Природа счёта известна и проста. Это случайные дискретные события на оси времени:
Какая, в данном случае, природа вероятности победы в матче? Чем она обусловлена?
Начало матча: прогноз вероятности основан только на состоянии команд на момент начала. Игра команд не началась и не влияет на начальный прогноз:
Конец матча: один из пунктов достигает вероятности 100%.
Победа А, Победа Б, Ничья.
Например, победила команда Б:
Что происходило с вероятностью в процессе? Как она менялась? Вряд ли как-то так:
Вероятность менялась как-то нелинейно. Какова природа нелинейности?
В конце матча появляется больше определенности, потому что проигрывающей команде остается все меньше времени на проведение атаки. Возникают физические ограничения, которых не было в середине матча.
Вот тут в конце матча у Аргентины оставалось настолько мало времени, что люди просто не успели бы физически провести мяч в ворота три раза. В конце игры вероятность победы противника при таком счёте стремится к 100%.
В середине и в начале всё по-другому.
Прогноз должен меняться нелинейно. Но авторы предлагают вот такую странную нелинейность: прогноз скачет и в начале, и в середине, и в конце матча чуть ли не от нуля до ста процентов. На большинстве графиков. Их там 64 штуки, гляньте, повторяю ссылку:
https://projects.fivethirtyeight.com/2018-world-cup-predictions/matches/
За примером снова не нужно далеко ходить, всё та же картинка Португалии-Испании показывает, как резко меняется прогноз даже в конце матча:
Вероятность отражает неопределенность. Если даже в конце матча такая неопределенность, и прогноз настолько шумный, то какая же тогда неопределенность в середине матча?
Все эти прыжки «вероятности» говорят ровно следующее и о прогнозе, и о методике: мы не знаем, кто победит.
При такой высокой дисперсии данных ситуация «мы не знаем, кто победит» в числовом выражении сходится к 50 на 50. Или, точнее, с поправкой на оценку навыков команд. В нашем примере, 45 к 55.
Какой прогноз вероятности заслуживал бы больше доверия? Прогноз с корректировкой на неопределенность и высокий шум данных. Данные о забитых мячах — очень шумные случайные переменные.
Данные о пропущенных мячах важны, потому что влияют на моральное состояние команд, и на тактику. Победители часто встают в глухую оборону. Но это слова. Цифры матчей говорят о том, что оборону можно взломать, и именно в этом заключается работа другой команды. И поэтому сохраняется неопределенность, идет борьба, появляются новые победители.
К концу матча остается мало времени на взлом обороны. Когда ты физически не успеешь добежать до ворот три раза. Включается фактор времени. Но это ограничение появляется ближе к концу:
Накладываются другие факторы. Усталость, моральная нагрузка и т. д. Какие-то исзчезают позже других (время: добраться до ворот можно и на 87 минуте матча, поэтому красный график такой крутой в конце), какие-то раньше.
Но в целом история такая, как мы говорили в начале: у обеих команд есть шансы. Обе команды свежие и бодрые в начале матча. Поэтому более корректным будет прогноз с корректировкой по функции оставшихся возможностей. Любой забитый гол не должен приводить к сильным колебаниям вероятности в начале матча.
Если показатель высокодисперсный — вероятности на начальных этапах сходится к 50%. Проще говоря, данные содержат много шума, и вы не знаете, кто победит.
Такой прогноз показывает шум и текущий счёт, а не вероятность:
Более адекватный прогноз учитывает неопределенность и дисперсию входных данных. Первые голы меньше влияют на оценку вероятности. Определенность значительно увеличивается ближе к концу, когда отпадают варианты что-то исправить. Чем ближе к концу, тем сильнее прогноз отклоняется от середины:
Конечно, это проблема для авторов прогноза, которые рассчитывают на массовую популярность. Потому что более адекватный прогноз 1) выглядит не так драматично, 2) все прогнозы окажутся очень похожими друг на друга. А значит, люди не будут охать и пересылать ссылки. Проклятие медиа: нужно поддерживать волну!
Медиа закономерно чаще выбирают первый вариант, к сожалению.
* * *
Итоги
Показанная метрика больше похожа на входные данные, чем на функцию, которая должна строиться на основе этих данных.
x ≠ f(x)
Счет в игре — это x, а не f(x). Если вероятность так трясет в самом начале матча, это признак шума данных и высокой неопределенности. Высокая неопределенность в числовом выражении означает шансы 50 на 50. Графика не учитывает этого свойства вероятности.
Вероятность оказалась не вероятностью. Это какой-то другой показатель, но не вероятность.
* * *
У блога fivethirtyeight.com миллионы читателей. Популярность не означает правоту.
Умножение на ноль: хорошие навыки графического дизайна, аккуратная работа с цветом и типографикой, остроумный способ отображения пространства вариантов во времени матчей — всё это умножается на ноль понимания природы вероятности.
Хочется отдать должное тем, кто непосредственно руками создавал эти графики. Визуально графики так хороши, что их приятно скриншотить и комментировать. Но умножение на ноль даёт ноль.