Почему красивый ROI - самая опасная вещь в аналитике ставок

Про аналитику в ставках обычно говорят в двух режимах. Либо это магическая кнопка: загрузил данные, нажал пару кнопок, получил идеальную модель, пошел печатать деньги. Либо наоборот: все это называют красивой упаковкой для случайности. Мол, просто натянули умные слова на шум и радуются.

Я не смотрю на аналитику как на волшебную формулу. Для меня это просто рабочая система принятия решений. Способ превращать поток матчей, вероятностей и коэффициентов в понятные правила: где брать сигнал, где его отсеивать, а где вообще не лезть.

И чем дольше я с этим вожусь, тем сильнее понимаю одну вещь: главный риск здесь не в том, что модель ошибется. Главный риск - слишком рано поверить в красивый результат.

В начале февраля мне пришла в голову идея попробовать собрать свою AI-систему для анализа спортивных матчей.

Что делает историю чуть веселее: в классической спортивной аналитике я вообще не из тех людей, кто 20 лет сидел с таблицами и моделями. То есть я заходил в это не как “гуру рынка”, а скорее как человек, которому стало интересно, можно ли выстроить внятную систему поверх ИИ. И закрыл февраль +13% ROI. Об этом я писал вот здесь ранее.

На старте я собрал ансамбль из трех моделей. Дальше вся конструкция постепенно разложилась на три слоя:

И вот если про вероятности обычно всем более-менее понятно, то скоринг у многих вызывает путаницу.

Хотя именно он, как мне кажется, и ломает больше всего иллюзий. И при этом он напрямую влияет на результат.

Самая простая ошибка - думать, что скоринг “угадывает исходы”.

Нет. Исходы оценивает модель вероятности. Она говорит: вот здесь шанс события, по моей оценке, такой-то. Да, там куча нюансов, разные модели “капризничают” по своему.

А скоринг отвечает уже на другой вопрос: какие из этих сигналов вообще достойны того, чтобы брать их в работу? То есть скоринг - это не оракул. Это фильтр.

У тебя есть поток матчей. У каждого матча есть признаки: вероятность, коэффициент, согласованность между моделями, дополнительные маркеры уверенности. И дальше поверх этого строятся правила:

- эти сигналы пропускаем;- эти отсекаем;- здесь ужесточить отбор;- здесь можно дать системе чуть больше свободы.

И вот тут начинается самое интересное.

На бумаге все всегда выглядит очень убедительно. Ты берешь массив исторических (а лучше актуальных) матчей. Прогоняешь через него модели вероятности. Потом начинаешь тестировать разные правила отбора. Где-то меняешь порог входа, где-то ограничиваешь расхождение между моделями, где-то режешь по коэффициенту, где-то комбинируешь несколько условий сразу.

И почти всегда находишь несколько гипотез, которые выглядят очень красиво с разными “но”.

Какую выбрать? И вот в этот момент мозг почти всегда хочет одного: ткнуть пальцем в победителя и сказать: все, нашли, вот он - лучший скоринг.

Но именно это, по моему опыту, и есть самая опасная точка. Потому что “лучший” скоринг очень часто рождается на том же массиве, на котором ты его и оценивал.

А значит, внутри результата почти всегда намешаны две вещи:

- реальный сигнал;- подгонка под конкретную историю.

И проблема не в том, что подгонка вообще существует. На этапе исследования она почти неизбежна. Ты работаешь с массивом и ищешь закономерности в нем.

Проблемы начинаются позже. Когда ты забываешь, что это было исследование, и начинаешь относиться к найденной гипотезе как к доказанной истине.

Приведу простой пример.

Выглядит неплохо?

Но рядом лежал другой набор условий, который на том же объеме показывал уже 33% ROI и 70% winrate. И вот это как раз тот момент, где очень легко влюбиться в цифры.

Потому что 33% выглядит не как “интересная гипотеза”, а как почти готовое доказательство, что ты нашел что-то особенное (кто-то откажется от вклада 33% за месяц?). Хотя честный ответ тут гораздо скучнее: может, это реально сильный скоринг. А может, это просто очень удачное совпадение на конкретном отрезке.

И отличить одно от другого нельзя силой желания. Это проверяется только следующим независимым сегментом.

Первый отрезок - это не приговор и не корона на голову модели. Это только стартовая карта.

Настоящий экзамен начинается потом, когда гипотеза выходит на следующий массив данных. Желательно похожий (или больший) по объему. Еще лучше - когда таких отрезков несколько. И они показывают похожий результат.

Потому что именно там становится видно, где у тебя было что-то живое, а где просто красивая посадка на историю. И самое полезное, что я понял за это время, звучит довольно неприятно: иногда скоринг, который ты уже списал после слабого отрезка, потом возвращается и начинает выглядеть сильнее того, на который ты переключился.

Это раздражает. Честно.

Потому что хочется верить, что если ты уже принял решение заменить модель, то это решение должно было быть “правильным”. А реальность так не работает.

У меня был вполне показательный случай.

Логика была понятная: новая гипотеза на свежем куске данных показывала себя убедительнее, значит, даем ей основную роль.

Но потом пришел еще один отрезок. И оказалось, что стартовая модель №1 вырывается обратно в топ по прибыли и ROI.

И вот такие моменты очень хорошо лечат от иллюзии, что систему можно один раз “идеально настроить”, а дальше просто собирать плоды.

Нельзя. Зато можно построить процесс, в котором ошибка не превращается в катастрофу. И, кажется, это куда полезнее.

Одна из самых опасных ловушек в работе со скорингами - желание делать выводы слишком рано. После 30, 40 или 60 ставок очень хочется сказать: “ну все, этот скоринг полетел” или “все, этот умер”.

Но короткая дистанция умеет слишком хорошо притворяться закономерностью. Какое количество оптимально? Для разных портфелей эта точка может быть разной. Где-то разумно смотреть новый контроль на 150 ставках, где-то на 250, где-то на 300 матчах в анализе. Но сам принцип для меня один и тот же: важно заранее решить, на каком объеме ты вообще имеешь право делать следующий вывод.

Иначе аналитика очень быстро превращается в эмоциональные качели.

Я давно перестал смотреть на скоринги в логике “гений или мусор”.

Гораздо полезнее смотреть на них как на рабочий пул гипотез, у каждой из которых есть свой текущий статус.

Хороший рабочий скоринг - это тот, который:

- держится на новом независимом отрезке;- не проигрывает альтернативам слишком явно по качеству и объему;- не живет только за счет одной удачной фазы рынка.

Иногда модель с более низким ROI оказывается полезнее, чем ее более “звездный” сосед. Просто потому что она дает более здоровый объем, меньше хрупкости и лучше ведет себя между сегментами.

Именно поэтому я смотрю не только на ROI. Также важны и абсолютная прибыль, количество ставок, winrate, устойчивость, поведение между отрезками и какое место гипотеза занимает внутри общего пула. Потому что один красивый процент еще ничего не гарантирует.

Я не верю в идеальный скоринг, найденный раз и навсегда. Я верю в процесс, где гипотезы можно рождать без фанатизма, проверять без самообмана и пересматривать без трагедии. В красивой истории про AI-аналитику модель всегда права.

В реальной работе ты просто пытаешься сделать так, чтобы правда как можно быстрее догоняла твою уверенность.

И, если честно, именно это мне в этой истории сейчас кажется самым интересным.

Если вам интересно, как эта история будет развиваться дальше, можно заглянуть ко мне в ВК и ТГ. Там я в реальном времени публикую результаты и веду несколько независимых портфелей. Ну и вместе посмотрим на результаты марта как минимум трех независимых портфелей уже совсем скоро.

Спасибо всем за внимание.