Как читать статистику и не обмануть себя

Маленькая выборка лжёт

Десять сделок, из которых семь удачных, дают 70% — цифра, которая выглядит убедительно и не означает ничего. У честной монеты семь орлов из десяти выпадают примерно в одном случае из шести.

Чтобы отличить преимущество от везения, нужна сотня сделок минимум. Поэтому платформа не показывает процент, пока не отработано сто сигналов, и пишет «набирается» вместо красивого числа.

Стандартная ошибка

У любого измеренного процента есть погрешность, и она тем больше, чем меньше выборка. На ста сделках погрешность около пяти пунктов: измеренные 56% на самом деле означают «где-то между 51% и 61%».

Практический вывод: если измеренный винрейт превышает безубыточность меньше чем на две погрешности, преимущество не доказано. Оно может быть, а может и не быть.

Подгонка под данные

Самая частая ошибка при проверке стратегий: перебрать сто вариантов параметров на одной истории и выбрать лучший. Он почти наверняка окажется случайностью — при переборе ста вариантов один покажет отличный результат просто так.

Защита от этого — раздельная проверка: параметры подбираются на одной части истории, а результат измеряется на другой, которую алгоритм не видел. Если преимущество на второй части исчезло, его не было.

Почему чужим процентам не стоит верить

Сервис, обещающий 90% точности, не показывает ни выборки, ни периода, ни метода проверки. Проверить такое заявление невозможно, а значит, оно ничего не стоит.

Единственная статистика, которой имеет смысл доверять, — та, что считается по вашим собственным закрытым сделкам. Она в вашем кабинете и обновляется сама.