1

Смешивание значимости и важности

В предыдущем разделе мы обсудили, как часто люди верят в статистическую значимость результатов, не имея для этого достаточного количества данных. Из-за отсутствия статистической грамотности многие делают противоположную ошибку — они верят в то, что любой статистически значимый результат обязательно должен иметь и практическую ценность.

Смешивание значимости и важности

Слово значимость в терминах статистики означает только то, что вы можете в достаточной мере доверять полученному вами результату, но отнюдь не означает, что обнаруженный вами эффект является серьезным или важным. Если вы соберете много данных, то даже небольшие различия могут оказаться статистически значимыми. Многих людей, видимо, не вдохновит тот факт, что разница между двумя версиями целевой страницы, выявленная в ходе длительной и многотрудной работы, окажется очень небольшой (хотя и значимой на требуемом уровне доверительности).

Достижение вами высокого уровня статистической достоверности не означает, что вы обнаружили эффект, который интересен с практической точки зрения.

Понимание результатов

В теории вероятностей и статистике нулевая гипотеза — это начальное допущение того, что наблюдаемый эффект является результатом только случайных причин. Нулевая гипотеза предполагает, что измеренные эффекты остаются неизменными при разных условиях эксперимента и что нет связей между независимыми переменными и результатами. То есть все независимые переменные считаются равными до тех пор, пока не будет доказано обратное.

Нулевая гипотеза отвергается, когда выясняется, что ваш набор данных не возник за счет случая. Значимость результатов определяется при помощи уровня доверительности, выбранного перед экспериментом (то есть уровня допустимой ошибки а). Например, нулевую гипотезу труднее отвергнуть на уровне доверительности в 99% (а 0,01), чем на уровне 95% (а 0,05).

Даже если нулевая гипотеза отвергается с заданным уровнем доверительности, это не означает, что тем самым доказывается какая-то альтернативная гипотеза. Единственный вывод, который можно сделать из опровержения нулевой гипотезы, — это то, что некий эффект действительно существует, но причина его остается неизвестной. Если эксперимент был спланирован правильно, то единственное, что менялось в его ходе, — это экспериментальные условия. Поэтому будет логичным искать причины эффекта среди них.

Однако, как отмечалось выше, существуют незаметные и большие искажения выборки, ошибки планирования эксперимента и уже известные зависимости, которые могут рассматриваться как причины эффектов. В данных обстоятельствах вы можете утверждать, что между протестированными изменениями и полученными результатами существует высокая степень корреляции, но никак не причинно-следственная связь. Даже с учетом того, что онлайновый маркетинг является прикладной дисциплиной, которая сама зарабатывает себе на жизнь, вы не должны отказываться от использования статистики для проведения тестирования. Все, что я хотел сделать, — это указать на те отклонения от чистой математики, которые могут появляться в реальной жизни.

А что произойдет, если нулевая гипотеза не будет отвергнута? Это будет означать, что вы не нашли никаких статистически значимых отличий. Это не равно утверждению об отсутствии различий. Принятие нулевой гипотезы означает всего лишь то, что наблюдаемые различия могут иметь причину в игре случая, а не то, что они обязаны иметь такую причину. Статистика не может доказать, что между двумя экспериментами не было никаких различий. Отсутствие доказательства существования различий не дает повода утверждать, что различий на самом деле не существует.

05:46
341