1

Недостатки метода разбивки на первый-второй

Ограниченное количество наборов параметров. Как уже отмечалось, количество наборов параметров в типичном тесте очень мало. Если вы хорошо выполнили свою домашнюю работу, то, возможно, обнаружили десятки потенциальных проблем со своими целевыми страницами и придумали несколько десятков альтернатив, которые хотели бы протестировать. Однако из-за ограниченного масштаба метода разбивки на первый-второй вам придется тестировать не более одной идеи одновременно. Вам также придется решать, какие варианты тестировать в первую очередь, интуитивно полагая, что именно они приведут к самым значительным изменениям. Другие методы тестирования позволяют тестировать сразу несколько важных идей и выявлять любые изменения, ведущие к увеличению конверсии, в ходе одного эксперимента.

Недостатки метода разбивки на первый-второй

Невозможность учитывать взаимное влияние переменных. По определению разбивка на первый-второй предполагает наличие только одной переменной, так что о взаимном влиянии переменных речь просто не идет. Более того — серия таких тестов вовсе не является (как может показаться на первый взгляд) заменой многопараметрическому тесту с теми же самыми переменными. Если тестируемые вами переменные оказывают друг на друга влияние, то может случиться и так, что вам просто не удастся найти самый эффективный вариант. Вероятность его выявления будет зависеть от порядка проведения тестов и природы взаимного влияния переменных.

Невозможность выявления относительной важности элементов страницы. Часто для тестирования выбираются самые грубо гранулированные переменные. Из-за ограниченной скорости накопления данных приходится делать предположения о том, настройка каких именно элементов страницы приведет к лучшим результатам. Эти элементы зачастую состоят из множества изменений страницы. В крайнем случае полного редизайна таким элементом становится фактически вся страница.

Однако при этом такая гибкость, которая позволяет нам так свободно выбирать уровень гранулярности тестируемых элементов, одновременно и накладывает ограничения на возможность интерпретации результатов и связывания полученных достижений с отдельными изменениями. Что привело к росту конверсии — изменение цвета кнопки, текста заголовка, текста предложения? Узнать это невозможно. Втиснув множественные изменения в одну переменную, вы перемешиваете их эффекты и теряете возможность рассматривать их по отдельности.

Как отмечалось выше, это может и не быть большой проблемой, поскольку многие из так называемых уроков об относительной важности переменных основаны на иллюзорном предположении об их независимости. Более того — лучшие результаты могут быть получены в результате выбора конкретных значений этих переменных, а не благодаря переменным как таковым. Например, заголовок, который вы выбрали, оказался очень мощным. Но это не дает вам права на избыточное обобщение, что заголовки являются самыми важными элементами страницы. Во всяком случае, вам надо постараться избежать попыток интерпретации результатов при тестировании методом разбивки на первый-второй, если использованные вами переменные состояли из множественных изменений дизайна и контента страницы.

Неэффективность использования трафика. Как вы увидите в следующем разделе, многопараметрическое тестирование часто аккуратно планируется с таким расчетом, чтобы получить максимум информации из небольших наборов данных. Фактически оно позволяет одновременно вести множество тестов один на один, выявляя при этом важное влияние переменных друг на друга. При тестировании один на один результаты всех тестов являются изолированными и не могут использоваться для анализа тех переменных, которые не сравнивались напрямую.

05:40
340