1

Введение в настройку

Прежде чем приступить к обсуждению распространенных методов настройки, вам необходимо познакомиться с несколькими концепциями и определениями. Часто занимающиеся настройкой люди, говоря об одних и тех же концепциях, используют разную терминологию для их описания.

Введение в настройку

Основная цель тестирования целевых страниц состоит в предсказании поведения аудитории в зависимости от контента и дизайна этих страниц. В ходе проведения теста вы соберете некоторые данные, обобщите, опишете их (при помощи описательной статистики) и попытаетесь предсказать (при помощи статистического анализа), как люди, пришедшие из одних и тех же источников трафика, будут с вашей страницей взаимодействовать. Другими словами, окончательная цель состоит в нахождении наилучшего возможного варианта целевой страницы среди всех протестированных версий.

Входные и выходные переменные

Тест целевой страницы состоит из двух основных компонентов: набора входных переменных (также называемых независимые переменные), которыми вы можете управлять и манипулировать, и одной или более выходных переменных, которые вы наблюдаете и измеряете. Обратите внимание, что слова независимые переменные означают совсем не то, о чем говорилось в разделе Взаимное влияние переменных. В данном случае независимые переменные — это просто те элементы страницы, которые вы отобрали для своих тестов.

Переменная

Слово переменная означает подлежащий настройке элемент, выбранный вами для тестирования. Как упоминалось переменные могут иметь разную степень гранулярности. Например, переменной может быть заголовок целевой страницы или полностью переделанная страница. В многопараметрическом тестировании переменную часто называют фактором.

При проведении многопараметрического тестирования у вас будет больше одной переменной. Чтобы отличать их друг от друга, я буду использовать следующие обозначения: заглавная буква V с числом, назначенным конкретной переменной. Представим, например, что у вас есть простая целевая страница с заголовком, продающим текстом и кнопкой с призывом к действию. Вы можете решить протестировать альтернативы каждого элемента страницы и обозначить их следующим образом:

VI = Заголовок V2 = Продающий текст V3 = Текст на кнопке V4 = Цвет кнопки

Обратите внимание, что переменные вовсе не обязательно должны определять конкретное физическое расположение элементов на странице. Фактически V3 (текст на кнопке) и V4 (цвет кнопки) занимают на странице одно и то же место. Они также не требуют и указания расположения кнопки на странице. Я могу, например, решить протестировать переменную размер шрифта (для улучшения читаемости текста) и сравнить ее с текущим размером шрифта. В этом случае изменение размера шрифта будет иметь силу на всей площади целевой страницы и при этом оно пересечется с другими переменными, которые будут тестироваться в это время.

Значение

Значение — это конкретное состояние, которое может принять переменная.

Когда традиционные многопараметрические тесты используются в других областях, значения переменных часто бывают непрерывными (то есть способными гладко меняться в каком-то диапазоне). Это позволяет предсказывать поведение переменной в интерполированных значениях (то есть между измеренными значениями). Например, если я знаю, что мощность мотора моей машины составляет 100 лошадиных сил при 1000 оборотах в минуту и 200 лошадиных сил — при 2000 оборотах, то я могут интерполировать между этими значениями и приблизительно оценить мощность мотора при 1500 оборотах в 150 лошадиных сил.

При тестировании целевых страниц значения переменных почти всегда бывают дискретными (то есть заметно отличными друг от друга и поддающимися пересчету). Например, цвет кнопки может быть зеленым, синим или красным. Я буду обозначать возможные варианты последовательными прописными буквами. Договоримся обозначать исходное значение переменной буквой а. Эта буква будет объединяться с названием переменной, чтобы точно ее обозначить. Если (продолжая наш пример) V4 — это цвет кнопки, то возможные варианты могут быть обозначены так:

V4a = зеленая кнопка (оригинал) V4b = синяя кнопка V4c = красная кнопка

В отличие от непрерывных переменных измерение дискретной переменной не дает нам информации о других возможных значениях. То есть даже если мы измерим доли конверсии зеленой и красной кнопок, у нас не будет никаких возможностей предсказать долю конверсии синей кнопки.

Коэффициент ветвления

Общее число возможных значений дискретной переменной называется коэффициентом ветвления. Для дискретных переменных он должен быть равен по меньшей мере двум (исходная версия и одна альтернативная). Как будет показано далее некоторые экспериментальные варианты дизайна требуют, чтобы коэффициент ветвления всех переменных был одинаковым.

В примере с цветом кнопки переменная V4 имела коэффициент ветвления, равный 3.

В традиционном многопараметрическом тестировании число значений переменной называется уровнем фактора. Каждое значение называется также и уровнем, потому что это понятие исторически заимствовано из сферы непрерывных переменных. Если, например, переменная имеет только два значения, они могут быть обозначены словами низкое и высокое (или -1 и +1).

05:51
260