Навигация по сайту

Популярные статьи

Алименты с детей на содержание нетрудоспособных родителей и пенсионеров
В России сумма задолженностей по алиментам на содержание детей во много раз превышает среднее значение в мире. В отношении злостных должников государством не раз вводились новые, но, как оказывается

1хбет
  Для торжества зла необходимо только одно условие —  чтобы хорошие люди просто промолчали! Привет друзья! Сегодня очень серьёзная статья от первого лица (непосредственного участника

Льготы для пенсионеров в 2017-2018 году
С 1 февраля 2017 года пенсии российских пенсионеров проиндексируют (повысят) на 5,4%. Такое постановление подписал премьер-министр РФ Дмитрий Медведев. Единовременную компенсацию в размере 5000 руб.

Понятие и виды пособий и компенсационных выплат
Общие положения Заключение Понятие и виды пособий и компенсационных выплат Общие

Налоговый вычет за обучение в 2016-2017 годах. Как получить возврат налога (ндфл) на ребёнка (документы)
Указанный социальный налоговый вычет представляет собой возможность возврата части средств, истраченных на обучение, как свое, так и близких родственников. Условиями получения данного вида вычета является

Тема 22. Понятие, виды и общая характеристика компенсационных выплат и предоставления материально-бытовых льгот по системе социального обеспечения.
Компенсационные выплаты по социальному обеспечениюявляются одним из видов социального обеспечения граждан, который заключается в денежных выплатах (разовых и периодических), имеющих четко выраженный характер

Страхование вкладов
Создание системы обязательного страхования банковских вкладов населения (ССВ) является специальной государственной программой, реализуемой в соответствии с Федеральным законом «О страховании вкладов физических

Алименты расчет и выплата
Основания для удержания алиментов Согласно действующему законодательству, родители обязаны содержать несовершеннолетних детей. Порядок и форма представления содержания определяется родителями самостоятельно

Выплаты социального характера
К выплатам социального характера, в частности, относятся: 1) выходное пособие при прекращении трудового договора; 2) суммы, выплаченные уволенным работникам на период трудоустройства в связи с реорганизацией

Алименты расчет и выплата
После развода (2 года назад) мы с бывшим мужем договорились между собой, без суда, о выплате алиментов в размере 3-х тысяч рублей. Деньги он выплачивает каждый месяц, но их катастрофически не хватает.

Облако меток

4 наиболее распространенные ошибки в A / B или многофакторных тестах

  1. 1. «Тестирование абсолютно бесплатно! Вам не нужно об этом думать - вы должны действовать »
  2. 2. «Давайте проведем более быстрое A / B-тестирование. Зачем проверять взаимодействие между элементами...
  3. 3. «Через два дня у меня статистически значимые результаты! У нас есть победитель, поэтому мы начинаем...
  4. 4. «В конце концов, мои тесты длятся всего 2 недели. Почему я должен учитывать сезонность? "
  5. Автор: Павел

Если хорошо мы запланировали наши A / B или многомерные тесты с большой вероятностью мы сможем избежать самых распространенных ошибок.

Однако наибольшее внимание следует уделить четырем наиболее распространенным ошибкам:

1. «Тестирование абсолютно бесплатно! Вам не нужно об этом думать - вы должны действовать »

Во всех наших постах и ​​так далее   качественные данные   как хорошо   онлайн тесты   мы пишем, что нет никаких оправданий для их использования, потому что вы можете сделать это практически бесплатно Во всех наших постах и ​​так далее качественные данные как хорошо онлайн тесты мы пишем, что нет никаких оправданий для их использования, потому что вы можете сделать это практически бесплатно.

Практически это не значит, что это полностью. Конечно, мы найдем отличные инструменты, которые бесплатны и мы посвятим время анализу данных и подготовке новых предложений. Наше время, однако, стоит. И это ни в коем случае не единственный элемент, за который мы заплатим.

Не все предложения дадут положительный эффект.

Онлайн тесты помогают нам быстрее делать ошибки и делать из этого конструктивные выводы. Однако это вызывает то, что в течение определенного периода времени - до мы улучшим конверсию - на самом деле мы будем зарабатывать меньше.

Представьте себе ситуацию, в которой вы тестируете предложения A (оригинал), B и C. Через две недели мы получаем следующие результаты: A - 2,5% B - 3% C - 1,1%

Если каждая версия получала 33% трафика, средний коэффициент конверсии за две недели равен 2,2% (среднее из трех чисел: 2,5%, 3%, 1,1%). Если бы тестов не было, этот коэффициент был бы равен 2,5%. Значит на 12% хуже коэффициент конверсии чем если бы мы не проводили тесты!

В конечном итоге мы обязательно победим. Однако это не будет происходить при нулевых затратах.

Мы находимся в худшем положении, если тестируемые нами комбинации имеют более слабый результат, чем исходная версия. Это означает не только то, что мы подвергли себя меньшему риску доход от вашего сайта в течение тестового периода, но также как-то потерял время, вложенное до сих пор, потому что выводы анализа оказались неверными. Это иногда случается - но мы не должны ломаться. В таких случаях вам нужно проанализировать то, что не устраивало наших пользователей, и начать с нового теста, который будет свободен от этих ошибок.

Вам также необходимо ответить на вопрос о том, проходят ли тесты в данный момент приоритет ? Альтернативная стоимость других видов деятельности может превышать выручку от их осуществления. Мы должны помнить о приоритезация ,

По указанным выше причинам не следует рассматривать тесты как полностью бесплатное решение.

2. «Давайте проведем более быстрое A / B-тестирование. Зачем проверять взаимодействие между элементами и тратить время? Я чувствую, что они ушли!

A / B и многовариантные тесты сравнивая эффективность только выбранных комбинаций, они предполагают, что нет взаимодействия между конкретными переменными. В Интернете это часто не соответствует действительности.

Чтобы было проще представить взаимодействие между переменными, давайте рассмотрим пример ниже.

У нас есть две переменные. Картинка и заголовок.

У заголовка есть только одна вариация: автомобили Ferrari самые быстрые

Картина имеет две вариации:

Источник: http://www.sportscarcup.com/; http://www.lotustalk.com/

В обоих случаях у нас будут совершенно разные сообщения с одинаковым заголовком.

Как это может повлиять на тесты, которые мы проводим? Например, если мы предположим, что между элементами X и Y нет взаимодействия, мы можем проводить A / B тесты в котором мы меняем комбинацию этих двух элементов (мы рассматриваем их как одну переменную). Тесты дают положительный результат увеличения конверсии на 12,5% - мы празднуем успех.

На самом деле, мы не знаем на данный момент, почему вы обязаны успехом. Может случиться, что в выигрышной версии изменение в элементе X увеличило конверсию на 50%, в то время как изменение в элементе Y уменьшило ее на 25%, и, следовательно, результат составил 12,5%. Как мы видим, это не оптимальный результат, поскольку он не меняет элемент Y преобразование будет улучшено 50% (неплохо 12,5%;)).

Это означает, что вам следует внимательно изучить возможные взаимодействия между переменными и отслеживать их, поскольку, заранее предполагая, что эти взаимодействия не существуют - вы можете подвергнуть себя неполному использованию потенциала тестируемых элементов.

3. «Через два дня у меня статистически значимые результаты! У нас есть победитель, поэтому мы начинаем со следующего теста ».

Слишком короткий период сбора данных может привести к чрезмерному ураоптимизму. При сборе данных мы будем наблюдать колебания и не можем ничего с этим поделать.

Слишком частая проверка результатов теста в начале теста может привести нас к неправильным выводам. Вначале мы можем праздновать триумфы, и через несколько дней окажется, что улучшение было меньше, чем указанные предварительные данные.

Благодаря статистике, сбор большего и большего количества данных должен стабилизировать нам предполагаемые показатели конверсии на реальном уровне. Тогда диапазоны оценочной ошибки уменьшатся, что всегда следует учитывать при анализе данных теста.

Глядя на приведенные выше данные поверхностно, мы видим, что пробная версия дает на 33% худшие результаты - ее результат - коэффициент конверсии 12,5%, в то время как у оригинальной версии - 18,9%. Разница составляет 6,4 процентных пункта!

Однако, если принять во внимание ошибку оценки, может оказаться, что разница намного меньше. Минимальный результат коэффициента конверсии для исходной версии составляет 15,7% (18,9% - 3,2%), а максимальный результат для пробной версии - 15,2% (12,5% + 2,7%). Разница составляет 0,5 п.п. Разница в уровне конверсии не так очевидна и поразительна, верно?

По указанным выше причинам мы всегда должны ждать, пока мы не сможем собрать больше данных. Тест, который послужит основой для внесения нами изменений на веб-сайт, должен длиться около 2 недель. До тех пор масштабы ошибки будут строго ограничены, и представленные результаты будут считаться достоверными.

4. «В конце концов, мои тесты длятся всего 2 недели. Почему я должен учитывать сезонность? "

Наихудшим из возможных типов тестирования является, например, неделя версии страницы A, а на следующую неделю - версия страницы B. Мы можем быть уверены, что сравнение таких данных не получится, поскольку слишком много факторов являются переменными.

Некоторые из них также оказывают очень серьезное влияние при выполнении параллельных тестов. Даже одни и те же люди, посещающие наш сайт в разное время, могут вести себя по-разному. На него влияют такие факторы, как, например, знание нашего продукта или активность конкурентов.

Поэтому мы должны убедиться, что тесты:

  • проводить на стабильных источниках трафика - не менять их набор во время теста ( мы сегментируем трафик )
  • старайтесь избегать сезонов продаж - например, праздников (если мы не проверяем их специально для них).

А что бы вы добавили в приведенный выше список 4-х самых распространенных ошибок? Вы не согласны с одним пунктом? Я приглашаю вас комментировать.

Интересным дополнением к приведенному выше списку из 4 самых распространенных ошибок, связанных с тестированием, является пост Матеуша на тему какую модель сотрудничества в рамках проекта по оптимизации конверсии выбрать.

Хотите узнать больше об оптимизации конверсии? Прочитайте нашу статью о том, как улучшить ваш процесс тестирования и исследуйте проверенные способы улучшить ваши A / B тесты.

ПРИМЕЧАНИЕ. 1 августа 2012 г. Оптимизатор веб-сайта Google был заменен на Google Analytics эксперименты

Автор: Павел

Павел оптимизирует конверсию, обучает, внедряет аналитику и дополнительно занимается маркетингом в Конверсии. Однако, прежде всего, Павел - это бесконечная шахта идей, которые движут нашей компанией. Он выпускник Варшавской школы экономики в области менеджмента. Вы можете прочитать множество статей, которые он написал, и послушать его на отраслевых конференциях.



Почему я должен учитывать сезонность?
Зачем проверять взаимодействие между элементами и тратить время?
Как это может повлиять на тесты, которые мы проводим?
Разница в уровне конверсии не так очевидна и поразительна, верно?
Почему я должен учитывать сезонность?
А что бы вы добавили в приведенный выше список 4-х самых распространенных ошибок?
Вы не согласны с одним пунктом?
Хотите узнать больше об оптимизации конверсии?