Навигация по сайту

Популярные статьи

Облако меток

4 наиболее распространенные ошибки в A / B или многофакторных тестах

  1. 1. «Тестирование абсолютно бесплатно! Вам не нужно об этом думать - вы должны действовать »
  2. 2. «Давайте проведем более быстрое A / B-тестирование. Зачем проверять взаимодействие между элементами...
  3. 3. «Через два дня у меня статистически значимые результаты! У нас есть победитель, поэтому мы начинаем...
  4. 4. «В конце концов, мои тесты длятся всего 2 недели. Почему я должен учитывать сезонность? "
  5. Автор: Павел

Если хорошо мы запланировали наши A / B или многомерные тесты с большой вероятностью мы сможем избежать самых распространенных ошибок.

Однако наибольшее внимание следует уделить четырем наиболее распространенным ошибкам:

1. «Тестирование абсолютно бесплатно! Вам не нужно об этом думать - вы должны действовать »

Во всех наших постах и ​​так далее   качественные данные   как хорошо   онлайн тесты   мы пишем, что нет никаких оправданий для их использования, потому что вы можете сделать это практически бесплатно Во всех наших постах и ​​так далее качественные данные как хорошо онлайн тесты мы пишем, что нет никаких оправданий для их использования, потому что вы можете сделать это практически бесплатно.

Практически это не значит, что это полностью. Конечно, мы найдем отличные инструменты, которые бесплатны и мы посвятим время анализу данных и подготовке новых предложений. Наше время, однако, стоит. И это ни в коем случае не единственный элемент, за который мы заплатим.

Не все предложения дадут положительный эффект.

Онлайн тесты помогают нам быстрее делать ошибки и делать из этого конструктивные выводы. Однако это вызывает то, что в течение определенного периода времени - до мы улучшим конверсию - на самом деле мы будем зарабатывать меньше.

Представьте себе ситуацию, в которой вы тестируете предложения A (оригинал), B и C. Через две недели мы получаем следующие результаты: A - 2,5% B - 3% C - 1,1%

Если каждая версия получала 33% трафика, средний коэффициент конверсии за две недели равен 2,2% (среднее из трех чисел: 2,5%, 3%, 1,1%). Если бы тестов не было, этот коэффициент был бы равен 2,5%. Значит на 12% хуже коэффициент конверсии чем если бы мы не проводили тесты!

В конечном итоге мы обязательно победим. Однако это не будет происходить при нулевых затратах.

Мы находимся в худшем положении, если тестируемые нами комбинации имеют более слабый результат, чем исходная версия. Это означает не только то, что мы подвергли себя меньшему риску доход от вашего сайта в течение тестового периода, но также как-то потерял время, вложенное до сих пор, потому что выводы анализа оказались неверными. Это иногда случается - но мы не должны ломаться. В таких случаях вам нужно проанализировать то, что не устраивало наших пользователей, и начать с нового теста, который будет свободен от этих ошибок.

Вам также необходимо ответить на вопрос о том, проходят ли тесты в данный момент приоритет ? Альтернативная стоимость других видов деятельности может превышать выручку от их осуществления. Мы должны помнить о приоритезация ,

По указанным выше причинам не следует рассматривать тесты как полностью бесплатное решение.

2. «Давайте проведем более быстрое A / B-тестирование. Зачем проверять взаимодействие между элементами и тратить время? Я чувствую, что они ушли!

A / B и многовариантные тесты сравнивая эффективность только выбранных комбинаций, они предполагают, что нет взаимодействия между конкретными переменными. В Интернете это часто не соответствует действительности.

Чтобы было проще представить взаимодействие между переменными, давайте рассмотрим пример ниже.

У нас есть две переменные. Картинка и заголовок.

У заголовка есть только одна вариация: автомобили Ferrari самые быстрые

Картина имеет две вариации:

Источник: http://www.sportscarcup.com/; http://www.lotustalk.com/

В обоих случаях у нас будут совершенно разные сообщения с одинаковым заголовком.

Как это может повлиять на тесты, которые мы проводим? Например, если мы предположим, что между элементами X и Y нет взаимодействия, мы можем проводить A / B тесты в котором мы меняем комбинацию этих двух элементов (мы рассматриваем их как одну переменную). Тесты дают положительный результат увеличения конверсии на 12,5% - мы празднуем успех.

На самом деле, мы не знаем на данный момент, почему вы обязаны успехом. Может случиться, что в выигрышной версии изменение в элементе X увеличило конверсию на 50%, в то время как изменение в элементе Y уменьшило ее на 25%, и, следовательно, результат составил 12,5%. Как мы видим, это не оптимальный результат, поскольку он не меняет элемент Y преобразование будет улучшено 50% (неплохо 12,5%;)).

Это означает, что вам следует внимательно изучить возможные взаимодействия между переменными и отслеживать их, поскольку, заранее предполагая, что эти взаимодействия не существуют - вы можете подвергнуть себя неполному использованию потенциала тестируемых элементов.

3. «Через два дня у меня статистически значимые результаты! У нас есть победитель, поэтому мы начинаем со следующего теста ».

Слишком короткий период сбора данных может привести к чрезмерному ураоптимизму. При сборе данных мы будем наблюдать колебания и не можем ничего с этим поделать.

Слишком частая проверка результатов теста в начале теста может привести нас к неправильным выводам. Вначале мы можем праздновать триумфы, и через несколько дней окажется, что улучшение было меньше, чем указанные предварительные данные.

Благодаря статистике, сбор большего и большего количества данных должен стабилизировать нам предполагаемые показатели конверсии на реальном уровне. Тогда диапазоны оценочной ошибки уменьшатся, что всегда следует учитывать при анализе данных теста.

Глядя на приведенные выше данные поверхностно, мы видим, что пробная версия дает на 33% худшие результаты - ее результат - коэффициент конверсии 12,5%, в то время как у оригинальной версии - 18,9%. Разница составляет 6,4 процентных пункта!

Однако, если принять во внимание ошибку оценки, может оказаться, что разница намного меньше. Минимальный результат коэффициента конверсии для исходной версии составляет 15,7% (18,9% - 3,2%), а максимальный результат для пробной версии - 15,2% (12,5% + 2,7%). Разница составляет 0,5 п.п. Разница в уровне конверсии не так очевидна и поразительна, верно?

По указанным выше причинам мы всегда должны ждать, пока мы не сможем собрать больше данных. Тест, который послужит основой для внесения нами изменений на веб-сайт, должен длиться около 2 недель. До тех пор масштабы ошибки будут строго ограничены, и представленные результаты будут считаться достоверными.

4. «В конце концов, мои тесты длятся всего 2 недели. Почему я должен учитывать сезонность? "

Наихудшим из возможных типов тестирования является, например, неделя версии страницы A, а на следующую неделю - версия страницы B. Мы можем быть уверены, что сравнение таких данных не получится, поскольку слишком много факторов являются переменными.

Некоторые из них также оказывают очень серьезное влияние при выполнении параллельных тестов. Даже одни и те же люди, посещающие наш сайт в разное время, могут вести себя по-разному. На него влияют такие факторы, как, например, знание нашего продукта или активность конкурентов.

Поэтому мы должны убедиться, что тесты:

  • проводить на стабильных источниках трафика - не менять их набор во время теста ( мы сегментируем трафик )
  • старайтесь избегать сезонов продаж - например, праздников (если мы не проверяем их специально для них).

А что бы вы добавили в приведенный выше список 4-х самых распространенных ошибок? Вы не согласны с одним пунктом? Я приглашаю вас комментировать.

Интересным дополнением к приведенному выше списку из 4 самых распространенных ошибок, связанных с тестированием, является пост Матеуша на тему какую модель сотрудничества в рамках проекта по оптимизации конверсии выбрать.

Хотите узнать больше об оптимизации конверсии? Прочитайте нашу статью о том, как улучшить ваш процесс тестирования и исследуйте проверенные способы улучшить ваши A / B тесты.

ПРИМЕЧАНИЕ. 1 августа 2012 г. Оптимизатор веб-сайта Google был заменен на Google Analytics эксперименты

Автор: Павел

Павел оптимизирует конверсию, обучает, внедряет аналитику и дополнительно занимается маркетингом в Конверсии. Однако, прежде всего, Павел - это бесконечная шахта идей, которые движут нашей компанией. Он выпускник Варшавской школы экономики в области менеджмента. Вы можете прочитать множество статей, которые он написал, и послушать его на отраслевых конференциях.



Похожие

Используйте телефон в качестве мыши или клавиатуры Bluetooth в Android P
... указывает на функцию, позволяющую использовать телефон в качестве беспроводной клавиатуры или мыши"> Код разработки в Android P указывает на функцию, позволяющую использовать телефон в качестве беспроводной клавиатуры или мыши. Вы можете сделать это в настоящее время в Android, но только если вы сначала рутируете свое устройство. Эта новая функция устранит необходимость рута. Хотя это не совсем востребованная функция, было бы невероятно полезно использовать телефон
Нужно ли устанавливать 32-разрядную или 64-разрядную версию Office / Outlook?
... есть также 64-битная версия. Кажется, я вспоминаю, что Microsoft рекомендовала устанавливать 32-разрядную версию даже на 64-разрядную версию Windows, но это было несколько лет назад. Microsoft все еще рекомендует установить 32-разрядную версию? Каковы недостатки или преимущества при установке 64-разрядной версии? Где я могу скачать 64-битную версию Office?
Regex Tutorial - от Regex 101 до продвинутого Regex
Рекс ест регулярные выражения на завтрак. И вы тоже можете! Это руководство по регулярным выражениям, одно из самых подробных в Интернете, поможет вам освоить весь путь. На этой странице объясняется, что делает этот сайт особенным среди других сайтов регулярных выражений, но сначала давайте ответим на животрепещущий вопрос: В чем смысл жизни? Это легко. В соответствии с страница юмора регулярного выражения
E-прибыль
... a href="http://www.e-zysk.pl"> Смотрите он-лайн Наше предложение Последние новости Как создавались сайты Сегодня мы не можем представить жизнь без интернета, особенно самого молодого поколения. И всего полвека назад мы даже не думали об этом, что ... Как создавались сайты
Google Docs использует меньше людей, чем посещает сеть Spider
... все видят. Гегемон интернет. Полностью. Особенно в Польше, где нет конкуренции в качестве поисковой системы. Как обстоят дела с другими сервисами Google? Оказывается, это не так уж и хорошо. Хорошо, давайте начнем с самого важного. 96,3 процента Поляки, которые используют Интернет, знают и используют поиск Google. Я не знаю, где информация для оставшихся 3,7 процента. Поляки. Может быть,
Huawei Mate S Premium со скидкой более 250 евро на Amazon
... упные бренды начали выпуск новых терминалов 2017 года, похоже, пришло время взглянуть на прошлое и обновить наши смартфоны старыми флагманами, которые сегодня все еще показывают большие преимущества. Так обстоят дела с Huawei Mate S Premium , который теперь, когда Huawei P10 Plus выходит на рынок низких цен в Amazon, более чем значительный. Так же, как несколько дней назад мы могли видеть с
В чем разница между выпусками Windows System Builder и полной версией?
... есть четыре различных потребительских версии Windows на выбор. Могу ли я использовать лицензию System Builder? СВЯЗАННЫЕ С: Microsoft вводит потребителей в заблуждение лицензированием Windows 8.1 Во-первых, давайте уберем одну вещь. Когда дело доходит до вопроса о том, могут ли лицензии System
Торговля CFD на индексы
Торговля фондовыми индексами AvaTrade AvaTrade предлагает одну из крупнейших коллекций фондовых индексов всех онлайн-брокеров с рынков по всему миру. Зарегистрируйтесь в AvaTrade для онлайн торговли индексами с конкурентными спредами, щедрыми рычагами
* Новый * Прогноз путешествия
... a href="https://www.wrh.noaa.gov/wrh/travel/?wfo=sds&layer=2"> Скоро наступит зима, и вместе с этим наступят опасные условия путешествия. Мы хотим, чтобы вы были готовы и сохраняли безопасность этой зимой, поэтому мы тестируем новую веб-страницу, на которой будут отображаться наши прогнозы Национальной метеорологической службы
Методы для преобразования GIF в видео для Instagram - Как
... вы опубликовать видео в Instagram ? И это видео в формате Gif? Не беспокойся Теперь очень просто опубликовать GIF в Instagram, но не напрямую в формате GIF. Тогда как? Знаете ли вы, что анимированные GIF-файлы можно превратить в видео? Да! Вы правильно поняли. Теперь вы можете конвертировать GIF (.gif) в видео формат. Это очень легко с этими инструментами. Если вы хотите узнать, как начать работу с ним,
На лучшем компьютере от AMD вы найдете ... процессор Intel. И это только начало вкусов
... уктов от AMD. Помимо новейших видеокарт Radeon R9 Fury и Fury X, у нас была возможность увидеть чрезвычайно интересный компьютер под названием Project Quantum. Он сочетает в себе высокую производительность, небольшие размеры и неопровержимую элегантность. Это правда, что это оборудование пока находится только в стадии прототипа, однако, редакция американского издания PC World

Комментарии

Вы знаете, что такое гироскоп?
Вы знаете, что такое гироскоп? Если честно, всякий раз, когда в игре есть опция как гироскопа, так и сенсорного управления (например, Doodle Jump и BIT.TRIP BEAT BLITZ), я неизбежно отдаю предпочтение сенсорному управлению. Если подумать, я не думаю, что мне когда-либо действительно нравилась игра, в которой используется только гироскоп. Сенсорное управление предлагает значительно более высокую точность и не полагается на странное «ускорение», которое используют гироскопы, когда чем дальше вы
Почему у меня наблюдаются ошибки в файлах типа EXE?
Почему у меня наблюдаются ошибки в файлах типа EXE? Благодаря своей простоте и удобству использования файлы EXE обычно используются как носители вирусов и вредоносных программ. Зачастую вирусы прячутся в форме безвредного EXE-файла (такого как Sunrise Seven.exe) и распространяются через спам или вредоносные веб-сайты, чтобы в конечном итоге заразить компьютер пользователя (например, в результате двойного щелчка по EXE-файлу). Кроме того, вирусы могут заражать,
Отите ли вы опубликовать видео в Instagram ?
Знаете ли вы, что анимированные GIF-файлы можно превратить в видео? Да! Вы правильно поняли. Теперь вы можете конвертировать GIF (.gif) в видео формат. Это очень легко с этими инструментами. Если вы хотите узнать, как начать работу с ним, прокрутите вниз, чтобы найти более простые методы. Есть много способов конвертировать анимированный GIF в видео. Но почему мы должны конвертировать?
Как вы думаете, ваша целевая аудитория будет смотреть «Грэмми» или содержать фанатов Тейлор Свифт?
Как вы думаете, ваша целевая аудитория будет смотреть «Грэмми» или содержать фанатов Тейлор Свифт? GIF-поиск в Twitter может быть отличным способом связи с ними. через GIPHY Взаимодействовать и веселиться Если вы заметили тему, это значит, что в социальных сетях для некоммерческих организаций определенно есть место для развлечения, даже если к вашему делу
Но что, если вы попали в черную дыру в Интернете и должны провести предварительное исследование?
Но что, если вы попали в черную дыру в Интернете и должны провести предварительное исследование? Мы всегда ищем подробные сведения о местах отдыха, исторических событиях, знаменитостях, определениях слов и, возможно, даже преобразовании PDF. Вам будет трудно найти источник исследований, доступный как Википедия без Интернета. Или вы? В прошлом мы показали вам, как
Итак, что вы должны получить?
Итак, что вы должны получить? СВЯЗАННЫЕ С: Вам нужна профессиональная версия Windows 8? Предполагая, что вы хорошо справляетесь с серой областью лицензирования, копия Windows System Builder имеет большой смысл, если вы фанат создания собственного ПК. Если вы хотите привязать эту копию Windows к своему оборудованию и
Вы когда-нибудь задумывались, как создаются эти длинные GIF-файлы, которые вы видите на таких сайтах, как Imgur?
Вы когда-нибудь задумывались, как создаются эти длинные GIF-файлы, которые вы видите на таких сайтах, как Imgur? Часто создатели снимают видео, преобразуют все это в анимированный GIF, а затем накладывают текст, чтобы сделать его интересным. Теперь этот пост не научит вас, как создавать эти модные GIF-файлы от начала до конца, но научит вас делать видео и, по крайней мере, конвертировать его в анимированный GIF. Я напишу еще один пост о том, как вы можете добавить текст и графику в свой GIF.
Кому нужно регулярное выражение, подумал я, когда в вашем языке программирования есть функции, которые позволяют копаться в строках слева, в середине и справа?
Кому нужно регулярное выражение, подумал я, когда в вашем языке программирования есть функции, которые позволяют копаться в строках слева, в середине и справа? Более того, необработанный синтаксис, который вы обычно видите в коде, который содержит регулярные выражения, используются для запугивания меня. Кто хочет иметь дело с языком, который выглядит следующим образом? (? s) / \ * (?: (?! \ * /) [* $ _ / + \\ -]) * (. *?) [* $ _ / + \\ -] *? \ * / Стоит потратить немного времени
Должны ли мы обращать больше внимания на вечных рассказчиков, чем на современных ораторов?
Должны ли мы обращать больше внимания на вечных рассказчиков, чем на современных ораторов? Обратный инжиниринг вашей аудитории Брайан раскрывает причины, по которым обратное проектирование так важно. В конце концов, я думаю, что мы все можем согласиться с тем, что людей не всегда легко понять! Требуется время и усилия, чтобы по-настоящему понять людей ... и вы не всегда можете планировать заранее! Пришло время выслушать вашу аудиторию, даже если она отбрасывает то,
Есть ли физические изменения между iPhone 3G и текущей моделью?
Есть ли физические изменения между iPhone 3G и текущей моделью? Немного. Как описано в наш практический взгляд на iPhone 3G задняя панель теперь пластиковая (черная на модели 8 ГБ, черная или белая на модели 16 ГБ), а кнопки регулировки громкости на левой стороне телефона теперь серебристого металла. Порт для наушников в верхней части устройства теперь находится на одном уровне с корпусом
Хотели бы вы, чтобы они были полностью сфокусированы?
Хотели бы вы, чтобы они были полностью сфокусированы? Можно ли показывать лица людей? Реальные люди или стоковые изображения? Черное и белое или цветное? Какие люди представляют вашу целевую демографию? Что должны делать эти люди? Некоторые компании даже определяют тип собак для использования на основе их исследования рынка. Создайте библиотеку фотографий и убедитесь, что у вас есть права на использование всех изображений, которые вы используете.

Почему я должен учитывать сезонность?
Вам также необходимо ответить на вопрос о том, проходят ли тесты в данный момент приоритет ?
Зачем проверять взаимодействие между элементами и тратить время?
Как это может повлиять на тесты, которые мы проводим?
Разница в уровне конверсии не так очевидна и поразительна, верно?
Почему я должен учитывать сезонность?
А что бы вы добавили в приведенный выше список 4-х самых распространенных ошибок?
Вы не согласны с одним пунктом?
Хотите узнать больше об оптимизации конверсии?
Microsoft все еще рекомендует установить 32-разрядную версию?