[Яндекс.Практикум] (https://practicum.yandex.ru/)
Вы — аналитик крупного интернет-магазина. Вместе с отделом маркетинга вы подготовили список гипотез для увеличения выручки. Приоритизируйте гипотезы, запустите A/B-тест и проанализируйте результаты.
Часть 1. Приоритизация гипотез.
В файле hypothesis.csv - 9 гипотез по увеличению выручки интернет-магазина с указанными параметрами Reach, Impact, Confidence, Effort.
Задача:
- Применим фреймворк ICE для приоритизации гипотез. Отсортируем их по убыванию приоритета.
- Применим фреймворк RICE для приоритизации гипотез. Отсортируем их по убыванию приоритета.
- Укажем, как изменилась приоритизация гипотез при применении RICE вместо ICE. Сделаем выводы.
Часть 2. Анализ A/B-теста.
Провели A/B-тест и получили результаты, которые описаны в файлах orders.csv и visitors.csv.
Задача:
Проанализируйте A/B-тест:
- Построим график кумулятивной выручки по группам. Сделаем выводы и предположения.
- Построим график кумулятивного среднего чека по группам. Сделаем выводы и предположения.
- Построим график относительного изменения кумулятивного среднего чека группы B к группе A. Сделаем выводы и предположения.
- Построим график кумулятивного среднего количества заказов по группам. Сделаем выводы и предположения.
- Построим график относительного изменения кумулятивного среднего количества заказов группы B к группе A. Сделаем выводы и предположения.
- Построим точечный график количества заказов по пользователям. Сделаем выводы и предположения.
- Посчитаем 95-й и 99-й перцентили количества заказов на пользователя. Выберем границу для определения аномальных пользователей.
- Построим точечный график стоимостей заказов. Сделаем выводы и предположения.
- Посчитаем 95-й и 99-й перцентили стоимости заказов. Выберем границу для определения аномальных заказов.
- Посчитаем статистическую значимость различий в среднем количестве заказов между группами по «сырым» данным. Сделаем выводы и предположения.
- Посчитаем статистическую значимость различий в среднем чеке заказа между группами по «сырым» данным. Сделаем выводы и предположения.
- Посчитаем статистическую значимость различий в среднем количестве заказов между группами по «очищенным» данным. Сделаем выводы и предположения.
- Посчитаем статистическую значимость различий в среднем чеке заказа между группами по «очищенным» данным. Сделаем выводы и предположения.
- Примим решение по результатам теста и объясним его.
Варианты решений:
- Остановить тест, зафиксировать победу одной из групп.
- Остановить тест, зафиксировать отсутствие различий между группами.
- Продолжить тест.
Данные для первой части:
Файл hypothesis.csv
Hypothesis — краткое описание гипотезы;
Reach — охват пользователей по 10-балльной шкале;
Impact — влияние на пользователей по 10-балльной шкале;
Confidence — уверенность в гипотезе по 10-балльной шкале;
Efforts — затраты ресурсов на проверку гипотезы по 10-балльной шкале. Чем больше значение Efforts, тем дороже проверка гипотезы.
Данные для второй части
Файл orders.csv
transactionId — идентификатор заказа;
visitorId — идентификатор пользователя, совершившего заказ;
date — дата, когда был совершён заказ;
revenue — выручка заказа;
group — группа A/B-теста, в которую попал заказ.
Файл visitors.csv
date — дата;
group — группа A/B-теста;
visitors — количество пользователей в указанную дату в указанной группе A/B-теста.
Pyton
Pandas
Matplotlib
Seaborn
Numpy
Jupyter Notebook
Были проведены исследования по всем поставленным задачам и сделаны выводы по каждому. С результатами вы можете ознакомиться в файле.