/Ab_tests

Primary LanguageJupyter Notebook

AB tests

Преамбула

Данный репозиторий создан с целью самообразования и закрепления знаний. Код лежит в папке notebooks. Данные ноутбуки не являются учебным пособием, но написаны в стиле статьи, содержат краткие справки о реализуемых алгоритмах и текстовые вставки, поясняющие происходящее. Так же в некоторых местах можно найти ссылки на материалы, которые я использовал при изучении темы. В тетрадках я писал реализации некоторых тестов/способов улучшения тестов "с нуля" и искал ответы на вопросы, возникавшие у меня во время изучения теории. Репозиторий обновляется, актуальный статус ноутбуков можно найти в README ниже. При обнаружении ошибок/неточностей в коде, по желанию можно создать issue или написать мне в телеграм.

Краткое описание ноутбуков

Готовые ноутбуки

  1. Тест Стьюдента - реализация T-теста, проверка его корректности, исследование работы теста в различных условиях.
  2. Bootstrap 1-я часть - реализация бутстрепа, реализация пуассоновского бутстрепа и сравнение его работы с обычным, сравнение различных бутстрепных доверительных интервалов.
  3. U-test добро или зло - поиск случаев, когда тест Манна-Уитни работает лучше, чем T-тест, пример, когда U-test некорректен.
  4. Стратификация - реализация стратификации, исследование эффекта от стратификации на различных данных.

Ноутбуки в работе

  1. CUPED - реализация CUPED, исследование эффективности при использовании различных ковариат в CUMPED.
  2. Bootstrap 2-я часть - продолжение сравнения эффективности использования различных доверительных интервалов, применение формулы MDE для бутстрепа.

Будущие планы

  1. Проводим тест идеально - пайплайн идеального проведения теста.
  2. CUPAC - сравнение использования различных ML моделей для получения ковариаты для CUPED.
  3. Байесовское AB тестирование - обзор методов и их реализация.
  4. Causal inference.