Байесовский подход к оценке А/Б-тестов
При проведении А/Б-тестов в мобильных приложениях и веб-сервисах требуется ответить на вопросы:
- Какой вариант лучше и насколько?
- Каковы оценки целевой метрики в каждом варианте?
- Насколько уверены в оценке?
- Сколько должен продолжаться эксперимент?
На отдельных примерах показано, как ответить на вопросы выше с помощью байесовского моделирования.
Содержание:
Черновики:
Приложение: сравнение методов оценки А/Б-тестов
Приложение: множественные сравнения