选择用户进行 A/B(冠军/挑战者)测试
我们有一个提供 A/B 对比测试的框架。
您有一个页面的“冠军”版本,并开发了它的“挑战者”版本。
然后,您运行该网站,并将一些用户分配为冠军,一些用户分配为挑战者,并衡量他们的不同反应。
如果挑战者在实现你的指标方面比冠军更好,那么你就废黜冠军并开发新的挑战者......
我的问题是我应该考虑什么机制来分配版本?
我脑海中浮现出许多选项:
- 奇数或偶数 IP 地址(或子段)
****.****.****.123
获得冠军,但.124
获取挑战者 - cookie 推送 - 检查冠军/挑战者 cookie,如果不存在,则随机将用户分配给一个并推送 cookie
最佳实践?建议?评论?经验?
We have a framework that offers A/B split testing.
You have a 'champion' version of a page and you develop a 'challenger' version of it.
Then you run the website and allocate some of your users the champion and some the challenger and measure their different responses.
If the challenger is better than the champion at achieving your metrics then you dethrone the champion and develop a new challenger...
My question is what mechanisms should I consider to allocate the versions?
A number of options spring to mind:
- odd or even IP address (or sub-segments)
****.****.****.123
gets champion but.124
gets challenger - cookie push - check for a champion/challenger cookie, if it doesn't exist randomly allocate the user to one and push the cookie
Best practice? suggestions? comments? experience?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论