A/B Testing.

A/Bテストは、利用者を原則として無作為に異なる案へ割り当て、コンバージョンなどの指標の違いを確かめる方法。例えば商品ページの説明文を変えたとき、他の条件をそろえて購入率に差が出るかを見る。単に新旧の数値を比較するだけでは、季節性や流入元の変化が混ざるため、実験とはいえない。
実施前に、変える要素、主指標、必要なサンプル、終了条件を決めることが重要だ。途中で結果を見て都合のよい時点で打ち切ると、偶然を効果と誤認する可能性がある。統計的な差があっても、事業上の価値が小さい場合や長期の体験を損なう場合もある。実験の目的は勝ちパターンを探すことだけではなく、顧客の行動について学ぶことにある。

Blueberry’s Perspective

「テストで勝った色」を信じすぎないほうがいい。同じ結果が別の文脈でも起きるとは限らないし、小さな数字の差より、顧客が何に迷っていたかの発見のほうが価値を持つことがある。