Multivariate Testing.

多変量テストでは、見出し、画像、ボタン文言などを同時に変更し、各組み合わせの成果を測る。A/Bテストが比較的少数の案を比べるのに対し、複数要素の主効果や相互作用を調べたい場面で使われる。ただし、設計によっては全組み合わせではなく一部を選ぶこともある。

変数が増えるほど必要なデータ量が大きくなり、十分な利用数がないと解釈が不安定になる。複雑なテストを組む前に、何を意思決定したいか、どの差が事業上意味を持つかを決める必要がある。

見出しと画像の組み合わせを比較するなら、結果が偶然の差ではないか判断できる規模が必要になる。来訪者が少ないサイトでは、まず少数案の比較から始めたい。