かつて設計者らは、広告や新聞のレイアウトなどの有効性を測る際に、ほとんど自分の直感や経験則に頼っていた。その後、人々がウェブページやコンピュータの画面を見ている時の目の動きを追跡する視線追跡テストが登場したが、実施に多額の費用がかかった。しかし、今やGoogleは、同社のウェブサイトを利用する数百万人のユーザーの力を借りて、コンテンツやサービスの向上を図っている。
Googleは、2つのGoogleインターフェースのどちらがより効果的かを判断する際に用いているA／Bスプリットテストの説明を5月に開始したが、米国時間8月26日にさらなる詳細を発表した。テーマは、「一見些細な違いでも、実際は大きな違い」があるということだ。
Googleの著名なエンジニアBen Gomes氏はブログの中で次のように述べている。「われわれは、ほぼすべてのことをテストする。一般の人から見ると、あまりに小さすぎてわれわれが気にしない（あるいは、そのこと自体が問題にならない）のではないかと思えることもテストしている。ただ、実際は些細な変化も重要であり、われわれも重要視している」
Gomes氏によると、Googleはいかなる場合でも50〜200のテストを実施するという。
「より効果的」と判定する際の定義も微妙だ。1つの点を強調するためにさまざまな要素を変更すると、別の点が目立たなくなる、とGomes氏は語る。一例として、Googleは、クリックすると同社の株価の推移が表示される「プラス」ボックスの2つのバージョンを試した。その結果、若干派手なバージョンの方が、クリック回数は多かった。しかし、果たしてそれを（事業の）妨げと見るべきか、あるいは改善と見るべきか。Googleは、総合的に見てどちらのバージョンがより効果的か判断しかねているという。
さらに分かりやすい例は、ユーザーが検索結果をリスト内で上下移動できるようにするテストだ。
「ここまで来ると、われわれがこの機能に何を期待しているのか分からない。ただ、ユーザーがその機能をどのように利用するのか知りたいだけだ」（Gomes氏）