ブランドリフトとは——調査で何が分かり、何が分からないか

動画広告の配信後、報告書に「購入意向が20%上がった」と書かれている。数字だけを見ると、広告が大きな変化を生んだように思える。しかし、接触した人の肯定回答率が24%、比較した人が20%なら、二群の差は4ポイントである。20%はその4ポイントを比較群の20%で割った相対値だ。

同じ観測でも、4ポイントと20%では受ける印象が違う。さらに、誰を二群へ分け、同じ質問をしたのかを確かめる必要がある。どの程度の誤差を含むかも分からなければ、数字から次の出稿を決めることは難しい。

ブランドリフトとは広告を見た群と、同じ対象のうち広告を止めた比較群へ、同じ質問をする測定である。広告想起、認知、好意、検討、購入意向などの肯定回答率の差を見る。分かるのは、対象、期間、質問を定めた調査内の差である。

以下、架空の家計簿アプリ「POCKET NOTE」の動画広告を説明例にする。サービス、配信条件、回答率、効果は実在する企業の事実ではない。一つの数値を、質問、比較群、計算、不確実性、業務判断の順に読み直す。

ブランドリフトは、広告を見た群と止めた群の回答差である

日本インタラクティブ広告協会の用語集は、ブランドリフトを認知度、好感度、購買意向などの向上を表す効果指標としている。その向上を測る調査がBLSである。[1] 大切なのは、向上を何と比べたかだ。

Fanらが説明するGoogle Brand Liftでは、広告を見る対象を処置群と比較群へ無作為に分け、処置群には広告を配信し、比較群には対象広告を止める。二群へ同じ質問を出し、広告想起、認知、検討などへの影響を推定する。[2] 単に広告を見た人へ感想を聞く調査とは比較の作り方が違う。

POCKET NOTEが「このアプリを使ってみたいですか」と聞けば、測るのは利用意向である。「この広告を覚えていますか」なら広告想起だ。同じ人が前者には否定的、後者には肯定的と答えることもある。ブランドリフトはブランド全体を一つの万能点で測る名前ではない。

ブランドエクイティを四つの段階に分けた記事では、認知、意味、選択反応、経済結果を別々に見た。ブランドリフトはその一部の質問について施策接触による差を確かめる。何を聞いたかを残さず「ブランドが上がった」とまとめると、変わった段階が見えなくなる。

「24%対20%」は4ポイント差であり、20%増とは別である

説明例では広告を見た群の肯定回答率を24%、比較群を20%とする。絶対ブランドリフトは24%から20%を引いた4ポイントである。相対ブランドリフトはその4ポイントを比較群の20%で割った20%になる。Fanらも加法リフトと相対リフトをこの二つの計算として区別している。[2]

「4%上がった」と書くと、4ポイント差なのか、比較群に対する4%増なのか分からない。「20ポイント上がった」なら計算自体が変わる。報告では接触群24%、比較群20%、絶対差4ポイント、相対差20%を分けて書く。

相対値は基準の低さに左右される。絶対差が同じ4ポイントでも、比較群が5%なら相対差は80%、40%なら10%である。相対値だけを並べると、もとの肯定回答率が低い施策が大きく見える場合がある。比較には少なくとも二群の回答率と絶対差を残す。

点のように見える4ポイントも、調査した全員の真の値ではなく、集まった回答から推定した値である。Fanらは加法リフトと相対リフトに信頼区間を付ける方法を示し、実例では観測数が少ない区分ほど標準誤差が大きいと報告する。[2] 数字の桁を増やしても、不確実性は小さくならない。

信頼区間が広ければ、もっともらしい真の差の範囲も広い。区間がゼロ付近をまたぐ結果と、ゼロから離れた結果では、同じ点推定でも判断の強さが違う。利用する調査の表示法に従い、点推定、区間、回答数、結果が偶然だけでは説明しにくい確からしさを一緒に読む。

十分な差を検出できなかった結果は、広告に効果がなかった証明ではない。真の差が小さい、回答が足りない、質問が施策の狙いとずれた、対象が広すぎるなど複数の説明が残る。反対に、差が出ても、その大きさが費用に見合うかは別に決める必要がある。

比較群がなければ、広告以外の変化を分けにくい

POCKET NOTEの利用意向が配信前の20%から配信後の24%へ上がった。それでも、その4ポイントが広告だけで生じたとは限らない。同じ期間に家計への関心が高まった、競合が値上げした、アプリが更新された、回答者の構成が変わった可能性がある。前後比較は変化を示すが、原因を一つに絞らない。

そこで、同じ時期に同じ対象から広告を見せる群と止める群をつくる。無作為に分けられれば、季節、競合、ニュースなど両群へ同時に起きる変化をそろえやすい。Fanらは広告の因果効果を推定する方法として、対象者を処置群と比較群へ無作為に分け、調査回答を比べる方法を説明した。[2]

広告を実際に見た人と見なかった人を、配信後の履歴だけで分ける方法は同じではない。広告を見る人はサイトをよく使う、配信対象へ入りやすい、もともと商品へ関心があるなど、見なかった人と違う可能性がある。差には広告の影響と、最初からあった違いが混ざる。

GordonらはFacebook上の12件の大規模な広告実験で、無作為実験と観察的な測定手法を比較した。多くの行動変数を調整しても、観察的手法が実験と同じ効果推定を出さない場合があった。[3] この研究は、すべてのブランドリフト調査が誤りだと示すものではない。比較群をどう作ったかが結論を左右することを示す。

無作為化しても完全ではない。広告を見せる予定の群で実際には表示されない人がいる。調査依頼が届く人、回答する人にも偏りが生じうる。Fanらはこうした予定した接触と実際の接触のずれ、調査依頼と回答の偏りを補正する必要を論じている。[2]

結果表を見る前に、対象へ入る条件、二群の分け方、広告が止められた範囲、調査の依頼数と回答数を確認する。比較群という名前があっても、もともと異なる人を後から選んだだけなら、無作為に止めた群と同じ強さでは広告への因果を言えない。

回答差だけでは、売上や長期のブランド価値は決まらない

購入意向が上がっても、価格、在庫、販売場所、契約条件、競合の提案によって実際の購入は変わる。売上への増分を確かめるなら、購買や申込を結果にした別の実験が要る。DoorDashが広告で増えた売上を第三者に検証させた事例は、態度の差ではなく取引の増分を対象にしている。

広告想起のリフトは、広告が記憶に残ったことを示す。ブランド認知のリフトは、名前を知る人が増えたことを示す。好意、検討、購入意向も、それぞれ別の回答である。一つが動いたから、後ろの段階も同じだけ動いたとは決めない。

差が生じた理由も、リフト値だけでは分からない。POCKET NOTEの利用意向が上がっても、どの表現が効いたかは特定できない。家計の見通しを示した場面、操作画面、価格、語り手を、素材別の実験や自由回答、インタビューで確かめる。

質問文にも注意が要る。米国世論調査協会（AAPOR）は、表現、選択肢や質問の順番、調査方法が回答へ影響しうると説明している。[4] 配信ごとに質問文や回答尺度を変えれば、施策の差と質問の差が混ざる。比較したい期間や媒体では、同じ意味と順序を保つ。

配信中に得た一回の回答差は、長期のブランド価値そのものでもない。効果が翌週まで残るのか、競合の活動で消えるのか、利用体験と結びつくのかは、時間を置いた再測定や行動データで追う。調査時点を外した一般化は避ける。

年齢、地域、素材、配信面ごとに細かく分けるほど、たまたま大きな差が見つかる機会も増える。小さな区分は回答数が減り、区間も広がりやすい。後から都合のよい区分を選ぶのではなく、重要な対象と主要な質問を調査前に決め、探索結果は次の仮説として扱う。

調査前に、質問・対象・判断を一つずつ決める

最初に決めるのは、上げたい数字ではなく、結果を見て変える行動である。広告を覚えてもらえなければ冒頭や到達頻度を見直すのか。認知はあるが検討へ進まなければ、伝える価値や利用条件を直すのか。次の判断が違えば、主要な質問も変わる。

• 質問を一つ選ぶ：広告想起、認知、好意、検討、購入意向のうち、今回の施策が直接動かすと考える反応を主要指標にする。
• 対象と期間を固定する：誰を配信対象とし、いつからいつまでの広告と回答を比べるかを残す。
• 比較の作り方を確認する：無作為に広告を止めた群か、後から選んだ非接触者か、単純な配信前後かを区別する。
• 表示する数字をそろえる：両群の回答率、絶対差、相対差、回答数、信頼区間や確からしさを同じ表へ置く。
• 結果後の行動を先に決める：増額、素材変更、対象変更、再調査、保留の条件を、結果を見る前に置く。

POCKET NOTEなら、主要指標を利用意向に決める前に、広告の仕事が何かを確かめる。新しい名前を知らせる施策なら認知、特徴を候補へ入れてもらう施策なら検討のほうが近い。購入意向だけを毎回の正解にしない。

差が小さかったときも、すぐに素材を捨てない。主要な質問と施策の狙いが合っていたか、十分な回答が集まったか、対象が広すぎなかったかを順に確認する。ただし、結果を見た後で成功に見える質問へ主役を替えれば、当初の判断は検証できない。

ブランドリフトは広告の価値を一つの数字で保証するものではない。誰と誰へ何を聞き、どの差を、どの程度の不確実性で得たかを示す道具である。まず二群の回答率と絶対差を読み、次に相対差、区間、比較の作り方を確かめる。そのうえで、売上、長期変化、差が生まれた理由は別の測定へ渡す。読める範囲を狭く保つほど、次に変える広告や調査を具体的に選べる。