2021年8月24日（火）から26日（木）までの3日間、日本最大のコンピュータエンターテインメント開発者向けカンファレンス「CEDEC2021」(CEDEC=セデック：Computer Entertainment Developers Conference 主催：一般社団法人コンピュータエンターテインメント協会、略称CESA)が開催。昨年に引き続き、新型コロナウィルス感染拡大を防止する観点から本年もオンラインで開催された。
本稿では、8月26日（木）に開催されたセッション「「あの施策は売上にいくら貢献したのか？」傾向スコア分析による統計的因果推論の適用事例紹介」の模様をレポートしていく。
株式会社WFS Studio本部/Analysis室/Analysisグループ/Analysisチームマネージャー。東京大学大学院工学系研究科卒。在学中にデータサイエンティストとして金融、web、戦略コンサルティングなど複数業界にてビッグデータ解析および施策提案業務に従事。現在は株式会社WFSにおいて、データに基づいた開発プロダクトの意思決定支援業務に取り組んでいる。
プロモーション施策の貢献度を正確に分析する手法
本講演では、A/Bテストを実施していない、実施できない状況において、傾向スコア分析を用いて、売上効果の因果を推察していく方法について解説している。
A/Bテスト以外の手法で、ゲーム改善施策やマーケティング施策の定量評価を可能にし、実際に分析を担当する人には、より正しい解釈を通して収集したデータを活用できるようになってほしいと榊氏は述べた。
今回の講演内で取り上げるケースは、『アナザーエデン 時空を超える猫（以下、アナザーエデン）』におけるコミュニティ施策の実例と分析となる。そのコミュニティ施策は本当に効果があるのか、今後も継続すべきなのかという疑問に対する回答を分析から導き出す。
まず、前提として提示したケースが、公式コミュニティに参加しているユーザーひとりあたりの売上が、参加していないユーザーの1.5倍であることから、その差分をユーザー数で乗算してコミュニティ施策予算を割り出したというもの。
この場合、そもそも施策参加で売上が上がるのではなく、売上ポテンシャルのあるユーザーが参加しただけではないのかという疑問がわいてくることになる。
施策の効果を割り出すような計算では、同じ集団内での比較ができるA/Bテストが有用ではあるが、これをゲーム内施策に持ち込むのは非常に難しい。
施策の内容が、課金アイテムであるジェムの割引キャンペーンだった場合、ユーザーA
群に実施して、B群には実施しないという状況がそもそもあり得ない。そんなことをすればユーザーを不公平に扱ったことになり、一気に炎上してしまうからだ。
比較による分析が難しいからといって、単純な相関分析にとどまってしまうと、誤った意思決定を招いてしまいがちだ。ユニークユーザーは少ないのにARPUが高いイベントを復刻すべきかという問いに対しては、相関関係はあるもののARPUが高くなった根拠がそのイベントにあるとは言い切れないという答えしかでてこない。
こうした経緯から、A/Bテストに頼ることなく正しい因果推論をする手法が必要になるという話につながってくる。
では、観測データらどのように効果を推定していくのかという話になるわけだが、ここからは論理的な説明なるため、詳しくは資料を参考するように榊氏は言及している。
傾向スコアを使って比較集団を生み出す手法
以下で紹介する連続したスライドは、施策Aに参加したユーザーを１、参加していないユーザーを０と定義して、売り上げYに対する効果を算出している。
以上の内容を端的にまとめると、施策に参加した集団と、していない集団が異なり、単純にCVを比較しても正しい数値は導き出せない。
そこで、人ごとに施策に参加しそうかどうかをスコアとして予測して補正を加えることで、ふたつの集団を比較可能な形にしてしまうという手法である。この計算で導き出された結果からCVを比較することで、施策効果を高い精度で導き出せる。
ここから先は、実際に『アナザーエデン』のコミュニティ効果推定に使用した事例を紹介している。
『アナザーエデン』における実例紹介
まずは、因果構造の把握からスタートする。上記のスライドが、因果構造をグラフィカルにしたもので、元々のプレイ状況が共通の交絡因子としている。下に書かれているものが、その交絡因子を表すために使った変数の羅列だ。
次に、施策に参加しそうかどうかを測る傾向スコアを予測する。ここで使用したモデルはロジスティック回帰と、いわゆるバギングにあたるランダムフォレストの2種。
このうち、ロジスティック回帰の結果は以下の通り。
③のマッピングは、横軸が傾向スコア、縦軸が割り当て確率を示している。このグラフから、ほとんどの集団で正しく割り当てができているが、傾向スコアが極端に小さかったり、大きかったりすると割り当てがずれてしまうということ、榊氏は読み取っている。
次に、ランダムフォレストは以下の通り。
ロジスティック回帰に比べると、傾向スコアが小さい人と大きい人の数値も信用性の高い数値が算出できているため、ランダムフォレストの予測を採用することになったとのこと。
このモデルの施策結果の抽出が上記のスライドだ。もともとは1.5倍と思っていたところが、実際の効果は1.15倍程度であったことがわかる。ここではDRでの推定量を用いた場合も掲載し、比較したうえでかなり正確な値がでていることいがわかるとまとめた。
結果として公式SNSに参加したユーザーは、1か月後にARPUが1.1倍は伸びるということがわかった。これにより、ひとりあたりいくらで参加ユーザーを増やせるのか、参加ユーザーのARPUはいくら伸びるのかがわかり、コミュニティ施策に定量的な投資判断が可能になる。
榊氏は、今後のテーマとなるのは、ここで紹介した手法をゲーム内施策やマーケティング施策に展開しながら、交絡因子を算出するためのアンケート設計と、そのデータの活用の仕方も考えることであると語った。ユーザー行動による変数についても調査を進めていけば、より精密な手法としてブラッシュアップできると、今後の可能性についても言及し、最後に参考資料を紹介してセッションを締めくくった。
