データの見方を間違えて失敗した5つの例・・・DeNA野上氏

エンタープライズその他

注目記事

2014.9.18（木）20:03

ディー・エヌ・エーのビジネス・アナリティクス部に所属する野上大介氏は昨年に引き続いてCEDECに登壇し、ソーシャルゲームの世界で散見される誤ったデータの使い方について語りました。本セッションはスポンサードセッションにも関わらず超満員で立ち見が出るほどでした。

野上氏のビジネス・アナリティクス部では社内の各種分析や改善提案を行っているほか、複数の外部デベロッパーに対する分析のコンサルティングを主な業務としています。野上氏はゲーム業界でデータを見るときに「収益ばかりの話が目に付く」と苦言を呈します。「ゲームの規模が大きくなるにつれ、面白さをメンバーの阿吽の呼吸だけで維持するのは難しくなっています。そうした際にデータは便利な道具になります。ゲームが理想像に近づいているかを"データも"活用した分析をしていきたい」と語りました。

■失敗1: リリース前のKPI予測

問題: リリース前にLTV(ユーザー生涯価値)を予測しようと、ユーザーに事前に遊んでもらう機会を用意し、過去の同様の事例から中間値を取ってLTVを予想したものの大ハズレ。

この問題の原因は事象の背景や構造、原理を考えれていないということです。「LTVを算出するには継続率や課金率を知る必要がありますが、一度のテストプレイではどちらも測れません。また、別に1週間もテストを行えば良いのに怠った、自分の守備範囲だけで結論を出そうとしたというミスです」と野上氏は説明します。

事象の背景を考えきれていないというよくある話ですが、似たような嘘に"LTVが獲得費用を上回っていればプロモーションはいつまでも打てる"というものがあると野上氏は指摘。これはLTVを構成するものが何であるか考えれば分かる嘘で、継続率や課金率はそのゲームがターゲットとするユーザーによって大きく変わるわけです。一般的にユーザーが増えれば増えるほど、主要ターゲット外のユーザーが増え、各種指標は悪化し、現在のLTVで獲得しても回収できなくなっていくと考えられます。

自分の守備範囲だけでカバーしようとするミスとして、売上が減少しているタイトルで、当月に始めた新規ユーザーと既存ユーザーに分類して追っていったところ、既存ユーザーの売上は変化せず、プロモーションの金額によって新規ユーザーの売上が上下するというデータを発見。プロモーションを増やす事で金額を増やそうとした例があったそうです。これはプロモーション担当者の見地から見れば正しい判断ですが、新たに獲得したユーザーが積み上がっているはずなのに既存ユーザーの売上が変化しないというのは"継続して課金するユーザーがいない"という事を示しています。プロモーションではなく、ゲーム事態の改善が必要だということに気づかなくてはなりません。

■失敗2: リリース直後のタイトル改善

問題: あるタイトルのリリース直後、n日後の継続率が悪く、ファンネル分析でチュートリアルの段階毎の離脱率に落としこんでも原因が発見できず、課金率は悪くないものの、ユーザーが定着せずゲームとして成功できなかった

この事例は手法は適切だったものの、課題が適切ではなかったケースです。実はこのゲーム、30代男性をターゲットにしたものの、実際に獲得したユーザーは40代の女性が多く、何が悪いというわけでもなく、なんとなく辞めてしまうという状況になっていたそうです。

野上氏は「タイトルを改善するためには、適切な課題とKPIを設定する必要があります。そのためには、様々な切り口やKPIを普段から蓄積する努力をしていく必要があります」と語ります。自分の中での引き出しを用意するのも、分析担当者としての仕事です。

また、本作には課金が継続されないという課題もあったそうです。コンティニュー課金が主な収益源と考えられたゲームで、初回無料キャンペーンを実施し、それに対する反応は良かったのですが、継続しないという問題点がありました。このタイトルでは課金継続率を計測しておらず発見が遅れたそうですが、難易度が高すぎてコンティニューしても中々勝てない内容で、その価値が低いという問題があったようです。これを知るにはユーザーが日をまたがって課金を継続しているかどうか計測しておく必要があります。また野上氏は分析担当者も第一のユーザーとして、ゲームをちゃんと遊んでいれば早期に気づける内容だとも話しました。

■失敗3: レコメンドで改善?

問題: Mobageのサイト上でのオススメコンテンツを、以前は人気とLTVで一律表示にしていたものを、ユーザー毎にレコメンドする形式にすると効果が数倍になった。100億円単位の効果があるとしてレコメンドを様々な箇所に導入していったが、収益の向上はなかった。

これは2つの意味で誤りがあったと言います。1つは比較対象、1つは効果測定の仕方です。

比較対象という意味では「100億円単位の効果がある」という議論はAとBの比較であり、本来であればAをBに変えたとき、AをCに変えた時、という風にBとCの施策の効果を検証するべきだと言います。今回、数倍の効果というのは、レコメンドの効果というよりも、以前と比べて表示に変化があった点が大きいと考えられます(人気やLTVを基準にすると表示されるゲームはほぼ固定になってしまう)。

また、効果測定を収益向上に求めたのも誤りで、オススメゲームというものの存在理由を考えれば、インストール数など適切なオススメができたかを図る指標を用いるべきです。収益が向上するかは、オススメされたゲームの出来が左右する部分が大きいからです。

教訓は比較対象や指標を適切にすること。そして常に投資対効果を求め過ぎないということです。「その効果は売上にするといくらか?」と言い過ぎることは本質を誤らせる可能性があるということです。

■失敗例4: バトルが盛り上がらない

チームバトルがあるゲームで、対戦が盛り上がらないため、グルーピングを改良して、必ず各チームに1人はアクティブなユーザーを入れるようにした。しかしユーザーの負担が増し、上手くいかなかった。

この改善後、初回のイベントは「みんながやる気を出している」とユーザーに感じられ、大いに盛り上がったそうです。しかし、アクティブなユーザーにとっては負担が増してしまい、その後のイベントには様子見も多くなってしまったとのこと。

野上氏は一旦成功に見られても、実際にユーザーがどのように動いているのかきちんと把握し、常に改善を入れていく必要があるとコメント。その為にも、前提条件や悪影響を図るためのKPIは自動で集計できるようにし、問題が自然に顕在化するような体制を取っておくべきだと述べていました。

■失敗5: ガチャの期待値に対する過信

失敗: 多くのゲームで主要な収益源であるガチャ。当たりカードを引く期待値を上げることによってゲームへの参加を促し、収益を向上させようとした。しかしガチャをするユーザー数は増えず、単価が下がり売上が減少、その他の指標に変化は無かった。

この失敗はガチャの期待値に対する過信が挙げられます。一般的には期待値まで考えてガチャを行うユーザーはそう多くありません。また、普段はガチャを遊ばないようなユーザーに訴求するには期待値を上げるというのでは弱く、そうしたユーザーに適した内容のガチャを提供する必要があるでしょう。

野上氏は「テクニックで売るのは必ず副作用があります」とコメント。例えば割引販売を多様すれば値引き時にしか売れなくなりますし、セット販売は商品の価値を下げていきます。「アイテム8個つき10連ガチャ」のような販売方法はソーシャルゲームでは良く見られ、一見お買い得な値段設定であることから売れ行きは悪くないでしょう。しかしアイテムを欲しいユーザーにはガチャの価値を低く感じさせ、ガチャをやりたいユーザーにはアイテムの価値を低く感じさせる効果があります。不要な方がトレードで流通すれば、双方の価値を実際に低くする効果を持ちます。

この場合の教訓は課題に対する手段を適切に選ぶこと、そして対処しようとしている事象の背景や構造をきちんと理解することでしょう。

■データに振り回されて失敗しないために必要な5つのこと

野上氏はデータに振り回されて失敗しないために必要な5つの流れを紹介しました。

・取り組む課題の定義(Define)
・現状の把握(Measure)
・根本原因の特定(Analyze)
・改善策の検討・設計(Improve/Design)
・効果や設計の検証(Control/Verify)

野上氏は「"現状を把握して改善策を考えよう"とよく言われますが、今回の講演で紹介した様々な失敗の教訓からは、それ以外の3つ、課題の定義、根本限定の特定、効果や設計の検証、がより重要な事が分かります」とコメント。個別の施策が正しくても、それを導き出す前提の理解が誤っていたら正解を導くことはできません。

ではどのようにすれば誤りを減らす事ができるのでしょうか? 野上氏は、分析担当者も普通のゲームユーザーとしてゲームに触れ、自分自身をサンプルとして丁寧に観察してみるのが良いのではないかと言います。自分で遊んで、そのログを見れば、プレイヤーの感情とログがどのようにして結びつくか体で理解できます。また、もっと単純に、一人のユーザーとしてゲームの世界に触れていれば、その世界にどのような問題点があるか、肌で理解できるはずです。

また、適切な分析を行うためには、集計や可視化といった作業は自動化する必要があります。

そして分析担当者もゲームのチームと議論に加わるべきだと言います。上記の2つで見えてきたものを実際にゲームを作っているメンバーと議論し、ゲームをより理想な状態に近づけていく。ゲームの現状と進むべき方向性を、データを持ってチームと共有していく。これこそが分析担当者の仕事であると野上氏は話して講演を終えました。

【CEDEC 2014】データの見方を間違えて失敗した5つの例・・・DeNAの分析担当者が語る

《土本学@INSIDE》