Amplitudeはエンジニアに優しい分析ツール
TECH
2022.12.27
GROWTH SUMMIT 2022でデータ駆動の取り組みについて紹介しました
writer
2022.12.27
2024.03.03
PLAN-BでSEARCH WRITEやCast Me!など複数のB2B SaaSのプロダクト開発でデータ駆動やアジャイルの推進をしている湯川です。エンジニアリングで業務改善をするRevOpsやMarketingOps、CSOpsの推進も担っています。
2022年11月16日に開催されたGROWTH SUMMIT 2022に登壇する機会をいただきました。セッション内容が文字起こしされた記事や本編動画も公開されていますので、内容については後ほど紹介するそちらをご覧いただければと思います。本記事ではセッションの背景や、紹介しきれなかった具体的なプラクティスをご紹介します。セッション本編の副音声のような感覚で読んでいただけますと幸いです。
GROWTH SUMMIT 2022とセッション内容
登壇させていただいたGROWTH SUMMIT 2022は「グロースマーケティング」に焦点をあてた、株式会社DearOne様が主催するカンファレンスです。
私はその中でもプロダクトのグロースに焦点をあて、組織としてどう始めていくかやGA4やAmplitudeなどの計測ツールの使い分けなどについて、DearOne様の赤木様と対談セッションをさせていただきました。
約40分の本編動画をご覧いただけます。スライドを使って対談しながら説明しており、動画ならではの雰囲気や熱量を感じていただけると思います。
https://growth-marketing.jp/seminar/growth_summit_2022_info_session5_report/
こちらはセッション内容が文字起こしされたレポートです。ざっとどんなことを話していたか確認する場合はこちらがおすすめです。もしより興味を持たれましたらぜひ動画本編もご視聴ください。
https://growth-marketing.jp/seminar/growth_summit_2022_session5_report/
普段、開発やアジャイル系のコミュニティで登壇やLTをすることはあっても、データやマーケティング系のイベントで登壇するのは初めてだったので、いつもとは異なる緊張感がありました。セッション自体はスタジオで事前収録する形式でしたが、主催のDearOne様のみなさまが温かい空気を作ってくださり、楽しい気持ちで喋ることができました。
イベント登壇の背景
DearOne様はPLAN-BのSEOツールであるSEARCH WRITEのお客様でもあり、PLAN-Bの 各プロダクトではDearOne様が日本総合代理店を担う行動分析ツールAmplitudeを使っています。
DearOne様にもお手伝いいただき、約2年間Amplitudeや他の分析ツールも使ってSaaSのグロースを行ってきました。データ活用やデータ駆動を推進していく中で、気づいたことや良かったことをふりかえり、セッション中で道のりを紹介しています。
本テックブログでもAmplitudeを使った記事を公開しています。B2B SaaSに関わる方やデータ活用に興味があるエンジニアの方におすすめです。
Amplitudeはデータ構造やデータ送出の方法がエンジニアにとってシンプルでわかりやすいツールです。どんなことができるか、実装する場合どんなコードになるかなど、データ分析をしてみたいエンジニアにおすすめの内容です。
少しステップアップした内容で、PLAN-BのB2B SaaSでヘルススコアが妥当なのかをAmplitude有償版の機能を使って簡単に分析してみました。ある程度基本的なデータ分析はしており、より応用を考えたい方や、CSOpsの方におすすめです。
紹介しきれなかった活動やプラクティス
セッションでは、まだグロースマーケティングやデータ駆動を始めていないか、始めてすぐの方を主なペルソナとし、PLAN-Bでこの2年間やってきた活動と、構造的に重要だと考えている要素を紹介しました。
「正式な推進担当者」ですぐに気づいた方もいると思いますが、書籍「Fearless Change アジャイルに効く アイデアを組織に広めるための48のパターン」で紹介されているパターンの名前を拝借しました。
組織で何か新しいことを始めたい時や、変化を起こしたい時に有用なプラクティスが本書には多くのっています。チームや組織に取り組みを拡げる参考におすすめです。
本記事ではセッションでは紹介しきれなかったより具体的な活動やプラクティスを紹介します。
データ駆動に限らずアジャイルやプロダクトマネジメントなどでも同様ですが、今までやっていなかったことを始める時や、今までのやり方を変える時に必要なのは個々の技術よりも、担当者の推進力と組織の協力だと考えています。素晴らしい個々の技術があれば突破できることもありますが、そういったケースはいわゆる「強い人」を採用できた例などに限られると思うので、今あるリソースで何とか前に進めることを想定しています。
データ駆動を定期的な活動として始めて巻き込む
データを使った取り組みをしたくなった時や、仮説検証をする必要のある企画が出た時など、強いニーズの発生時にその都度集まって何かをするのではなく、何かネタがあろうとなかろうと定期的に活動をするようにしています。PLAN-Bでは、各SaaSプロダクトごとにデータ活用やデータ駆動を改善していく取り組みを定期的に行っています。
例えばSaaSプロダクトの開発サイクルは1週間なので、データ駆動の活動も1週間単位で行っています。
基本的なトピックスとしては以下の2つです。
- これから開発しようとしている企画や機能の効果検証をどうするか
- リリースした機能の検証結果がどうだったか、次に何をするか
これらの問いを毎週重ねていくことで「何を作るか」だけではなく「これを作ることで得られるものは何か」「顧客やユーザーがどう反応するか」に意識が変わっていきます。また、当たり前のことのように見えて当たり前ではない「作ったものが想定通りの効果を得るとは限らない」ことが実際の数値でわかるようになります。
これらの基本的なトピックス以外にも、四半期の変わり目では来四半期では何を目指すかや、NSM(ノーススターメトリック)の深堀り、データ分析基盤の設計なども扱います。活動として一定の時間を確保しているからこそ、未来の話や発散的な話題もしやすくなります。
なぜやるのか? どうありたいのか? を伝える資料を作る
データ活用やデータ駆動をなぜやるのか? の考え方や実例を伝える資料があると、定期的な活動に新しいメンバーが参加してきた時や、定期的にメンバーに改めて伝える時に便利です。入門・初心者級の方に伝えるために私が作った資料では、主に3つのことを伝えています。
- 改善したい指標を絞ること。それが良い指標であること
- 仮説検証は「風が吹けば桶屋が儲かる」を分解するようなこと
- ダッシュボードは5W1HとActionを定義すること
それぞれの詳細をご紹介します。
改善したい指標を絞ること。それが良い指標であること
まずは1つの指標に絞って改善を進めることをおすすめしています。
複数の指標を同時に改善しようとすると、複数の改善施策により交絡要因が発生することや、ある指標を増加させようとする施策と減少してしまう施策が混ざることがあり、何の施策やリリースによってどれだけ改善したかがわかりにくくなるからです。
指標を絞り、自分たちの施策で影響を与えやすい指標は何かを考えていく中で、以下の4つのポイントを確認するようにしています。
- 「なぜその指標を追うのか」がわかりやすいか? (関係者間で意見が異なる場合形骸化しやすい)
- 定量的な指標の場合、比率や割合になっているか? (総ユーザー数などではなく、アクティブユーザー率などを追う。自然と右肩上がりになるような指標を使わない)
- 効果の検証がしやすいか? (検証に1年かかるようなものではなく、短期間で検証できる先行指標を使う)
- あなたから近いか? (自身の施策で指標に影響を与えやすいか。他からの要因を受けにくい指標か)
このあたりの考え方は「Lean Analytics」やデータ活用関連の書籍・記事が詳しいです。
仮説検証は「風が吹けば桶屋が儲かる」を分解するようなこと
前述の「あなたから近いか?」に関係しますが、年間売上や解約率のような遅行指標だけを追うと、何の施策が効いたかがわかりにくくなります。仮説検証ではその遅行指標につながる因果関係を明らかにしていくことが重要になってきます。
例としていわゆる「風が吹けば桶屋が儲かる」を検証するにはどうしたらいいか? を考える時間を作っています。風が吹けば桶屋が儲かるは以下のような流れになっています。
桶屋が儲かるが最終的に得たい遅行指標だとして、実際の施策はもっと手前の指標を改善するようなものになるはずです。
仮説検証ではそれぞれの因果関係が存在するのか? 存在するとしてどれだけの影響を与えるのか? を確認しながら、施策ごとに指標の定義をしていきます。
ダッシュボードは5W1HとActionを定義すること
データ活用・データ駆動界隈ではよく言われることですが、いわゆるダッシュボードを作る際には5W1Hを定義することが重要です。PLAN-Bでは更にダッシュボードの指標がどうなったらどんなアクションをするかまでを定義することを薦めています。「行動が変わるダッシュボード」が良いダッシュボードであるという考え方です。
例えばこのように定義します。
| Who | プロダクトマネージャーとカスタマーサクセスマネージャーが |
|---|---|
| When | 週に1回 |
| Where | カスタマーサクセス定例MTGで |
| Why | 先日リリースしたxxx機能を顧客がどれだけ認知しどれだけ継続利用しているか知るために |
| What | xxx機能利用ファネルとxxx機能定着率を |
| How | xxxダッシュボードで確認する |
| Action | リリース後2週間の時点で認知率がn%以下の場合、深堀りMTGを実施する。 リリース後1ヵ月の時点で定着率がn%以上の場合、追加のxxx開発を行う。 |
うまくいった場合と、うまくいかない場合のしきい値(ガードレールと呼んでいます)を事前に設計することで、設計段階で検証についての解像度があがります。事前に設計しない場合、結果を見て都度判断することになるので個人のバイアスが入りやすく、また理想と異なっていても現状を追認してしまうリスクがあります。
CTAダッシュボードで行動をかえる
PLAN-Bでは特にカスタマーサクセス(以下、CS)領域において、CTAダッシュボードというものを運用しています。CTAはCall-to-Action(行動喚起)の略です。マーケティング領域だとWebサイト上のボタンや画像などを指すことが多いですが、ここでは「ダッシュボード上の指標がしきい値をこえた場合にCSメンバーが起こす行動」のことです。
CSマネージャーやメンバーと相談して例えば以下のような定義をします。
- 最終ログイン日からn日以上たった顧客がいる場合、状況確認をする
- ある機能の一定期間内の利用頻度がしきい値を下回った場合、当該ユーザーの他の機能の利用頻度を確認する
こういったCTAを確認頻度(日毎、週毎、都度など)ごとに設定し、モニタリングしながら自動的に自分たちの行動が決まるようにします。
アクションと合わせてダッシュボードや指標を定義していくことで、それぞれのメンバーが考える良いアクションが形式知化され、また業務フローも整理されていきます。仮にうまくいかなかったとしても、なぜうまくいかなかったのか? をふりかえり、次のバージョンに繋げることができ、少しずつ役に立つダッシュボードへと育っていきます。
CS領域でCTAダッシュボードを運用していくと、ヘルススコアに繋がる行動や指標も見えてきます。こちらの記事ではヘルススコアをアップデートした際の流れやポイントをまとめています。
データを中心に、チームや組織と共に歩んでいく
GROWTH SUMMIT 2022のセッションでは伝えきれなかった活動やプラクティスを紹介しました。プロダクトやサービスをグロースさせていく上で、データを活用しようとすると様々な役割の人たちとの協力は必須です。まずは巻き込み、データを身近に感じてもらいながら、実際に役に立つものを一緒に作っていくことが大事です。
最初はそもそも指標の定義がなかったり、データ計測の仕組みがなかったりで、すぐに何らかの成果を出すことは難しいです。PLAN-Bでも私がこういった活動を始めて、2年以上経って今の形があります。だからこそ時間がかかることは覚悟しつつ、1歩ずつ進めていきながら改善していきましょう。次第に仲間が増え、データドリブンな動きができるようになります。
もしまだご視聴されていない方で、本記事で興味を持っていただけたのであれば、ぜひこちらの動画をご覧ください。
https://growth-marketing.jp/seminar/growth_summit_2022_info_session5_report/
2018年02月にPLAN-Bに入社し、プロダクト開発のアジャイル化を推進(自称社内アジャイルコーチ)。複数プロダクトでカンバン方式やスクラムでの開発を軌道にのせ、安定的・継続的なリリースサイクルを実現。現在はプロダクト開発におけるデータ駆動化やデータマネジメントを事業・全社を巻き込んで進める。スクラムマスターの社内コミュニティ「スクラムマスターギルド」ギルドマスターとしてもこっそり活動中。
