GitHub Copilot導入効果をFindy Team+で定量的に可視化。 マネーフォワードの全社的な開発生産性向上に向けた取り組みとは？
個人向けPFMサービスや法人向けバックオフィスSaaSなど、金融系サービスを幅広く開発・提供している株式会社マネーフォワードでは、エンジニア組織における個人の振り返りや組織の課題発見に、エンジニア組織支援クラウド「Findy Team+」を活用いただいています。
今回は、開発生産性の向上に関する取り組みを推進しているVPoEの高井さんにインタビュー。GitHub Copilotの効果検証としても「Findy Team+」を活用された事例について、お話をうかがいました。
目次
VPoEとして、急拡大中の組織の成長を支える
──高井さんのこれまでの主な経歴について教えてください。
高井：私はずっとウェブエンジニアとしてキャリアを積んできました。前職のWebサービスベンチャーで、社内横断の技術部門長をはじめ、子会社のCTO、全社の技術部門の統括など組織方面の仕事へとだんだんとシフトしてきました。その後、より大きな組織に挑戦する機会が欲しいと考え、2021年の12月にマネーフォワードに参画しました。
──現在の役割、ミッションについてもお話いただけますか。
高井：はじめに会社の体制について簡潔にお話しさせてください。マネーフォワードは、事業部をカンパニーと位置付け、法人向け／個人向け／金融機関向けといった三つのサービスに分けて、それぞれカンパニー（事業部）ごとに開発を進める社内カンパニー制をとっています。各カンパニーのCxOが意思決定を行っており、会社が大きくなってもスタートアップの空気感を残したまま成長を続けられています。
そのなかで、私はエンジニア組織全体を牽引するエンジニアリング戦略室に所属しており、VPoEとしてエンジニア組織全体の課題解決を目指すことを主な役割としています。開発生産性の向上にも取り組んでいるほか、エンジニアの組織制度や評価制度のアップデート、公用語英語化の推進も私の役割です。
またマネーフォワードはここ数年でメンバーが倍増するなど、組織規模が急拡大しています。組織として成長し続けるためには、規模の拡大に合わせて変化を起こしていかなくてはいけません。想像以上のスピードで大きくなっていく組織に対して、必要な仕組みを用意して導入するのが私のミッションです。
GitHub Copilotの効果検証に 「Findy Team+」を活用
──貴社では開発生産性の向上に注力されていますね。そのきっかけはなんだったのでしょうか。
高井：マネーフォワードはエンジニア組織に限らず、会社として成長のために積極的に投資しています。そういった背景があり、エンジニア組織についても投資に対して組織を健全に成長させられているか生産性を見ていきたいという考えがあり、Four Keysを生産性指標としながらさまざまな施策に取り組んでいるという流れですね。
──「Findy Team+」を一部署から利用拡大されたきっかけについてもお話いただきたいです。
高井：Four Keysはエンジニア組織の生産性を表す指標ではあるものの、エンジニアの活動をつぶさに反映するものでありません。ビルドパイプラインや開発プロセスの改善という一通りの施策が終わった段階で個々人の活動にフォーカスしたいと考えるようになり、関西開発拠点での導入事例を参考に「Findy Team+」の利用が拡大していきました。
──ありがとうございます。今回は「Findy Team+」でGitHub Copilotの効果計測をされた事例についてお聞きしたいのですが、その前にGitHub Copilotを導入しようと思われた理由についてもお話いただけますか。
高井：前述の通り、私たちは開発生産性の向上に取り組んでいます。新しいテクノロジーを活用することにも注力しており、その一環として2023年にトライアルとしてGitHub Copilotの利用を開始しました。
GitHub Copilotが開発者の業務効率化につながることは、GitHub社の調査や個人としての感想として聞いていていたものの、弊社の業務効率化に繋がるかは不明瞭でした。
また当初は明確なゴールを定めていたわけではなく、「試してみよう」という温度感だったため、いくつかのチームで限定的にトライアル導入をして効果検証を実施しました。
──当初、GitHub Copilotの効果検証はどのように実施したのでしょうか？
高井：最初はGitHub Copilot利用者にアンケートをとる形で効果検証を実施しました。ただ、アンケートをとっても「効果を感じる部分もあるけれど、おせっかいに感じる部分もある」という曖昧な返答が多く、効果があるのかどうか、アンケートだけでは判断できませんでした。
そこで、希望者に対してはGitHub Copilotを有効にして、利用者が増えた段階で再度アンケートをとりました。すると約42.5%は「明らかに生産性向上に効果がある」と回答し、約51.2%は「一部の用途では開発生産性の向上に効果がある」という回答でした。
多くの人が効果を明らかに感じてはいるようですが、導入を決定するほどの説得力はありませんよね。組織全体の生産性が向上しているのかどうかも判断できず、費用対効果などの面でも依然として疑問が残っていました。
──目に見えるデータがなければ、会社として投資判断するのは難しいですよね。
高井：ええ。それでどうしたら良いかと考えているときに「Findy Team+」の存在を思い出したのです。利用者と非利用者の生産性を比較すれば、GitHub Copilotの効果を定量的に判断できるのではないかと考え、「Findy Team+」での効果検証に踏み切りました。
GitHub Copilot導入後の改善効果を一目で可視化へ
──「Findy Team+」でどのように検証されたのか、お話いただけますか。
高井：最初に GitHub Copilot利用者と非利用者のグループをつくり、そのグループ同士を比較することで何か分からないかと考えました。全体アクティビティを見た瞬間に GitHub Copilot の効果が可視化されているのが、はっきりと分かりました。
出典：Money Forward Developers Blog「開発生産性が上がるって分かったので GitHub Copilot Business を積極活用しています」 このグラフを見ると、GitHub Copilotを使用する前の両者には違いがないものの、トライアル開始後は利用者グループの活動量が増えていることがわかります。
詳細を更に細かく分析していくと、GitHub Copilotの利用者グループの方がプルリクエストの作成数が増加し、コミットからオープンまでの平均時間が短くなっていることもわかりました。つまり、非利用者グループと比べて利用者グループの方が、コードをより多く・早く書けるようになっています。
出典：Money Forward Developers Blog「開発生産性が上がるって分かったので GitHub Copilot Business を積極活用しています」
Copilot 利用者は非利用者に対して約12%プルリクエスト作成数が多いことが分かり、「コミットからオープンまでの平均時間」、つまり機能開発を開始してからそれを完了させるまでの時間も約7時間ほど短くなっています。
オープンからレビューまで、レビューからアプルーブまでの平均時間は少し上がっていますが、これはプルリクエスト数の増加に伴いレビュー数も増えたことで、待ち時間が増えた形ですね。結果として、機能開発にかかる時間は短くなっていると推測できるので問題ないと考えています。
プルリクエスト数やレビュー数にも増加傾向があり、特にFour Keys に関する指標の一つである変更のリードタイムは大幅に短くなっています。デプロイ頻度が変化しないことについては、プロダクトのワークフローやプロセスによって決定されるものであり、個人の活動量が反映されにくい数値であるからだと解釈しています。
変更のリードタイムは、Copilot 非利用者に対して Copilot 利用者は約69.7%となっており、 Copilot を利用することで、より短いサイクルで機能をリリースできるようになっていることが分かります。これは主要指標で、Copilot 利用によって機能開発にかかる時間が短くなるだろうという推測とも一致します。
結論、「Findy Team+」で検証したことによって、 Copilot 利用によって、機能開発にかかる時間が短くなり、より多くの機能を開発できるようになることを強く示唆しています。 Copilot 利用によって、少なくともマネーフォワードでは約10%以上の開発生産性向上が見込めることがわかりました。
GitHub Copilotは個人のコードを書く能力をサポートしてくれるものなのだとわかりました。その結果、個人の主観だけでなく、開発組織全体の生産性の向上につながると確信できたため、現在は全社的にGitHub Copilotの活用を推進しています。
──効果検証のお役に立ててよかったです。そのほかに「Findy Team+」を使っていて、何か気がついたことはありますか。
高井：GitHub Copilotで改善できる部分とできない部分が可視化できたため、組織の改善部分が明確になりました。それにより、今後の施策を考えるきっかけにもつながりました。ただのアンケートでは、主観的な意見が入ってしまうため、施策が解決したい課題に対して本当に紐付いているのか不明な部分がありました。やはり、数値から分析をしなければわからない点もあるので、非常にありがたいなと感じています。
またデータをもとに費用対効果の算出ができるようになったのも良かったなと。やはり、全社導入するとなるとそれなりの費用がかかってくるため、経営層を説得する際の補助ツールとしても役立ちました。
そう考えると「Findy Team+」はビジュアライズツールとしても優れていると言えるのではないでしょうか。一目で全体の動向を捉えられるツールは他にないでしょうし、EMやマネジメント層の方も十分に活用できるサービスだと思います。
更なる事業拡大に向けた、マネーフォワードの挑戦
──開発生産性の向上に関して、今後挑戦したいものがあれば教えてください。
高井：最近は、生成AIを活用して何かできないかと考えています。GitHub Copilotはコードを書く部分をサポートしてくれるものです。しかし、プロダクトを開発するためにはコードを書くだけでなく、設計やレビュー、テストなど、さまざまな工程がありますよね。そういった分野についても、生成AIを活用して生産性を高めていきたいです。
──Four Keysを成長指標としている、とお話されていましたね。Four Keys以外でいま注目されているフレームワークはありますか。
高井：特定のものはありません。ただ個人的に一つ言いたいのは、開発生産性の向上を考えたときにアウトカムを追い求めがちですが、それは少し違うのではないかということ。開発の活動は多次元であり、簡単に計測できるものではなく、アウトカムだけを追い求めると本質を見誤る恐れがあると思います。
そもそも、全ての組織に当てはまるフレームワークはないと考えていて。「自分たちは何に困っているのか」「個人レベルの話なのか」「組織レベルで見るとどれほど影響してくるものなのか」「それを解決するためにはどうしたら良いのか」「解決できているか計測するためのフレームワークはどれか」といったことを一つひとつ突き詰めていって、自分たちの組織や課題にあわせて最適なものを選ぶ必要があるのではないでしょうか。
新しい指標が出てくると挑戦したくなることもあると思うのですが、ユーザーに価値を届けるため、組織を成長させるためには、冷静に見極めることが大切だと思います。
──ありがとうございます。最後に、組織のアピールポイントや一緒に働きたいエンジニア像を教えてください。
高井：マネーフォワードは「User Focus」をバリューとして、プロダクト開発に真摯に取り組んでいる組織です。ただ、事業領域の拡大とそれに伴う組織規模の成長が非常に早いため、組織として整えるべきところも少なくありません。2024年11月までに達成することを目標として英語化を進めているところでもあり、変化していく部分も多くあります。その分、一人ひとりが貢献できる機会が多いのも魅力ですし、組織づくりに携わりたい人にはとても面白い環境です。
また、今まではSaaS市場の成熟に合わせてプロダクトを数多くつくってきましたが、それらが軌道にのり規模が大きくなってきています。サービスの共通化や標準化を進めたいと考えているなかで、より生産性を向上するためにも“エンジニアのためのエンジニア”を必要としています。
「すべての人の、『お金のプラットフォーム』になる。」というビジョンに向けて、ともに挑戦を続けてくださる方にジョインしていただけることを願っています。
──高井さん、ありがとうございました！
※「Findy Team+」のサービス詳細は、以下よりご覧いただけます。
