freee会計からマイクロサービスを切り出すのに4年かかりました / 4 Years for Carving Out A Micro Service from freee Accounting. (original) (raw)

マイクロサービスを切り出すのに
4年かかりました
him0
2023年4⽉...")

ださい
him0
2017年新卒⼊社（Eng. 1期⽣）
...")
SMB会計開発 JM

freee 現状 話をします
ごちゃごちゃ言いま...")

● ⼤きな泥団⼦ (Big Ball Of...")
◦ ⾮構造化モノリス ◦ レイヤー化モノリス ◦ モジュール式モノリス • イベント駆動アーキテクチャ • サービス指向アーキテクチャ ◦ マイクロサービス (Micro Service) 一概にモノリスが悪でマイクロサービスが善であるわけで ない 今後 プロダクト戦略や組織構 に合わせてサービス 価値を最大化できる アーキテクチャを選択していくことが重要

認証基盤
ワークフロー
ワークフロー
マイクロサービス
現状の feee会計 のアーキテ...")
債務 freee会計 ビジネスロジックをモジュールとする (レイヤー化 or モジュール)モノリス と思いたいけど実際 非構 化モノリス 従業員情報 freee 人事労務 契約書情報 freee サイン 共通ロジックをマイクロサービス サービス指向アーキテクチャ

freee会計(アプリケーション) のビジネス要...")
ドメインをまたいだデータ連携が容易 モノリスのデメリット • ドメイン依存関係の複雑化、仕組みで防げない • スケーラビリティ、パフォーマンス対応の複雑化 財務会計 債権 債務 freee会計 り りアプリケーション作るぞ モノリスで作る

認証
認証基盤
ワークフロー
ワークフロー
マイ...")
⼩さく作ってコードはあまり動かなさない マイクロサービスのメリット • アプリとの連携により機能追加が実現可能 • ドメインを明確に切って開発に集中できる マイクロサービスのデメリット • 複数のアプリから依存されるのでロジックを改 修に対するコストが⾼い 複数アプリケーションで 利用 マイクロサービス作る

財務会計
債権
債務
freee会計
り...")
認証基盤 ワークフロー ワークフロー マイクロサービス 複数アプリケーションで 利用 マイクロサービス作る

")

4年かけて取り組んだ
WFマイクロサービス 切り出し 話
")

認証基盤
ワークフロー
ワークフロー
マイクロサービス
実際に切り出した部分
財務会計
...")
従業員情報 freee 人事労務 契約書情報 freee サイン もともとfreee会計 中にあったワークフロードメインを マイクロサービスとして切り出した

4年かけて取り組んだ
WFマイクロサービス 切り出し 話
マイク...")
ぐらい 工数

4年かけて取り組んだ
WFマイクロサービス 切り出し 話
")

● 特定の申請を承認するプロセス
● 会社のお⾦を動かす際などに、
...")
• 承認状態の管理 • 部⾨‧役職から承認者を選出 などの機能が備わっている

4年かけて取り組んだ
WFマイクロサービス 切り出し 話
")

● 2018年 プロジェクト発⾜
● 2019年 マイクロサービス完成
● 2020年...")
• 2021年 Elasticsearch のお世話でてんやわんや • 2022年 DB負荷対策、DB分離が急務に • 2022年末 ついに DB分離 完全なマイクロサービスへ

従業員情報
freee
人事労務
ワークフローを導...")
ワークフローの汎⽤利⽤の要求が出てきた 会計 ワークフロー freee会計 会計 財務会計 ワークフローデータ ワークフローデータ WF レコード 財務会計 会計DB

ワークフロー
freee会計
財務会計
ワークフローデー...")
WF DB 会計DB 1.ドメインロジックを再実装 ロジック 分離 2.DB 分離 データ・DB負荷 分離 WFレコード 従業員情報 freee 人事労務 早く使いたいよー 2つ 要件を満たせ WF マイクロサービスとして完全に独立

🤔
")

会計
freee会計
会計
財務会計
ワークフロー
WF mic...")
WF レコード 財務会計 会計DB 安全にマイクロサービスに移行するために ドメインロジック2重にして徐々に切り替えていく戦略をとった 共有を許容 ドメインロジック実装優先 当時 Rails 5系 マルチDB非対応 先行して DB 分離 不可 ワークフロー 切戻しできる状態 徐々に移行

● 2018年 プロジェクト発⾜
● 2019年 マイクロサービス完成
● 2020年...")
• 2021年 Elasticsearch のお世話でてんやわんや • 2022年 DB負荷対策、DB分離が急務に • 2022年末 ついに DB分離 完全なマイクロサービスへ

ワークフロー
WF micro.
従業員情報
freee
人...")
ワークフローデータ 財務会計 ロジック そろった で 開発、運用ができるぞ 会計 freee会計 会計 財務会計 人事労務チーム 爆 で既存機能に WF 機能を導入できた データストアを共有する半マイクロサービス状態 WF レコード

● 2018年 プロジェクト発⾜
● 2019年 マイクロサービス完成
● 2020年...")
• 2021年 Elasticsearch のお世話でてんやわんや • 2022年 DB負荷対策、DB分離が急務に • 2022年末 ついに DB分離 完全なマイクロサービスへ

会計
freee会計
会計
財務会計
ワークフロ...")
ワークフローデータ WF レコード 財務会計 会計DB マイクロサービスとアプリでデータの重複を避け てしまった（マイクロサービスアンチパターン） データの取得流れ 1. WF micro. からアクセス可能なデータの ID を全 件取得 2. 1. で⼿に⼊れた ID を in 句に⼊れつつ会計が DB から検索対象になりそうなデータを取得 3. 2.で得たデータをもとに WF micro. から WF の ステータスを取得 4. 2. 3. で得たデータをシリアライズ 会計とWF micro. のデータを結合する際の パフォーマンスが気になり始める 一覧を表示するだけでも SQL を複数回発行する必要がある状態に また深刻な部分 会計とWFレコード 結合でパフォーマンス対応が必須

Amazon OpenSearch Servic...")
ワークフロー WF micro. ワークフローデータ ワークフローデータ WF レコード 財務会計 会計DB 会計と WF micro. データを結合した状態でインデキシング 検索負荷 軽減が可能になった 更新があったら反映 データの取得流れ 1. ES から ID を取得 2. 会計DBからデータ取得 3. WF micro. からデータ取得 4. 2. 3. で得たデータをシリアライズ

● 2018年 プロジェクト発⾜
● 2019年 マイクロサービス完成
● 2020年...")
• 2021年 Elasticsearch のお世話でてんやわんや • 2022年 DB負荷対策、DB分離が急務に • 2022年末 ついに DB分離 完全なマイクロサービスへ

会計
freee会計
会計
財...")
ワークフローデータ ワークフローデータ WF レコード 財務会計 会計DB キャパシティプランニングやデータ 復旧ロジック 導入、監視 強化 てんやわんやしていたら1年終わりました データ反映 チェック

● 2018年 プロジェクト発⾜
● 2019年 マイクロサービス完成
● 2020年...")
• 2021年 Elasticsearch のお世話でてんやわんや • 2022年 会計DB負荷対策が始まった • 2022年末 ついに DB分離 完全なマイクロサービスへ

財務会計
レコード
ワークフローデータ
財務会計
レコード
2022年 会...")
• WF レコードはシャーディング対象とせず切り出しして欲しいという流れになった ワークフロー WF micro. 会計DB ワークフローデータ ワークフローデータ 財務会計 会計 freee会計 会計 財務会計 WF レコード ワークフロー WF micro. 会計 freee会計 会計 財務会計 WF レコード ワークフローデータ 財務会計 レコード WF DB 会計DB WF DB 分離 急務となった

会計
freee会計
会計
財務会計
ワークフロー
W...")
ワークフローデータ ワークフローデータ WF レコード 財務会計 会計DB アプリ 検索条件に合わせて search 系 RPC を拡張 Rails ActiveRecord により JOIN コード検索で見つける が難しい ひたすら利用箇所を調べて RPC 呼び出しに置き換える作業に勤しんだ RPC 呼び出しで N+1 が発生しない ように cache できる実装 SQL logger で WF レコード 読み書きを検知アラート

Amazon OpenSearch Service
(旧 Elast...")
会計 財務会計 ワークフロー WF micro. ワークフローデータ ワークフローデータ WF レコード 財務会計 会計DB JOIN 剥がしが可能になっていたが全然進んでいなかった ひたすら利用箇所を調べて RPC 呼び出しに置き換える作業に勤しんだ これが大変で半年かかった

")

")

")

会計DB
ワークフローデータ
ワークフロー
WF micro.
...")
従業員情報 freee 人事労務 財務会計 レコード 会計 freee会計 会計 財務会計 ワークフロー ロジックが会計と独立

● 2018年 プロジェクト発⾜
● 2019年 マイクロサービス完成
● 2020年...")
• 2021年 Elasticsearch のお世話でてんやわんや • 2022年 DB負荷対策、DB分離が急務に • 2022年末 ついに DB分離 完全なマイクロサービスへ

○ ⼀時的に DB を共有した状態...")
◦ エンジニアがメリットを説明できる必要がある • マイクロサービスアーキテクチャにおける ◦ データの重複は許容したほうが対処しやすい ◦ ズレ起こるもの、リカバリーするもの • 4年もかかったプロジェクトやりきった感すごい まとめ

● アプリケーションごとに同様の実装が必要になっている
○ 実装を抽象化してマイクロサー...")
◦ フロントエンドのコンポーネントの統⼀も必要 • etc. 課題は⼭積み、ユーザ価値が最⼤化できる⽅法を探っていく必要がある

● インフラチームのメンバ...")