120億レコードの金融資産データを扱うマネーフォワードのMySQL活用のこれまでとこれから // Speaker Deck

#dbts2017 #DBA採用 #マネーフォワード http://www.db-tech-showcase.com/dbts/tokyo 現在 #500万人突破 #家計簿アプリシェアNo1 のマネーフォワードでは、120億レコードを超える金融資産関連データをMySQLで扱っています。 そんなマネーフォワードのDBインフラについてこれまでの成長で対応した課題やこれからについてお話します。

[hitodie]

え、え、120億レコードって大したことなくない？？金融資産データゆうけど所詮は銀行データの複製だからクリティカルさも全然ないし、ちょっとこれはどうなの詳しい人教えて。

[amatou310]

クラウド会計ではなくて家計簿アプリの話？どっちのこと言ってるのか最後までよくわからんかった。家計簿アプリの方ならインバン入出金明細のレプリカの他、自分で入力したデータもあるから固有データもあるんでは。

[jiro68]

基本的に会計サービスは他人のデータを見る事は無いのでサービス提供側の分析、サービス用途以外は結構分割しやすそう。サービス用途はマルチソースレプリかETL通して分析が得意なDBに集約したらいいのでは？

[luccafort]

レプリケーション側でALTERかけてマスタに昇格させる、なるほどー。

[masayuki5160]

フィンテック系だからなんか違うかと思ってたけど意外にDBでやってることが一般的で驚いた。フィンテックに限らずサービスが成長してきたときのDB運用の参考になって助かる。

[gowithyou]

120億レコードを大したことないとかいっている人はそれだけのレコード数のデータを扱ったことあるのかね？ログデータのような非定型データじゃないんだけど

[tzkoba]

moneyforward

[nntsugu]

MySQL

[taruhachi]

物理で殴るって言っても凄い世界だなぁ。。。メモリにIndexが乗って無くても大丈夫なアプリケーションなのかな、、、。とはいえ障害発生時がきつそう。

[hhungry]

ソシャゲ屋さんの方がDBのノウハウもってると思う。

[jtw]

意外にも非力なサーバで運用してて驚いた。

[new3]

140億レコード、一番大きいテーブルは70億レコードって35スライド目にはっきり書いてある。内容を流し見すらしないブコメと無言ブクマの多さが気になる。

[karikari1255]

ユーザーIDとDBのマッピングをするマスタ1つ用意して、後は1万なり10万なりのユーザー毎に分割で良いような気がするけど。調査分析用は別途集約したDB用意すればいい

[snowcrush]

辻調グループから証券会社を経てマネーフォワードのCISOって興味深い経歴の人だなー

[yujiorama]

5億レコードで苦労してるけどたいしたことない数字だと思うことができた（実際たいしたことあるけど……）

[lyiase]

これは1テーブル最大120億レコードってことじゃないかな？じゃないと、500万ユーザーも居たらPCI-DSSに対応するだけで普通に全レコード数なら突破しちゃうだろ。ところでGCP使ってるならCloud SQLを使う予定はあるのだろうか

[raimon49]

「BLOGや料理サイトと異なり、自分の資産データはキャッシュできる部分は少ない」　たしかにキッツイ縛りだ。さくらってこんなスケールアップ構成も選べるんだね。

[motchang]

きゃー！飯田さーん！ / percona toolkit 出てこないの意外だ

[lifeisadog]

サービスの性格上、こういう構成だよとか、こういうサーバーを使ってるよっていう話は言わない方がいいと思うんだけど……

[love0hate]

技術的にはふつーな話。サービス成長的な観点では参考にはなるか

[ktkrme]

知見薄くない？水平分割、垂直分割、大規模テーブルへの無停止alterあたりの情報を期待した

[gusyazero]

勉強になる！ ダンプからのインポートが２ヶ月あっても終わらないって…地獄やん…(´・ω・`)

[mercartona1193724]

進化してるね

[knjname]

120億レコードの金融資産データを扱うマネーフォワードのMySQL活用のこれまでとこれから // Speaker Deck

[Nyoho]

卜部さん出てきた