はじめに こんにちは、技術顧問のsatです。 サイボウズでは、ファイルシステムサイズ拡張時にデータベースアクセスがスローダウンするという問題に長年悩まされてきました。本記事では運用本部の藤田と深谷がこの問題を解決した流れについて報告いたします。問題を解決するために2人はLinuxカーネルを修正しました。修正は社内に閉じたものではなく、執筆当時の最新 Linuxカーネルであるv4.17にマージされています。 問題 以下の操作の後にデータベースへのアクセスが一時的にスローダウンする ブロックデバイスのサイズを拡張する 上記デバイス上にあるファイルシステムのサイズを拡張する 原因 linuxカーネルはブロックデバイスのサイズ変更(縮小および拡張)時に、当該デバイス上にあるファイルシステムのページキャッシュ(後述)を無効化する*1 解決方法 ブロックデバイスのサイズ拡張時にはページキャッシュを無効

卜部という名前で、マネーフォワードという会社でプログラミング言語Rubyの開発に携わっているものです。 実は、この文章を書き始めるまでにずいぶんと悩みました。というのも、これまでこのコラムに登場した他の人たちと違って、自分のキャリアというのは決して戦略的に積み重ねてきたものではないのです。そもそも初回の転職からして、やりたくて転職したわけではない。 思い返せば大学院から最初に就職した会社は、受託開発で忙しいながらも楽しく、社会人としてもプログラマとしても大きく成長させてくれた職場でした。何もなければそのまま一生そこで勤めて終わる、本当にそう思っていましたし、今でもやがては戻れたらいいなあと思います。しかし現実にはそうはならなかった。どこに行っても仕事がなく、開発者が余ってしょうがないみたいな時代があり、それが十年近く前ですけど、ありていに言えば放り出されてしまった。会社都合退職です。 しょ

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取り組んだ時のお話です。 背景 当社では分析目的などでBigQueryを以前から使用しており、プロダクションのMySQLからBigQueryへデータを同期して分析に活用してきました。特に商品を表すテーブルは重要です。 しかし、後述する課題によりBigQueryにアップロードすることができなかったため、分析用のMySQLDBのスレーブとBigQueryを併用せざるを得ませんでした。とはいえ不便なので以前からBigQueryのみで商品テーブルも分析対象としたい要望がありました。 課題 メルカリでは販売済み商品を物理削除していないため、

Posted by Google Cloud ゲーム テクニカル スペシャリスト　サミール ハムディ バンダイナムコエンターテインメント（BNE）の『ドラゴンボール レジェンズ』は、人気の高い『 ドラゴンボール』シリーズをモチーフとした、全世界のゲーマーに向けて配信を開始した新しいモバイル ゲームです。このゲームを支えるクラウド インフラストラクチャの計画は、特殊な課題を抱えていた BNE が、その解決のために Google Cloud と話し合いを持った 2017 年 2 月にスタートしました。 BNE は、自ら予測する需要に基づいて、次の 3 つの意欲的な要件を設けていました。 極端なまでのスケーラビリティ : このゲームは全世界に配信されるため、数百万のプレーヤーが参加してもびくともしないスケーラビリティの高いバックエンドが必要でした。グローバル ネットワーク : このゲームはプレー

こんにちは、菊池です。 MongoDB使いのみなさん、ニュースです。現地時間の2018年6月26、27日、アメリカ・ニューヨークでは MongoDB のカンファレンス、MongoDB World'18 が開催されています。 そんな中、現在開催されいてるキーノートで、MongoDBの新しいメジャーバージョンである、4.0 の正式リリースが発表されました。 Release Notes for MongoDB 4.0 MongoDB 4.0 の目玉は、以前よりアナウンスされていたマルチドキュメントトランザクションのサポートです。 MongoDB 4.0 では複数ドキュメントの ACID トランザクションがサポートされます 本記事では、マルチドキュメントトランザクションについてリリースノート、ドキュメントからわかる内容を紹介します。 Transactions | MongoDB Documenta