GoとMySQLを用いたジョブキューシステムを作るときに考えたこと - ゆううきブログ
【追記】2023年3月21日 YAPC::Kyoto 2023で、ジョブキューシステムFireworqの設計と運用実績も含めて発表されました。id:tarao ++ 【加筆修正】 2020年2月16日 執筆時から6年も経過していますが、たまたまこの記事を振り返る機会があったので、日本語がおかしいところを一部修正したり、一緒に取り組んだ方々の名前が書かれていなかったところを修正しました。 【追記】2017年12年24日 このエントリのジョブキュー実装がFireworqという名でOSSとして公開されました。id:tarao ++ github.com この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 社内の開発合宿で、 id:taraoさん、id:hakobe
Keepalivedで作るMySQLフェイルオーバーシステム
1. はじめに この記事はMySQL Casual Advent Calendar 2015の22日目のエントリです。 先日、MySQL Casual Talksという勉強会で登壇してきました。その時の内容をまとめておきたいと思います。 MySQLデータベースサーバに障害が起きた時、サービスを続けるには幾つかの方法があります。障害発生時にSlaveサーバーを手作業でMasterに昇格させる方法、MySQL Utilitiesに含まれるmysqlfailoverというユーティリティーを利用する方法などです。 今回、Keepalivedというソフトウェアと、MySQLの双方向レプリケーションを使って、ほぼ無停止でフェイルオーバーする構成を試してみたので、それについてまとめておきたいと思います。 2. システム構成 db1、db2という二つのサーバで、それぞれmysqldとkeepalivedを
MySQL: 不要なバイナリログを削除（パージ）する shell | QK
MySQLでレプリケーションってMASTERが吐き出すバイナリログをリレーしてレプリケーションをするわけなのですが、そのままにしておくとMasterにバイナリログがどんどん溜っていきディスクを圧迫してきます。自動削除の機能もあるのだけど・・MASTERのバイナリログをSLAVEが処理しているかなんて見ないで削除してしまう（そもそもレプリケーションのための設定ではない）ので、ちょっと怖いなあーといった感じですね。 そんなこんなで、全てのSLAVEが処理済のバイナリログを削除（purge）するshellを作ってみました。最近shellばっかり作っているな・・。 バイナリログ自動削除オプションは、例えば以下のような設定をMASTERのmy.cnfに加えてあげることによって、下記例ですと10日以上経過したログファイルを削除するってオプションなんですが、ここでは今回触れません。 set-variab
「Oracle Databaseをやめる」という選択肢
「Oracle Databaseをやめる」という選択肢：実践 OSSデータベース移行プロジェクト（1）（1/2 ページ） Oracle Databaseのライセンス体系が変更され、これまでSE1／SEを利用していたユーザーは「実質の値上げを受け入れる」か「Oracle Databaseをやめる」かの選択が迫られています。本連載では、商用DBMSからOSSデータベースへの移行を検討する企業に向け、「MySQL」への移行プロジェクトで必要となる具体的なノウハウをお届けします。初回は、本連載を展開する背景を説明します。 連載バックナンバー はじめに ビッグデータ、クラウド、IoTなど、ITトレンドの変遷が激しい現在、「データ」の重要性がますます大きくなってきています。昨今のデータの取り扱いにおいては、NoSQLやKVS（Key Value Store）のように、個々のデータの欠損には目をつぶりつ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
