MySQL + ioDrive + XFSにおけるbinlogローテート問題 | 外道父の匠
前回の問題とはまた別件で、今度はbinlogのローテート切り替わりタイミングに更新クエリが停滞する、という問題を調べることになりました。 調査の過程で何を誤ったか、Twitterという魔法陣から最強クラスの重鎮魔神を召喚してしまい、恐れ多くも原因の特定と対応方針の決定ができてヘコヘコな感じでございます。 binlogローテート時の障害 数十分に１回、更新クエリが停滞してアプリケーションにエラーログが残るということから、他のエンジニアが、どうもbinlogの切り替わり時にそれが起きているっぽいことを特定してくれました。発生時は1～3秒は更新機能が停止するので、結構なレベルの障害ということでした。 binlogは1GBでローテートするように設定していたのですが、dstat -d でwrite容量を見ていると、確かに切り替わり時に800～900MBの書き込みを確認できました。 このことから、bi
冬の日2014〜ioDriveが壊れた日〜 - FAT47の底辺インフラ議事録
ある日 ioDriveを積んでるMySQLスレーブサーバが突然の死。 というか、レプリケーションが止まっていました。 サービスから参照されていないDBではあったので、 特に死んでいても問題にはなりませんでした。 今回つかっていたのはioDrive Duoです。 /var/log/messages確認 とりあえずシステムのログを確認してみると、 Jan 27 05:39:36 hoge-dbs kernel: fioinf HP 640GB MLC PCIe ioDrive Duo for ProLiant Servers 0000:09:00.0: groomer read had error -1024 Jan 27 05:39:36 hoge-dbs kernel: fioerr HP 640GB MLC PCIe ioDrive Duo for ProLiant Servers 00
Zabbix向けioDriveテンプレートを公開しました | Pocketstudio.jp log3
Zabbix 向けの ioDrive テンプレートを github に公開しました。今日の記事は、テンプレートの使い方と、簡単な解説です。 ■導入経緯と目的 ioDrive が普段どのように動作しているかは、fio-status コマンドや SNMP を使って、ある程度把握する出来ます。とりわけ、 SNMP を通して、様々なデバイスの環境データや ioDrive の状態を知ることが出来ます。 折角データが取れるので有効活用せねば…！と、Zabbix 用のテンプレートを作成しました。github にテンプレートをおいてあります。動作条件は、Zabbix 2.0 以上です（Low Level Discovery 機能を使うため）。 repository https://github.com/zembutsu/zabbix-template-ioDrive Template https://gi
【ioDrive】SNMPでioDriveの様々な情報を参照する方法 | Pocketstudio.jp log3
ioDrive/ioDrive2 の稼働状況 ( Health Status ) を知るためには、fio-status コマンドを使う方法があります。しかし、毎回サーバにログインし、コマンドラインで確認するのは、あまり現実的ではありません。 そのような場合は、SNMP を用いた ioDrive の状況確認が手軽です。一度設定を済ませてしまえば、SNMP を扱える監視ツールと連携し、アラート送信やリソース推移の確認に活用することができます。 本記事は、snmpd で ioDrive の MIB を取得するための設定方法と、主要な OID についての説明です。 ■概要 ioDrive の情報は、SNMP サブエージェント “fio-snmp-agentx” を通して、snmpd が AgentX プロトコルを経由して取得します。そのため、対象サーバでは snmpd をセットアップします。外部の
2013フラッシュストレージ新時代 II | gihyo.jp
皆様、新年あけましておめでとうございます。2012年は、皆様にとってどのような1年になりましたか？ 今年も、Flashストレージの観点から幾らか最新事情を紹介させていただければと思います。今回は、Fusion-ioの独自テクノロジである、Flashメモリの利点を引き出すためのioMemory SDKを通して、Flashメモリが今後のどのように活用できるかを考えていきたいと思います。 ioMemory SDK ─FlashメモリへのネイティブアクセスAPI これまでNAND Flashメモリは、ハードディスクの代替として、USBメモリやCFやSDカード、SSDといったブロックデバイスとして使われてきました。しかし、Flashメモリには、Flashメモリならではの利点があります。 Fusion-ioではFlashメモリに対して、これまでのブロックデバイスとしてではなく、新たなアクセス手段として
Linux Clustering with Fusion-io – Tuning tips to maximize replication performance – LinuxClustering.net
When most people think about setting up a cluster, it usually involves two or more servers, and a SAN – or some other type of shared storage. SAN’s are typically very costly and complex to setup and maintain. Also, they technically represent a potential Single Point of Failure (SPOF) in your cluster architecture. These days, more and more people are turning to companies like Fusion-io, with thei
Fusion-IO ioDriveの障害例と調査方法 | 外道父の匠
インフラエンジニアに永遠につきまとう、月曜出社直後の障害報告と調査依頼。 今回はioDrive搭載サーバのMySQLが急に落ちましたということで、調査してみました。 これまで、ioDriveは不滅です。的なことばかり書いていましたが、まぁいつかは何か起きますよね・・・ってことで、ホクホクしながらioDriveのネガキャン、ではなく、こんな障害例がありましたよ、こんな感じで調べましたよという紹介をします。 月曜朝のスタート地点 依頼主からもらった情報。 あるioDrive搭載サーバのMySQLが急に落ちました 障害時間は 2012/09/29 03:30 です ioDriveのマウント先 /fio が利用できない状態です もうこのサーバは使っていないので好きに調査してください 今回は無償で受けてあげました。 それでは調査開始！ ドライバなどのバージョン確認 2.2.3 を利用していることを確
Auto Commit Memory に関するメモ
Fusion IO が，Auto Commit Memory という新技術のプレスリリースをした．プレスリリースによると，数十億 IOPS という驚異的な性能が出るということだが，PCI Express の Bus を介して毎回 commit しているとすると，明らかに物理性能を超えており，ホントにデータの永続化が保証されているか気になったのでメモしておく．根拠は全て書いているが，ところどころに私の予想が入っているため，正しさは保証できないので注意されたし． まず，数十億 IOPS を達成するには，PCI Express の bus を介していたら間に合わない．しかし，特殊なハードウェアを使っているわけではなく，プレスリリースには HP ProLiant DL 370 + ioDrive2 Duos を使っていると記述されている． (プレスリリースから引用 http://www.fusio
ioDrive(FusionIO)を使うために必要な７つの事。 | Pocketstudio.jp log3
◆ioDriveを買ったら…何をしたらいいの？を整理しました。 FusionIO社の ioDrive は、NAND型高速半導体ストレージ（「SSDじゃないんです」by 中の人@neofact さん）。一部界隈で速さと低レイテンシで、ナウなヤングにバカウケなブツでございます。左の写真は、ioDrive 320GB SLC ( Single Level Cell ) というタイプ。 もし、ある日突然、道端に落ちていたり（拾得物は、ちゃんと交番に届けましょう）、空から青白い光を放ちながら降ってきたり、サンタさんがプレゼントしてくれた時に（いや、それは無い）どうしたらよいのか、そんな時の為に、セットアップ手順を７つにまとめてみました。 ちなみに、ioDrive って何？どんな性能なの？という所に興味がありましたら、こちらのスライドをご覧下さい。 なお、以下の手順では Red Hat Enterpr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
