ウノウラボ Unoh Labs: MySQL オペミスでデータが破損してしまった場合の復旧方法
こんにちは satoです。 オペミスで update に where句を付け忘れたり、プログラムのバグでデータが破損してしまったりした場合でも、バイナリログには更新SQLがすべて書き込まれるので、バックアップデータからオペミスが起こるまでの全てのSQLを流し込めれば、元の状態に戻すことは可能です。 •バイナリログを取っている •オンラインバックアップをとっている(mysqldumpやMySQLを止めた状態でのcpによるバックアップとバイナリログ) •バックアップ時点でのバイナリログの書き込み位置を保存している 以上のような状態でデータが壊れた時の復旧手順をまとめてみました。シナリオとして •ある1カラム email をupdateしようとしたら、間違ってwhere 句を付け忘れ 全レコードをupdateしてしまった •気がついたのが半日後 というオペミスが発生したとします 1) データベー
多段 ssh / rsync するために ProxyCommand を使ってみる - daily dayflower
以前 2.（gateway で netcat を ssh 経由で実行することによる転送）はよくわからないけど失敗 多段 rsync がめんどくさい - daily dayflower と書きましたが，なんとなく仕組みがわかってきたので書きます。 2年前くらいに流行ってたネタなので今更感満点。 まとめ 単純に到達できない場所に ssh でつなぐために ProxyCommand という [http://www.openbsd.org/cgi-bin/man.cgi?query=ssh_config:title=ssh_config] の設定子が使える ProxyCommand とは ssh クライアントと標準入出力でやりとりする 多段 ssh をする際に ProxyCommand で指定すると有用なものとして下記のものがある nc (netcat) OpenBSD や RedHat 系には（お
"make install"したソフトウェアを管理できる超便利ツール「Paco」 - RX-7乗りの適当な日々
最近、Linuxではaptやyumなど、パッケージ管理ツールで多くのアプリケーションやライブラリが管理されるようになり、普通に利用している限りはソースからコンパイルして"make install"することがほとんどありません。 とはいっても、マイナーなソフトウェアをインストールしたりとか、まだパッケージ管理されていない最新バージョンのものを使いたい場合などは、ソースからコンパイルして"make install"をしたくなる場合も有るかと思います。 しかし、"make install"した場合の最大の欠点は、インストールしたソフトウェアの管理ができないことにあります。そのため、何が入っているのか分からなくなっているとか、アンインストールが出来ない、などのケースが起こりうるわけです。 特にアンインストールする可能性があるソフト(ほとんどのソフトがそうですが・・・)をインストールする場合は、わざ
cyano: mod_expiresとmod_rewriteを使ってサイトの帯域節約と体感速度を向上させる方法
普通の帯域節約術としては、mod_deflateでdeflate圧縮するとか、CSSやJSファイルのHTTPレスポンスヘッダにLast-ModifiedやEtagを追加しておいて、ブラウザがHTTPリクエストヘッダにIf-Modified-SinceやIf-None-Matchを付加するようにし、コンテンツが変更されていなかったら304 Not Modifiedを返すという方法を取るかと思います。 しかし、HTTPサーバーはコンテンツの数だけ304 Not Modifiedを返さないといけないため、その分帯域を消費しますし、またCSSや画像などのパーツの304 Not Modifiedが返ってくるまで、そのパーツのレンダリングが行えないという問題があります（つまり体感速度に影響します）。 今回紹介するのはExpiresヘッダやCache-Control: max-age=31536000を
opensslコマンドtips — ありえるえりあ
opensslコマンドtips 元は、AirOneのセキュリティ関連のファイルの説明文書です。 opensslコマンドのtips文書として使えるので、いくつか追記して、公開します。 * PKI関連 ========= ** identity.pem(秘密鍵ファイル) ** cert.pem(証明書ファイル) AirOneの起動時にidentity.pemとcert.pemの整合性チェックを行います(airu_cert_validate())。 チェック項目、エラーコード、解析方法を説明します。 チェック項目 ------------ 1. cert.pemがx509のフォーマットか? エラーコード: #0301005 解析方法: openssl x509 -text -in cert.pem でエラーがでないこと。 2. identity.pemが入力パスワードで読めるか? エラーコード:
Grid Datafarm: Gfarm over SMB over SSH [Japanese]
文書集 > ユーザーズマニュアル > SSH のポート転送で Samba にアクセス SSH のポート転送を用いて Samba にアクセスする 1. 概要 SSH サーバから見えるネットワーク上に Samba サーバが存在し，その SSH サーバに SSH でアクセスできるならば，その Samba サーバにアクセスすることができます． つまり，Windows マシンから，通常ではアクセスできない環境からでも，VPN を用いずに SSH を用いて，防火壁やインターネットを越えて，Windows のファイル共有サービスや Samba にアクセスすることができます． このために SSH のポート転送の機能を用います．手順は簡単です． 構成例１ Windows クライアント : 勤務先，モバイルなど SSH サーバ : 自宅 BB ルータポート転送経由 (or DMZ 環境) Windows ファ
Feature Tool HGST ハードディスク 静音化
Hitachi Feature Tool (HGST)によるハードディスクの設定 Hitachi Feature Toolによるハードディスクの設定 [ トップページ ] ＞ [ Hitachi Feature Tool ] Hitachi Feature Tool(旧 IBM Feature Tool) とは？ HGST(旧 IBMのHDD部門)が提供しているツールで、以下の機能を有しています。 Enable or disable the read-ahead or write cache. キャッシュの有効無効 Change the drive Automatic Acoustic Management settings to the: Lowest acoustic emanation setting (Quiet Seek Mode), or Maximum p
Webサイトのスクリーンショットを撮るサービスの作り方
SimpleAPIなどで有名な「Webサイトのスクリーンショットを撮ってサムネイル画像を作成してくれる」サービス。 SimpleAPIは、 「1人で作るなら、一気にやるのが重要」SimpleAPI・伊藤まさおさん の伊藤まさおさんが一人で作っています。 今回は、各スクリーンショット提供サービスを紹介した後、実際にこのサービスを作る手順を検証し、さらなる応用サービスにつなげる方法を考えてみます。 Webサイトのスクリーンショットを撮ってサムネイル画像にしてくれるサイト まずは、Webサイトのスクリーンショットを撮ってサムネイル画像にしてくれるサービスとして有名なサイトを紹介しておきます。 SimpleAPI - ウェブサイト・サムネイル化ツール 日本国内、海外からも大人気。ややサムネイル結果が不安定。 Mozshot ページごとにきれいに出力。大規模利用は禁止。 サムネイルAPI APIとし
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
MySQLを自動バックアップする「AutoMySQLBackup」
バックアップするのが面倒なMySQLデータベースを自動的にバックアップできるようになるスクリプトです。 いくつものデータベースを一括でバックアップできます。1つのファイルとしてまとめてバックアップすることもできるし、各データベースごとに分けてバックアップすることもできます。バックアップファイルはgzipかbzip2で圧縮されているのでディスク容量も食いません。リモートのMySQLを中央のMySQLにバックアップしたり、バックアップのログをメールで送ることも可能。バックアップしたファイル自体をメールで送ることもできます。バックアップはcronを使う以外に手動で行うことも可能なので、cronがなくてもバックアップはできます。 ダウンロードと詳細は以下の通り。 Automatic MySQL Backup SourceForge.net: AutoMySQLBackup 最小限の設定ですぐに使う
設定ファイルをまとめて管理する
はじめに Unix系OSの設定ファイルはあちこちのディレクトリに散らばっているので、管理が面倒です。私はこういった設定ファイルを ˜/config/ 以下に、 つまりrootでない一般ユーザのディレクトリ1か所にまとめて管理しています。ここではそのやり方をご紹介します。 設定ファイル編集作業例 まず作業例から見てください。 /etc/hosts を編集したい場合なら、作業は以下のようになります。 % cd ˜/config/ % vi etc/hosts 〜編集する〜 % sudo make メリット 設定ファイルを1か所にまとめて管理すると、以下のようなメリットがあります。 root権限での作業を極力減らせる 最後の make だけはrootでやりますが、それまでのファイル編集は一般ユーザのままで行えます。 バックアップを取りやすい 自分のホームディレクトリのバックアップを取るついでに、
DSAS開発者の部屋:サーバ管理者向け無精のすすめ 〜ちょっと便利なツールの紹介〜
弊社のLinuxサーバ、ネットワークインフラのDSASの特徴のひとつに、100台近くある全てのサーバの内容が(数個の役割設定ファイルを除いて)同期されているという点があります。 これにより、 スケーラビリティ 予備機をサービス投入するだけで済むので、テレビCMなど突発的な高アクセス時にも迅速な対応が可能です。 増強が容易 サーバをラックマウントしたら適当なサーバからまるまんまコピーすればクラスタに参加可能です。まとまった台数の増強をする際に、いちいちCD-ROMからOSをインストールしていると日が暮れちゃいます。 役割の変更が容易 ディスクの内容が同じなので、もし、メールサーバが故障しても、適当なWebサーバの役割設定ファイルを変更して再起動するだけでメールサーバに早変わりできます。 メンテナンスが容易 ディスク上のファイルを更新した場合は、rsyncなどで全サーバに同期コピーすれば更新完
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Apache 2.2でWebサイトをパフォーマンスアップ！（1/3） ― ＠IT
■ドキュメントキャッシュ機能の見直し メモリキャッシュやディスクキャッシュなど、HTTPコンテンツの動的キャッシュ機能が強化されました。開発バージョン時よりも安定性が向上し、Apache 2.2では実用的なレベルになっています。キャッシュ機能を用いることで、一般的にHTTPサービスの応答性を向上させることができます。 また、Apacheをリバースプロキシサーバとして利用する場合もキャッシュ機能を利用可能です。 ■プロキシ機能によるロードバランシングの実現 プロキシでロードバランス機能を実現するmod_proxy_balancerモジュールが追加されました。HTTPやFTPサービスはもちろん、Apache Tomcatなどのサーブレットコンテナとの通信で使われるAJP13プロトコルのロードバランス機能も提供します。 バランシングの制御は、「リクエスト回数」と「トラフィック量」の2つのアルゴリ
ワンランク上の負荷対策を Web アプリに実装するには・・・(Sledge編)
最近、お仕事で悩ましいのがデータベース負荷。結局のところ、Web サービスでボトルネックになるのは、バックグラウンドの ＤＢ 処理。特にどうしようもないのが、更新系リクエスト。つまりはマスターＤＢ。 既に多くのところが採用している構成と思いますが、MySQL とかでよくやる手段といえば、 参照系は、レプリケーション機能を使って参照系ＤＢを用意して負荷分散。マシンを増やせば負荷に対応可能。 更新系のクエリーだけは、できる限り高スペックなマシンを用意してマスターＤＢを構築して一手に引き受ける。増設困難で悩ましい。 もうちょい頭をひねれば、機能毎にマスターＤＢを分散させたり、ユーザ ID とかでパーティショニングしたりと、アプリ層で振り分ける。MySQL に限らず、Oracle とかでも同じようなことが言えます。 で、マシン負荷を監視という運用業務が必須な日々を送っていた（いや、実際にはPJのメ
Apacheで作るファイルサーバ（WebDAV over SSL編）（1/3） ― ＠IT
Apacheで作るファイルサーバ（WebDAV over SSL編）：実用 Apache 2.0運用・管理術（6）（1/3 ページ） WebDAVとSSL、LDAPを組み合わせて、セキュアで柔軟なファイルサーバを構築しよう。今回は、WebDAV over SSLの実現までを解説する。（編集部） いまや、社員や社内リソースなどの管理にLDAPを活用している企業も多いでしょう。となると、当然のことながらファイルサーバやそのアクセス権などもLDAPに統合したいと考えるでしょう。SambaとLDAPを組み合わせれば、これを実現することは可能です。 ところで、社外からでもファイルサーバにアクセスしたい場合はどうしたらよいでしょうか。それを実現するのがWebDAVです。もちろん、LDAPと連携することも可能です。ただし、セキュリティホールのもとでもありますし、技術論以前に運用ポリシーとして禁止するべき
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HDT725032VLA360 の静音化とベンチマーク : 亜細亜ノ蛾 - Weblog
FrontPage - Linux Tips
http://www.typemiss.net/blog/kounoike/20060212-64