低温環境でのHDDの動作 : DSAS開発者の部屋
あるデータセンターに導入したサーバーの初期セットアップ時に今までに経験したことのないHDDトラブルに見舞われました。今回はそのトラブルの原因究明と解決に至るまでのお話です。 HDDの故障？ 7月、新データセンターでの初期セットアップ時にHDDの書き込み速度がやたら遅いディスクがあるという話が出てきました。 話を聞くと1台だけでなく複数台に発生しているとの事です。 その時の測定値は次のような感じでした。 実際の測定値 # dd if=/dev/zero of=/mnt/p0/test bs=1M count=2048 （RAIDカードの0番ポートにあるディスク） 2048+0 records in 2048+0 records out 2147483648 bytes (2.1 GB) copied, 43.8163 seconds, 49.0 MB/s # dd if=/dev/zero
サーバ/インフラTech Meetingの報告＋資料を公開します : DSAS開発者の部屋
先週の金曜日に行われたサーバ/インフラ Tech Meetingの資料を公開します。 この本を書いたわけ - ひろせまさあき(PDF, 1594KB) DSASのこれから - 安井真伸(PDF, 529KB) はてなの伊藤さん、田中さんの発表資料も既に公開されています。 サーバ/インフラ Tech Meeting の資料など - naoyaのはてなダイアリー はてなのインフラ、いまむかし @ サーバ/インフラ Tech Meeting - とあるはてな社員の日記 また、当日の動画もニコニコ動画にアップされています。cojiさんありがとうございました！ サーバ/インフラ Tech Meetingの動画 - TechTalk.jp これらの資料、動画や、当日の会場の写真などは、まとめて技評さんのサイトにもアップされると思いますので、そちらもチェックしてみてください。 サーバ/インフラ Tech
『サーバ/インフラを支える技術』出版と発売記念Tech Talk開催のお知らせ : DSAS開発者の部屋
KLab(株)のDSASチームと(株)はてなさんのインフラチームとで書いていた本が、とうとう8/8(ごろに)発売されます！ [24時間365日] サーバ/インフラを支える技術 ~スケーラビリティ、ハイパフォーマンス、省力運用 作者: 安井真伸, 横川和哉, ひろせまさあき, 伊藤直也, 田中慎司, 勝見祐己 出版社/メーカー: 技術評論社 発売日: 2008/08/07 メディア: 単行本（ソフトカバー） また、発売を記念して、(株)技術評論社様の主催で、Tech Talk イベントを開催します。 詳しくは、開催のアナウンス サーバ/インフラ Tech Meeting［開催概要］：WEB+DB PRESS plusシリーズ新刊発売記念，サーバ/インフラ勉強会開催 をご覧ください。 もちろんスピーカはこの本の執筆者陣で、インフラにまつわるお話をする予定です。 このようなサーバ/インフラ関係の
ユニバーサルトラックバックシステム : DSAS開発者の部屋
今日のネタは，思いつきで作ったWebアプリです．どういうものか一言でというと，野良トラックバックを実現するシステムです． 通常，ある URL にトラックバックを送信したいと思っても，送信先のページがトラックバックを受け付ける仕組みを持っていなければ，送信できません．また，自分が管理するページでトラックバックを受け付けたいと思っても，CMS や Blog のシステムなどのような，トラックバック受信をする仕組みを持っていなければなりません． このシステムでは，任意の URL に対するトラックバックを受け入れるためのものです．例えば http://www.klab.org/ にはトラックバックを受信するようにはなっていませんが，このシステムを使えば，http://www.klab.org/ を対象にトラックバックを送信できます．もちろん送信したトラックバックが http://www.klab.o
JPCERT/CCとの「脆弱性情報ハンドリング」の記録 : DSAS開発者の部屋
■ はじめに 「△△製のソフトウェア××に脆弱性が発見された」というニュースが連日のようにネットの上を行き交っています。 このブログの読者にはプログラム開発者の方も多いと思いますが、 自分の携わるソフトウェアの脆弱性を第三者から指摘された経験のある方はどのくらいおられるでしょう？ 先日、筆者は「HttpLogger」というフリーソフトウェアのセキュリティホールを修正しました。 そのきっかけとなったのはJPCERT/CC（有限責任中間法人 JPCERT コーディネーションセンター）様から届いた 一通のメールでした。 それから私は同センターと連携し、10日余りの準備期間を経て修正ずみのモジュールの公開と 旧バージョンにおける脆弱性情報の開示を行いました。 この「脆弱性情報ハンドリング」と呼ばれるプロセスに関わったことは、一般的な知名度とは裏腹に 普段あまり身近な存在ではない「JPCERT/CC
SWFファイルフォーマットとライセンス : DSAS開発者の部屋
今回は、SWFを弄るときに必ず理解しておかないといけない、ライセンスに関する注意点をまとめてみます。 まず、公式なSWFファイルフォーマットの資料として、Adobe Systems Inc. (以降、Adobe) が"SWF and FLV File Format Specification" (以降、公式仕様)を公開されています。 (http://www.adobe.com/licensing/developer/) この公式仕様の利用許諾が "SWF and FLV File Format Specification License Agreement" になるのですが、この中に次のような文があります。 3. Restrictions a. You may not use the Specification in any way to create or develop a runti
DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法
携帯電話各キャリアは、そのゲートウェイのIPアドレス帯域を公開しています。 DoCoMo au SoftBank WILLCOM 携帯ブラウザからのアクセスの場合、このIPアドレスがソースアドレスとなるので、アクセス制御や判別のために使っている方は多いのではないかと思います。 今回は、このIPアドレス帯の更新を効率的に確認する方法についてのお話です。 更新されたかどうかの確認だけならアンテナ系のWebサービスを使えばよいのですが、それだけだと、 どのIPアドレス帯が追加・削除されたのかわかりづらい。 IPアドレス帯のコピペが面倒くさい。 といった不満点があります。 そこでNet::CIDR::MobileJPというPerlのモジュールの出番です。(作者はモバイルファクトリという会社の方のようです) このモジュールには与えたIPアドレスが携帯かどうかを判別する機能があるのですが、次のようにす
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
DSAS開発者の部屋:Windows用フリーウェア「HookDate」を公開します
■ はじめに プログラム開発にテストはつきもので、テストの際に特定の年月日でプログラムの動作を確認しなければならないことがよくあります。その場合に手っ取り早いのは「コンピュータのシステム日付を変更する」という方法ですが、Windows ではバックグラウンドで多くのプログラムが動いており、システムへの影響を予測できないためできればその方法は避けたいものです。 そこで、API フックを利用して、特定のプログラムに対してシステム日付とは異なる日付を伝えるツール「HookDate」を作ってみました。 せっかくなのでこのブログの読者の方にフリーウェアとして公開することにします。 （追記）2010年06月16日：バージョン 1.0.2.0 を公開しました ■ 最新版の改訂内容 ver 1.0.2.0 (2010/06) 64ビット Windows 環境への対応 exe ファイルへのショートカットファイ
KLab での在宅勤務のこと : DSAS開発者の部屋
私はいま山口県に住み、在宅勤務の形態で働いています。 KLab との縁ができたのは数年前の春でした。大阪での面接を経て内定を受けたまではよかったのですが、同じ時期に郷里の家族の健康状態に異変があり、考えた末に長年住み慣れた関西を離れる決心をしました。 KLab へお詫びと辞退の連絡を入れたところ「事情確認のために再度面談を」と言われ、電車の中で謝る練習をしながらその場へ赴き事情をひと通り説明した後に聞いたのは思いがけない打診でした。 「事情が許せば契約社員としてリモートで働いてみませんか？」 それからおよそ半年間の本社勤務を経て、郷里での遠隔勤務が始まりました。 # ちなみに、現在は遠隔勤務のまま正社員になりました 近年、在宅勤務という仕事の形は少しずつ世の中に広がり始めているようです。 今回は技術の話題ではなく、僭越ながら KLab での私の勤務のことなどあれこれお話ししたいと思います。
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
高トラフィックに対応できるLinuxロードバランサを目指して 〜 LVSをNATからDSRへ : DSAS開発者の部屋
「こんなに簡単！ Linuxでロードバランサ」のシリーズでは、 こんなに簡単！ Linuxでロードバランサ (1) 〜 LVS + NATで負荷分散をしてみよう こんなに簡単！ Linuxでロードバランサ (2) 〜 keepalivedでWebサーバのヘルスチェック こんなに簡単！ Linuxでロードバランサ (3) 〜 VRRPでロードバランサを無停止にする こんな流れでNATによる負荷分散システムを構築してきました。 今回はこれを DSR(Direct Server Return) 方式に変更してみます。 「DSRとはなんぞや？」という方は、 ロードバランサの運用.DSRって知ってますか? L4スイッチはDSR構成にすべし こちらでわかりやすく説明されていますので参考にしてみてください。 一般的(?)に大規模システムを構築する場合は、「ネットワーク機器の整備はこの部門」、「サーバの調
Google Custom Search Engine を設置してみました : DSAS開発者の部屋
先日，Google Custom Search Engine が公開されました．ちょっとみてみたところなかなか面白そうだったので，DSAS blog にも設置してみました． Google Custom Search Engine (以下 CSE) の特徴として，特定のサイトのみを検索できる点と，検索結果を好きなページに組み込める点をうたっています．ただ，この DSAS blog に組み込もうとしたところ，少々苦労しました．まだ英語版の，しかも Beta サービスなためだと思われます，以下，DSAS blog に組み込むために弄った部分を上げてみます．ただし，ここに上げた物はこの記事執筆時点の物です．前述のように Beta サービスですので，今後状況は変わると思います． ●検索結果の横幅をいじる CSE の検索結果は，2種類の表示方法があります．一つは検索結果を Google がホストするペ
在宅勤務、やってます : DSAS開発者の部屋
現在、期間限定の在宅勤務をしています。そこで、今回はテクニカルなお話ではなく、やってみてわかった在宅勤務のよい点、悪い点を感想を交えてつづってみます。 里帰出産はせず、今住んでいる東京で出産することにしたのですが、そうなると、日中、私が会社に行っている間、自宅に残されるのは身重の妻 (とネコが2匹) だけになってしまいます。 また、生まれたあとも、炊事洗濯に加えて赤ちゃんの授乳などの世話を、産後の疲弊した体でこなすのは難しいと考えました。 そこで、上司に相談したところ、弊社の休暇制度などを使って、予定日の1週間前から約1か月間、自宅で仕事ができるように調整してもらうことができました。 具体的にはこうです。 在宅勤務制度を使って、予定日の1週間前から約1か月間、期間限定の在宅勤務をする。 ただし、週に2回はミーティングへ出席するためその時間だけ出社する。 配偶者産休休暇を使って、出産後1週間
Apache のログのアクセス権の分離 : DSAS開発者の部屋
DSAS の特徴の一つに，複数のサービスを同じサーバ群で運用する，というのがあります．DSAS は Web サーバだけでも数台〜数十台で構成されますが，これらのサーバは同時に複数のコンテンツのサービスを受け持っています．つまり，A のサーバでは a と b のサービスを動かし，B のサーバでは b と c のサービスを動かす，といった具合です．こうすることで，コンテンツ毎に異なる負荷傾向をならすことができ，突発的な負荷の増大に対しても，速やかな処理能力の増強が可能になります．ただし，問題が一つあります． ログには，時として個人情報につながる情報が記録されます．ですので，コンテンツのログは担当者以外が読めてはいけません．一方，通常はコンテンツ a と b ではその担当者が，そして時には担当部署もが異なります．つまり，コンテンツ a の担当者が，b のログを読めるのは読めてはいけない，というこ
ディスクレスシステムの応用 〜 Linuxのインストール : DSAS開発者の部屋
ディスク障害を避けるために作り始めたディスクレスシステムですが、他にもいろいろな使い道があります。特にサーバ増設時の初期インストール作業において、絶大な威力を発揮しています。 「サーバ増設時の初期インストール」というと、ディストリビューションのCDからインストーラを起動し、必要なパッケージを組み込み、設定ファイルを書き換える・・・・という流れを思い浮かべる方が多いのではないでしょうか。 DSASのようなクラスタシステムでは、10台20台の単位でサーバが一気に追加されます。それらに対してまじめにインストーラを使っていると、時間と手間ばかりかかって仕方がありません。また、インストール後の設定作業も繁雑になりがちで、動作チェックと設定確認に神経をすり減らしながらストレスをため込む日々が待ちかまえています。やはり、面倒な作業はできるだけ手を抜きたいものです。 「OSのインストール」というと、世間一
DSAS開発者の部屋:サーバ管理者向け無精のすすめ 〜ちょっと便利なツールの紹介〜
弊社のLinuxサーバ、ネットワークインフラのDSASの特徴のひとつに、100台近くある全てのサーバの内容が(数個の役割設定ファイルを除いて)同期されているという点があります。 これにより、 スケーラビリティ 予備機をサービス投入するだけで済むので、テレビCMなど突発的な高アクセス時にも迅速な対応が可能です。 増強が容易 サーバをラックマウントしたら適当なサーバからまるまんまコピーすればクラスタに参加可能です。まとまった台数の増強をする際に、いちいちCD-ROMからOSをインストールしていると日が暮れちゃいます。 役割の変更が容易 ディスクの内容が同じなので、もし、メールサーバが故障しても、適当なWebサーバの役割設定ファイルを変更して再起動するだけでメールサーバに早変わりできます。 メンテナンスが容易 ディスク上のファイルを更新した場合は、rsyncなどで全サーバに同期コピーすれば更新完
DSAS開発者の部屋:Linuxルータのタコ足配線を解消しよう 〜 タグVLAN(IEEE 802.1Q)の活用
社内ネットワークや学校などでは、プライベートネットワークを複数のセグメントに分けてアクセス制限をしたい時があると思います。例えば、教師用のセグメントと生徒用のセグメントは別のネットワークとして構築し、教師用セグメントからは生徒用のセグメント上のサーバにもアクセス出来るようにしたいかもしれません。DSAS内部においても状況によってはこれと似たような事をしたい場合があります。Linuxルータを使っている場合に真っ先に思い浮かぶ構成は、おそらく以下のようなものだと思います。 +---------------------+ + Internet + +----------+----------+ | |eth0 +----------+----------+ + Linuxルータ + +---+------+------+---+ |eth1 |eth2 |eth3 | | | +--------
DSAS開発者の部屋:ネットワークパケットを覗いちゃえ
レイヤを問わず (ethernet から HTTP や SMTP まで) 、ネットワーク絡みのトラブルシューティングや挙動の確認をするときにパケットの流れが見られると非常に有益です。 開眼すると「パケットの流れが目で見える」そうですが、私などはまだまだ修行が足りず裸眼では見えないので、tcpdump というツールを使って見ています。 tcpdump はその名前があまりよくないと私は思っていて、"tcp" だけでなく udp やICMP や ethernet フレームまで覗ける超強力ツールです。 というわけで tcpdump の簡単な説明を書いてみます。 tcpdumpについて tcpdump は UNIX 系の OS で使えるツールなのですが、Windows 用にはWinDumpという CUI のツールがあり、tcpdump と同じように使えます。 GUI がお好みの方は、後でも紹介するE
システム管理者の心得？ 〜 設定ファイルはシンプルに : DSAS開発者の部屋
今回はシステムの構築や運用をしている中で、各種設定ファイル(httpd.confとか)を記述する際に注意している点などを書きたいと思います。最初にお断りさせていただきますが、この内容は「こうあるべき」とか「こうしなければならない」といった押しつけがましいものでは決してなく、単に普段の生活の中で心がけている事などをご紹介させて頂いているだけですので気軽に眺めてやって下さい。 ファイル全体の見通しを良くすることで、設定変更時やトラブルシューティングの際のストレスを軽減出来ると思います。消してしまうのがどうしても心配であれば、デフォルトの設定ファイルは自分のホームにでも置いておけばよいですし、大抵は manやら付属ドキュメントを参照しつつ記述するので、実運用で利用するファイルにコメントを残しておく必要性は感じられません。それに、バージョンアップしたときに、そのコメントの内容自体が古くなってしまう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
