分散データベース「HBase」の安定運用を目指して - Preferred Networks Research & Development
1年経ってiPhone4の電池がヘタってきた、太田です。 指数関数的にエントリ数が少なくなってきた本ブログですがw、景気付けのためにエントリを投稿したいと思います！本日はHBaseについてです。 Linux と Hadoop と HBase と ZooKeeper に詳しいあなた！あなたがターゲットです。 HBaseとは? HBaseとは、HDFS (Hadoop Distributed File System)上に構築された分散データベースです。大量の非常に細かいデータをリアルタイムに読み書き出来るのが特徴です。最近ではFacebook Messageの基盤技術として使用された事で注目を集めています。 HBase公式サイト Apache HBase ブック 保存されたデータはHDFS上に保存され、HDFSの仕組みによってレプリケーションされるため安全にデータを保持することが出来ます。 ま
これぐらいやっとけ 〜Linuxサーバのセキュリティ設定〜 - nabeの雑記帳
管理中のサーバで行っているセキュリティ設定を公開します。本当はこういうことを公開するのはよろしくないのですが、脆弱サーバが氾濫している現状そこが踏み台となってsshアタックされるのも迷惑極まりないので、最低限やっとけという内容でまとめました。*1 起動サービスと概要 iptables/Firewallの設定 iptablesの中身 limit-burstについて hashlimitについて hosts.allow/hosts.deny(TCP Wrapper)の設定 sshdの設定 その他の設定 Apacheの設定 Postfixの設定 Dovecotの設定 まとめ はてブさんは #の切り分けやめてくれないかな……。 起動サービスと概要 Apache (www) sshd smtp/pop bind (DNS) ntpd いくつかの注意点。 sftpで十分なのでftpdは使わない。WinS
ifstatって便利そうなの見つけたのでついでに*statを紹介 - As a Futurist...
今更感もありますがすごい便利そうなツール発見。ネットワークインターフェイスのトラフィックを簡単にモニタリングできるツール。 ifstat CentOS とかだったら rpmforge にあるみたいなので、こんな感じで。(レポジトリ設定してなければ適当に) yum install --disablerepo=* --enablerepo=rpmforge ifstat チーミングしてる環境で出してみるとこんな感じ。-iで並び順も指定できたり、-bで Kbps にできる。vmstatと違って-tで timestamp も出せるのでこれ単体で便利に使えそうですね。ちなみに Linux の場合/proc/net/devを使ってるそうです。 *stat 系のツール 便利ですよね。パッとサーバに入って今起きている問題を分析するのにこれらのツールを使うのは有用です。top しか見ない人は覚えておくといい
中規模データ処理で学んだ tips - フリーフォーム フリークアウト
移転しました http://please-sleep.cou929.nu/20101230.html
新米Linux管理者がよくやる10の間違い
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 多くの人にとって、Linuxへの移行は喜びに等しい出来事だ。だが、悪夢を経験する人もいる。前者ならば素晴らしいが、もし後者なら最悪だ。しかし、悪夢は必ずしも起きるわけではない。特に、新米のLinux管理者が犯しやすい、よくある間違いをあらかじめ知っていれば、悪夢を避けられる可能性は高いだろう。この記事では、いくつかの典型的なLinuxでのミスを列挙する。 #1：さまざまな手段でアプリケーションをインストールする これは最初は悪いアイデアではないように思える。もしUbuntuを使っていれば、パッケージ管理システムが.debパッケージを使っていることを知っているだろう。しかし、ソースコードでしか見つけられないアプリケーションも多くある。大し
OOMkiller - 詳解ファイルシステム
詳解ファイルシステム Linuxのファイルシステムを詳解します トップページページ一覧メンバー編集 OOMkiller 最終更新： linuxfs 2006年12月04日(月) 20:57:19履歴 Tweet FrontPage OOM Killerとは Linux カーネルが行う OOM killer に関して oom-killerの止め方 oom-killer disable gitlog(2005-04-17) コメントgitlog(2006-09-30) OOM Killerのログの例 OOM Killerとは Linux kernelがメモリ不足(swapも含め)に陥ったとき、~ このOOM Killerが発動し、縦横無尽にプロセスを駆逐し~ ていきます。その際、無差別ともとれる残虐な行為から~ 悪名高いメモリ不足解決器 (OOM killer) と揶揄されて~ 今日に至ります
＠IT：2007年、Linuxディストリビューションの歩みを振り返る（1/4）
VMware PlayerとLive CDで手軽に試せる 商用、非商用ともにメジャーバージョンアップが相次いだ2007年。主なディストリビューションを取り上げ、更新内容を紹介します。同時に、これらを手軽に仮想マシンで試す方法にも触れます。（編集局） 鶴長 鎮一 2007/12/28 リリースラッシュだった2007年 今年も多くのLinuxディストリビューションがリリースされました。例年の定期的なバージョンアップを遂行したものに加え、数年ぶりのメジャーリリースを果たしたものもあり、2007年はリリースラッシュの様相を呈しました。 数あるディストリビューションを使って、年末年始の休みに1人、Linuxインストール大会にふけるのも一興です。2007年にリリースされた主なLinuxディストリビューションを振り返ります。 ■ディストリビューションの大別 ディストリビューションを利用することで、Lin
一気読みでLinuxのエラーメッセージを学ぶ：リファレンス - builder by ZDNet Japan
USBコントローラに対するusb-handoffの実行に失敗したというメッセージ PCI numberで示されるEHCI規格対応のUSB（Universal Serial Bus）コントローラに対するusb-handoffの実行に失敗した。このメッセージを出力する原因としては、BIOSの不良が考えられる。 2007/12/14 11:00 OS起動時にACPIを無効にした場合に表示されるメッセージ OS起動時、ブートパラメタacpi=offによってACPIを無効にした場合に出力する。 2007/12/13 11:00 システム起動時にAtari社製SCSIデバイスに関する情報を表示するメッセージ システム起動時に認識されたAtari社製SCSIデバイスに関する情報（ベンダ識別名、モデル識別名、レビジョン）を表示する。 2007/12/12 11:00 ACPI-CAのバージョンを表示
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
Linuxファイルシステムの基礎と応用 | OSDN Magazine
ファイルシステムにおいてLinuxと他のOSが異なる点――それは、他のOSは標準でサポートするファイルシステムが2～3種程度であるのに対し、Linuxは非常に多彩な選択肢（ext2/ext3、ReiserFS、JFS、XFSなど）を提供していることだ。現在のところext3が使われることが多いものの、その理由は歴史的な経緯によるものであり、このファイルシステムがReiserFSやJFS、XFSに対して機能、性能的に優れているというわけではない。 以下で紹介する4つの記事は、2003年に発行された『Linux Power Tools』からの抜粋であり、ここではext3、ReiserFS、JFS、XFSの4つのファイルシステムのその特徴から設定・運用方法までが解説されている。4年前の記事ではあるが、その内容は2007年の現在でも通用するものばかりだ（ext4やReiser4といった新世代のファイ
高機能なファイル同期ツール rsync の使い方 - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 最近、 Infosketch の開発などで rsync を利用する機会が増えてきました。 rsync はネットワーク経由のコピーも可能なファイル・ディレクトリ同期ツールで、コマンドひとつでディレクトリツリーを一気に転送できるほか、差分のみの転送やコピー対象の条件指定といった多彩な機能を搭載しています。 rsync という名前に反してローカル間のコピーも可能で、 m
Open Tech Press | rsyncを使った熟練者レベルのバックアップ
この2か月で私はあちこちに出かけた。その間、メインで使っているデスクトップコンピュータは眠ったままだった。もしrsyncを使いこなせていなかったら、きっと厄介なことになっていただろう。しかし、このユーティリティを定期的に使っていたおかげで、すでに私のデータ（とにかくその大部分）は別の場所にコピーされていつでも使える状態になっていた。rsyncの習得には少し時間がかかるが、いったん覚えてしまえば、ごく短いスクリプトを使ってバックアップのニーズのほとんどに対応できるようになるはずだ。 rsyncのすばらしさはどこにあるのか。1つは、毎回ファイルを丸ごとコピーするのではなく、新旧ファイル間の差分をコピーすることでファイル転送を高速化している点だ。たとえば、この記事を書いているときも、rsyncで今すぐコピーを行い、後でまたコピーすることができる。2回目（あるいはそれ以降）にrsyncでこのファイ
Linux I/O のお話 write 編 - naoyaのはてなダイアリー
write はページに dirty フラグを立てるだけなので決してユーザープロセスを待たせない って、本当にそうなんでしょうか？（否定しているわけではなく、純粋な疑問です。） と質問をもらったので、最近追ったことをここでまとめます。かなり長文です、すいません。また、まだまだ不勉強なので間違っているところもあるかもしれません。ツッコミ大歓迎です。 まず、オライリーのカーネル本の 15章 ページキャッシュ 15.3 汚れたページのディスクへの書き込み から引用。 ご存知のように、カーネルは、ブロック型デバイスのデータを含むページをページキャッシュに蓄えています。プロセスが何らかのデータを更新した場合は、必ず対応するページに汚れている印をつけます。すなわち、PG_dirty フラグを設定します。 UNIX システムでは、汚れたページのブロック型デバイスへの書き込みを遅延することができます。この方
naoyaのはてなダイアリー - Linuxのページキャッシュ
世間では PHP が、Perl が、と盛り上がっているようですが空気を読まずまたカーネルの話です。今回はページキャッシュについて。 /dev/shm に参照系ＤＢを持っていくと I/O 負荷が激減した件（当たり前だけど） - drk7jp で、ディスク上にあったファイルを /dev/shm (tmpfs) に移したら I/O 待ちがなくなって負荷がさがった、ということなんですがおそらくこれは tmpfs に置く必要はないかなと思います。Linux (に限らず他の OS もそうですが) にはディスクの内容を一度読んだらそれはカーネルがキャッシュして、二度目以降はメモリから読む機構 = ページキャッシュがあります。tmpfs にデータを載せることができた、ということは物理メモリの容量に収まるだけのデータサイズかと思うので、放っておけば該当のファイルの内容すべてがメモリ上にキャッシュされて io
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
sanonosa システム管理コラム集: アプリケーションをインストールする方法の比較
※一番下に補足を加えました。(2007/5/13) 昔（WEBが登場する10年ほど前くらいまで）はUNIXシステムにアプリケーションをインストールする際はソースコードを持ってきてコンパイルするのが当たり前でしたが、現在は主要アプリケーションがパッケージ化されインストールが非常に簡単になりました。しかし、にも関らずプロのシステム管理の現場では未だに相変わらずアプリケーションをコンパイルして導入することが多いです。そこで今回はアプリケーションのインストール方法の比較をしてみたいと思います。 【yumやrpmなどでインストール】 Redhat系のLinuxでは他の人が作ってくれたパッケージを使ってアプリケーションをインストールすることができます。これらを利用してインストールするメリットは導入、アップデート、アンインストールが簡単ということに尽きます。例えば # yum install httpd
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
x.com
Linux kernel-2.6 付属 ドキュメントの日本語訳 - higepon blog
http://www.machu.jp/posts/20070530/p01/
sanonosa システム管理コラム集: コマンドリファレンス集