Facebook，自社開発のログ・データ収集ソフト「Scribe」をオープンソース化
米Facebookは米国時間2008年10月24日，同社が各種サーバーのサービス・ログを収集するために使用しているシステム・ソフトウエア「Scribe」をオープンソース・ソフトウエアとして公開したと発表した。オープンソース・コミュニティSourceForge.netのWebサイトでソースコードを提供している。 Scribeは，大量のサーバーで運用しているさまざまなサービスのログ・データをリアルタイムに集めるインフラ・ソフトウエア。同社はScribeをデータベースのメモリー使用量の監視など，多種多様な目的に使っている。日々発生する膨大な情報を集めることが可能で，拡張性が高く，ネットワークやマシンに障害が発生しても継続作動する堅牢性を備えるという。 かつて同社は，オープンソース・ソフトウエアや特定ベンダーの製品を使ってログを集めていた。しかし，大量のデータに対処可能なシステムを構築できなかった
ニコニコ動画の1万人生中継，舞台裏での技術者の奮闘
生放送技術研究，生中継サーバー，プレイヤーFlash（バージョン1）を担当したドワンゴ 研究開発本部の糸柳和法氏 [画像のクリックで拡大表示] Webアプリケーションや生放送プレイヤーFlash（バージョン2）を開発したドワンゴ 研究開発本部 杉谷保幸氏。ニコニコ動画モバイルの開発も担当した [画像のクリックで拡大表示] ニコニコ動画は2008年7月4日，ユーザー2000人が集まり夏野剛氏と西村博之氏が登壇したイベント「ニコニコ大会議」を1万人に生中継した。ニコニコ動画を運営するドワンゴでは「Flashによる1万人への生中継は世界でも例がない」という。この1万人への同時配信を，同社の技術陣はどのように実現したのか。 「Flashでの1万人生放送は他に例がない」 「生中継は，録画した動画の配信よりも先にあったアイデアだった」と，ドワンゴ 執行役員研究開発本部長 千野裕司氏は言う。動画にコメン
Part5 Mac OS XのUNIXな使い方：ITpro
最近，特にオープンソース関係の集まりなどに顔を出すと，Windowsマシンではなく，Mac（Macintosh）を持っている人の割合がかなり高くなっていることに気づきます。Macで動くOSといえば，Mac OS Xです。Mac OS Xはいろいろな顔を持ったOSです。まず，Mac独自のアプリケーション実行環境として「Carbon」と「Cocoa」を搭載しています（図1）。Microsoft OfficeやAdobe Photoshopといった市販のMac OS X用ソフトの多くはこの上で動作します。 Part1「今さら聞けないOSの疑問」，Part2「これがWindows Vistaだ！」，Part3 「Windows XP Tips 25 」，Part4「仮想マシンの仕組みを理解する」に続いて，Part5では，Mac OS X（2006年9月時点の「Mac OS X v10.4 (Tig
三菱東京UFJ銀の一部障害、直接の原因は文字コードの設定誤り
三菱東京UFJ銀行の一部キャッシュカードが、5月12日の午前7時から約5時間セブン銀行のATMで使えなくなった原因が分かった。三菱東京UFJ銀のシステムからセブン銀のシステムに送信する取引結果データの文字コードに誤りがあり、セブン銀のシステムが取引結果を正常に処理できなかった。約2万件の取引が影響を受けた。 取引ができなかったのは、取引対象が旧東京三菱銀の店舗の口座で、かつ通帳に未記入の明細が10件以上あるときに限られる。この条件を満たす場合、三菱東京UFJ銀のシステムは、通帳記帳を促す案内文を取引結果データに加えて、セブン銀に送信する。この案内文はカタカナだけを使用すると両行で取り決めていた。 一方、三菱東京UFJ銀は5月10日の夜9時から12日朝7時までシステムを臨時停止し、旧東京三菱銀ベースの勘定系システムに旧UFJ銀の機能を追加した新システムを稼働するための切り替え作業を実施した。
第1回 まずは「クッキー」を理解すべし
Webアプリケーションのぜい弱性がなかなかなくならない。メディアなどでも盛んに取り上げられているにもかかわらず，である。特に，セッション管理がからむアプリケーションのぜい弱性には，気付かないことが多い。具体的には「クロスサイト・リクエスト・フォージェリ」（CSRF），「セッション・フィクセーション」などである。これらはクロスサイト・スクリプティング，SQLインジェクションといった比較的メジャーなぜい弱性に比べて認知度が低く，対策も進んでいない。 原因の一つは，アプリケーションの開発者が原因を正しく理解していないこと。CSRFやセッション・フィクセーションについて言えば，セッション管理に使うクッキー（cookie）の動作を理解していないと対策が難しい。ところが最近の開発環境では，セッション管理の仕組みが隠ぺいされているため，必ずしもこの知識は要求されない。こうした開発者は容易にはぜい弱性に気
まつもと直伝 プログラミングのオキテ---目次 - まつもと直伝 プログラミングのオキテ：ITpro
第0回 あらためてRuby入門 まつもとゆきひろ氏自身による「Ruby入門」をお届けします。日経Linuxの連載開始前の特別企画（2005年4月号）として，Rubyが他のスクリプト言語やオブジェクト指向言語とどこが違うのか，なぜ便利なのかを中心に解説してもらったものです。 ● 基本と他言語との違い ● 実装とRuby誕生の秘密 第1回 プログラミングとオブジェクト指向の関係 プログラマを目指す人々の中にも，「オブジェクト指向は難しい」とか，「なかなか分からない」という印象を持つ方が多いようです。そこで，Rubyを題材にオブジェクト指向という考え方について説明していきます。 ● その1 ● その2 ● その3 第2回 抽象データと継承 オブジェクト指向プログラミングを構成する3原則のうち，前回は「ポリモーフィズム」を学びました。今回はオブジェクト指向の歴史を復習した後，残りの「データ抽象」と
第一人者がやさしく教える新SELinux入門---目次
Linuxディストリビューションの「Fedora Core 5」からは，大幅に機能刷新された「SELinux」が組み込まれました。SELinuxは，Linux OSにセキュアOS機能を組み込めるソフトウエアです。Linux OSで使える代表的なセキュアOS機能として，注目を集めています。 本連載では，Fedora CoreでのSELinuxの機能や使い方を，これまでSELinuxを使ったことがない人に向けて，分かりやすく解説してしていきます。 第1回 SELinuxの基本的な仕組み 第2回 最新開発状況 第3回 Fedora Core 5で学ぶ新しいSELinux 第4回 ポリシーを編集せずに問題に対処する 第5回 タイプを変更してトラブルに対処する 第6回 ポリシー・ファイルの正体を知る 第7回 モジュール・パッケージを作成する 第8回 タイプを付与してより安全に設定する 第9回 リファ
［MySQLウォッチ］第38回 インデックスの劣化と再生
データベースは，大量のデータを格納して目的に合わせて処理するのが役割である。処理を高速化する機能として，インデックスが用意されている。インデックスは，あらかじめ検索やソート対象となる列のデータを処理しやすいように別管理するものだ。インデックスを使いこなせるかどうかで，データベース処理の良し悪し決まるといっても過言ではない。しかし，インデックスいつまでも高速ではない。その効果が，色褪せる時がやってくるのだ。 インデックスの効用 まずは，肩慣らしにインデックスの効用を確認する。テーブル「pono」は，日本郵政グループの日本郵便事業株式会社が提供している郵便番号データを格納したテーブルだ。 図1●テスト用のテーブル「pono」 mysql> show create table pono \G *************************** 1. row *****************
OOM Killer
OOM Killer（Out of Memory Killer）は，システムが実メモリーと仮想メモリー空間（スワップ領域）を使い切り，必要なメモリー領域を新たに確保できない場合に，プロセスを強制終了させて空きメモリーを確保する，Linuxカーネルの仕組みです。OOM Killerは，空きメモリーが確保できないことによりシステム自体が停止するという最悪の事態を避けるために用意されています。 OOM Killerは，空きメモリーを十分確保でき，システム上損失のなるべく少ないプロセスを選んで，強制終了します。また，強制終了するプロセスの数がなるべく少なくなるようにしています。実際に，どのプロセスを強制終了するかは，カーネル内部のbadness（）関数が決めます。 ただし，OOM Killerにより，システム上大切なプロセスが強制終了させられることもあります。システム・トラブルの原因に成り得ること
「感情の共有」，「負荷との戦い」---ニコニコ動画の技術：ITpro
インターネット・サービスの激戦区である動画配信で後発ながらYouTubeを上回る成長速度，YouTubeの3倍以上となる1日ひとり3時間以上という平均視聴時間を実現したニコニコ動画。開設後1年足らずで400万人の会員を獲得，日本全体のトラフィックの約10分の1を占める。その成長速度はmixiも上回り，日本史上最速と見られる。 ニコニコ動画は多くのメディアで語られ，2007年10月にはグッドデザイン賞も獲得したが，これまでは社会現象やマーケティングの観点から語られることが多かった。しかしニコニコ動画を作り上げ，その急拡大を支えたのはまぎれもなくエンジニアの技術だ。多くのクリエイタやユーザーを魅了し，巨大なアクセスをさばく技術はどのようなものなのか。ドワンゴのエンジニアに聞いた。 「感情」を共有するアルゴリズム 動画の上に文字をかぶせるサービスはニコニコ動画以前にも存在した。また，動画のタイミ
特集:基礎から理解するデータベースのしくみ - 特集:基礎から理解するデータベースのしくみ：ITpro
「データベースはブラックボックス。どんなSQL文を投げたらどんな結果が返ってくるかさえ知っていればよい」---そう思っている人も多いかもしれません。 しかし，本物のソフトウエア・エンジニアを目指すのであれば，データベースが動く仕組みを学ぶことは避けて通れません。パフォーマンスなどに問題が生じたときどこから手を付けていいのか皆目見当がつかない，といった事態に陥りかねません。 市販のRDBMSの内部はかなり複雑ですが，基本的な部分を理解するのはそれほど難しくありません。この特集でデータベースの動く仕組みを理解してください。 イントロ ●ブラックボックスのままでいいの？ 基礎から理解するデータベースのしくみ（1） Ｐａｒｔ１ ●SQL文はどのように実行されるのか 基礎から理解するデータベースのしくみ（2） 基礎から理解するデータベースのしくみ（3） 基礎から理解するデータベースのしくみ（4） 基
はじめてのカーネル・ソース 第1回 どうしたら読めるようになるのか：ITpro
なかなかハードルが高く，多くの人が踏み出せないでいるカーネルのソース・コードの読解。本連載では，今までカーネル・ソースなんて見たことがないという人に，読みこなすコツをお教えします。今回は，どうしたらカーネル・ソースを読みこなせるようになるのか，筆者の経験をお話します。 Linuxユーザーなら誰しもカーネルのソース・コード（カーネル・ソース）を読んで，どのような処理を行っているのかを確認したり，自分なりの変更を加えたりしたくなるのではないでしょうか。しかし，カーネル・ソースの量は膨大な上，C言語で書かれているので，コンピュータ内部やOS（オペレーティング・システム）の仕組みを理解したプログラマでないとなかなか読みこなせません。そのため，カーネルを読むための第一歩を踏み出せない人が数多くいることは事実です。 本講座では，プログラマではないごく普通のLinuxユーザーが，カーネルをある程度自力で
Linuxカーネル・コンパイル入門 前編：カーネル・コンパイルすべき人，すべきでない人
ソース・コードが自由に入手できるLinuxならではの楽しみが，カーネルをコンパイルして，独自のシステムに仕立てられること。例えば，より新しいカーネルのソース・コードを入手し，コンパイルして導入すれば，最新機能をいち早く試せる。初めて「カーネル・コンパイル」に挑戦する人に向けて，カーネルを安全に導入する方法を2回に分けて解説する。前編は，カーネルのコンパイルから導入するまでの概要を紹介する。 普段何げなく使っているLinuxディストリビューション。その中核をなすカーネルは，もちろん，プログラムの一種である。Linuxが登場した当初は，ユーザーが自分でコンパイルして導入するのが当たり前だった。しかし，Linuxディストリビューションが“進化”した今では，実行形式で提供される場合がほとんどだ。 Linuxディストリビューションと共に提供される（実行形式の）カーネルは，無難に動作する反面，チューニ
Part1 正しいPerl/CGIの書き方：ITpro
Shibuya Perl Mongers 2代目リーダーにして，ppencodeの作者。広島市立大学卒業後，大企業向けmod_perl製品の開発に従事。2005年よりサイボウズ・ラボ株式会社に入社。LL Ringに参戦。Namazu for Win32，Plagger，Ajajaのコミッターでもある。 CGIといえばPerl。そんな風にいわれていた時期もありました。レンタル・サーバーのCGIで手軽にPerlが使えたこともあり，ちょっとした掲示板のスクリプトやアクセス・カウンタなど，CGIプログラムの多くがPerlで書かれていました。このためPerlが爆発的に普及したのです。Perlは日本のインターネット黎明期を支えたプログラミング言語として，広くその名が知られています。 その半面，Perlで書かれたプログラムの保守性に悩む声も聞かれるようになりました。事実，Perlのプログラミング経験が少
【ITpro Challenge!】「世界を変えられるのはコードだけ」---はてなCTO伊藤直也氏が明かす“ネトゲ廃人”から“なりたかった自分へ”の道のり：ITpro
【ITpro Challenge!】「世界を変えられるのはコードだけ」---はてなCTO伊藤直也氏が明かす“ネトゲ廃人”から“なりたかった自分へ”の道のり 「本当の意味で世界を変えられるのはコードだけ。コードとインターネットの力で，10万人を驚かすことができた」---はてな 取締役最高技術責任者 伊藤直也氏は9月7日，イベントITpro Challenge!でこう語った。アルファギーク（技術の方向性を指し示す先鋭的なエンジニア）の代表格とも目される伊藤氏は，意外にも「ネトゲ廃人（ネットワークゲーム中毒者）」で「不満を会社のせいにしていた甘ちゃん」だったという。 ネトゲにはまった「何も生み出さない3年間」 伊藤直也氏とコンピュータの最初の出会いは早く，幼稚園の時に父親が買ってきた８ビット・パソコンで，雑誌に載っていたゲームのプログラムをキーボードから入力して遊んでいたという。だが，中学や高校
【MySQLウォッチ】第7回 大規模システムを支えるMySQLのレプリケーション機能：ITpro
このところ楽天をはじめとして，MySQLを活用した大規模な事例が増えている（関連記事）。このような大規模，かつサービス停止の許されないシステムを支えているのが，MySQLのレプリケーション機能である。 「レプリケーション」とは，対象物とまったく同じ物を製作する処理だ。同じような意味に「ミラー」があるが，意味するところは物理的なコピーである。「レプリケーション」は，論理的な複製であり，対象物の全体や一部といった範囲を限定できる点が異なる。 このような機能は，大がかりな準備と高度な技術が必要と考えている方も多いだろう。しかし，MySQLのレプリケーション機能は，非常に簡単に利用することができる。今回は，現行バージョンでも利用可能なレプリケーション機能を解説する。 Masterの更新がSlaveに反映される MySQLのレプリケーション機能は，MasterとSlaveに役割が分かれる（図1[拡大
Part1 オープンソース/C言語に学ぶ「ソースコードの読み方」：ITpro
「Code Reading―オープンソースから学ぶソフトウェア開発技法」（毎日コミュニケーションズ発行，写真1）という本があります。私はこの本の監訳者ですから，やや自画自賛になってしまいますが，ソースコードの読み方を主題にした本はほかにはあまりありません。技法からツール，データ構造，アーキテクチャ，さらには実際にコードを読んで利用する実例まで紹介している網羅的で良い本だと思います。 この本の「はじめに」で「達人プログラマー」として知られるDave Thomas氏は以下のように書いています。 他人の作品を読まなかった偉大な作家，他人の筆づかいを研究しなかった偉大な画家，同僚の肩越しに技を盗まなかった腕のよい外科医，副操縦席で実地の経験を積まなかった767機長――果たして，そんな人たちが本当にいるのでしょうか？ たしかにその通りです。ソフトウエア以外の領域では修行することとはすなわち，他の人の
PHPの「守護神」Suhosin
PHPは，数え切れないほどのWebサイトで使われている非常に有名なプログラミング言語である。基本的にはスクリプト言語であり，実行時にコンパイルされる。PHPは非常に多くのコミュニティによって支えられており，様々な機能を提供する膨大な数のオープン・ソース・ライブラリが公開されている。「WordPress」といった人気アプリケーションも，PHPで記述されている。ただし，PHPにもセキュリティの問題は存在する。 PHPのセキュリティ問題は，長年にわたって多くの開発者が問題の修正に取り組んできた。しかし，常に迅速な対応が行われてきたわけではなく，被害を受けるユーザーも存在した。2006年末には，PHP開発者のStefan Esser氏が，この状況に嫌気がさして，PHP Security Response Teamを辞任した。 Esser氏は自身のブログで，「（辞任した理由は）いくつかあるが，最も決
Apacheに対するサービス拒否攻撃を回避する方法
筆者は最近，Apache HTTPサーバーに対するサービス拒否攻撃を防御するWebベースのセキュリティ・ツール「mod_evasive」を使い始めた。mod_evasiveは特定の挙動を探してそれをブロックするモジュールである。 mod_evasiveは，筆者が昨年の12月に紹介した「Suhosin」に似ている（関連記事：PHPの「守護神」Suhosin）。SuhosinはPHPスクリプティング・エンジンの安全性を大幅に高めるパッチである。Suhosinは，害を及ぼす危険性を持つありとあらゆるWebベースのコンテンツを検出し，それらがPHPエンジンを越えてシステムやネットワークに到達するのを防ぐ上で役に立つ。 mod_evasiveが機能する仕組みを説明しよう。mod_evasiveはまずURLリクエストをApacheサーバーに送信するIPアドレスの記録を取る。その後，あらかじめ設定した許
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windowsコマンド集：ITpro