イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
図解求む。 以下「プロトコル処理」と「メッセージ処理」を分けて扱っているが、この差が顕著に出るのは全文検索エンジンや非同期ジョブサーバーなど、小さなメッセージで重い処理をするタイプ。ストリーム指向のプロトコルの場合は「プロトコル処理」を「ストリーム処理」に置き換えるといいかもしれない。 シングルスレッド･イベント駆動 コネクションN：スレッド１。epoll/kqueue/select を１つ使ってイベントループを作る。 マルチコアCPUでスケールしないので、サーバーでは今時このモデルは流行らない。 クライアントで非同期なメッセージングをやりたい場合はこのモデルを使える： サーバーにメッセージを送信 イベントハンドラを登録；このときイベントハンドラのポインタを取っておく イベントハンドラ->フラグ がONになるまでイベントループを回す イベントハンドラ->結果 を返す １コネクション１スレッ
「分散システムのためのメッセージ表現手法に関する研究」 - 筑波大学大学院を卒業しました - Blog by Sadayuki Furuhashi
このたび筑波大学大学院を卒業し、修士号を取得しました。卒業にあっては本当に多くの方々にご助力いただきました。この場を借りて御礼申し上げます。ありがとうございました。 現在は起業して、12月からアメリカに在住しています。新たな価値を生み出すべく "下から上まで" システムの設計と開発に携わっており、エキサイティングな毎日を送っています。 修論シーズンに日本にいなかったので、修士論文はメールで送って提出し、卒業式にも出席していないというありさまなので、本当に卒業できたのかどうか実感がないのですが、友人によれば「学位記はあった」らしいので、きっと大丈夫でしょう。（写真はカリフォルニア州マウンテンビューにて） さて、せっかく時間を割いて書いたので、修士論文を公開することにしました。 分散システムのためのメッセージ表現手法に関する研究と題して、バイナリ形式のシリアライズ形式である MessagePa
Treasure Data, Inc. | Finding Gems in Your Big Data
The AI-powered CDP for the world’s largest companies. Recognized as a Leader by Gartner. Gartner® names Treasure Data a Leader in the 2024 Magic Quadrant™ for Customer Data Platforms. Get Magic QuadrantGet Critical Capabilities Treasure Data empowers the world’s largest and most innovative companies to drive connected customer experiences that increase revenue and reduce costs. Built on a big data
バイナリシリアライズ形式「MessagePack」 - Blog by Sadayuki Furuhashi
Googleが公開したバイナリエンコード手法であるProtocol Buffersは、クライアントとサーバーの両方でシリアライズ形式を取り決めておき（IDL）、双方がそれに従ってデータをやりとりするようにします。 この方法では高速なデータのやりとりができる反面、IDLを書かなければならない、仕様を変えるたびにIDLを書き直さなければならない（あらかじめしっかりとIDLを設計しておかないとプログラミングを始められない）という面倒さがあります。 ※追記：Protocol BuffersのデシリアライザはIDLに記述されていないデータが来ても無視するので（Updating A Message Type - Protocol Buffers Language Guide）、仕様を拡張していっても問題ないようです。 一方JSONやYAMLなどのシリアライズ形式では、何も考えずにシリアライズしたデータ
MessagePackフォーマット仕様のPull Request #209をマージし、MessagePackにTimestamp型を追加しました。 ※この記事の英語版は XXX にあります（翻訳中） Extension型の型コード -1 として定義されているため、後方互換性が維持されています。つまり、既にExtension型に対応しているデシリアライザであれば、Timestamp型を使用して作成されたデータを、Timestamp型に対応していない古いデシリアライズで読み出すことができます。 新しいTimestamp型には timestamp 32、timestamp 64、timestamp 96 の3つのフォーマットがあり、よく使う値をより少ないバイト数で保存できるようになっています。例えば、1970年〜2106年までの時刻で、秒までの精度しか持たない時刻であれば、合計6バイトで保存でき
ぽっちゃり熟女主婦出会い！巨乳を揉み倒す
ぽっちゃり熟女主婦出会い！巨乳を揉み倒す！デブ専ふくよかおばさんを探す
VIVER
VIVERとは？ VIVERは、１台のコンピュータをCDやDVD、USBメモリなどから起動し、続いて他のコンピュータを次々にネットワークブートすることで、瞬時にディスクレスネットワークを構築するシステムです。 VIVERを使うと、非常に簡単な手順で、今あるLinuxシステムをUSBメモリやネットワークブートからブートできるようにすることができます。 特定のLinuxディストリビューションには依存していないので、CentOSでもopenSUSEでもDebianでもMandrivaでも、ほとんどのディストリビューションをディスクレスブートさせられます。 ネットワークブートにはNFSを使いません。分散多重化共有ブロックデバイスV-FIELDを使います。 もっと詳しく デモムービーを見る
6/22に開催した、第2回KLab勉強会の資料と音声を公開します。 『DSASのあそこ - ストレージサーバ編』 〜 ひろせまさあき (KLab株式会社) 発表資料 (PDF, 1,333 KB) 音声 (MP3, 17,593 KB) 『VIVERのいろいろ』 〜 古橋 貞之 (筑波大学) 発表資料 (PDF, 6,784 KB) ぐりぐり動く対話的プレゼンテーション - 通常版 (QuickTime, 5,146 KB) ぐりぐり動く対話的プレゼンテーション - 高解像度版 (QuickTime, 24,420 KB) 音声 (MP3, 11,411 KB) たくさんの方にお越しいただきありがとうございました。 おかげさまで、懇親会も含め盛況のうちに終わり、とても楽しい時間を過ごすことができました。 さてさて、ちょっと気が早いですが、第3回も開催したいと思っています。 勉強会の内容や参
festivoice.net
音声チャットをはじめよう!festivoice（フェスティボイス）を使うと気軽に多人数の音声チャットを始められます。ミーティングにペアプログラミングにおしゃべりにIRCのお供にユーザー登録は不要です。festivoiceソフトウェアをダウンロードして今すぐ始めよう！コマンドライン版もあります。festivoiceソフトウェアの動作にはJavaソフトウェアが必要です。festivoice.netの使い方festivoiceサーバーの導入ソースコード
French technology company Shadow has confirmed a data breach involving customers’ personal information. The Paris-headquartered startup, which offers gaming through its cloud-based PC service, s
VIVER
VIVERとは？ VIVERは、１台のコンピュータをCDやDVD、USBメモリなどから起動し、続いて他のコンピュータを次々にネットワークブートすることで、瞬時にディスクレスネットワークを構築するシステムです。 VIVERを使うと、非常に簡単な手順で、今あるLinuxシステムをUSBメモリやネットワークブートからブートできるようにすることができます。 特定のLinuxディストリビューションには依存していないので、CentOSでもopenSUSEでもDebianでもMandrivaでも、ほとんどのディストリビューションをディスクレスブートさせられます。 ネットワークブートにはNFSを使いません。分散多重化共有ブロックデバイスV-FIELDを使います。 もっと詳しく デモムービーを見る
6月22日に「KLab勉強会#2」が開催されました。私もVIVERについて発表をさせていただきました。そのときの資料を公開します。 PDF資料 ぐりぐり動く対話型プレゼンテーション（通常版） ぐりぐり動く対話型プレゼンテーション（高解像度版） V-FIELDのデモ ※6/25追記：KLab勉強会#2の資料を公開します - KLab開発者の部屋に資料ファイルを置いていただきました。 ※6/30追記：VIVERを動作や利点については、IPAX 2007の資料でより分かりやすく紹介しています。先にこの資料を見ていただいた方が分かりやすいと思います。 断片的にしかお話しできなかったので、ここで細部まで徹底的にご紹介したいと思います。資料も一緒にご覧ください。対話型プレゼンテーションは、矢印キーでスライドを進めたり戻したりできます。 さらに込み入った内容については、VIVER 1.0.1のソースコー
今その価値が見直されようとしているかもしれないinitramfs。initramfs内ではほとんど何もできないかと思いきや、試してみると実は「何でもできる」ことが分かります。 そうなると、いろいろやりたくなるわけですが、initramfs内でやることと言えば大体決まっていて（ブートパラメータの解釈、ハードウェア認識、カーネルモジュールのロード、デバイスノードの作成、ネットワークの起動、HDDのマウント、tmpfsのマウントと引き継ぎファイルの避難、switch_rootなどなど）、そのあたりをVIVERの中からinitramfs内のコードを取り出してライブラリ風に使えるようにしようというアイディア（VIVER CORE）があって、ちまちまと作っています。が、WikiFormeなどなどに手を出しているうちに、素晴らしい記事が。 initramfs (initrd) の init を busy
情報処理推進機構：プレス発表：記事
独立行政法人 情報処理推進機構（略称：IPA、理事長：藤原 武平太）は、ソフトウェア関連分野における天才的な人材の発掘・育成を目的としている「未踏ソフトウェア創造事業」において、2006年度上期事業で採択し支援した52件（未踏本体32件、未踏ユース20件）の中から、15名を「天才プログラマー／スーパークリエータ」として認定しました〔2006年度上期公募への提案数は213件（未踏本体143件(※)、未踏ユース70件）〕。 「天才プログラマー／スーパークリエータ」の認定は、担当プロジェクトマネジャー（PM）による評価を基にIPAが行うものです。今回の認定で、2000年度から延べ146名の「天才プログラマー／スーパークリエータ」を発掘したことになります。 「天才プログラマー／スーパークリエータ」は、これまで支援した開発者1,112名（未踏本体920名、未踏ユース192名）の中から、約13％の
VIVER CORE Server 0.0.1 - Network Boot Toolkit - Blog by Sadayuki Furuhashi
ディスクレスネットワーク基盤システム「VIVER」の中から、ネットワークブート機能だけを取り出して強化した、VIVER CORE Serverの最初のバージョンをリリースします。 VIVER COREは、一言で言えば、「ネットワークブートに対応したinitramfs」です。HTTP、FTPまたはTFTPでルートファイルシステムをダウンロードし、RAM上に展開して起動します。 VIVER CORE Server 0.0.1 viver-core-server-0.0.1.tar.gz ※2007/10/03追記: バージョン0.0.2をリリースしました。> pxe-pdhcp + VIVER CORE Server 0.0.2 VIVER CORE Server 0.0.2 viver-core-server-0.0.2.tar.gz viver-core-server.0.0.2.src.
VIVERとは？ - VIVER
VIVERとは？ VIVERは、CDやUSBメモリから1台のコンピュータを起動し、続いて他のコンピュータを次々にネットワークブートすることで、瞬時にディスクレスネットワークを構築するシステムです。 2006年度未踏ソフトウェア創造事業 成果概要 (PDF) 2006年度未踏ソフトウェア創造事業 成果報告書 (PDF) （内容はVIVER 0.3のものです） ハードウェア自動検出機能 ハードウェアを自動的に検出する機能を持ち、面倒な設定をしなくても動作します。 分散多重化共有ブロックデバイス ネットワーク中のすべてのコンピュータにディスクを分散・重複保持させることで、ディスクを持ったコンピュータがダウンしてしまったときでもネットワーク全体のダウンを防ぎます。 またNFSのように1台のサーバーに負荷が集中することがないため、コンピュータの台数が増えても高い性能を保ちます。 ディスクはメモ
id:yappoさんが、PerlでPartty!サーバーに接続するモジュール「Net::Partty」を開発されているのを発見！yappo++++++ 第3回（KLab勉強会#3のメモ）に引き続き、KLab勉強会#4に参加させていただきました。その懇親会で、VIVER COREを使っていただいている方を発見！感動しました。KLab勉強会#4へ行ってきました VIVERはCodeReposにアップしました。遠慮無くガツガツいじってやってください。VIVER@CodeRepos://share/lang/ruby/viver/ ビルドが厄介なので（libcのコンパイルから始まる）、元のソースをいじるよりは、VIVER CORE Server 0.0.5のviver-core-root.0.0.5.i386.tar.gzをtarコマンドで展開して、中身を編集し、もう一度tar.gzで固めるという
pxe-pdhcp + VIVER CORE Server 0.0.2 - Blog by Sadayuki Furuhashi
VIVER CORE Serverのバージョン0.0.2をリリースします。パッケージに「pxe-pdhcp」が加わり、DHCPサーバーの設定を変更せずにネットワークブートできるようになりました。 VIVER CORE Server 0.0.2 viver-core-server.0.0.2.tar.gz viver-core-server.0.0.2.src.tar.gz ※2007/10/6追記: バージョン0.0.3をリリースしました > VIVER CORE Server 0.0.3リリース 0.0.1からの変更点： pxe-pdhcpを追加 key="value value"のように「"」で囲むことで、ブートパラメータにスペースを含められるようになった rooturl=にスペース区切りで複数のURLを指定できるようになった（負荷分散用） pxe-pdhcp PXEには３種類あるの件
PRMとは？ PRMとは、目的別のPuppetデータファイル（これをレシピと呼びます）をリモートのリポジトリから自サイトへダウンロード/アップデートしたり、ローカルリポジトリ上で管理を行うためのツールで、yumやaptといったパッケージ管理システムのPuppetレシピに特化したもの、と捉えることができます。 現在のところレシピが充実しているわけでもなく、ソースコードを一部修正しないと動作しない機能があるなど、まだツールとしては不完全ですが、大変面白い試みだと思いますので、今回ご紹介したいと思います。 PRMのアーキテクチャ PRMのアーキテクチャを簡単な図にしてみると以下のようになります。 PRMのアーキテクチャ リモートとローカルのリポジトリには、Mercurialという分散バージョン管理システムを利用しています。 prmコマンドを利用して、リモートリポジトリ上にあるレシピをダウンロード
2007-02-20
ドキュメントのないソフトウェアは使えないということは分かっていても、これがなかなか難しい。 ということでブログにひたすら説明すべき（したい）内容をブレインストーミング的に列挙して、後でまとめるというのが良いのでは無かろうか。 では早速。 VIVERって何なんだろうな…一言で言えない。「誰かを感じる」みたいなキャッチフレーズがあるといいなぁ。 「VIVERは統合ディスクレスネットワーク基盤システムです」というのはなかなか言い得ているのではないかと思うけど、これだけ見てもサッパリ分からない。 以前は流行に乗って「シンクライアント」という名前をよく使っていたのだけど、シンクライアントという言葉自体の知名度も怪しいし、そもそもVIVERはシンクライアントなのかどうか怪しい。 VIVERは…です。…すると…して…できます。今まで…だったことが…になります。 今までは…することは…でした。…が必要であ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネットワークプログラムのI/O戦略 - sdyuki-devel
Blog by Sadayuki Furuhashi
KLab勉強会#2の資料を公開します : DSAS開発者の部屋
Viberが3月にAndroidにやってくる–Skypeの安眠を奪うか？
「KLab勉強会#2」の資料を公開します - Blog by Sadayuki Furuhashi
initramfs - VIVERの技術 - Blog by Sadayuki Furuhashi
最近発見した話題 - Blog by Sadayuki Furuhashi
第11回 Puppet 関連ツールの紹介（PRM） | gihyo.jp
http://log.blog.klab.org/support/20070622/VIVER_KLab2_PDF.pdf