Protocol Buffers 入門
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
Protocol Buffers
Protocol Buffers are language-neutral, platform-neutral extensible mechanisms for serializing structured data. What Are Protocol Buffers?Protocol buffers are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define how you want your data to be structured once, then you can use special generated sourc
グーグル、また基盤技術の1つをオープンソース化 − ＠IT
2008/07/08 グーグルは7月7日、同社の基盤を支える要素技術の1つ「Protocol Buffers」をオープンソースで公開した。Protocol Buffersはさまざまな構造化データを言語に非依存な形で定義し、利用するためのソフトウェア。JavaやC++、Pythonで利用でき、定義したデータは各言語のクラスライブラリにコンパイルされるという。例えば、いくつかの32ビット整数やストリングからなるデータ型を「.proto」というファイルで定義しておけば、このデータ型で定義されるメッセージストリームを、各言語から利用できるという。 オープンソース化を担当した同社ソフトウェアエンジニアのケントン・バーダ（Kenton Varda）氏によれば、Protocol Buffersは、XMLやIDLで満たせないニーズを満たすものだという。「XMLは優れているが、グーグルで扱うデータ量はXML
Postfix TLS サポート
TLSサポート付きでPostfixをビルドする TLSサポートを付けてPostfixをビルドするには、まず必要な定義の書かれた make(1) ファイルを生成する必要があります。これはPostfixトップレベル ディレクトリで "make makefiles" コマンドに次に示す短い引数を付けて 呼び出すことで生成されます。 注意: Gnu TLSを使わないでください。Postfixは 1) maillogファイルに エラーを報告して、2) 適切な平文サービスを提供できず、Postfixデーモン プロセスは終了ステータスコード2で終了させられてしまいます。 OpenSSL インクルードファイル (ssl.h のような) が /usr/include/openssl ディレクトリにあり、(libssl.so や libcrypto.so) が /usr/lib ディレクトリにある場合: %
Mac OS XでSSL／TLSサーバ
Mac OS XのApache+mod_sslでSSL/TLSサーバを立ち上げる方法です。WebDAVとの相性もいいですね。ただし、固定IPアドレスか独自ドメインを持ってる必要があります。ダイナミックDNSでは危うい気もしますが可能です。 残念ながらFinderからはSSLのWebDAVが使えませんが、代わりにはGoliathがお勧め。WindowsのWebフォルダはSSLに対応しています。 (基本的にAppleのUsing mod_ssl on Mac OS Xに書いてある方法を踏襲してます) (自己責任で行ってください。インターネットへ公開するには、セキュリティの知識とスキルが必要です) OS XのSSL環境 SSLの設定 作業ディレクトリを作る 乱数の種になるデータを作成 サーバの鍵およびCSRを生成する CAの鍵およびCA証明書を生成する CAとして署名しサーバ証明書を作る /et
認証局 - Wikipedia
公開鍵証明書の発行プロセス 暗号において、公開鍵証明書認証局または認証局 （CA、Certificate Authority、Certification Authority） は、他の当事者にデジタル 公開鍵証明書 を発行する実体である。これは、信頼できる第三者機関（英語版） (trusted third party, TPP) の例である。 サービスに課金する商用CAは多い。政府などではCAを独自に立てていることがあり、またそれ以外に無料のCAもある。 CAは、公開鍵証明書を発行する。公開鍵証明書には公開鍵と持ち主の記載があり、記載の個人、組織、サーバその他の実体がこの公開鍵に対応した私有鍵（秘密鍵[1]）の持ち主だと証言する。このスキームにおけるCAの義務は、CAの発行した証明書にある情報を利用者が信頼できるよう、申請者の身分を確認することである。もし利用者がCAを信じ、かつCAの署名
Secure Sockets Layer - Wikipedia
TLSは特定のアプリケーション層プロトコルに依存しないため、HTTP以外にも多くのプロトコルにおいて採用され、クレジットカード情報や個人情報、その他の機密情報を通信する際の手段として活用されている。 既存のアプリケーション層プロトコルでTLSを利用する場合、大きく2つの適用方式が考えられる。まずひとつは、下位層（通常はTCP）の接続を確立したらすぐにTLSのネゴシエーションを開始し、TLS接続が確立してからアプリケーション層プロトコルの通信を開始する方式である。もうひとつは、まず既存のアプリケーション層プロトコルで通信を開始し、その中でTLSへの切り替えを指示する方式である。切り替えコマンドとしてSTARTTLSが広まっているため、この方式自体をSTARTTLSと呼ぶこともある。 前者はアプリケーション層のプロトコルをまったく変更しなくてすむことが利点である。その反面、平文で接続を開始する
【絵で分かるキーワード】iSCSI(あいすかじー)
●【iSCSIの仕組み】 iSCSI：Intel、Adaptec、IBMなどが推進する、SCSIコマンドをパケット化してIPネットワーク上で送受信するリモートストレージ規格 LAN／WANの普及とともに、OSの持つ共有機能を利用してのリソース公開が行われるようになった。ネットワーク接続を前提としたOSに搭載されたNFS、AppleShare、SMBなどのファイルシステム共有プロトコルを利用し、個々のマシンのリソースを公開する方法だ。その進化形が「NAS」(Network Attached Storage)である。NASのハードウェア的な構成はPCやワークステーションと同等なのだが、ソフトウェア面では組み込み型のOSを搭載し、設定の簡素化や安定性を実現している。 しかし、NASにも弱点がある。それはネットワーク上のトラフィックが増大してしまうことだ。そこで考え出されたのは、ストレージ系のネッ
charset と encoding - odz buffer
どういう経緯でそうなったかは知らないが、現状 Web ページのエンコーディングをブラウザに通知するには HTTP レスポンスヘッダの Content-type に Content-type: text/html; charset=utf-8といった感じに、エンコーディングを指定することになっている。 で、以前から疑問なんだが、なんで encoding じゃなくて charset なんだろう。いや、だって EUC-JP も MS932/Shift-JIS も ISO-2022-JP もみんな JISX 0208 の上のエンコーディング方式な訳で、charset は一緒じゃん、とか思うのだ。 それとも、charset と encoding をひとまとめにして charset と呼称しているんだろうか？それはそれでややこしいような。 いや、単に1つの文字集合に対して複数のエンコーディングが存在す
Stray Penguin - Linux Memo (ntpd)
NTP は、ネットワークを経由してコンピュータの時間を同期するためのプロトコル。通信は UDP プロトコルの 123 番どうしで行う。そして、NTP サーバデーモンの標準が ntpd だ。マシン自体の時計を合わせるだけなら、 NTP パッケージに含まれる ntpdate を使ってもいいが、オフィシャルドキュメントによると、 ntpdate はエラーハンドリングが「いい加減」なので、ntpd を -q オプションで使ったほうが良いようだ。 UNIX, Linux はサーバ運用を主眼として作られているので、時間が急に変わってしまっては問題が生じることが多い。そのため、ntpd は、マシンのクロックが違っていたからといって、いきなり何十分も遅らせたり進めたりはしない。連続性が失われないよう 「1 秒の長さ」 を実際よりも長くしたり短くしたりすることによって、徐々に補正していこうとする (一概に言
Linuxサーバ での 参照先 NTPサーバの選び方
ネットワーク上で同期をとりながら動いているLinuxサーバ群が正確に時間同 期する必要があるのは説明する必要はないだろう。サテライトサーバ（中心と なるサーバを参照しながら、それを中心に動く）は単純にセンターサーバにあ わせれば良い。問題はセンターサーバが、どう正しい時間を得られるかだ。 ntpは複数タイムサーバを参照しながら、正確に時間を同期させる。参照して いる複数のタイムサーバすべてが使われているわけはない。時間同期の参照先 として良い安定しているサーバ群をクラスタとして認識している。ここでは選 び方を議論しているのでNTPのクラスタという概念までは説明しないが調べて おくとNTPに対するより深い理解につながるだろう。 さて、精度を保とうとするとNTPは3つのタイムサーバを参照するのが良い。理 由は参照先に時間のずれがあった場合、2つだけだとどちらが悪いのか判断つ かないからだ、だか
ちょっとしたメモ - W3Cの新HTML作業部会
昨年10月のバーナーズ＝リーのびっくり発言から約4カ月を経て、W3Cに新しいHTML作業部会が設置された。HTML4とXHTML1をベースに、新しい(X)HTML仕様を2010年を目標に策定していく。従来のHTML作業部会はXHTML2作業部会という扱いになる（HTMLとは違う狙いなので、名前を変えることも検討しているそうだ。そりゃ大いに結構）。 Charter（設立趣意書）によれば、この新作業部会は次のものを策定していく。 HTML4を発展させた、ウェブの文書とアプリケーションのセマンティクスを表現する言語 この言語をXMLによって記述（シリアル化）する拡張可能な形態 既存ブラウザの「クラシックHTML」パーサと互換性のある、XMLではない記述形態 この言語のためのDOMインターフェイス フォームその他のUIで用いるための、プログレッシブバー、メニューなどの共通部品 リンクづけられたメデ
Separator character "T" in ISO 8601 - odz buffer
まともとさん曰く。 「区切りのTは使わない」はISO8601に適合してますよ。 う〜ん、そんな話あったかなぁ。とりあえず英語版 Wikipedia を見てみる*1。 The date and time representations may sometimes appear in proximity, separated by a space or other characters, in which case they occupy two separate fields in a data system, rather than a single combined representation. This is sometimes done for human readability. Unlike the above example, "1981-04-05" "14:30:30-0
メール転送のおはなし - どさにっき
2007年2月11日(日) 建国記念の日 ■ 無題 _ 障害連絡を受ける携帯に深夜にメールが飛んできて、すわ何事と起きてみたら、それが spam だったときのやるせなさといったら。 _ で、起こされた。さっき。 _ あした受信拒否設定しとこ。とりあえず、寝る。 2007年2月13日(火) ■ IE6 KeepAlive _ ちょと話題の これとか これとか これとか。 _ えーと、サーバが Connection: close を返しておきながらサーバの方からは TCP を切断しない場合、クライアントの IE はタイムアウトするまで仕事をサボるから遅い（≠重い）、ということでいいのかな。へー、こんな問題あるんだねぇ。知らなかった。今まで聞いたことなかったけど、よほどレアなケースなんだろう。 _ でも、うーん、これって IE のバグなのかなぁ？ _ HTTP ってアプリケーション層のプロトコル
仙石浩明の日記: Perl の非同期I/Oモジュール POE を使って VPN-Warp relayagent を書いてみました
多数の TCP/IP セッションを同時に維持する必要性などから、 非同期I/O が最近流行りのようです。 何をいまさら、という気もするのですが、 いわゆる「最新技術」の多くが 30年前の技術の焼き直しに過ぎない今日このごろなので、 非同期I/O 技術が「再発見」されるのも、 「歴史は繰り返す」の一環なのでしょう。 スレッドが当たり前の時代になってからコンピュータ技術を学んだ人にとっては、 (古めかしい) 非同期I/O が新鮮に映るのかも知れず、 なんだか「ファッションのリバイバル」に似ていますね。 Perl で非同期I/O 処理を手軽に行なうための枠組みとして、 POE: Perl Object Environment というものが あるようです。 POE を使うと、 あたかもスレッドを使っているような手軽さでプログラミングできます。 試しに VPN-Warp の relayagent を
Linux Advanced Routing & Traffic Control HOWTO
Table of Contents1. 献辞2. はじめに2.1. 免責およびライセンス2.2. 事前に必要な知識2.3. Linux にできること2.4. この文書の管理についてのメモ2.5. 取得、CVS およびアップデートの投稿2.6. メーリングリスト2.7. この文書の構成3. iproute2 入門3.1. なぜ iproute2 なのか?3.2. iproute2 の概略3.3. 事前の必要条件3.4. 現在の設定を調べてみる3.5. ARP4. Rules - ルーティングポリシーデータベース4.1. 簡単なソースポリシールーティング4.2. 複数のアップリンク/プロバイダに対するルーティング5. GRE トンネル、その他のトンネル5.1. トンネルに関する一般的な事柄5.2. IP in IP トンネリング5.3. GRE トンネリング5.4. ユーザランドのトンネル6.
Geekなぺーじ : LAN内で障害を発生させている機器を特定する
LANに接続された特定の機器が障害を発生させているとき、障害を発生させている機器を物理的に特定することは非常に重要です。 ここでは、MACアドレス情報を利用して機器の特定を行う方法を説明します。 MACアドレスとは？ ネットワークインターフェースカード（NIC：Network Interface Card）には、MACアドレスという世界で一意な番号が割り振られています。 MACアドレスはLayer 2（リンク層）の通信を行う時の機器の識別子として利用されます。 また、世界で一意であることが保証されているため、IPv6のIPアドレス設定や、機器のIDとしてソフトウェアアクティベーションなどで使われている場合もあります。 MACアドレスは48ビット長です。 MACアドレスは以下の方法により、一意性が保たれます。 MACアドレスの最初の24ビット（3バイト）はOUI（Organizational
NATとは:Geekなぺーじ
NATという言葉は聞いた事があると思いますが、それが何であるかを知っている人は意外に少ないと思います。 ここでは、NATとはどんなもので、どこで使われているのか、などを説明したいと思います。 (ここでは説明のためにNATとNAPTを混同して使っています。) 身近にあるNAT ADSLなどの接続形態が普及して、インターネットが一般的になると同時にNATという技術もずいぶん身近になっています。 今では、NAT機能はほとんどのSOHOルータ（ADSLルータ、ISDNルータ、その他の呼び方）に入っています。 家電屋さんなどに行って家庭用ルータやADSL機器の箱を見てみると大抵NATやNAPTという単語が書いてあるのを発見できると思います。 実は結構身近にあるNATですが、NAT(NAPT)が何者で何をしてくれるかを知っているでしょうか？ おおまかに言うとNATには以下のような効能があります。 世界
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
telnet じゃない - odz buffer
NTP, UTC, and Working with Time on Linux