Apache Kafka概要確認（その12 分散方式 - 夢とガラクタの集積場
こんにちは。今回は実際分散協調をどうやっているかという話。 ある意味分散システムとしてのコアです。 19.分散方式 以後、BrokerとConsumerの協調に用いるZookeeperのディレクトリ構成とアルゴリズムについて記述する。 Zookeeper上のディレクトリ構成判例 [xyz]という形で[]で囲った個所はトピック名やナンバーによって変動する値を示す。 そのまま"xyz"というZnodeが存在しているとは限らない。 例として、「/topics/[topic]」は/topicというディレクトリの配下にトピック名の名前を持つZnodeが存在することを示す。 同様に「[0...5]」と記述した場合は0、1、2、3、4・・・という形でZnodeが存在することを示す。 また、「->」は実際のZnodeの値を示すことに使用される。 例えば、「/hello -> world」と記述した場合、「
Windows系からLinux系にスキルチェンジする方法、って本を書いたら売れないかな - ikeike443のブログ
Hacker newsにThe dying platform: .Netという記事が上がってた。 https://news.ycombinator.com/item?id=5711742 元記事はこれ。 http://roundcrisis.com/2013/05/15/the-dying-platform-net/ 内容は元記事を読んで欲しいんだけど、.NETってもうだめだよねー、って話。コメント欄には、.NETはエンタープライズとXBOX案件でめっちゃ使われてるけど、みんなブログ書いたりTweetしたりしないから目立たないだけだよ、とか、大体そのような意見が並んだりしてます。 ちゃんと統計を見たことはないけど、まあ.NETその他Windows系のプラットフォームの上で開発している人は開発者全体のうちの多数派だろうなあと言う気はします。どこでどう線引きして分母を採るのかによってだいぶ変わ
ZeroMQのJava実装のJeroMQを試す - bose999の試験管の中の話
ZeroMQ http://zguide.zeromq.org/page:all JeroMQ https://github.com/zeromq/jeromq ZeroMQはシンプルで高速なプロセス間通信を実現する C/C++のライブラリ。ライブラリのラッパーは対応言語が豊富。 キューは永続化はされない。メモリで処理されるので高速。 ライセンスはLGPL。 こちらのエントリが詳しい ØMQ(zeromq)について調査する。 JeroMQはZeroMQがC/C++で書かれてるのに対してJavaで書かれている。 libzmq 3.2.2に基づいた0.3.0-SNAPSHOTを今回は使用する。 ZeroMQと違いJava実装なのでJVMとjarがあれば動いてしまう手軽さが良い。 またパフォーマンスも頑張っている。ライセンスはLGPL。 では上記のような Client REQUEST <-> R
ちょっと内緒にしたいスポットインスタンスの話 - プログラマでありたい
ちょっと内緒にしたいような気がしますが、知っていたら確実に得をするAWS EC2のチップスがスポットインスタンスの活用です。まずスポットインスタンスとは？AWSのインスタンススポットのページを読むと大体解りますが、簡単に説明するとAmazonで余剰のEC2のインスタンスを入札制で大幅に安い値段でを利用する仕組みです。デメリットとしては、スポットインスタンスのインスタンス価格が入札価格を上回った場合、情け容赦なくインスタンスがストップされることです。ということで、Amazonの推奨としては以下のように、通常のインスタンスを補完するような位置づけとなっています。 オプションのタスク 遅延可能なタスク コンピューティング能力を追加することで高速化できるタスク 他の方法ではアクセスできない大量のコンピューティングインスタンスが必要になるタスク しかし、制約があるものの圧倒的に安いです。オンデマンド
Apache Kafka概要確認（その11 メッセージを保存するログファイル - 夢とガラクタの集積場
こんにちは。今日は実際にメッセージを保存しているログファイルの形式と形態について述べた章になります。 これまで述べられたメッセージがどういう形式でディスク上に保存されているかですね。 18.ログ "my_topic"というトピック名称を持つ2パーティションを持つトピックは"my_topic_0"と"my_topic_1"という ２つのディレクトリと、メッセージを保持するファイル群から構成される。 ログファイルのフォーマットは"ログエントリ"の配列となっている。 ログエントリは、メッセージ長（NByte）を4Byteの整数で保持している。 各メッセージは対象トピック／パーティション上の全メッセージ中の開始位置であるオフセットを64ビット整数で保持しており、 そのオフセットによって一意に識別される。 ディスク上に保存されている際のメッセージフォーマットは以下の通り。 各ログファイルはファイル中
セクシー女優で学ぶ画像分類入門
2. 解析動機 2013年5月18日Tokyo WebMining #26 2 最後の春だし画像処理の勉強でもしとくか 後輩からAV女優の類似画像検索の話を聞く （ぱろすけ 2012） DMMにはアフィリエイトあったよな これでウェブサービス作れば儲かるかも 決して下半身からの要望で解析したのではありません http://blog.parosky.net/archives/1506 3. 計算環境 2013年5月18日Tokyo WebMining #26 3 使用言語：Python ２．７ （少しだけR） 使用モジュール：Numpy, Scipy, OpenCV 科学技術計算用のライブラリ MATLABにできることは大体できる numpy.ndarray 型付き多次元配列 numpy.linalg 線形代数計算 scipy.cluster 今回はこれのk-means法を使用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sublime Text 2 Basics