オモコロ あたまゆるゆるインターネット
暇つぶしにピッタリの漫画や記事を毎日のように配信しています。いくら読んでも無料、そしていくら読んでも頭がよくなりません。
Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）
前回の記事では splunk enterpriseを使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。 それぞれ以下のようなプロダクトです。 Logstash ログデータを収集し、解析して保存します。 この組み合わせで使用する場合、保存先はelasticsearchになります。 Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。 Kibana データの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。 この３つを組み合わせて使用すると便利なログ解析プラットホームが作れますよというのがKibanaの売りです。 データの収集や解析を行
最近いれたでっかい変更とか : D-7 <altijd in beweging>
現時点ではあんまり具体的に何をしたか書けないけどブログにでっけぇ変更を入れた。システム全体の根本的な部分なので一発でキレイにとはいかなかったが、まぁ変更の規模に対して考えると妥当な感じだろう。本番化には1週間かかった。なので大分開放感がある。 具体的な事はもっと後になったら言えるが、とりあえず今の段階では Apacheモジュールを殺し、1000行近いRewriteRuleを殺し、PSGI側でミドルウェアを9個作成してPSGI側でApacheが今までやってたことを全て吸収した。 （追記 8/23 12:20）あとログがltsvになったよ！その先の事はモリス先生がやってるよ！このログもプロキシ側でログを取るのにアプリ側からの情報を組み込むとかしなきゃいけんかったので地味に面倒くさかった。わかってしまえば簡単だったけど。 パフォーマンスは正直言って、Apache版と比べて色々追加でやってることも
OSSの類似画像検索プロジェクト Apache alike のご紹介 - 株式会社ロンウイット
alike での類似画像検索の主要な部分は上記の既存OSSを利用しているため、alike 自身は非常にコンパクトな構造になっています。下図にalikeのアーキテクチャを示します。 Apache alikeのデモ 下記のリンクをクリックすると、類似画像検索を体験できます。リンクをクリックして表示された画面の一番上の画像が「検索元」の画像で、2番目以降の画像が検索元と似ていると判断された類似画像一覧です。Luceneにより「似ている順」に表示されています。 http://rondhuit-demo.com/p/alike/ukbench/full/ukbench01700.jpg http://rondhuit-demo.com/p/alike/ukbench/full/ukbench01990.jpg http://rondhuit-demo.com/p/alike/ukbench/full
FluentdとRiakの話 - After Coding
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
ハイパーバイザの作り方〜ちゃんと理解する仮想化技術〜 第１回 x86アーキテクチャにおける仮想化の歴史とIntel VT-x - 驟雨のカーネル探検隊（只今遭難中ｗ
おことわりこの記事はSoftware Design (ソフトウェア デザイン) 2012年 10月号に掲載された記事を再編集、公開しているものです。紙媒体で読みたい方、連載の新しい回をお読みになりたい方はSoftware Designを購入して下さい。よろしくお願い致します。はじめに初めまして、浅田拓也（@syuu1228）です。本号より「ハイパーバイザの作り方」と題して、ハイパーバイザの内部の実装やその土台となるハードウェア側の仮想化支援技術の詳細について解説を行なっていきます。よろしくお付き合いお願い致します。x86アーキテクチャにおける仮想化の歴史と仮想化手法近年、x86アーキテクチャのコンピュータの性能が劇的に向上したことにより、デスクトップ用途だけでなくサーバ用途にも積極的に用いられるようになりました。さらに、サーバとしてもユースケースによってはハードウェア性能に余裕が出てきたこ
グラフの読み方、使い方
きしだൠ(K1S) @kis この棒グラフ、横軸が等間隔じゃなくて、急激に増えてるように見せてる詐欺グラフやな 「Life with open mind: /etc/hosts はホスト数が増えると急激に遅くなる」 http://t.co/hXPqNZOr8d 2013-08-23 00:10:46 NaOHaq(苛性ソーダ) @NaOHaq 折れ線でそれやったら詐欺ですけど、この場合の棒グラフの使い方は問題ないのでは？その下でも「線形に」ってちゃんと言及してるし。 RT @kis: この棒グラフ、横軸が等間隔じゃなくて、急激に増えてるように見せてる詐欺グラフやな … http://t.co/rgl56jWs6o 2013-08-23 00:16:48 NaOHaq(苛性ソーダ) @NaOHaq ここではhostsとdnsmasqのそれぞれのケースでの速度比較をしていて、dnsmasqがほ
水雷長だった老人の回想。太平洋戦争時の駆逐艦がどう戦い沈んだかの同人誌 : アキバBlog
サークル松田重工の夏コミ新刊オリジナル同人誌『総員退去』が、ZIN秋葉原店に２０日に入荷した（ZIN専売）。 同人誌『総員退去』は、駆逐艦『月風』の水雷長だった老人・天城が、太平洋戦争時の回想しながら、ニューギニア沖に沈んだ同艦を再び訪れるストーリーで、サークルさんコメントによると『太平洋戦争中のちょっといいお話です』とのことで、作中に登場する駆逐艦『月風』は、太平洋戦争中にラバウルからガダルカナルあたりの海域で作戦にあたっていたという架空の駆逐艦で、多数の艦船が沈んだとされる鉄底海峡で戦った日本軍の艦船がモデルっぽい。 駆逐艦『月風』の水雷長だった老人の回想には、魚雷発射の責任者で海軍の花型ポストでもあった水雷長の天城と、幼なじみで機関長の山田が登場し、水雷長の役割、機関長の役割や、駆逐艦『月風』が敵艦との戦闘で砲撃を受け沈没する様子が書かれている。 なお、同人誌『総員退去』の感想には、
朝日新聞デジタル：数字・白髪・使命…イチロー、語った４千本の胸の内 - スポーツ
日米通算４千安打を達成し、塁上でヘルメットを脱いで一礼するイチロー選手＝矢木隆晴撮影１回裏ヤンキース１死、左前安打を放ち、日米通算４千安打を達成したイチロー＝矢木隆晴撮影試合終了後、会見するイチロー＝ニューヨーク・ヤンキースタジアム、矢木隆晴撮影 日米通算４千安打を達成したイチロー選手は２１日の試合後、日本からの報道陣に約４５分にわたって胸の内を明かした。 ――率直な気持ちは こういうきりの良い数字は、千回に一回しかこない。それを４回重ねられたということはそれなりかなと思う。数字よりも、チームメートやファンの人たちが祝福してくれるとは全く想像していなかったので、それがとても深く刻まれた。結局、４千という数字が特別なものを作るのではなくて、自分以外の人たちが作ってくれるものだと強く思った。 続きを読む関連記事４千安打「日米通算は違う」 最多男ローズ氏が独占告白8/22安倍首相「とてつも
Hypertext Transfer Protocol version 2.0 (draft-ietf-httpbis-http2-04) 日本語訳
この文書は「Hypertext Transfer Protocol version 2.0 (draft-ietf-httpbis-http2-04)」の日本語訳です。 原文の最新版 は、この日本語訳が参照した版から更新されている可能性があります。 原文はドラフト版であり、HTTP 2.0 は現在策定中の仕様であることに十分注意してください。 この日本語訳は参考情報であり、正式な文書ではないことにも注意してください。また、翻訳において生じた誤りが含まれる可能性があるため、必ず原文もあわせて参照することを推奨します。 公開日: 2013-08-20 更新日: 2013-09-01 翻訳者: Moto Ishizawa <[email protected]> 概要 この仕様書は Hypertext Transfer Protocol (HTTP) シンタックスの最適化された表現について述べます
最近のtrieの話（xbwなど） - Preferred Networks Research & Development
ブログの更新がとまっていましたが、また少しずつ更新してきたいと思います。 今回はtrie（トライ）の最近の話をしたいと思います。 trieはキー集合を扱うためのデータ構造の一種です。例えば、単語集合からなる辞書であったり、クロールしたURL情報を扱ったり、最近だと、KVS（Key Value Store)のようにキーを介してデータを保存、読み込みをしたりと様々な場面で利用されます。 同じようにキー集合を格納するデータ構造としてハッシュを利用する方法があります。キーからハッシュ値を計算し、その場所に文字列へのポインタを格納しておくデータ構造です。ハッシュを利用した場合とtrieを利用した場合の一番の大きな違いは、trieの場合だと、ある文字列から始まるキーを全て列挙する、いわゆる接頭辞探索ができることです。例えば”te”で始まる文字列を網羅的に調べることができます。木をたどって、”te”の下
Vol.26 No.6 (2011/11) 簡潔データ構造 – 人工知能学会 (The Japanese Society for Artificial Intelligence)
私のブックマーク 簡潔データ構造 田部井靖生（科学技術振興機構 ERATO湊離散構造処理系プロジェクト研究員) はじめに 近年、Web技術や計測技術の発展により言語やゲノムデータは大規模化しています。従来のデータ構造は大規模データを扱うにはサイズが大きくメモリに載らない、 しかし、圧縮するとランダムアクセスをすることができないという欠点があります。 簡潔データ構造とはデータを小さく保存かつ高速な操作が可能なデータ構造です。 近年、集合、文字列、木、グラフデータを扱うための簡潔データ構造が提案され注目を集めています。 私たちの身近なアプリケーションとして、Google日本語入力では簡潔木LOUDSの実装が使われ、実際に使われはじめています。 また、有志によるそれらを解説したサイトやライブラリなども利用可能になりつつあります。 そこで、このページでは簡潔データ構造を用いた研究開発のためのいろい
文法圧縮 (Edit Sensitive Parsing (ESP))を実装してみた - Yasuo Tabeiの日記
ALSIPの時に聴いて気になっていた文法圧縮法Edit Sensitive Parsing (ESP)を実装しました。 文法圧縮とは、与えられた文章から曖昧でない文脈自由文法*1をもとめることにより圧縮する手法です。文脈自由文法のサイズは、導出規則の右辺の終端記号と非終端記号の個数の総和として求められますが、サイズ最小の文脈自由文法を求める問題はNP-Hardとして知られています。これまで近似解を求める手法が提案されてきましたが、文書長 n に線形なメモリが必要で実用的ではありませんでした。例えば、有名な文法圧縮法の一つであるRePairはおおよそ5nのメモリが必要です[1]。2002年にCormodeら[2]が、文書長に依存しないメモリーで文脈自由文法を求める手法(Edit Sensitive Parsing (ESP))を提案しました。必要なメモリーは、文脈自由文法のサイズをgとしたと
ESPによる文法圧縮の実装を公開しました。 - Yasuo Tabeiの日記
2012-02-04の記事 http://d.hatena.ne.jp/tb_yasu/20120204 のESPによる文法圧縮の実装に関して問い合わせが数件ありましたのでソースコードを公開しました。 今後のアップデートのしやすさを考慮してgithubにアップロードしました。 https://github.com/tb-yasu/GrammarCompression 現在のところ、文章から文法を構築する機能と、文法から文章を復元する機能をサポートしています。 esp-0.0.1.tar.bz2をダウンロードしましたら、tarで解凍してください。 tar -xzvf esp-0.0.1.tar.bz2 解凍出来ましたらmakeでコンパイルできます。 cd esp-0.0.1/src make 文章から文法を構築する際は、esp-compressコマンドを使用します。 ./esp-compre
2013年前半振り返り - Yasuo Tabeiの日記
暑い日々が続きますが、いかがお過ごしでしょうか？ 早いもので2013年もう８月ということでだいぶ遅いですが2013年の前半の成果を振り返ってみたいと思います。幸いにも2013年の前半に4本論文を出す事ができました。内分けは、データマイニング・機械学習1本、バイオインフォマティクス1本、 文字列処理２本となります。以下では１つ１つ論文の内容を簡単に紹介していきたいと思います。 Yasuo Tabei, Akihiro Kishimoto, Masaaki Kotera, Yoshihiro Yamanishi: Succinct Interval Splitting Tree for Scalable Similarity Search of Compound-Protein Pairs with Property Constraints, 19th ACM SIGKDD Conferenc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
COMP522-2012-C++-MemoryModel.key
GitHub - basho/yokozuna: Riak + Solr