Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
Fluentular: a Fluentd regular expression editor
Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note
Fluentdを触るようになって、いろんなログをfluentdに 渡すように試行錯誤している最中。 td-agent.conf、fluent.confを用意するときに任意のjson形式にするために 正規表現を用いてformatを書く必要があるんですが、formatの作り方というかデバック方法について どういう手順に作ると良いのか情報がネット上に見当たらず試行錯誤中。 もっと良い方法を教えてもらいたいので、今やっている方法を晒してみる。 そもそもの疑問、どうやってformatを作るのか たとえばfluentd関連の情報を調べてると、 #fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店 format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :
fluentd tailプラグインの仕様について - oranie's blog
ウィークリーFluentdユースケースエントリリレー #1の記事です。 fluentdを使う上で最も多くの人が使うであろう基本中の基本、tailプラグインの仕様を日本語にした内容＋以前教えてもらった内容をまとめてみます。 公式ドキュメント：http://fluentd.org/doc/plugin.html#tail Github：https://github.com/fluent/fluentd/blob/master/lib/fluent/plugin/in_tail.rb tailプラグインはLinuxコマンドで言う「tail -F」と同じような挙動を取る事により、ファイルに追記された情報をfluentd内に取り込む事が出来ます。追記されたかどうかはIOイベントを読み取って動作します。 簡単に説明すると 1)新規に設定されたファイルは終端から読む 2)ログローテーションされたら次のフ
正規表現の解説 上級編
一般的な正規表現を使ったツールでは中級編までの内容がそのまま使えると思います。 たとえばSedやAWKならば問題なく使えます。 ここではPerl等のかなり強力なツールでしか使えないような表現を説明します。 もちろん、K2Editorでも使える表現です。 以前出てきた繰り返し表現では、繰り返し回数を指定する事はできませんでした。 たとえば、aの３回繰り返しを検索したい場合、 「a+」では３回繰り返し以外でもマッチしてしまいます。 ですから、「aaa」としなければなりません。 拡張された表現では繰り返し回数を指定できます。 基本的な書式は「{n,m}」です。 nが最小回数、mが最大回数です。 最大と最小が同じ場合、つまり固定回数の時には 「{n}」と書きます。 aの３回繰り返しは 「a{3}」と書けます。 ２回以上５回以下の繰り返しは 「{2,5}」と書けます。 ５回以上の繰り返しは 「{5,
サブクエリーの応用「相関サブクエリー」
今回は、副問い合わせ（サブクエリー）から主問い合わせのカラムを参照する相関副問い合わせ（相関サブクエリー）を説明します。 まず初めに、もう少しサブクエリーの例を見ながら、サブクエリーの癖をつかんでいきましょう。次の例を実行します。
PyData Tokyo Meetup #1でCaffeとmafについて発表しました - Preferred Networks Research & Development
10月30日のPyData Tokyo MeetUp #1にて「Caffeとmafを用いたディープラーニング開発・実験方法」というタイトルで発表を行いました。 当日の発表に関する情報はconnpassにまとめられています（私以外の発表の資料へのリンクや当日のUstreamでの配信へのリンクもあります）。また、当日までのtwitterの反応はtogetterにもまとめられています。 PyData Tokyo Meetup #1 – Deep Learning(connpass) PyData Tokyo MeetUp #1(togetter) 発表資料はSlideShareで公開しています（当日きちんと答えられなかった質問の回答を資料の最後に追記しました）。 今回はディープラーニングライブラリの中でも特に開発が活発に行われているCaffeと、PFI/PFNで開発している実験ビルドツールのma
別のテーブルのデータをテーブルに追加する(INSERT ... SELECT文)
INSERT INTO tbl_name (col_name1, col_name2, ...) SELECT col1, col2, ... FROM other_table WHERE ... データを取得したい別のテーブルからどのようにデータを取得するのかを SELECT 文で記述し、データを追加するテーブルでどのカラムに値を格納するのかを指定します。 SELECT 文で指定するカラムの数と INSERT 文で指定するカラムの数は一致していなければいけません。 -- -- では実際に試してみます。データを追加する側として次のようなテーブルを作成しました。データをいくつか追加しておきます。 create table sales (id int auto_increment, name varchar(10), count int, index(id)); insert into sal
SQL*Loaderメモ(Hishidama's sqlloader for Oracle9i Memo)
CSVファイルからOracleのテーブルへデータを流し込むツール。 大量のinsert文を発行するよりは、断然高速。 データであるCSVファイルや固定長ファイルと、ロード方法を指定するコントロールファイルを用意 して実行する。 （CSVファイルからのロードはこのSQL*Loaderが使えるが、CSV出力には標準的な方法は無いらしくて、select文で加工する方法がよく使われるらしい。 このSQL文をいちいち書くのは少々面倒なので、SQL生成用Excelマクロを作ってみました） コントロールファイル CSVファイルの各項目とテーブルの項目との関連付け等を指定する。 （コントロールファイルをテキストエディタで書くのはけっこう面倒なので、コントロールファイル作成用Excelマクロを作ってみました（CSVファイル用、固定長ファイル用）） 例）emp.ctl： OPTIONS(LOAD=100,SK
【セウォル号死刑求刑】朴槿恵大統領「激怒」忖度の死刑求刑か 日本では理解し難き韓国“感情司法”（1/4ページ） - 産経ニュース
修学旅行中の高校生ら３００人以上の死傷者を出し、韓国の朴槿恵政権を現在も揺るがせている旅客船「セウォル号」沈没事故の刑事責任を問う裁判で、ソウル中央地検は先月２７日、船長のイ・ジュンソク被告に死刑を求刑した。 事故の重大性や社会に与えた衝撃の大きさなどから、「不作為による殺人」だとして死刑を求めた韓国検察。 その罪状の適用をめぐっては被害者や遺族の心情、国民感情などを受けたものとみられているが、中でも最も影響を与えたのは事故発生直後に「（船長らの行いは）殺人のような行為」と断じた朴大統領の怒りだったとされ、捜査方針が“国民情緒”と政権の意向に左右される韓国検察の姿が示された求刑といえそうだ。 検察は論告で、イ被告の罪状について「船の総責任者として事故原因をつくったうえ、乗客が全員退避するまで船を離れてはならないという船員法に反し、船内での待機を命ずる放送を行ったあと何ら措置を講じないまま脱
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
