Kibana 4 BETAファーストインプレッション - Qiita
Kibana4のBETAがリリースされたことに、Kibana3のissueがcloseされた通知で気がついた。Kibana3のbugfixはやってくれなさそうだけど、とりあえず、Kibana4を試すことにした。 必要なもの JVM Kibana 4.0.0-BETA1 Elasticsearch 1.4.0.beta1 初期設定 Kibana4をとりあえず使ってみるために必要な項目は次の通りだ。 Elasticsearch 1.4.0.beta1をセットアップする Kibana 4.0.0-BETA1をセットアップする インデックスの初期設定を行う Elasticsearch 1.4.0.beta1を準備する Kibana4ではElasticsearch 1.4以降が必要になっている。ベータ版がリリースされているので、適当にダウンロードして起動しよう。 Elasticsearch.org
Fluentdの設定を考えるときはこんなかんじで考えると便利 - Qiita
Fluentdはデータを流すのに非常に便利なツールでそこら中で使われている(個人調べ)。そのため、なんかいろんなところで設定を見るのであるが、タグに情報が付いていたりフィールドに情報がついていたりして、あれ、これどうなってるんだっけ感に襲われることがよくある。 このあたり自分でも混乱しがちなので、普段どのように考えているかだいたいまとまった気がしたところで書いておくことにした。 Fluentdのデータ構造 まずはFluentdのデータ構造を知っておいた方が良い。Fluentdの内部データはMessagePackで符号化されているが、Fluentdのデータ構造は単なるハッシュではなく、時刻(time)とタグ(tag)という属性を持っている。次のような感じだ。 レコード レコード(record)は入力されたデータそのものであり、tailプラグインであれば、tailした1行のデータに相当する。重
BigQuery Connector for Excelを使ってExcelで超高速クエリ実行を行う - Qiita
Google BigQueryは超高速でクエリを実行できて便利であるが、結局のところExcelデータでください、みたいなことを言われたりして面倒なことがある。こういったとき、Google BigQuery Connector for Excelを使用すれば、Microsoft Excelから直接Google BigQueryにクエリを発行し結果を取得することが出来る。 BigQuery Connector for Excel - Google BigQuery - Google Developers BigQuery Connector for Excelを準備する BigQuery Connector for Excelを使用するには、ページにアクセスし専用の認証キーを発行する必要がある。 Google BigQuery Connector for Excel BigQuery Conn
FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
我々はどのようにして安全なHTTPS通信を提供すれば良いか - Qiita
HTTPS通信は複数のプロトコル、手法が組み合わされて実現されている。そのため、暗号化手法それぞれのリスク、ブラウザの対応等様々な用件があり、全てを理解するにはちょっと時間とリソースが足りない。結局のところ、我々はどのようにして安全なHTTPS通信を提供できるのか。色々調べていたところ、MozillaがMozilla Web siteに使用する、HTTPSの推奨設定を公開している。 Security/Server Side TLS - MozillaWiki このドキュメントはMozillaのサーバ運用チームが、Mozillaのサイトをより安全にするために公開しているもので、他のサイトにそのまま適用できるかは十分に注意する必要がある。例えばガラケー向けサイトとか。そのまま使えないとしても、HTTPS通信の設定をどうすれば良いか、理解の一助になるはずだ。 この記事は上記MozillaWiki
fluent-plugin-file-alternativeで出力したログをin_tailで読み込む - Qiita
Fluentdでは出力側が詰まると、バッファがたまっていき、ある程度するとバッファが詰まり、今度はそこにForwardしているバッファが詰まり、数珠つなぎにバッファが詰まっていく。大量にたまらないときは出力側が流れ出したら、復帰してくれてとても便利だ。memoryバッファにしておくと、プロセスを再起動しないといけないときに消えちゃうので、fileバッファにするのがいまのところ王道設定である。 しかし、出力先で障害が発生し長引くと、バッファが詰まっていって回復するまでにバッファがあふれてログを取りこぼしてしまったり、いざ回復しても、今度はFluentdからバースト的にログが流れてきてまた詰まってしまったりする。また、出力先が何かの障害でログが失われてしまったとき、復旧する手段がなくて困る。 そこで、Fluentdからいろんな時に出力するときに、一旦ファイルにログを書き出して数週間ためておいて
Norikra 0.1を使ってみた - Qiita
Norikra 0.1を使ってみた。 前回、Norikraで遊んでみたの記事を書いたときは0.0.4だったけど、Norikra 0.1リリースということで、記事を書き直すことにした。Norikraで遊んでみたは既に古くなっているので参考にしないようにしよう。 前に試したのが0.0.4だったので、変わったところをまとめるとつぎのような機能がついててすごい。 クエリの追加/削除 BootstrapなWeb UI UDF デーモン化できる 公式ドキュメントページ UDFとかも便利そうだけど、そこまで説明する余裕はない。ということで、今回はFluentdとNorikraを連携して使ってみよう。 Norikraを使ってみよう 今回はFluentdとNorikraを連携させて簡単なStream Processingをやってみる。環境はこんなかんじで、この記事もすぐに古くなることであろう。 produc
Norikra等JavaアプリケーションのGCをチューニングしたい - Qiita
Javaアプリケーションを運用していると必ず突き当たるのがGCの問題である。JVMの上で生きている限りこの問題を避けて通ることはできない（し、この問題に手をつけたら終わりだとも聞いたことがある）。NorikraはJRubyで記述されているJavaアプリケーションであり、用途からして大量のオブジェクトを作って破棄していることが容易に想像できるので、GCのチューニングは重要であることが考えられる。 GCのログをとりたい チューニングしたいのであれば、まずはともあれロギングである。ログなくしてチューニングすることなどできない。ということでまずはGCのログをとる。 $ norikra start -Xmx4g -Xms4g -Xloggc:/var/log/norikra/gc.log -XX:+PrintGCDateStamps -XX:+PrintGCDetails
MRI(CRuby)とJRuby用のgemをGemfileで管理したい - Qiita
Norikraを使い始めた所為でJRubyを使わなければならなくなってしまった、世間には良くある光景である。同じリポジトリで設定を管理したいので、次の様なディレクトリ構成にした。 . ├── Gemfile ├── Gemfile.lock ├── lib │ ├── fluentd │ │ ├── .ruby-version │ │ └── fluent.conf │ └── norikra │ └── .ruby-version └── scripts ├── fluentd └── norikra fluentdとnorikraはそれぞれscriptsディレクトリに置いたスクリプトをたたくことで実行している。各Ruby処理系はrbenvで管理されていて、.ruby-versionでスイッチして運用している（別にスクリプトの中でスイッチしても良い）。最初はそ
Norikraのオプションをまとめておく - Qiita
パフォーマンス周り Javaアプリケーションということで、-Xmxはとりあえず指定したけど、他はよくわからない感じだ。 松竹梅的なノリの--micro、--small、--middle、--largeがあるけど、おそらくそれぞれのスレッド数を指定する様だ。とりあえず--middleにしておいたけどよく考えたら4コアしかないマシンなので--smallの方がよさそう。標準がどれかよくわかんなかったけど、--microだと思う。 秒間100位しか流してなくて、実行してるクエリも1min分くらいしか処理してないのを3つ位なので、いまのところ気になってない。 output of bundle exec norikra help start Usage: norikra start [-Xxxx] [other options] Options: -H, [--host=HOST] # host ad
GrowthForecastをDebianにインストールしたい - Qiita
2. Perl 5をインストールする GrowthForecastではsystemのPerlではなく別にインストールすることを推奨している。 Perlのインストールにはperlbrewを使ってみることに。 harukasan$ sudo su - growthforecast growthforecast$ \wget -O - http://install.perlbrew.pl | bash growthforecast$ source perl5/perlbrew/etc/bashrc growthforecast$ echo "source /home/growthforecast/perl5/perlbrew/etc/bashrc" >> ~/.bashrc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
