KibanaとGrafanaの比較 - Qiita
背景 KibanaはElasticsearch、GrafanaはGraphite or InfluxDBを主にバックエンドとしてWebブラウザで動作するダッシュボードツールです。GrafanaがKibanaを参考に作られたそうなので、見た目などは似ており、任意のWebサーバで動作する（python -m SimpleHTTPServerでもOK）ように作られています。これの関係でGrafanaを試してみたところ、やはりKibanaも試してみようという意欲がわき1日ぐらいいじってみたのでその比較です。それぞれKibana 3.1.1、Grafana 1.8.1を使用してみました。使い込みが足りずに機能が把握できていないかもしれないので、ツッコミ歓迎です。 差がでていると思われる部分 インタラクティブ性 KibanaはQueryとFilteringという2つの項目がインタラクティブに入力、結果
Fluentd+Elasticsearch+kibanaを使ったログ可視化(part1) - Qiita
はじめに ログの可視化をしたいと思い立ち、いろんなサイトを参考にして、まずはサーバの構築をしてみることにしました。 ということで、まず第一弾はサーバの構築をやっていきます。 構成 サーバを２台作ります。 サーバ１号機は、クライアントとして。サーバ２号機はサーバとして利用することとします。 サーバ１号機にはFluentd、サーバ２号機にはFluentd/Elasticsearch/kibanaをインストールします。 ざっくりはこんな感じ 環境 使用した環境は以下の通り。 HostOS version
word2vec の結果を利用して RNN で文章を生成してみる（1） - 終末 A.I.
chainer のサンプルの中には RNN 利用して文章を学習し、コンテキストに沿った単語を選択できるようになる ptb のサンプルが付属しています。 今回はこいつをちょっと改造して、単語の識別IDではなく、word2vec で生成したベクトルを用いて ptb サンプルと同じことをやってみようと思いま......したが、残念がら chainer の仕様理解ができていなかったようで、一切パラメーター更新ができておらず、4000円ほどドブに捨てる結果となってしまいました。辛すぎる！ そういうわけで今日のところは、こういう風にやったらうまく学習できなかったという記録のみ記載しておきたいと思います。原因分かり次第、追記か別記事を書きます。 今回学習がうまくいかなかったモデルは以下のように実装しました。元の ptb サンプルから embedID のレイヤの関数を取り除き、Classification
Deep LearningでIrisデータを分類し、Dropoutの効果を確かめる - TECH MEMO
Deep Learningはなんとなく知ってはいたけど、実際に動かしてみたことがなかったので、まずはIrisデータを分類してみました。ついでに、Dropoutの有無で学習結果がどう違うのか確認しました。 なお、Deep Learningの実装にはChainerを利用しまいた。本当はTensorFlowとどちらを使おうか迷ったのですが、実際にDeep Learningを使うとしたら所諸事情によりWindowsで実行する必要があるので、Windowsにインストールしている記事*1のあったChainerを選択しました。 （TensorFlowもWindows上で動かす方法はあるみたいなのですが、Dockerを入れるなど、多少手間が必要そうなので。。。） 1. ライブラリのインポート Chainerの他に、データの読み込みをPandas、標準化をScipy、グラフ描画をmatplotlibで実施し
kerasとchainerの違い - HELLO CYBERNETICS
KerasとChainer Keras Chainer 比較 Kerasの役割 Chainerの役割 Kerasでの実装 Chainerでの実装 使い分け Chainerがいいなあ Googleの強さ 使い分け KerasとChainer Keras KerasはTensorFlowあるいはTheanoをバックエンドとして、簡単にニューラルネットを記述することができます。もともとはTheano用でしたが、TensorFlow登場後に対応しました。開発者の中にはGoogleの方もいます。 s0sem0y.hatenablog.com Chainer 日本製の深層学習ライブラリ。 ニューラルネットワークに必要な計算を柔軟に設計できます。行列などの計算としてはNumpy（GPU用にCupy）をしようしており、純粋にPythonで実装されているライブラリです。 s0sem0y.hatenablog
Crochemore-Perrin アルゴリズム - Qiita
どうも、文字列大好き @hdbn です。「文字列アルゴリズム Advent Calendar 2016」 には間に合いませんでしたが、1月10日は「糸 (string) の日」ということで文字列 (string) アルゴリズムの記事を書くことにしました。この記事では文字列照合アルゴリズムの中で最も美しいアルゴリズムの１つである Crochemore-Perrin のアルゴリズムを紹介します。 アルゴリズムの正しさの証明はほぼ元の論文をなぞっていますが、説明を簡単にするために計算量に影響を与えない範囲でオリジナルのアルゴリズムから少し変更しています。計算量の概念など、アルゴリズムの基礎的な知識があれば読めるような内容にしているつもりですが、分かりにくいところなどあれば補足しますのでコメントください。 それでは文字列の周期性が織り成す不思議ワールドをご堪能ください。 概要 解く問題は以下の文字
Electron アプリで起動時に真っ白なウィンドウが一瞬出てしまうのを避ける - Qiita
let win = new BrowserWindow({ width: 600, height: 800, }); win.loadURL(path_to_html_file); このようにすると，アプリのサイズが大きい場合に HTML の読み込みが終わるまでウィンドウが真っ白になってしまいます．画面が真っ白になってしまうと見栄えも悪いですし，目にも良くなさそうです．Electron ではこれを抑制する方法があるのですが，ちょっとぐぐった感じあまり知られていなかったようなのでメモしておきます． これを抑制するために ready-to-show というイベントが BrowserWindow にあります． これは HTML の描画が終わり，画面が真っ白でなくなったタイミングで起こるイベントで， dom-ready よりも後に発火します．下記のように使います． let win = new Br
多分もっともわかりやすいTensorFlow 入門 (Introduction) - Qiita
TensorFlow を試してみた まず、Get started を読んでみます。 Introduction | TensorFlow いきなりTensorFlow のサンプルコードがでてきますが、ここではサンプルデータを使って、どれだけシンプルにモデルを構築できるかを見せてくれているわけです。ここはそもそも機械学習の知識が皆無だと、逆に意味がわからないと思います。 いろいろなTensorFlow の記事を見ると「機械学習知識ゼロでもいける」というのもみかけますが、TensorFlow はあくまでもツールにすぎないので、最低限の知識はあったほうが今後のためにも良いと思います。 次に、伝統的なMNIST(手書き文字認識)に取り組むということでデータのダウンロードを勧められます。MNIST 未経験なら「青いクスリ」を、ある程度機械学習に慣れた方は「赤いクスリ」をと勧められますので、ここは迷わず
Word Mover's Distance: word2vecの文書間距離への応用 - yubessy.hatenablog.com
word2vecによって得られる語の分散表現を用いて文書間の距離（非類似度）を計算する手法についての論文を読みました。 せっかくなので解説してみます。 [1] Kusner, Matt J., et al. “From word embeddings to document distances.” Proceedings of the 32nd International Conference on Machine Learning (ICML 2015). 2015. TL;DR この論文では Word Mover’s Distance(WMD) という文書間距離の計算手法を提案しています。 提案手法は手っ取り早く言うと次のようなものです。 文書A, B間の距離 = A, Bの語同士を対応付けることでAをBに変換するとき、 対応付けのコストが最も低い場合のコストの総和 語xを語yに対応付
機械学習で泣かないためのコード設計
28. 28 Appendix: API一覧(1/3) Model • constructor: モデルに必要な構成要素(隠れ層)などの定義 • forward(inference): constructorで定義した構成要素を利用し、入力を出 力にする(伝搬)プロセスを定義する。 • 学習中とそうでない場合で構成が変わる場合(Dropoutなど)、それを引数 に取る。※ここでlossを出さないこと(出してもいいが、outputもちゃんと 返す) ModelAPI • constructor: 最低限Modelのパスを取得し、読み込む • predict: 配列などの一般的な変数から、Modelを利用した予測値を返す 29. 29 Appendix: API一覧(2/3) Trainer • constructor: modelと学習に必要なパラメーターを受け取る。 DataProcess
シグモイド関数 — 機械学習の Python との出会い
なお， @staticmethod のデコレータを用いて，静的メソッドとして定義してあります． sigmoid() は数学関数であり，値はその引数だけに依存し，オブジェクトやクラスの内容や状態には依存しないので，このように静的メソッドとして定義しました． それでは，実行してみましょう． sigmoid() は静的メソッドなので，オブジェクトを生成しなくても実行できます． In [10]: from lr1 import LogisticRegression In [11]: LogisticRegression.sigmoid(0.0) Out[11]: 0.5 In [12]: LogisticRegression.sigmoid(1.0) Out[12]: 0.7310585786300049 In [13]: 1.0 / (1.0 + 1.0 / np.e) Out[13]: 0.7
VGG16のFine-tuningによる犬猫認識 (2) - 人工知能に関する断創録
VGG16のFine-tuningによる犬猫認識 (1) （2017/1/8）のつづき。 前回、予告したように下の3つのニューラルネットワークを動かして犬・猫の2クラス分類の精度を比較したい。 小さな畳み込みニューラルネットをスクラッチから学習する VGG16が抽出した特徴を使って多層パーセプトロンを学習する VGG16をFine-tuningする リポジトリ：dogs_vs_cats 1. 小さな畳み込みニューラルネットをスクラッチから学習する ベースラインとしてVGG16は使わずに小規模な畳み込みニューラルネットワークをスクラッチから学習する。学習データは、犬クラス1000枚、猫クラス1000枚と小規模なデータを使うのであまり大規模なネットワークは学習できない。そこで、畳込みが3層のLeNet相当の小さなモデルを構成した。 横の矢印はそのレイヤでの出力の4Dテンソルのサイズ (samp
Dockerのネットワーク構成 - 映画は中劇
Dockerのネットワーク構成について整理する。 図1: Dockerネットワーク全体図 物理NICが1個ついたDockerホストに2つのコンテナを立てると、図1のようになる。コンテナは172.17.X.Xのネットワーク内にいて、ホスト側には172.17.0.1のIPアドレスが付く。この構成自体は、VirtualBoxで言うところのホストオンリーネットワークと同じようなもの。異なる点として、Dockerネットワークは、ハードウェア仮想化ではなく、Linuxカーネルの機能であるvethペアとブリッジを組み合わせて実現される。 図2: vethペア veth (virtual Ethernet) は、図2のように、仮想NICのペアと、それをつなぐ仮想ケーブルを作る機能。ふたつの仮想NICはイーサネットで直接通信できる。 図3: ブリッジ ブリッジとは、LinuxマシンがL2スイッチ（スイッチン
「みんなのGo言語」が良かったので、自分のためだけのCLIツールを作ってみた - えいのうにっき
言わずと知れた書籍「みんなのGo言語」。発売直後くらいに購入してはいたんだけど、目次あたりをパラパラ見て「あ、これは2,3日集中してガッとやりたくなるやつだ」と思って。で、タイミングを見計らっているうちに年末年始休暇に突入してしまったのだけど、そのタイミングでちゃんと「ガッ」とできたので、今日はそのお話をば。 みんなのGo言語[現場で使える実践テクニック] 作者: 松木雅幸,mattn,藤原俊一郎,中島大一,牧大輔,鈴木健太出版社/メーカー: 技術評論社発売日: 2016/09/09メディア: Kindle版この商品を含むブログを見る 僕と Go 言語 僕の Go 言語遍歴について少しだけ触れておく。 以前、個人的にちょっと作ってみたいツールがあった時期があって。そのとき既に Go がそこそこもてはやされていたこともあって、そのツールは Go で書いてみていた。↓がリポジトリなんだけど（コ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Natural Q-learning 〜 深層強化学習 への 自然勾配法（Natural gradient）の 適用 の 試み - Qiita
Average Precision（平均適合率）とは: Minkyのよもやま日記