Elasticsearch+Logstash+Kibanaで作るTwitter分析ダッシュボード 作成手順まとめ - Qiita
はじめに 今回はElasticsearchとKibanaを使った、Twitterダッシュボードの作成方法についての解説しています。Elasticsearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?)なので、是非参考にして頂ければと思います。 単につぶやきデータを収集したいという場合は、TwitterのAPIを好みのスクリプトで呼び出して取得すれば良いのですが、今回の場合はつぶやき数の推移を追いたい、踏み込んだ分析も行いたいなどという目的もあったので、データがストックされていき、ドリルダウン分析も可能な環境を構築する形で対応する事にしました。 Redash / Googleスプレッドシートのアドインなど色々と実現手段は考えられたのですが、Elastic Stackで構成するのが1番手軽かつ、要件を満たせると考え実装しました。同じように特定のキーワードを含むつぶ
あなたのパンダ（pandas）止まってませんか？ 〜 Bokeh と ipywidgets でインタラクティブ Jupyter のススメ - akiyoko blog
この投稿は 「Jupyter Advent Calendar 2017 - Qiita」 の 22日目の記事です。 こんにちは、パンダ好きの akiyoko です。 上野動物園の赤ちゃんパンダ、シャンシャン可愛いですよね〜。 Ueno Panda Live.jp というサイトで、開園日なら毎日（ただし開園時間のみ）パンダのライブ映像が見れる（オススメは３カメ！）のは皆さんもうご存知ですよね。しかしながら、たまに小一時間ほどパンタ達がじーーーっと動かないことがあるんですね。ただ寝てるだけという。こっちはあのモフモフが愛くるしく動く姿が見たいのに！！ 見たいだけなのにぃ！！！！ （親子水入らずで全く動かない様子。キャプチャ元：Ueno Panda Live.jp） ハァハァ。少々取り乱してしまいましたが、ところで、あなたのパンダ（pandas）も止まってしまっていませんか？ というのが今回のテ
彼女に振られないための変化検知入門 - Speaker Deck
R の changepoint パッケージの使い方についてです。 第66回R勉強会＠東京（#TokyoR）発表資料 https://atnd.org/events/92993
（個人メモ）python 日付などをkey にした集計 - Qiita
Apacheログからの集計で日付毎の集計はよくやるのですが、ピーク時間帯だけを抽出して日付単位に合計と推移を評価したいなんてことが良くあります。 Apacheログ→Pandasでread_csv時にParseするわけなのですが、フォーマットは%Y-%m-%d %H:%M:%Sで列に入っていて日付と時間を分離するのもちょっとめんどくさい話になります。日付抽出はfloor('24h')などを使って時間部分を切り捨てればなんとかなりますが、時間部分だけ分離するのは少々苦労します。 結局断念しました。 で、なにか他の方法がないか探ったら・・いいやつがありました。 以下サンプルコードです。Pandas便利です。 import pandas as pd import datetime import numpy as np rng = pd.date_range(start = '2014-01-01'
OSSのデータ可視化ツール「Metabase」が超使いやすい - Qiita
Metabase、まじでイケてる。 1日で、Re:Dashから乗り換えました。 Metabaseとは OSSのデータ可視化ツール。Re:Dashとかと同じ類。 AWSとかに乗せて、誰もが見れるダッシュボードを作ったりする時に使うと、俺かっけーってなります。 スクリーンショット 実際に社内で運用している様子をモザイク付きでお見せします。 毎日みているダッシュボード。これの4倍くらいの数値見てる。 ダッシュボードの編集。マウスで簡単に位置や大きさの変更ができる。 クエリビルダー的なやつがあり、グルーピングとか超絶便利。SQL書けない人でも、単一テーブルとかだったら余裕かと。 グラフ化も簡単。 SQLでのクエリ編集画面。ちゃんと補完してくれる。 Metabaseの良い所 見た目が格好いい。 インストールが簡単。 openjdk-8-jdk入れて、jarファイル置くだけ。 豊富なデータソースに対応
【満員御礼】10/19 東京「今から始めるAWSを使用したデータ分析基盤」を開催します | DevelopersIO
AWSで構築するデータ分析基盤の基本 セッション概要 データ分析基盤には業務上発生するデータを「集める」「貯める」「提供する」等の機能が必要です。このセッションでは、これらの機能を実現する為に必要となる基本的なAWSサービスをご紹介します。 生データを「全て」蓄積する「データレイク」を作る：Amazon S3 自由かつ高速な検索に欠かせないデータベース：Amazon Redshift、Amazon Aurora マネージドなBIサービス：Amazon QuickSight 講師 クラスメソッド株式会社 データインテグレーション部 甲木洋介 データ分析基盤に活用できる新しいAWSサービス セッション概要 AWSから続々登場する新サービスを活用すれば、一歩進んだデータ分析基盤を構築することができます。このセッションでは、それら新しいサービスの概要と活用方法をご紹介します。 バッチ処理からイベン
【Pythonでテキストマイニング】TwitterデータをWordCloudで可視化してみる - Np-Urのデータ分析教室
今回はツイッターからツイートデータを取得し、それをWordCloudというライブラリを使って可視化してみたいと思います。 Word Cloud関連の記事は、既に多くあり特に目新しいものではないですが、可視化ツールとしてはなかなかインパクトがあるので、テキストマイニング関連の分析の一例として今回やってみました！ ちなみに、今回、好きな芸人の中の一人である、スピードワゴン小沢さんのツイートを取得して、可視化してみました。（勝手にごめんなさい。。。） 結果をまず先にお見せします！ 今回の流れWord Cloudでは、頻出する単語ほど、つまり特徴的な単語ほど大きな文字で表示されます。右下の「好き」「幸せ」「友達」という言葉がまず目に入りました。 小沢さんのツイートは、とても詩的で素敵です。そんな小沢さんの人柄、芸術性溢れたツイート内容がうまく可視化できているのではないかと思います！ さて、この図を
ログ解析ツールを作る - forest book
ログ解析ツールを作っててノッテきてつぶやいたら、 ログ解析ツールを python で書いているときの嬉しさを誰かに共有したい、本当に簡潔に書けて便利なんだよ 2010-11-18 20:29:14 via TweetDeck @t2y 例題とかみてみたいです。 2010-11-18 22:37:54 via TwitBird to @t2y と言われたのでオプションで指定した条件のログを抽出する簡単なサンプルを作ってみました。あくまで私はこんな感じで実装しましたが、他にもっと良いやり方があったら教えてくださいm(_ _)m 私の使い慣れている言語が Python と bash シェルスクリプトと C 言語(嘘です、慣れてません！)しかないので、この中で言えば Python しか選択肢がないですよねというのが本当のところでした(^ ^;; 先ずはログ解析のサンプルプログラムを紹介します(要:
GCPとAWSのマルチクラウドで構築する、大規模解析サービスのシステム全体像
大規模解析サービスの構成要素 大規模解析サービスは一般的に、以下の要素から構成されます。 ログ情報等のデータの送信 データの受信 データの保存 保存したデータの解析 解析データの閲覧などができる管理画面の提供 KARTEはユーザのWebアクセスデータをリアルタイムに解析し、アクションまでつなげることができるサービスであり、先ほど説明した5要素は、以下の5種類のコンポーネントによって実現しています。 trackerコンポーネント：エンドユーザで実行されるtracker[1]をエンドユーザに配布するためのコンポーネント trackコンポーネント：エンドユーザからデータを受信するコンポーネント。とくにKARTEでは解析データに基づいてエンドユーザへのアクションを返す役割も持つ dbコンポーネント：解析データなどのさまざまなデータを格納するコンポーネント analyzeコンポーネント：エンドユーザ
Logstash入門 - Qiita
[2017-09-16T12:53:21,180][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://logstash_system:xxxxxx@elasticsearch:9200/]}} [2017-09-16T12:53:21,182][INFO ][logstash.outputs.elasticsearch] Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://logstash_system:xxxxxx@elasticsearch:9200/, :path=>"/"
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
よこち on Twitter: "色々なベンダーのネットワーク機器からのSyslogを共通モデルにして扱ってくれる napalm-logs の 0.4 がリリース。 https://t.co/ICArADjFwi"
Google製可視化OSSのFacetsがめっちゃ便利だから使ってみてくれ - Qiita