タグ

ブックマーク / acro-engineer.hatenablog.com (7)

  • 位置情報付きツイートをElasticsearch,Kibanaで可視化して、ポケモンGOを攻略! - Taste of Tech Topics

    こんにちは@shin0higuchiです 世間に一大ブームを起こしたポケモンGOですが、みなさんやってますか? 新機能が追加されたり、第二世代のポケモンが登場するという噂もあり、 さらに流行るかもしれないですね。 さて、今回は位置情報付きのツイートを地図上にマッピングして可視化してみます。 キーワードで絞り込むことで、そのキーワードを含むツイートが「どこで」「どのくらい」つぶやかれているかを知ることができます。 例えば「ピカチュウ」と検索すればポケモンGOでピカチュウが出現する場所が簡単に特定できるかもしれません。 今回行うのは、logstashで取得したツイートをelasticsearchに入れて、それをkibanaで可視化するという流れです。 それでは実際にやってみます。 1.logstashでツイートを取得する logstashのinputプラグインとして用意されているtwitter

    位置情報付きツイートをElasticsearch,Kibanaで可視化して、ポケモンGOを攻略! - Taste of Tech Topics
  • Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics

    突然ですが、我が家は2階にリビングがあるタイプの戸建てでして、天井が勾配していてカッコイイ感がすごいのですが、この季節は暖房の熱がどんどん登ってしまってなかなか部屋が暖まりません。 要するに寒いという話なのですが、皆さんいかがお過ごしでしょうか、@cero_t です。って僕のジョークと家の寒さは関係ないですから💢 さて、このエントリーは Elastic Advent Calendar の18日目です。 qiita.com 元々、マイクロサービスの可視化や、Kafkaを用いたデータ収集の安定化について書くつもりだったのですが、思いつきで作ったタグクラウドが予想外にイイ感じだったので、このエントリーではその経緯を紹介したいと思います。 タグクラウドとは、文中に頻繁に登場するワードを上の絵のように可視化する機能です。 最近リリースされたKibana 5.1.1に新しく追加されました。 この機能

    Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics
    wlbhiro
    wlbhiro 2017/08/28
    確かに動作を確認。
  • Stormって条件でBoltを分岐させることってできるの? - Taste of Tech Topics

    こんにちは。kimukimuです。 Stormの次バージョン(0.8.2)の開発を楽しみに待っていますが、 いつの間にか0.8.2の開発版のビルド番号が16まで行っていました(ーー; 0.8.2はGUIもパワーアップしているので楽しみです。 ・・・そんなわけで、どこかこのあたりで一度リリースしてくれることを期待する今日この頃です^^; とまぁ、それはさておき、今日のお題です。 1.StormのWikiに書いてありそうで書いていない肝心なこと これまで何回かStormについて投稿してきましたが、 肝心なことを書いていなかったことに気付きました。 それは・・・ 「Stormって条件でTupleを送信するBoltを分岐できるの?」 です。 StormのWikiを見てみても、下のようなSpoutとBoltの接続図は書いてありますが、 条件に関する記述はありません。 下の図からわかることは下記の2点

  • Taste of Tech Topics

    こんにちは、Elastic認定資格3種(※)を保持しているノムラです。 ※Elastic社の公式認定資格(Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer) こちらはAWS編の記事になります。 以下の構築編の記事でElastic Cloudを構築し、Security設定/認証設定を実施しました。 acro-engineer.hatenablog.com 記事ではElastic Cloudを運用するにあたり、必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定(Metric/Logs) 2. Snapshot設定 3. 監視設定 まとめ はじめに 以下記事ではElastic Cloud(Elasticsearch

    Taste of Tech Topics
    wlbhiro
    wlbhiro 2014/12/01
    Stormのインストール方法
  • Twitter Stormクラスタを構築します(その2 - Taste of Tech Topics

    こんにちは。kimukimuです。 前回でStormの動く環境が整いましたので、 次は実際にTopologyを流してみます。 1.Topologyを流す方法は? Nimbusに対してThriftで特定のフォーマットに沿って通信を行えば、 どんな言語からでもTopologyは流せる・・・と、Storm Wikiには書いてあります。 とはいえ、最初なので一番ポピュラーな方法を取って流してみる事にします。 StormSubmitter#submitTopologyメソッドを用いることで、 実際にStormクラスタに対してTopologyを流すことが可能になっています。 2.実際に流すコードはどうなるの? Storm-StarterプロジェクトのExclamationTopologyをまずは流してみる事にします。 ExclamationTopologyクラスではmainメソッドの中でTopolog

  • Twitter, Stormをインストールしてみます! の検索結果 - Taste of Tech Topics

    …す。前回に引き続き、Twitter Stormのインストールを続けます。 4.Stormインストールの前提ソフトウェアのインストール(その3 Java 6 言うまでもなくJavaの実行環境ですね。 Stormjava/clojureというJVM言語で開発されているため、動作に必要です。実は既にインストールされていたりします(汗 これはCentOSに限ったことではなくて、 そもそもJZMQをインストールする時点でJDKが必要になるからなんですね。一応、バージョンを確認してみま…

    Twitter, Stormをインストールしてみます! の検索結果 - Taste of Tech Topics
    wlbhiro
    wlbhiro 2014/12/01
    Python(zlib...を有効化した)をインストールするためには、「zlib」および「zlib-devel」のインストールが必須
  • Stormを簡単にインストールする方法は?(その1 - Taste of Tech Topics

    こんにちは。kimukimuです。 #今回はDempsyではなく、Stormです^^; 最近思うこととして、 『クラスタを簡単に構築できなければ分散システムは使えない』というのがあります。 ・・・ええ、Stormの環境構築って地味に手間がかかるものでして(汗 そんなわけで、Stormを簡単にインストールするために、 インストーラ(もどき?)を作れるか試してみます。 一部であっても手間が減るのは確かですしね。 尚、以後の記述では基的に下記の性能を持つ物理サーバマシンを使用しています。 ビルド環境マシン OS:Centos 6.2 (64bit) カーネルバージョン:2.6.32 CPU:Intel Atom D525 Memory:4GB SSD:120GB 1.インストーラ構築に必要な要素は? 以前の環境構築の時の投稿を振り返ってみますと、Storm構築に必要な要素は下記です。 Zook

    wlbhiro
    wlbhiro 2014/12/01
    RPMの作成方法(?)
  • 1