タグ

ブックマーク / acro-engineer.hatenablog.com (7)

  • 位置情報付きツイートをElasticsearch,Kibanaで可視化して、ポケモンGOを攻略! - Taste of Tech Topics

    こんにちは@shin0higuchiです 世間に一大ブームを起こしたポケモンGOですが、みなさんやってますか? 新機能が追加されたり、第二世代のポケモンが登場するという噂もあり、 さらに流行るかもしれないですね。 さて、今回は位置情報付きのツイートを地図上にマッピングして可視化してみます。 キーワードで絞り込むことで、そのキーワードを含むツイートが「どこで」「どのくらい」つぶやかれているかを知ることができます。 例えば「ピカチュウ」と検索すればポケモンGOでピカチュウが出現する場所が簡単に特定できるかもしれません。 今回行うのは、logstashで取得したツイートをelasticsearchに入れて、それをkibanaで可視化するという流れです。 それでは実際にやってみます。 1.logstashでツイートを取得する logstashのinputプラグインとして用意されているtwitter

    位置情報付きツイートをElasticsearch,Kibanaで可視化して、ポケモンGOを攻略! - Taste of Tech Topics
  • Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics

    突然ですが、我が家は2階にリビングがあるタイプの戸建てでして、天井が勾配していてカッコイイ感がすごいのですが、この季節は暖房の熱がどんどん登ってしまってなかなか部屋が暖まりません。 要するに寒いという話なのですが、皆さんいかがお過ごしでしょうか、@cero_t です。って僕のジョークと家の寒さは関係ないですから💢 さて、このエントリーは Elastic Advent Calendar の18日目です。 qiita.com 元々、マイクロサービスの可視化や、Kafkaを用いたデータ収集の安定化について書くつもりだったのですが、思いつきで作ったタグクラウドが予想外にイイ感じだったので、このエントリーではその経緯を紹介したいと思います。 タグクラウドとは、文中に頻繁に登場するワードを上の絵のように可視化する機能です。 最近リリースされたKibana 5.1.1に新しく追加されました。 この機能

    Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics
    wlbhiro
    wlbhiro 2017/08/28
    確かに動作を確認。
  • Stormって条件でBoltを分岐させることってできるの? - Taste of Tech Topics

    こんにちは。kimukimuです。 Stormの次バージョン(0.8.2)の開発を楽しみに待っていますが、 いつの間にか0.8.2の開発版のビルド番号が16まで行っていました(ーー; 0.8.2はGUIもパワーアップしているので楽しみです。 ・・・そんなわけで、どこかこのあたりで一度リリースしてくれることを期待する今日この頃です^^; とまぁ、それはさておき、今日のお題です。 1.StormのWikiに書いてありそうで書いていない肝心なこと これまで何回かStormについて投稿してきましたが、 肝心なことを書いていなかったことに気付きました。 それは・・・ 「Stormって条件でTupleを送信するBoltを分岐できるの?」 です。 StormのWikiを見てみても、下のようなSpoutとBoltの接続図は書いてありますが、 条件に関する記述はありません。 下の図からわかることは下記の2点

  • Taste of Tech Topics

    はじめに こんにちは一史です。 冬にもかかわらず、自宅のモンステラが新芽を出しており、生命力に驚いています。 さて最近、Amazon Bedrock Flowsの新機能としてマルチターン形式の会話機能がサポートされました。 aws.amazon.com 従来は、ユーザーが1回のプロンプトで処理に必要な情報を全て入力する必要がありましたが、マルチターン形式の会話により不足している情報を適宜AIが聞き返すことが簡単に実現できます。 今回はこのマルチターン形式の会話機能により、対話的なフローを行ってみます。 はじめに 概要 Amazon Bedrock Flowsとは? マルチターンの会話機能とは? Amazon Bedrock Flowsでマルチターンの会話をするフローを作成 フローの概要 マルチターンの会話をするエージェントの作成 PC推薦Lambdaの作成 マルチターンの対話を行ってみる

    Taste of Tech Topics
    wlbhiro
    wlbhiro 2014/12/01
    Stormのインストール方法
  • Twitter Stormクラスタを構築します(その2 - Taste of Tech Topics

    こんにちは。kimukimuです。 前回でStormの動く環境が整いましたので、 次は実際にTopologyを流してみます。 1.Topologyを流す方法は? Nimbusに対してThriftで特定のフォーマットに沿って通信を行えば、 どんな言語からでもTopologyは流せる・・・と、Storm Wikiには書いてあります。 とはいえ、最初なので一番ポピュラーな方法を取って流してみる事にします。 StormSubmitter#submitTopologyメソッドを用いることで、 実際にStormクラスタに対してTopologyを流すことが可能になっています。 2.実際に流すコードはどうなるの? Storm-StarterプロジェクトのExclamationTopologyをまずは流してみる事にします。 ExclamationTopologyクラスではmainメソッドの中でTopolog

    Twitter Stormクラスタを構築します(その2 - Taste of Tech Topics
  • Twitter, Stormをインストールしてみます! の検索結果 - Taste of Tech Topics

    …す。前回に引き続き、Twitter Stormのインストールを続けます。 4.Stormインストールの前提ソフトウェアのインストール(その3 Java 6 言うまでもなくJavaの実行環境ですね。 Stormjava/clojureというJVM言語で開発されているため、動作に必要です。実は既にインストールされていたりします(汗 これはCentOSに限ったことではなくて、 そもそもJZMQをインストールする時点でJDKが必要になるからなんですね。一応、バージョンを確認してみま…

    Twitter, Stormをインストールしてみます! の検索結果 - Taste of Tech Topics
    wlbhiro
    wlbhiro 2014/12/01
    Python(zlib...を有効化した)をインストールするためには、「zlib」および「zlib-devel」のインストールが必須
  • Stormを簡単にインストールする方法は?(その1 - Taste of Tech Topics

    こんにちは。kimukimuです。 #今回はDempsyではなく、Stormです^^; 最近思うこととして、 『クラスタを簡単に構築できなければ分散システムは使えない』というのがあります。 ・・・ええ、Stormの環境構築って地味に手間がかかるものでして(汗 そんなわけで、Stormを簡単にインストールするために、 インストーラ(もどき?)を作れるか試してみます。 一部であっても手間が減るのは確かですしね。 尚、以後の記述では基的に下記の性能を持つ物理サーバマシンを使用しています。 ビルド環境マシン OS:Centos 6.2 (64bit) カーネルバージョン:2.6.32 CPU:Intel Atom D525 Memory:4GB SSD:120GB 1.インストーラ構築に必要な要素は? 以前の環境構築の時の投稿を振り返ってみますと、Storm構築に必要な要素は下記です。 Zook

    Stormを簡単にインストールする方法は?(その1 - Taste of Tech Topics
    wlbhiro
    wlbhiro 2014/12/01
    RPMの作成方法(?)
  • 1