Python + ELK でJAWS DAYS 2017のツイートを簡単に可視化してみた - Qiita
Elasticsearch色々試そうと思っていたところ、自分もツイートしていたJAWS DAYS 2017のツイートログを使ってみよう、と手を動かした記録。 前提 Pythonは2.7系を利用 ELKは5.2.2を利用 Twitterからのログ検索 こちらに作成したソースコードをのせました。アクセスキーを入力することで利用可能です。 （事前準備としてTwitter APIへの登録などは済ませる必要があります。） ソースコード自体はとても単純です。 3000件という数字は適当に決めたものです。（それくらいのツイート数だろうと思って適当に指定した値） ちなみにTwitter APIを利用する際には利用回数に制限があるので（リセットされる）注意が必要です。 import twitter from twitter import Api import sys import os import tim
stream2es で大量データをサクッと Amazon Elasticsearch Service に放り込む 〜 もう bulk API を操作しなくても良いかもしれない 〜 - ようへいの日々精進XP
検証の為に 放り込む 放り込む前に csv から json データにする インデックスの作成 ここで真打ち stream2es の登場 ひとまず 以上 stream2es を使えば stream2es ヘルプ 検証の為に 大量データを Amazon Elasticsearch Service に放り込みたいです。 データは github.com こちらを利用させて頂きます。 また、 qiita.com 上記の記事を参考にさせて頂きました。ありがとうございます。 放り込む 放り込む前に csv から json データにする 上記の記事を参考にさせて頂いて Python で書いてみました。標準入力から csv を読み込もうと試行錯誤しましたが、とりあえず csv ファイルを読み込む体でいきます。 # -*- coding: utf-8 -*- import csv import json im
Hadoop Streamingでアイドルツイート分析
Fluentd+ElasticSearch+Kibanaでアイドルデータ分析基盤を作ってみたの回で、FluentdとTwitter Streaming APIを使ってS3にツイートデータを保存したので、このデータをHadoopを使って解析してみます。 今回はMeCabを使って形態素解析してワードカウントを取るような教科書的なMapReduceを試してみました。Hadoop Streamingを使ってPythonでMapper、Reducerを書いていきます。 環境 OS: Mac OS X(El Capitan) Python: 2.7.11 Hadoop: 2.7.1 Hadoopのインストール&設定 以下のURLを参考にインストール&設定すればOK。 分散処理に入門してみた（Hadoop + Spark） Macでhadoopをちょっとだけ動かしてみる – Qiita Mac OS X
Elasticsearchに空間データを突っ込む - /var/log/laughingman7743.log
例のごとく国土交通省のデータをダウンロードしてきてElasticsearchに突っ込んで検索してみます。 国土数値情報ダウンロードサービス GDALのドキュメント*1を参照するとogr2ogrコマンドでシェープファイルを直接Elasticsearchに投入できそうですが、 マッピング定義をあれこれ変更したりしていろいろやってみましたがGeoShape形式での投入はできず。。。 C++で実装されているのでとりあえず深掘りするのはやめて、GeoJSON形式に変換してPythonスクリプトから投入することにします。 以下の国土交通省のページから日本全国の行政区域データをサウンロードしてきます。 国土数値情報 行政区域データの詳細 シェープファイルファイルのGeoJSON変換は以下のコマンドでできます。 変換するとFeatureCollectionという一塊のJSONオブジェクトとして出力されます
ElasticSearch, Redis, nginx, Djangoでエロサイトを作った時のTips[ElasticSearch 検索編その２ あいまい検索とkuromojiと正規表現] - Qiita
ジャポルノレディーズであいまい検索が最も役だったのが名寄せでした。 ジャポルノレディーズでは基本的に動画は全て他のエロサイトへのリンクで提供しているので明日花キララさんの動画を探す上で他のエロサイトから明日花キララさんの動画を探す作業が必須です。 しかし問題は ・エロサイト毎に明日花キララさんのアルファベット表記がバラバラ という事でした。 エロサイトAではasuka_kirara エロサイトBではasuka_kilala エロサイトCではashitaka_kirara ・ ・ ・ という感じ。うちではasuka_kiraraでデータを持っているので、当然asuka_kilalaと名前のついている動画もasuka_kiraraの動画としてデータを保存したい！という訳です。 そこであいまい検索が役立ちます。 まずは普通のmatchクエリでasuka_kilalaを検索します。 # codin
![ElasticSearch, Redis, nginx, Djangoでエロサイトを作った時のTips[ElasticSearch 検索編その２ あいまい検索とkuromojiと正規表現] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbc1f0f7d57c0fbd7dc87d81bc07542c36a83eff/height=288;version=1;width=512/https%3A%2F%2Fcdn.qiita.com%2Fassets%2Fqiita-fb-2887e7b4aad86fd8c25cea84846f2236.png)
ELBのアクセスログをAWS LambdaでElasticsearchに取り込む | DevelopersIO
はじめに 藤本です。 AWS LambdaがPythonに対応してから色々なことを試しています。 概要 ELBのアクセスログはS3に出力することが可能です。5分なり、1時間なりで定期的にS3にログファイルが作成されます。S3に集約することは簡単でもS3に出力されたファイルはAPIによるアクセスが必要、ログファイルが細かく分割されていることもあり、可読性の面においては優れていません。 そこでAWSではログを管理できるサービスとしてCloudWatch LogsやAmazon Elasticsearch Serviceを用意しています。Amazon Elasticsearch Serviceに関してはAWSのGithubでS3 -> AWS Lambda -> Elasticsearchの流れとなるソースコードが公開されています。ありがたい！これにより簡単にログデータを取り込むことが可能です。
PythonとElasticSearch、Kibanaを用いた太宰治小説の可視化 - 文學ラボ@東京
（以下の文章は秋の文フリの原稿です） はじめに 読書という行為を、時間を抜きにして語ることはできない。例えば20000字程度の短編小説ならば、仮に分速500文字で読書可能だとすると、40分もの時間をわたしたちはそのテキストと向かい合うこととなる。わたしたちは読書を行っているあいだ、細胞の中でDNAを解読するリボソームのように、テキストをシリアルに視野の中に取り込み、脳の中で解釈していく。この際、解釈の方向は定められている。縦書きであれば上から下に。横書きであれば、（大抵の言語は）左から右に読まれるしかない。テキストは、ごく一部の例外を除けば、一方向にしか読まれ得ない。読書は非常に"時間"に似通った、あるいは随伴した現象だと考えられる。 以前発行した同人誌『実用 どんぐりと山猫』では、pythonとd3.jsを用いて小説中のある値の時間変化を可視化した。昨今、可視化ツールとして、プログラミン
PythonとElasticSearch、Kibanaを用いた太宰治小説の可視化 その2 - 文學ラボ@東京
（この文章は秋の文フリ用の原稿です。） Kibana 前章(http://boonlab.hatenablog.com/entry/2015/10/26/000958)では、ElasticSearchへの小説データのインポートを行った。 それでは、それらのデータをデータ可視化ツールであるKibanaを用いて可視化していきたい。 まずは、https://www.elastic.co/downloads/kibanaからkibanaをダウンロードし（2015/11時点ではKibana 4.1.2）、展開したディレクトリ内の bin/kibana を実行してみよう。その後、ブラウザでhttp://localhost:5601にアクセスすると以下のような画面が表示される。 ここで、"Index name or pattern"に"dazai-demo"（indexの作成先）と入力して、Create
PythonからElasticsearchを扱うelasticsearch-dsl-pyがなかなか良かった - ikeikeikeike's unk blog.
elastic/elasticsearch-dsl-py · GitHub いつの間に公式からHigh levelなPythonクライアントが出ていたので使用してみました。 PythonのElasticsearch関連のライブラリは色々とHaystack(つらい)とかelasticutils(いつの間にかDeprecatedになっていた)とかがあって 不遇だったのでコレで解消されればよいのかな。 機能面 elasticsearch-dsl-pyはElasticsearchの薄いラッパーと言うことらしいのですが、ひと通りの機能は揃っているみたいです。 あと特にDjangoやらSQLAlchemyやらを併用して使用することは今のところ想定されていないみたい。 Analysis analyzerは kuromoji_analyzer と ngram_analyzer がすでに定義されているものと
Elasticsearch DSL — Elasticsearch DSL 8.14.0 documentation
Elasticsearch DSL Elasticsearch DSL is a high-level library whose aim is to help with writing and running queries against Elasticsearch. It is built on top of the official low-level client (elasticsearch-py). It provides a more convenient and idiomatic way to write and manipulate queries. It stays close to the Elasticsearch JSON DSL, mirroring its terminology and structure. It exposes the whole r
PythonとElasticsearchで形態素解析 | 今日のひとこと
Elasticsearchから取り出してsklearnでテキストデータをゴニョゴニョするときにPython側ではIgoを使って形態素解析とかしていたけど、Elasticsearchでやっている形態素解析と一致しないのもなんだし、Igoを直読みするよりパフォーマンスは落ちると思うけど、辞書管理等々考えるとElasticsearchのanalyze APIを使って形態素解析しちゃった方がシンプルかなっと思い、まとめておく。 まず、PythonでElasticsearchのAnalyze APIが呼べることを以下で確認する。ここでは、Python 2.7を利用している。elasticsearch-pyもインストール済みな想定で、Elasticsearchも起動しておく必要がある。 $ python Python 2.7.6 (default, Mar 22 2014, 22:59:56) [GC
Elasticsearch in Apache Spark with Python
Sloan Ahrens is a co-founder of Qbox and is currently a freelance data consultant. In this series of guest posts, Sloan will be demonstrating how to set up a large scale machine learning infrastructure using Apache Spark and Elasticsearch. This is part 2 of that series. Part 1: Building an Elasticsearch Index with Python on an Ubuntu is here. -Mark Brandon In this post we're going to continue se
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
