[B! embulk] koma_gのブックマーク

Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita

Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へをご一読ください。更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています種類バージョンロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独

koma_g 2020/07/15

リンク

Embulk on DockerでCloudFrontログをParquet形式に変換する | DevelopersIO

ども、大瀧です。 CloudFrontのログをAthenaで効率良く見たいと思い、Parquet形式に変換する手段としてOSSのバルクローダ EmbulkをEC2上のDockerで実行してみました。その様子をレポートします。 Apache Drillで変換する様子は石川のエントリーを参照ください。 Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent ｜ Developers.IO Dockerイメージの設計、作成 Dockerイメージの作成はそれぞれのDockerfileをGitHubリポジトリにアップロードし、Docker Hub Automated Buildを利用しました。作成されたDockerイメージは公開されているので、試したい方は記事後半の動作確認の手順に従い、イメージをダウンロードしてご利用ください。 Embulk実

koma_g 2017/12/21

リンク

embulk/README.md at master · embulk/embulk

koma_g 2017/12/21

リンク

embulk-input-command | RubyGems.org | your community gem host

koma_g 2017/12/21

リンク

redashによる移動平均線の可視化について | エンジニアブログ

こんにちは。 @smdmts です。今回は Redash Advent Calendar 2017 13日目の記事を書かせて頂きます。移動平均線について移動平均とは時系列データにおける一定期間における平均値を連続で出すことで、曜日や季節に起因する変動を排除することが可能となります。DELISH KITCHENのアプリ分析でも曜日変動によるユーザ行動を平滑化するために、各KPIの7日移動平均・30日移動平均を重要な指標として利用しています。日経平均などのテクニカル分析では25日線や75日線が利用されているのでご存じの方もいるかと思います。（詳細な移動平均線の解説はwikipediaをご覧下さい。）そこで今回はredashで移動平均線の算出方法について解説してみたいと思います。データセットの準備今回はテストデータとして、気象庁のサイトから東京都の平均気温を利用させていただき、移動平均線算

koma_g 2017/12/21

リンク

Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog

出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった．データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化] 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21メディア: 単行本（ソフトカバー）この商品を含むブログを見るはじめに目次にも書いてある通り，「データ分析基盤」というテーマで Fluentd / Elasticsearch / Kibana の解説が詳細にまとまっている．さらに付録には Embulk と Digdag の解説もあり，このあたりの技術スタックに興味がある人にとって最高な一冊なのではないかなと思う．また，

koma_g 2017/12/07

リンク

Embulk＋DigdagでExcelのデータをPostgreSQLにロードする | DevelopersIO

データインテグレーション部大矢です。 DBのテストデータをExcelで書くことはよくあると思います。今回はExcelで書いたデータをEmbulkでDBにロードする、ということをやってみようと思います。使用した環境は以下のとおりです。 Embulk v0.8.13 Digdag v0.8.16 PostgreSQL 9.5.3 Mac OS X El Capitan version 10.11.6 ExcelのデータをPostgreSQLにロードする作業ディレクトリ先に今回の作業で使用するディレクトリ構成を示しておきます。最終的にはこうなります。 excelload ├── allsheet.dig └── embulk ├── sales.yml ├── testdata.xlsx └── users.yml Excelのテストデータロードするデータ Excelのテストデータシ