メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発 #tdtech - by shigemk2
digdag github.com (途中参加) ワークフローエンジン Aをやって、Bをやって、でもBが失敗したらCをやる、というのを、コードを書かないで制御する サーバー どこの環境でも動くこと ワークフローが手元でも動く ステップを足す→ローカルで実行する サーバーでアプローチすればサーバーで動く Luigi 上から下へワークフローを動かす digdag digdag ネスト出来るようにした グループを作れる ある別のシステムがファイルをアップロードする→アップロードできたらコピーする パラメータは一部ビルトイン tdのクエリを実行する redshiftのクエリを実行する big query td for each ポスグレ メール などなど… slackへ通知も出来る ローカルで実行する→デプロイする サーバAで実行する→サーバBでも実行できるようにする 特定のプログラミング言語を特
Using Amazon Athena with Apache Zeppelin
Here is how we can use Amazon Athena as a backend for Apache Zeppelin. Amazon Athena is something like Presto as a service, which provides WebUI and JDBC interface. With this we can easily run queries on data sitting in Amazon S3. Apache Zeppelin is a web-based notebook that enables interactive data analytics. We can make beautiful data-driven, interactive and collaborative documents with SQL, Sca
EC2 Systems Manager全部まとめて紹介します！ #awspremier | DevelopersIO
コンニチハ、千葉です。 AWS Premier Night #3 in TOKYOでお話した資料を公開します。 資料 Systems Managerは色々なサービスが複合的に動くので、この機会に整理できればと思いまとめました！！ [slideshare id=70941122&doc=premiernight3-devops-170112100415] 最後に 運用自動化に使えるサービスとなり、Run Commandから、かなり強化されました。OSでやっていた作業を外で管理できると、再利用性・実行制御ができ作業時間を圧縮できます。 規模が大きければ大きいほどメリットが多いサービスだと思います。
Amazon Athena のクエリ結果を SPICE にインポートして、 QuickSight で可視化する ｜ DevelopersIO
こんにちは、藤本です。 先日、QuickSight のデータセットに Amazon Athena の対応が追加されました。弊社ブログでもせーのが紹介しました。 Amazon QuickSight adds support for Amazon Athena 【新機能】Amazon QuickSightがAmazon Athenaをサポート！ この機能を使って、昨日、ELB のアクセスログをいくつかの視点から可視化して、解析した時の知見です。 Amazon Athena と QuickSight の連携 まず、前提として、ELB のアクセスログのような非構造化データを QuickSight で可視化したい場合、一度、構造化データにした上で、QuickSight のデータセットに取り込む必要があります。そこで AWS re:Invent 2016 でリリースされた Amazon Athena
メモ Stable large scale Presto cluster #tdtech - by shigemk2
Presto In TD TD API BI Tool HTTP から、クエリを投げる。 prestobase proxy node schedular(presto) resource group Prestobase proxy JDBC/ODBCはいけていない リプレイスするためのPrestobase Proxy HTTP接続するときにPrestoが使える Scalaで書かれている Finagle(RPC proxy)がコア Dockerコンテナ上で動いている Airframe VCR 軽量テストフレームワーク Finagle 実績がある クライアント/サーバのインターフェイスが透過的に使える サービス提供側からするとドライバからもPresto側からも嬉しい プロトコルは問われない 詳細な使い方はドキュメントを見ること Presto Clientで投げる DIしたかったがScalaで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
