S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
ワークフローエンジン『Digdag』でSlack通知する #digdag | DevelopersIO
はじめに おばんです、先日地元の仙台に帰ったとき、観光客気分ではじめてずんだシェイクを飲んだら、美味しすぎてハマった田中です。 案件で Treasure Data社 の OSSワークフローエンジン 『Digdag』 を利用することがあり、その中でSlack通知を実装することがあったので、今回はその方法をまとめます。 インストール 以下の記事の Digdagのインストール実施 を参考にDigdagをインストールしてください。 SlackのIncoming Webhook URLを取得する 以下の記事の Webhook URL取得 を参照してください。 DigdagのSlack Pluginを使う 上記リポジトリのsampleディレクトリ内にある.digファイルと成功時/失敗時の.ymlを参考に、ファイルを揃えて $ digdag run -a hoge.dig するとSlackに通知が送信さ
Digdagのアーキテクチャとコンセプトを理解する #digdag | DevelopersIO
Treasure Data社によってOSSワークフローエンジン『Digdag』はその発表以後多くの反響を呼び、社内外を含め良く利用されるようになってきていますが個人的には下記の『試してみた』エントリ以降、あまり触って来ていませんでした。ちょっと個人的にも腰を据えて取り掛かってみようかという感じになってきましたので、仕組みや使い方を把握するという意味で一番参考になるであろう公式ドキュメントの一部を読み進めてみた記録をブログエントリとして残しておきたいと思います。 Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO Digdagのアーキテクチャ Digdagによるワークフローの自動化 ワークフローを使って、手動で行なっているあらゆる操作を自動化出来ます。一連のタスクを『ワークフロー』として定義し、Digdagを使
Digdag タスク実践：タスクの正常系＆異常系判定について #digdag | DevelopersIO
Digdagを理解してみるシリーズ、直近3本は概要や仕組みに関する部分について書いてみましたが4本目となる当エントリは処理の正常終了・異常終了に関する部分について見て行きたいと思います。 Digdag ｜ 特集カテゴリー ｜ Developers.IO Digdagのアーキテクチャとコンセプトを理解する #digdag ｜ Developers.IO Digdagのワークフロー定義について理解する #digdag ｜ Developers.IO Digdagのスケジューリングについて理解する #digdag ｜ Developers.IO Digdagにおける処理の正常終了・異常終了の判定についての記述というか関連箇所は、下記『コンセプト』内部の1セクションに記載があります。 Dynamic task generation and _check/_error tasks --- Conce
Digdagのスケジューリングについて理解する #digdag | DevelopersIO
Digdagを理解してみるシリーズ、3本目は『スケジューリング』です。 Digdag ｜ 特集カテゴリー ｜ Developers.IO Digdagのアーキテクチャとコンセプトを理解する #digdag ｜ Developers.IO Digdagのワークフロー定義について理解する #digdag ｜ Developers.IO スケジュール設定 ワークフローを定期的に実行させるために、schedule: オプションをワークフローのTOPレベルに定義する事が出来ます。 timezone: UTC schedule: daily>: 07:00:00 +step1: sh>: tasks/shell_sample.sh schedule:ディレクティブでは、以下オプションの中から1つを選択可能です。 daily>: HH:MM:SS (daily>: 07:00:00) hourly>:
Digdag + EmbulkによるTSVファイルのS3→Redshiftロード #digdag | DevelopersIO
はじめに こんにちは、yokatsukiです。 先日6月18日、第五回ゲームサーバ勉強会に参加してきました。 そこで、トレジャーデータのサポートエンジニアマネージャー高橋様から、直前の6月15日にオープンソース化されたばかりのDigdagの説明がありました。その時の発表スライドは下記です。 Digdagは弊社でも何名かが既に触ってブログで公開(下記)しているので、名前と目的は知ってましたが、説明とデモを見るうちに自分でも試してみたくなりました。 Embulk界隈で話題になっている分散ワークフローエンジン「DigDag」について調べてみた #digdag Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag｜Developers.IO という訳で、簡単ではありますが共有します。 テーブル定義の無いTSVファイルをRedshiftへロードする 通
Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag | DevelopersIO
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln — Sadayuki Furuhashi (@frsyuki) 2016年6月15日 という訳で試してみました。注目度の高かったワークフローエンジン『Digdag』がついにOSS化されました！Githubリポジトリ及びドキュメントは以下となります。 treasure-data/digdag: Workload Automation System Getting started — Digdag 0.8 documentation 目次 インストール 環境の準備 Digdagのインストール実施 その他ドキュメントの内容について Digdagサンプルワークフロ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
