2021年には Scala 3 がリリースされて激アツなのに、google のサジェストでも "Scala オワコン" がでてきて悲しいですね😢 どこぞのインフルエンサーの影響でしょうか... ほかにも 有名OSS作者の travis brown さんがｻﾖﾅﾗしちゃったり... JetBrains さん: わが社のスカラチームは二番目に大きなチームですよ😊 JetBrains さん: だれも Scala 使ってないらしいので Fleet で Scala はさぽーとしませ～ん🤪 Kotlin を使ってね😊 （一応、JVM言語の読み込み・解析は可能なようですが Scala のシンタックスハイライトや補完機能は導入されていないようです.） なんてことがあったり... Scalaはオワコン？🤔 せっかくなので調べてみました!😖 以下 Scala を使っている big tech とその
Prefectでプロダクトデータ処理基盤のDXを向上させようとしているはなし | Offers Tech Blog
はじめに おはこんばんちは。 Offers と、Offers MGR を運営している株式会社 overflow のバックエンドエンジニアばばです。 Web サービスを開発している皆様であれば、高度なデータ処理の大変さ・つらさを味わったことはあるかと思います。 たとえば グラフ用データを作成するには、API からデータ取得が終わった後に、DWH で集計して、その後バッチ処理かけてごにょごにょ 想定してたよりデータ量が多くて、許容時間内に処理が終わらないー あの API 、 Rate Limit 厳しいからから並列数制御しないといつまでたっても取得がおわらない・・・ など、悩みはつきません[1]。 上記の悩みが、開発効率性を落とし、技術的負債となってきていることから、Workflow Engine (タスクの実行順序など業務プロセスを自動で管理するソフトウエア) を導入しようという話がチーム内
Workflowの複雑なスケジュール設定を紹介します - Treasure Data - Support Engineering Team blog
※ 2022/03/14(Mon) 更新 こんにちは、Treasure Data サポートの伊藤です。 今回は、複雑なスケジュール設定をWorkflowで実現する方法について説明します。 サンプルも記載しますが、参考にされる場合は動作確認の上お使いください。 Workflowのスケジュール設定概要 複雑なスケジュール設定をするには cronについて サンプル 毎月最初の月曜日に実行 平日のみ(土日祝日は処理しない) 隔週の月曜日実行 月末のみ実行 第2月曜日と毎週水曜日のような複数スケジュール 最後に Workflowのスケジュール設定概要 Workflowは基本的には定期的に実行することを目的で利用されていることが多く、1度だけの処理のために実装することは少ないでしょう。 処理内容によって、日次、週次、月次など様々な間隔で実行する要件があるかと思いますが、基本的には ドキュメントにある下
prestoの日付関数 - Qiita
はじめに prestoの日付関数の使い方がドキュメントを読んでもよくわからないところがあったので試しました。 環境 試した環境はTreasure Dataです。 presto 日付時刻関数 interval intervalを使って加減算が可能。 SELECT date '2021-04-21' + interval '2' day --> 2021-03-23 SELECT time '01:00' + interval '3' hour --> 04:00:00.000 SELECT timestamp '2021-03-21 01:00' + interval '29' hour --> 2021-03-22 06:00:00.000 SELECT timestamp '2021-01-31 01:00' + interval '1' month --> 2021-02-28 01:
「共通ID」を正しく理解し、3rdパーティクッキー対策を進めるコツとは？ - PLAZMA by Treasure Data
2020年1月に、GoogleはChromeでのサードパーティCookieのサポートを段階的に廃止すると発表しました。また、AppleもIDFAの利活用制限を開始します（※ 2021年4月27日（日本時間）にiOS14.5をリリースし、制限が開始されました）。LiveRamp Japan株式会社 Head of Partnerships 今井 則幸氏が、この状況が媒体社やマーケターに及ぼす影響を考察するとともに、その対策として、新しい「人ベースのID（共通ID）」を利用したソリューションを事例を交えながら紹介しました。 ※本記事はトレジャーデータ株式会社が主催した「PLAZMA After 3rd Party Cookie〜Cookie規制後のデータ活用とマーケティング 〜」(2021年5月開催)のセッション「『共通ID』を正しく理解し、3rdパーティクッキー対策を進めるコツとは？」をもと
ALL STAR SAAS CONFERENCE TOKYO 2019に行ってきた！｜m_wada / @makoto_wada
年一度のSaaSの祭典、『ALL STAR SAAS CONFERENCE TOKYO 2019』に行ってきました！参加したセッションのメモを以下にまとめます。 ■概要 日時：2019/11/07 (木) 12:45-19:05 会場：丸ビルホール 詳細：https://saastokyo.com/ 日米で戦う$100M ARRのエンタープライズSaaS企業の作り方 登壇者：芳川 裕誠 Treasure Data, Inc. Co-Founder アメリカのSaaS状況 基盤系SaaSは勝負がついていて、バーティカルSaaSが活況。 ホリゾンタルと違い、マーケットシェアが高いのが特徴。 トレジャーデータの説明 2011年にエンジニアと２名でシリコンバレーで、クラウド上にデータウェアハウスを設けるコンセプトで創業。しかし、Amazonの参入等ホリゾンタルの基盤系は難しいと判断。ピポットして
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 | メルカリエンジニアリング
エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQueryやTreasure Dataといったクラウドサービスに転送されます。(上記の図は非常に簡単に済ませていますが、実際にはログの中継やフィルタリングをするためのFluent
メルカリAnalyticsチームのミッション・ロールモデルを策定した狙い──マネージャーが語る“変遷”と“今” | mercan (メルカン)
メルカリGrowth Analyticsチームマネージャー。新卒入社したグリー株式会社ではシニアマネージャーとして分析組織をリードし、全社の事業を横断的に支援。分析組織でありながら、企画書の作成や開発の進行管理、ゲームバランス調整まで一貫して行い、事業の課題解決に従事。 メルカリ入社後は、Growth領域の分析チーム責任者としてメルカリグループ成長のための事業課題解決に取り組んでいる。 ミッション・ビジョンを策定、ロールモデルを定義した狙い ──全社で掲げているものとは別に、グループやチーム単位でミッションを決めたりするのは、なかなかめずらしい気がしています。なぜAnalyticsチームでは、ミッションやビジョンを策定することにしたんですか？ @shuichi：データアナリストやデータサイエンティストは、会社ごとにやっていることが全然違います。そのため、“自分たちが何者か”を定義し、外に発
「ワークフローエンジン」を活用することで、コンピューターの定期的な作業などをワークフローで自動化できるため、業務の効率化に役立ちます。本記事では、ワークフローエンジンの特徴や、代表的なワークフローエンジンについて解説します。 ワークフローエンジンとは 「ワークフローエンジン」とは、コンピューターの作業プロセスを自動で管理するソフトウェアです。これまで手動で行っていた業務プロセスの自動化・高速化を目的としており、ビジネスで活用される「ワークフローシステム」と同様に、申請・承認業務のプロセスを管理する働きをします。 ワークフローエンジンを使わずとも、タスクを決められた日時に行う場合にLinuxを使用する方法もありますが、これだとタスクが失敗したときにカバーできません。また、タスクの成否を確認するために、担当者がファイルをチェックしたり、失敗時の調査用ログを調べたりといった手間も発生します。 ワ
1997年、同志社大学経済学部卒業後に起業を志し、ベンチャー支援を事業内容とする会社に入社。一年半後、同社を退社。1999年、24歳で株式会社ガイアックスを設立する。30歳で株式公開。一般社団法人シェアリングエコノミー協会代表理事を務める。 日本の起業家がグローバル視点を持たない理由 上田： 海外ベンチャーの企業内部のお話をお聞きする前に、そもそも日本から海外進出するスタートアップが少ない理由をお聞きしたいです。 黒崎： 日本は良くも悪くも、人口が一億数千万人なので「市場」として成り立っています。国内でIPOもできるので、グローバルな視点を持てと言われても、なかなか難しいと思います。 例えば、ベトナムや台湾、シンガポールなどは国内でIPOができないので、どうしてもグローバル展開しなければなりません。事業計画の作成時から、北米・ヨーロッパ・APACなどを含めて検討が必要です。日本の場合は、ほ
2021年末でTreasure Dataを退職しました。お世話になった皆様、ありがとうございました！ Today is my last working day at TreasureData.— kom (@petitviolet) October 26, 2021 そして2022年1月から表題の通りPlay Technologiesで働いています。 前々職(Fringe81, 現Unipos)での先輩である@pitownが立ち上げた会社の1番目の正社員として入社しました。まさかこんなことになるとは人生面白い。 続編がいずれあがってくると期待していますが、最新の状況としてはこの記事を参照。 自身がやっていること・やっていくこととしては主に受諾開発・自社サービスをソフトウェアエンジニアとして開発していくという、まあ特に変なことはないです。 受諾開発、若かりし頃は正直あまりポジティブなイメージ
Redshift is 400x Bigger than MySQL Yet MySQL is More Popular - Treasure Data Blog
Redshift is 400x Bigger than MySQL Yet MySQL is More Popular Last modified: April 10, 2019 The Amazon Redshift COPY Command Guide is now available! There are good reasons for the hype around Amazon Redshift. Redshift is blazing fast and not that much more expensive than MySQL or PostgreSQL, the traditional mainstay of data engineers. But is Amazon Redshift really becoming predominant in the world
以下の記事にはTreasure Dataに依頼しろって書いてあったので。 (リンク先) https://www.treasuredata.co.jp/privacy/ リンク先はTreasure Dataのプライバシーポリシーのページになっており、よく読みたくなかったので privacy@treasuredata.com にメールを送信すればオプトアウトできるよって書いてあったので最低限の情報だけ書いて送ってみました。 どういう返事が来るのかね。 追記 もう誰も興味ないと思うけど、普通に間違いなのでこちらでは対応できないよって返事でした。
この記事は BrainPad Advent Calendar2021 18日目の記事となります。 プロダクトビジネス本部、開発部の吉田です。 データ処理パイプラインとしてよく名前が挙がるワークフローエンジンを紹介します。 近年、ワークフローエンジンの利用は 業務システムではバッチの依存関係の解消のため MLops と呼ばれる分野でデータ処理、モデル更新に 様々なシーンで活躍しており、広がっている印象です。 ここでは、ワークフローエンジンの紹介を行っていきたいと思います。 データ処理パイプライン｜ワークフローエンジン 本稿では、ワークフローエンジンの紹介を行いますが、一番良いのは利用シーンから様々なワークフローエンジンの良し悪しを出していくことが望ましいと思います。 近年、ワークフローエンジンも多く増えてきており、開発のしやすさ、コードの書きやすさ、利便性（ワークフロー内部にサブセットのワー
はじめに はじめましてイタンジ株式会社の藤井と申します、更新退去くんという管理会社向けのSaaSを開発しています。 先日開催されたトレジャーデータさま主催のテックトーク非常に楽しく拝見させていただきました。CDPというアプリケーションがどのように構築されているのか、非常に興味深かったです。 speakerdeck.com 上記セッションの場でdigdagでerbやhttp_callオペレーターを用いた動的ワークフローを扱う手法の紹介がありましたが、私も過去Rubyのlanguage APIを用いた別の手段で動的ワークフローを利用したことがあるので、この場を借りて紹介させていただきます。 digdag × Rubyによる動的ワークフロー まずdigdagとRubyの接着面のコードを読んでみましょう、#add_subtask というメソッドに着目してみてください。 digdag/runner.
トレジャーデータは2021年9月14日、CDP（カスタマーデータプラットフォーム）の新プロダクトとして、営業業務に特化した「Treasure Data CDP for Sales」およびコンタクトセンター業務に特化した「Treasure Data CDP for Contact Center（CC）」を提供開始した。 同日の製品発表会では6月30日付で米Treasure DataのCEOに就任した創業メンバーの太田一樹氏がビデオメッセージで登場。「Treasure Dataは創業から10年が経過し、世界中に500名の社員を抱え、約450社の顧客に利用されるCDPのグローバルブランドへと成長した。今後はマーケティング領域での利用がメインだったCDPを“Beyond Marketing”、マーケティングの垣根を超え、さまざまな業務で使えるプロダクトだという世界観を示していきたい」と語り、新経営
Digdagワークフローのエラーを検知するためにトップレベルの _error を定義しslackに通知しています。 しかし _export 時にエラーになると _error のタスクが実行されないということがあったのでそれを紹介します。 こちらの記事のサンプルで利用しているDigdagのバージョンはすべて 0.9.39 です。 _errorについて _error を定義することで、Digdagのタスクが失敗した時に _error に定義されているタスクが実行されます。 以下が例で、task1の中で sh>: ech "hoge" とわざとエラーを起こしています。 $ digdag run qiita1.dig (...略...) 2019-08-18 18:38:09 +0900 [INFO] (main): Starting a new session project id=1 work
Presto: The Definitive Guide: SQL at Any Scale, on Any Storage, in Any Environment - たけぞう瀕死ブログ
昨年から執筆中という話だったオライリーのPresto本がこの4月に発売になったとのことでゴールデンウィーク中に読んでみました。 [asin:B086R9FHB7:detail] Kindleでも7000円以上という高価格ですが、実は著者の皆さんが勤務されている米Starburst社のWebサイトから無料でダウンロードすることができます（メールアドレスの登録が必要ですが）。 www.starburstdata.com 内容はPrestoのインストール方法、アーキテクチャ、設定方法や外部連携の方法など、Prestoを使う上で必要になる事項が一通り網羅されています。開発者の方々自ら執筆された書籍だけあってPresto自体のアーキテクチャはもちろんのこと各コネクタも設定方法だけでなく内部構造にも触れられていたり、チューニングの勘所が解説されていたりとオンラインドキュメントとの差別化もきちんとなされ
Customer Reliability Engineering in Action - satoshihirose.log
What's this? Customer Reliability Engineering の方法論について考えたことをまとめる。 CREing Google の提唱した CRE 職の新規性は、SRE の発想を自社プラットフォームのみならずその上で動く顧客アプリケーションにも適用したことにある。 基本的にはその発想に従えば良い。 SRE の方法論は、ざっくり言うと、SLA やエラーバジェットなるもので信頼性を定量的に定義しそれをモニタリングしながら改善可能性を探っていく、みたいなものだ。 それを顧客アプリケーションにも適用するのが CRE だと思えば良いだろう。 つまり、例えば現職の Treasure Data のプラットフォームには、それを取り巻く様々な顧客アプリケーションが存在する（Scheduled Query, Workflow, Source などなど）が、それらコンポーネントに
HashiCorpは5月27日、国内報道陣向けに事業戦略説明会を開催し、同社のデイブ・マクジャネット（Dave McJannet）CEOと日本法人のHashiCorp Japan カントリーマネージャ 花尾和成氏が日本市場におけるビジネスの本格始動と今後の方向性について説明を行いました。 「日本では我々の社名よりも製品名のほうが有名かもしれない」というマクジャネットCEOの言葉にもあるように、「Terraform」「Vault」「Nomad」といった同社のインフラ製品群はマルチクラウド化と自動化が進むエンタープライズITの世界で高い評価を獲得していますが、一方でHashiCorpが直接、日本のユーザ企業やパートナーにメッセージングする機会はあまり多くはありませんでした。「今日、ここから日本でのHashiCorpのステージが変わると思っている」という花尾氏ですが、国内市場でのシェアと
GKE はどのようにログを収集しているのか
Ubie で SRE をしている @kamina_zzz です。 Ubie では Kubernetes を GKE で運用しているんですが、GKE だと container の STDOUT がいい感じに Cloud Logging へと集約されていますよね。 この経路、以前は Fluentd が使われていたんですが、近年は Fluent Bit が使われています。 Fluent Bit になってからどのようにしてログを集約していい感じに Cloud Logging へ送信しているのか気になってしまったので今回はこの辺りをまとめてみます。 さしあたって今回使用するバージョンはこんな感じです。 Kubernetes: v1.18.16-gke.502 Fluent Bit: v1.3.11[1] GKE にバンドルされてるバージョンがこれ はじめに そもそも Fluent Bit の用語や仕
digdag の retry と for_each を使う時のハマりどころをなんとかして回避したお話 - Gunosy Tech Blog
はじめに ハマりどころ詳細 ワークアラウンド ワークアラウンド詳細 Require Operator で for_each を含む Workflow を別 attempt で実行する Require Operator の retry_attempt_name にランダム文字列を渡す retry_attempt_name をretry 後毎回評価し、静的な値として用いる 完成したコード まとめ はじめに DR & MLOps チームの菊地です。 弊チームはデータ処理のための Workflow Engine として digdag を採用していますが、この記事では digdag を利用する中で出会った、あるハマりどころとそのワークアラウンドを紹介したいと思います。 ハマりどころ詳細 ハマりどころは retry と for_each Operator を組み合わせて利用した場合に発生するもので、下
登壇者 古橋貞之 (Treasure Data, Inc. Chief Architect) 2011年筑波大学在学中にシリコンバレーに渡り米Treasure Dataを創立。MessagePack、Fluentd、Embulk、DigdagなどのOSSプロジェクトを立ち上げる。未踏ユーススーパークリエータ、日本OSS貢献者賞、MIT Technology Review Innovators U35 Japan受賞。得意技は分散システムとシステム設計。 小林隆浩 (NTTデータグループ) さまざまなプロジェクトで基盤担当のエンジニアとして経験を積む。中でもデータベースに関する設計、運用、トラブルシューティングなどの業務で実績があり、得意とするDBMSはOracle DatabaseおよびPostgreSQL。データベースや基盤技術に関するコミュニティーに積極的に参加し、国内外のカンファレン
Treasure Data CDPは、170を超えるテクノロジー・ツールとのデータ連携が可能です。
この記事に関連する話題: ソフトウェアエンジニア、カナダに渡る。 2021年2月26日現在の情報です。最新の情報は必ずカナダ政府の "COVID-19: Travel, quarantine and borders" を確認してください。 現地時間2月22日（月）からカナダ政府による新たな入国規制が施行された。『トレジャーデータ株式会社を退職して Treasure Data (Canada) に入社しました』のために、そのわずか4日後に入国をするというレアな経験ができたので、情報が新鮮なうちにまとめておく。繰り返しになるが、状況は日々変わっているので最新情報は必ず公式で確認してほしい。 まず、これまでの規制と合わせて、2月22日以降カナダに入国可能な人たちに課されている主な制約は次の通り（太字が新ルール）： 公式アプリ ArriveCAN をインストールの上、「隔離期間中の滞在先」および「
200年〜2005年の間にCalifornia Digital Corporationに在籍し、スーパーコンピューター「Thunder」の開発に携わる。2005年にはペタスケール対応のオープンソースの分散ファイルシステムを提供する Glusterを創業しCTOに。2011年に同社はRed Hatに買収され、2014年にRed Hatを離れた後にMinIOを創業する。自社の事業の傍ら、Treasure DataやHumio、Helpshift、Procurify、Postman、YugaByteなどさまざまなテック企業の投資家・アドバイザーとしても活躍している。 「前職では、分散ファイルシステムに力を入れていました。データの爆発的増加に悩む人たちが多くなっていたのです。オープンソースのおかげで大規模なコンピューターインフラを構築できるようになっていますが、データ領域はそれほどオープンではあり
概要 わたしたちトレジャーデータは、データ分析を通じてマーケティング・セールス・コンタクトセンターなど様々な部門の顧客体験向上に貢献しています。そのために独自のデータ分析基盤をHive, Trinoといった多くのミドルウェア、アプリケーションと組み合わせて運用構築を行なっています。さらにはその基盤となる多くのツール（Fluentd / Embulk / Digdagなど）を開発し、OSSとして公開してきました。これまでのチャレンジについては過去に開催してきた以下のような多くのイベントで紹介しています。 Embulk & Digdag Online Meetup 2020 “PLAZMA” for DATA ENGINEERS その他の過去のイベント 現在、カスタマーデータプラットフォームを展開するにあたり高度な顧客ジャーニーを実現するジャーニーオーケストレーションの裏側についてや、グローバ
はじめに EmbulkでTreasure Data(以降、TD)のテーブルからAWS S3にCSV出力しなくても、TDの機能で出力すればいいでしょ、と思いますが、TDの機能でCSV formatterなど制約があって少し不便な時があるようです。 本記事では、EmbulkでTDテーブルからAWS S3にCSV出力する方法を記載しました。そして、TDで現状できないダブルクォーテーションでデータを囲ったCSVの出力を確認します。 前提 バージョン Embulk v0.9.23 embulk-input-td v0.2.3 embulk-output-s3 v1.5.0 その他 TDをまあ知っている。 Embulkをまあ知っている。 TDでの制約 TD WorkflowのResult Setting、QueriesのExport Resultsでは以下の制約があります。 CSV formatter
Data Engineering Study #20「10年戦えるデータ分析入門」※ハイブリッド開催 (2023/06/30 18:00〜)
過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。 開催内容 概要 本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。 複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。 質疑応答の時間には、ゆずたそ氏（@yuzutas0）にもご参加いただきます。 プログラム第20回「10年戦えるデータ分析入門」 基調講演「さらに10年戦えるかもしれないデータ分析入門 〜AIとDXの時代をこの先生きのこるには〜」 青木峰郎氏（@mineroao
モダンデータスタック カテゴリ紹介 #1 『ETL Tools(ETLツール)』 – Modern Data Stack Categories Overview Advent Calendar 2023 | DevelopersIO
モダンデータスタック カテゴリ紹介 #1 『ETL Tools(ETLツール)』 – Modern Data Stack Categories Overview Advent Calendar 2023 当エントリは『Modern Data Stack Categories Overview Advent Calendar 2023』 1日目のエントリです。 Modern Data Stack Categories Overviewのカレンダー | Advent Calendar 2023 - Qiita Modern Data Stack Categories Overview Advent Calendar 2023 の記事一覧 | DevelopersIO データ分析、データを扱う世界では昨今『モダンデータスタック(Modern Data Stack/MDS)』という考え方、サービス
今やあらゆる企業、あらゆるビジネスでDX（デジタルトランスフォーメーション）は避けて通れません。 電通・電通デジタルはクライアントのDXを推進し、そのビジネスを加速するために、国内屈指のCDP （カスタマーデータプラットフォーム）「Treasure Data CDP」を提供するトレジャーデータとの協業を開始しました。 DX時代のマーケティングには、データ基盤と顧客体験の二つのエンジンが必須となります。マーケティングカンパニーである電通・電通デジタルが、トレジャーデータと組んでつくり出す新しい顧客体験とはどんなものか、本連載ではお伝えしていきます。 今回はトレジャーデータでデータビジネス セールスディレクターを務める高木一成氏と、電通で事業変革支援を推進する三浦旭彦氏、電通デジタルでDX支援を手掛ける魚住高志氏の3人に企業のDX実現に向けた要諦を聞きました。 ＜目次＞ ▼DXを進めるために必
Google Compute Engineのインスタンスに自動でGoogle Cloud Operationsのエージェントがインストールされるようにする - YAMAGUCHI::weblog
はじめに こんにちは、StackdriverあらためGoogle Cloud Operations担当者です。今回は担当分野の新しい機能について紹介します。本記事はGoogle Cloud LoggingやGoogle Cloud Monitoringというものがなにかをすでに理解されている方向けに書いています。 TL;DR Agent Policyを使うことで、Google Cloud LoggingとGoogle Cloud MonitoringのエージェントをGCEインスタンス作成時に自動でインストール＆起動させられるようになる。 Google Cloud Logging + Google Cloud Monitoring on Google Compute Engine Google Cloud LoggingやGoogle Cloud MonitoringはGCPが提供するログと
1. 効率的なデータのシリアライズを求めてとあるプロジェクトで、Dockerコンテナ上で動くWEBアプリケーションを開発しています。 それぞれのコンテナは互いに通信を行う必要があります。 どのようなデータのシリアライズフォーマットが良いか、調べて見ることにしました。 Web APIと言えばJSONでやり取りするREST APIが主流ですね。 JSONやXMLは人間でも読みやすいデータ形式ですので、その点はとても大きな利点です。 しかし、データサイズという点においては、JSONやXMLはあまり良くありません。 頻繁にやり取りを行うAPIになればなるほど、データサイズやレスポンススピードは重要になってきます。 2. データのシリアライズフォーマット４種類のデータ・シリアライズフォーマットを比較してみたいと思います。 2.1 Protocol BuffersProtocol BuffersはGo
Google Cloud Platformのワークフロー Google Cloud Platform（GCP）では、ワークフローサービスが２つあります。Cloud ComposerとCloud Workflowです。しかしこの２つのサービスですが、Cloud ComposerはPythonゴリゴリ感、Cloud Workflowはyaml地獄感がすごい。（個人の感想です。） 小中規模のワークフローをサクッと作りたいときってないですか？ そういう時は、OSSのワークフローエンジンであるDigdagを使うことをオススメします。 Digdagとは OSSのワークフローエンジンDigdagとは、公式ドキュメントを引用すると次の通りです。 Digdag is a simple tool that helps you to build, run, schedule, and monitor compl
Treasure Data User Engagement
STEP 1. Treasure Data CDP理解 STEP 2. Treasure Data CDPの管理機能 STEP 3. ユーザー管理 STEP 4. Policy Based Permission STEP 5. システムリソース管理
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scala を使っている海外有名(big) tech 企業の紹介
代表的なワークフローエンジンをまとめて紹介！ | 株式会社無限
【投資家の目④】こんなにも違う！海外と日本スタートアップの役員構成や持株比率 › ガイアックスオフィシャルサイト
株式会社Play Technologiesで働き始めました - petitviolet_blog
Treasure DataにQiitaの情報公開停止を依頼してみた。 - Qiita
2021年版ワークフローエンジンの紹介 - Qiita
digdag × Rubyで動的ワークフロー！ - ITANDI Engineer Blog
トレジャーデータ、CDPの“Beyond Marketing”を掲げ2製品をリリース
Digdagの_export時のエラーは_errorのタスクが実行されない - Qiita
ゼロトラストの世界でデファクトに ―日本市場に本格進出のHashiCorpが事業戦略を発表 | gihyo.jp
Database Engineering Meetup #1 (2023/12/20 19:00〜)
データ連携 - CDP（カスタマーデータプラットフォーム）のTreasure Data
コロナ禍でのカナダ渡航（2021年2月26日・入国後PCR検査義務化後）
Amazon S3互換ストレージをあらゆる環境に展開可能 人気のオープンソースMinIO その哲学とは
Treasure Data Tech Talk 2024｜IT勉強会・イベントならTECH PLAY［テックプレイ］
EmbulkでTreasure DataのテーブルからAWS S3にCSV出力する
企業のDXが進まないのは「2つのエンジン」が欠けているからだ！ | ウェブ電通報
Dockerコンテナ間の通信をするためにベストなデータのシリアライズ方法とは
Google Cloud Platformでサーバーレス・フルマネージドDigdag（環境構築編） - Qiita