構想は半年ほど前？ここ一ヶ月ほど集中して開発に取り組んでいた、Fluentd向けApache Arrowプラグインがようやく動くようになったので、今回はこちらのモジュールについてご紹介します。 そもそもPG-Stromは、IoT/M2M領域で大量に発生するデータを高速に処理できますというのがセールスポイントで、GPU-Direct SQLはじめ、各種の機能によってそれを実現しているワケですが、実際に運用する際には、発生したデータを『どうやってSQLで処理できるようDBにインポートするか？』という問題があります。 例えば、PostgreSQLに一行ずつINSERTするというのも一つの解です。ただし、単純なI/Oに比べると、DBへの書き込みはどうしても処理ボトルネックになりがちです。 そこで、大量に収集するログデータを、少ない時間ロスで（つまり一時ファイルに保存したデータを再度DBにインポート
Amazon EMR のバージョンアップ 3/3：Presto から Trino への移行 - Repro Tech Blog
前回の続きです。 EMR 5.36.1 から EMR 6.15.0 への更新 使用するアプリケーションのバージョンは以下のようになりました。OS は Amazon Linux 2 です。 アプリケーション等 EMR 5.36.1 EMR 6.15.0 Tez 0.9.2 0.10.2 Hue 4.10.0 4.11.0 Hive 2.3.9 3.1.3 Hadoop 2.10.1 3.3.6 Presto 0.267 0.2831 Trino N/A 426 Hive, Hadoop, Tez については前の記事で確認済みなので、ここからはそれ以外の要素について検討していきます。 一番問題になったのは Presto から Trino への移行です。Trino 移行に関係して発生した事柄を列挙します。 Datadog Agent の設定変更 任意の期間の指定したタイプのクエリを実行して結果の
トレジャーデータは11月5日、新経営陣によるビジネス戦略を発表した。10月1日付けで日本法人の社長執行役員に就任した三浦喬氏は「成長するCDP（Custromer Data Platform）市場にあって、トレジャーデータのシェアは市場の伸び以上に拡大している。今後は米国や日本のCDP市場で先行して培ってきた強みを武器に成長著しいAPAC(アジアパシフィック)へ本格進出し、デジタルトランスフォーメーションを支えるエコシステムを確立していきたい」と語り、APACのCDP市場を拡大する意向を示している。 ArmのIoTサービス部門から再び独立企業へ トレジャーデータの親会社である米Treasure Dataは、2018年8月に英Armに買収され、以降、Arm Treasure DataとしてArmのIoTサービス部門として機能してきたが、2020年9月に発表された米NVIDIAによるArm買収
PCやデータベース、クラウドサービス上に散らばったデータをnehanに連携し、データを活用する準備をしましょう。 Amazon S3 Google BigQuery snowflake Treasure Data MySQL Google Analytics salesforce Hubspot kintone Zoho CRM 等。
「DWH・BIツールのこれまでとこれから」Data Engineering Study #1イベントレポート | trocco®(トロッコ)
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか（Why）」「どんな要素が必要なのか（What）」「どのように実現するのか（How）」の3つに分けて語られました。 ゆずたそ氏：「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Last modified: July 13, 2021 Treasure Data officially part of Softbank Vision Fund 2*; Welcome Back Founding Leadership Team We are thrilled to announce that Treasure
New – EC2 M6g Instances, powered by AWS Graviton2 | Amazon Web Services
AWS News Blog New – EC2 M6g Instances, powered by AWS Graviton2 Starting today, you can use our first 6th generation Amazon Elastic Compute Cloud (Amazon EC2) General Purpose instance: the M6g. The “g” stands for “Graviton2“, our next generation Arm-based chip designed by AWS (and Annapurna Labs, an Amazon company), utilizing 64-bit Arm Neoverse N1 cores. These processors support 256-bit, always-o
Embulk & Digdag Online Meetup 2020｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要 COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました！ Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの２社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。 Youtube Live経由で配信します。https:
はじめに この記事は、AWS Advent Calendar 2020 最終日の記事です。 qiita.com また、Serverless Advent Calendar 2020の12/18(金)にも記事を書いてますので、よろしければそちらもお願いします。 qiita.com ところで みなさん、テスト書いてますか？ ...と言っといてあれですが、正直僕も今年の前半までは、ほとんどテストを書いてませんでした。(なかなか本腰を入れられなかったのもありますが) でも、秋くらいから本格的にJestを勉強してテストを書いたら、考えがまるっと変わりました。 いやあ、テストは良いわ。てか絶対テストを書くべき。 テストを書くことにより受けられるメリットは、本当に大きいです。 「そんな時間あるならプロダクトコードを...」と思うかもしれませんが、受けられるメリットの大きさを考えたら、テストコードを書く時
Huge SQL Loads? Check Out These Benchmarks: AWS Graviton2 with Presto and Treasure Data CDP
High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP Last modified: March 4, 2022 High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP In December, AWS announced new Amazon EC2 M6g, C6g, and R6g instance types powered by Arm-based AWS Graviton2 processors. It is
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた | Democratizing Data
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。 自分がこの言葉を知ったのは、前職でCloudera Navigatorという製品を扱ったときにこの機能が実装されていることを知りました。 引き継いだ複雑なSQLなどのワークフローを渡されたときに、どういう流れになっているのかを可視化できるのがとても魅力でした。 Cloudera Navigatorのlineage。 https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cn_lineage_generation.html よりそんなlineageですが、Pythonの sqllineage というパッケージで分析・可視化できることを知りました。 sqllineage は Pythonで実装されているSQLのlin
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Armは英国時間7月7日、IoT Services Group（ISG）の2つの部門を、ソフトバンクが所有・運営する新組織に移管する計画を発表した。Armは中核的な半導体IP事業により集中できるようになる。 ArmはIoT PlatformとTreasure Dataの2つの事業をソフトバンクに移管する意向だ。 この事業移管は規制当局の承認と慣習的な完了条件の対象になり、2020年9月末までには手続きが完了する見通しだ。 Armは、移管される2つの事業との協業を継続する予定だと述べた。 Armの最高経営責任者（CEO）であるSimon Segars氏は声明で「Armはデータとコンピューティングの共生的な成長に大きな機会があると考えている
2020-03-31 Google Cloud Data Platform Day #2 #gc_dpday｜諏訪真一
2020/03/31 に開催された Google Cloud Data Platform Day #2 のイベントレポートです。 ●イベント概要 ビジネスの成長を加速させるクラウド型データ分析プラット フォームとは 企業におけるデータ活用が進む中、データマネジメント、データ分析を支える分析基盤は重要になっています。Google Cloud はフルマネージドで実績のあるデータ分析プロダクト（BigQuery、Cloud Dataproc、Cloud Dataflow など）や、サーバーレスのアプローチでデータ分析基盤の複雑な運用をなくし、ビジネス上の重要な意思決定を迅速かつ効率的に行うことができるプラットフォームを提供しています。 本セミナーでは、データプラットホームとしてオンプレやクラウドをご利用中のお客様に、これからの Data Warehouse、Data Lake、Stream An
週刊Railsウォッチ: RubyのGVLトレーサーgvl-tracing、casting gemでオブジェクトに振る舞いを追加ほか（20220802後編）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） お知らせ: 来週および来来週の週刊Railsウォッチはお盆休みをいただきます🍉。次回は8/22（月）を予定しています。 🔗Ruby 🔗 gvl-trac
第313回NRIメディアフォーラム
Cookielessで再構築が必須となるデジタルマーケティング 2021年5月25日 株式会社野村総合研究所 コンサルティング事業本部 マーケティングサイエンスコンサルティング部 主任コンサルタント 田中渚子 NRIデジタル株式会社 ビジネスデザイン 上級システムコンサルタント 矢治健吾 株式会社野村総合研究所 未来創発センター データサイエンスラボ 上級研究員 広瀬安彦 第313回 NRIメディアフォーラム 訂正版 2 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 目次 Cookielessで再構築が必須となるデジタルマーケティング １．日本のデジタルマーケティングにおけるCookie活用 ３．Cookielessが及ぼすデジタルマーケティング業界への影響 ２．Cookielessをめぐる最新動向 ４
リンク TECH PLAY Presto Conference Tokyo 2019｜IT勉強会ならTECH PLAY［テックプレイ］ 2019/07/11（木）開催 日本で最初のPresto Conference Tokyo 2019�を7/11(木) 13:00よりArm Treasure Dataの主催で開催します。Prestoクリエーターの3人を招いた豪華ゲストとともに、400社を超える企業に活用されている分散SQLエンジンの現在と未来について議論します。 4 users 150
はてなブログ独自の集計による人気記事のランキング。7月24日（日）から7月30日（土）〔2022年7月第5週〕のトップ30です*1。 # タイトル／著者とブックマーク 1 【特商法3条】最近なぜか訪問販売がしつこかったので撃退用の法律おさらい - 頭の上にミカンをのせる by id:tyoshiki 2 『チェンソーマン』藤本タツキ先生が影響受けた、オススメしている作品【映画編】 - 社会の独房から by id:Shachiku 3 データサイエンティストは何を勉強すべきか：「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ by id:TJO 4 Treasure Data を退職しました - k0kubun's blog by id:k0kubun 5 《他者》をスパイスとする搾取性と、デート文化におけるアジア人女性フェチ - It all depend
はじめにスイス・ジュネーブに本社があるSonarSourceに転職が決まりました。 自分がこの会社を受けた際、スイスでエンジニアをしている人の情報をほとんど見つけることができなかったこともあり、自分が持っている情報を積極的にオープンにして行きたいと思い筆を取りました。 また、私は自身もさまざまな方に助けられて転職が決まったので、自分と同様の思いを持つ方の手助けになりたいと思っています。 詳しくは以下のpodcastでも話しています。 転職先について2006年創業で、SonarCloudやオープンソースのSonarQubeといったClean Codeを実現するための解析ツールを開発している会社です。 スイス以外にもアメリカやフランスにオフィスがあります。2022年に$412M(600億円相当)の資金調達をしています。 SonarCloud Demoなぜスイスか結論から言うとスイスに行くことに
ソフトバンク、英Arm、博報堂は9月5日、企業のデータ分析・活用を支援する合弁会社「インキュデータ」を設立すると発表した。業種や部門を問わず、データ分析と、その結果を踏まえたマーケティング支援などを行っていく。「日本企業は英国や米国よりデータ活用で後れを取っている」とし、国内企業のデジタル化に商機を見いだす。 資本金は20億円。出資比率は非公開だが、ソフトバンクが50％超を占めるという。事業開始は10月1日を予定する。社長にはソフトバンクの藤平大輔統括部長が就く。取締役はソフトバンクが3人、博報堂が2人、Armが1人を派遣する。当初の社員は70人程度で、今後さらに採用を進める。 左から、Armデータビジネス担当バイスプレジデントの芳川裕誠氏、インキュデータの藤平大輔社長、ソフトバンクの今井康之副社長、博報堂の中谷吉孝常務執行役員 ソフトバンクは2012年からデータビジネスに取り組み、自動車
Nowadays, Presto is getting much attraction from the various kind of companies all around the world. Japan is not an exception. Many companies are using Presto as their primary data processing engine. To keep in touch with each other among the community members in Japan, we have just held the first ever Presto conference in Tokyo with welcoming Presto creators, Dain Sundstrom, Martin Traverso and
英Arm、9月をめどにIoT部門を切り離しへ
英Arm（アーム）は、同社のIoT Services Group（ISG）を切り離し、親会社であるソフトバンクグループの傘下に移行する組織変更の予定を発表した（ニュースリリース）。ISG切り離し後は、中核である半導体IPコア事業へ注力するという。 Armは、ここ数年、IPコアだけでなくIoTの企業として成長する戦略を表明していた。例えば、ソフトバンググループ傘下になった翌年のプライベートイベント「Arm TechCon 2017」 では、展示会場の半分をIoT関連に充てた（関連記事：転身するArm、CPUコアの会社からIoTサービス会社へ）。しかし、昨年の「Arm TechCon 2019」の展示会場は、従来のように、基本的にIPコア関連一色に戻っていた。 今回の発表では、切り離し対象となるのはISGに属するIoTプラットフォームと米Treasure Dataとされる。すなわち、Armの「
AWS Graviton2 を搭載した新しい EC2 M6g インスタンス | Amazon Web Services
Amazon Web Services ブログ AWS Graviton2 を搭載した新しい EC2 M6g インスタンス 本日より、第 6 世代の Amazon Elastic Compute Cloud (EC2) 汎用インスタンスである M6g をご利用いただけます。「g」は「Graviton2」を意味します。これは、AWS (および Amazon のグループ企業である Annapurna Labs) が 64 ビット Arm Neoverse N1 コアを使用して設計した次世代の Arm ベースのチップです。 これらのプロセッサは、256 ビットの常時オンの DRAM 暗号化をサポートしています。また、第 1 世代の Graviton と比較して浮動小数点演算の性能を 2 倍にするデュアル SIMD ユニットが含まれており、機械学習の推論ワークロードを加速する int8/fp16
請求書発行のためにEmbulkを使って爆速でデータを集約した話 - 一休.com Developers Blog
こんにちは。宿泊開発チームの菊地です！ このエントリは 一休.com Advent Calendar 2023 12日目の記事です。昨日は id:rotom によるSlack Enterprise Grid における情報バリアの設計でした。その他の素敵なエントリも以下のリンクからご覧ください。 qiita.com 私はEmbulkを使って、各プロダクトの請求データを集約する機能を担当しました。今回は、Embulkの紹介とふりかえりをしていきたいと思います！ 背景 課題 解決策 Embulkとは？ 今回の課題に対してEmbulkがマッチした理由 union: 複数のデータソースを連結する config.ymlの記述例 lookup: 複数のデータソースを結合する config.ymlの記述例 ふりかえり とくに良かったこと config.ymlの取り回しのよさが開発スピードをあげてくれた c
※この記事は、ブログリレー企画 #SaaSLovers 秋のブログ祭りへの6日目の寄稿です。 ベンチャーキャピタリストという職業柄（＆Treasure Data出身というキャリア柄）、起業家や大手事業会社の方から「データを使ったビジネスを検討しているので意見が欲しい」という相談をもらうことがよくあります。 ただ、人によってはそもそもデータというものの特性や位置付けについての前提認識が違うように感じることも少なくなく、それを揃えておいた方が建設的/発展的な議論がしやすいなと思うこともしばしばなので、今日は「データとはどういったもので、どう向き合えば良いか」という基礎的なテーマについて私見を綴ってみたいと思います。 要旨（結論）はタイトルの通りです。 データが「21世紀の石油」と言われる所以この言説がいつ、誰によって誕生したかはわかりませんが（もしご存知の方いれば純粋に気になるので教えてくださ
この記事は Gunosy Advent Calendar 2019 16日目の記事です。 前回の記事はサンドバーグさんのドライブレコーダを作り始めて見た Pt. 1でした！ はじめに 入社以前 入社後 プログラミング言語（サーバーサイド） Go Ruby プログラミング言語（フロントエンド） React.js・Vue.js TypeScript その他 Terraform Digdag 最後に はじめに こんにちは。広告技術部の中村（@johnmanjiro13）です。 19卒のエンジニアとして4月に入社しました。 今年のクリスマスでの個人的な楽しみは水曜どうでしょうの新作です。はい、キュー！ 今回は新卒として入った筆者が4月から12月まで働いてみて（実際には1月から内定者アルバイトをしていたので実質1年間）、入社時と現在で触れる技術にどのような変化があったのかを書こうと思います。 入社以
旅を繰り返し、自分だけの地図を塗りつぶしていく感覚。実績解除の瞬間はいつも気持ちがいい。 と同時に、「初めて」その地を踏む瞬間の興奮は一生に一度限りのものであり、その対象が着々と減っていくのはどこか寂しい気もする。 だから、僕は旅先ではあえて「次また来る理由」を残すようにしている。 いわゆる観光名所を全部は回らない。いきたいレストランのうち1つは諦める。スコットランドに来て一晩しか無いからと言って、パブをはしごしてリアルエール、スコッチウイスキー、ジン、ブリュードッグを飲みつくそうとしない。 しかし昨今の状況で世界は大きく変わった、はずである。繰り返し訪れたあの国のあの場所も、次に行くときには良くも悪くも全く違った体験をもたらしてくれるだろう。 これまで塗りつぶしてきた地図は思い出の品となり、まっさらな地図を手に入れたと言っても過言ではない。 どこへ行っても以前の常識や経験は当てにならず、
GitBucket はご存知、takezoeさんを中心に開発されている素晴らしい GitHub クローンです。 gitbucket.github.io 同僚が作ってるプロダクトをトレジャーデータと連携させた記事がないのはあかん！と、ふと思い立ったので、 GitBucketでTreasure Workflow (Hosted Digdag)のソースコードをGitBucketで管理しつつ、GitBucketにPushしたら自動でTreasure WorkflowにPushされるようにしてみます。 GitBucketの他に、これまたtakezoeさんのGitBucket CI Pluginを組み合わせてTreasure WorkflowへのPushを実現します。 github.com 注意: 下記ブログにもある通り、GitBucket CI Pluginを用いた連携はあくまでお試しの設定です。あ
ソフトバンクと博報堂、Armは9月5日、日本においてデータ活用による企業変革を支援する合弁会社「インキュデータ株式会社」を発表した。10月1日より始動する。 データ活用の戦略立案から、各種施策を実行するためのデータ活用や分析基盤の構築・運用・コンサルティングまでを一気通貫で提供し、各企業に最適化された戦略立案から施策実行までをカバーする。各フェーズで別々の企業に頼みがちだったデジタル戦略を1社のみで提供できるため、データ活用して変革しようとする企業を強力に支援できるという。 各社の役割として、ソフトバンクと博報堂では、B2Bビジネスでのネットワークを生かし、経営層・意思決定層との信頼関係構築や、事業・マーケティング戦略を担当。Armがデータ統合・管理基盤を提供する。また、得られたデータをもとにビジネスアクションを起こす施策検討・実行を、博報堂が担当する。 国内企業のデジタル化にあたっては、
2017年に技術評論社から出版された「ビッグデータを支える技術」を増補改定し、2021年版として新たに出版されることになりました。 WEB+DB PRESS plusシリーズ ［増補改訂］ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ https://gihyo.jp/book/2021/978-4-297-11952-2 改訂の背景 本書では、筆者がトレジャーデータ株式会社に在籍していたときの経験をもとに、「ビッグデータを扱うシステムがどのように構築されているか」という基礎的な概念を解説しています。今回の改訂版では、記述が古くなってしまった部分を手直ししたのに加えて、機械学習やコンテナ技術などの話題をいくつか盛り込みました。 本書の概要については次のページにまとめられています。 本書について ―改訂にあたって もともとは旧第６章のサンプルコードを書き直すくらいのつ
トレジャーデータ株式会社（以下「当社」といいます）は、当社が定める個人情報保護方針に基づき、当社が取り扱う個人情報について以下の通り定めます。 当社が公表しております、個人情報取り扱いに関連したウェブページの一覧と概要につきましては、以下のページで説明しております。 よくあるご質問：弊社の個人情報保護関連文書の位置づけについて 個人情報の取扱いについて 1. 個人情報保護管理者に関する事項 個人情報保護管理者の氏名：Javier Lavandeira 所属部署：Information Security 部 連絡先：以下 7.(1)まで
推定企業評価額100億米ドルを超える配車サービスGrab（グラブ）とGojek（ゴジェック）を皮切りに、ユニコーンを10社以上輩出するなど、盛り上がりを見せる東南アジアスタートアップ。 その多くはECやゲーム関連サービスなどtoC向け企業が大半を占める。一方で、SaaS企業はユニコーンには見当たらない。 「東南アジアでは人件費や商習慣の壁からSaaSの普及は遅れているが、従来のSaaSの形にとらわれないビジネスモデルを展開するスタートアップが増えている」とジェネシアベンチャーズの鈴木氏・相良氏は語る。 巨大な人口を背景に、スタートアップへの投資が急伸しているインドネシアを中心に、toBスタートアップの事例や日本のSaaS進出の可能性について2人に話を伺った。 東南アジアのSaaS普及の壁、「年額先払い」「安い人件費」東南アジアにおける、SaaSスタートアップの現状を教えてください。鈴木 隆
Pythonistaのためのdigdag py> operator開発ガイド | Democratizing Data
Table of Contentsこの記事は、Arm Treasure Data Advent Calendar 2019の24日目です。 今年の夏に新しくTreasure Dataで使えるようになったPython Custom Scriptingですが、 開発する際にどういう点を気をつければ良いのかという質問をいただくことが多いので、 今日はTreasure Workflowとdigdagのpy> operatorを使った開発の際に気をつけることを書いて行こうと思います。 なお、Treasure WorkflowとありますがOSSのdigdagでも活かせる内容があると思います。 なお、既にPython Custom Scriptingが試せる環境にある方は、このGoogle Colab notebook https://bit.ly/191212_cs で一通り試すことが出来ます。 wo
Arm Treasure Dataは10月15日、上下水道管も電線もないところでも暮らせることをコンセプトにした、オフグリッド型コネクテッド住宅「OUTPOST」を発表した。2030年をメドに供給開始を目指す。 英Armの日本法人であるトレジャーデータがデータマネジメントプラットフォームを提供し、エムテドがデザインなどを担当。VRをはじめとする総合開発支援は日南が請け負う。加えて、下記の企業が参画しており、各社の得意分野を持ち寄り、開発をすすめる考えだ。 WOTA（水循環装置の提供） X-TANKインダストリーズ（グローバル展開支援） Origin Wireless Japan（Wireless AIによる無線センシング技術の提供） 電源開発（エネルギー・環境分野の知見等を提供） HEART CATCH（企画プロデュース・スタートアップネットワーク提供） ピーエス工業（温湿度環境管理ソリュ
【7/14-16 オンライン開催】イベント「PLAZMA 12」開催 ~ Data saves the world"?" ~ - PLAZMA by Treasure Data
PLAZMA 12Data saves the world”?” 2020年7月14日(火) 〜 16日(木) オンライン開催 参加費無料（登録制） 終了しました アーカイブ動画を各記事のリンクからご覧いただけます。 PLAZMAとは？ VUCA（予測不能）の時代にデータとテクノロジーをドライバーとして、ビジネスや社会、そして自身のデジタルトランスフォーメーションをいかに加速させていくか。COVID-19は地球規模での社会様式の変化をもたらしました。ビジネスに与える影響も甚大で、強みは弱みに、価値は負債に転換し、企業活動の基軸が失われた企業も少なくはありません。 政府や公的機関も同様で、試行錯誤と模索が続いています。しかしこの混迷の時代にあって、市民に進むべき光を指し示す公的機関や、柔軟な方針転換を可能にしている企業も少なからず存在しています。では何がその明暗を分けているのでしょうか？ そ
この記事はArm Treasure Data Advent Calendar ６日目の記事です。 データサイエンスを行う上でPythonはデファクトスタンダードとなっているプログラミング言語です。多くのデータサイエンティストはPythonを通して様々なライブラリ、データソース、フレームワークを利用して日々の仕事に取り組んでいます。そのようなニーズを満たすため分散処理基盤、SaaSの多くがPythonでアクセス可能な機能を提供しています。Pythonはデータサイエンティストが大規模な分散処理基盤を利用する上での共通言語の役割を果たすようになってきました。 PySparkもそのようなインタフェースのひとつで、ユーザはPythonを使ってSparkの分散処理リソースを利用することができます。PySpark自体はApache Sparkのコミュニティからリリースされているライブラリですが、今回はこ
Hive Distributed Profiling System in Treasure Data - Japanese version #tdtechtalk
『Hive Distributed Profiling System in Treasure Data』の日本語版スライド。 English version -> https://speakerdeck.com/okumin/hive-distributed-profiling-system-in-treasure-data-english-version-number-tdtechtalk TreasureData Tech Talk 2022にて発表 https://techplay.jp/event/879660
※具体的なアンケートの質問は不明？ この記事 ↑の上位20製品について、簡単に調べてみました。 私がよく知らない製品（Flyteとか）、みんな知っているだろう製品（Sparkとか）は記載薄めです。 なお、私の知識は 知っている Apache Airflow, Trino, Prefect, Apache Spark, Amundsen, Apache Flink, Apache Kafka,Apache Duid, pandas 名前だけ知っている dbt, Apache Pinot, Apache SuperSet, Great Expectations, Dask, Apache Arrow, Apache Gobblin 知らない Dagster, Flyte, RudderStack, Ray な感じです。 目次 dbt Apache Airflow Apache Superset
トレジャーデータ（Treasure Data）のチーフアーキテクト・古橋貞之は、多くの人々に使われ、人々の役に立つソフトウェアをつくることの重要性をより強く感じている。 by Yasuhiro Hatabe2024.06.19 1 1 トレジャーデータ（Treasure Data）の創業者の1人であり、同社チーフアーキテクトを務める古橋貞之は、2021年、「Innovators Under 35 Japan （35歳未満のイノベーター）」の1人に選ばれた。トレジャーデータは2018年に半導体設計大手のアーム（ARM）によって買収された企業として知られているが、その後2021年にアーム傘下から外れ、現在は独立した事業者となっている。 トレジャーデータは、カスタマー・データ・プラットフォーム（CDP）をサービスとして提供する企業だ。CDPは、顧客の購入履歴や広告閲覧履歴、SNSの投稿など多種多
お知らせ 誠に残念ですが、Embulk & Digdag Meetup 2020の開催の延期をご報告いたします。 新型コロナウイルス感染症(COVID-19)の被害拡の状況下において、今回のミートアップ開催は望ましくないと判断し、延期させていただくこととなりました。 4月以降に状況を鑑み、再度ミートアップの企画させていただきますので、楽しみにお待ちください。 概要 Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを2020年初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO Technologi
Treasure Academyのご紹介 - Treasure Data - Support Engineering Team blog
Treasure Data サポートの上加世田です。 2020年4月より、Treasure Dataで初となるTDユーザ様向けの有償トレーニングとしてトレジャーアカデミーを提供開始致しました。 https://www.treasuredata.co.jp/service/training/ 受講できるコースは2つあり、それぞれ修了試験に合格することで修了証を受け取ることができます。 先日遅ればせながら私も全ての修了試験を受けて晴れて修了証を手に入れましたので、紹介させて頂きます！ ２つのコース Treasure Academyでは、Treasure CDPを有効活用していただくために必要である「ビジネス」と「技術（テクノロジー）」双方の立場を担う方それぞれに向けたコースを提供しています。コースを通して受けることでお互いの認識も高まって、よりスムーズにプロジェクトを押し進められるようになると
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd向けApache Arrowプラグインについて - KaiGaiの俺メモ
トレジャーデータ、新経営陣によるビジネス戦略を発表
分析ツールnehanとは
Treasure Data Company Announcement
【AWS】aws-sdk-mockでLambdaテストを行う - echo("備忘録");
Arm、IoT事業をソフトバンクに移管する計画--半導体IP事業に注力
Presto Conference Tokyo 2019のツィートまとめ #prestosql
今週のはてなブログランキング〔2022年7月第5週〕 - 週刊はてなブログ
スイス企業に転職が決まった話｜Yosuke Asai 🇨🇭
ソフトバンク、Arm、博報堂が合弁会社 日本企業のデータ活用を支援 “世界への遅れ”取り戻す
A Report of First Ever Presto Conference Tokyo
データは21世紀の石油ではなく、再生可能なユーザー体験の副産物である｜Shunsuke Sagara
Pythonしか知らない新卒がGunosyに入るとこうなる - Gunosy Tech Blog
まっさらな地図を手に入れた
GitBucketとTreasure Workflowの連携 - Secret Ninja Blog
ソフトバンク、Arm、博報堂が新会社「インキュデータ」設立--企業変革をデータ活用で支援
「［増補改訂］ビッグデータを支える技術」を書きました - Qiita
個人情報に関する公表文 - CDP（カスタマーデータプラットフォーム）のTreasure Data
発展途上の東南アジアSaaS、日本勢の活路は「バーティカル」にあり｜INITIAL
上下水道管、電線がなくても暮らせるがコンセプト--オフグリッド型コネクテッド住宅
PySparkをTreasure Dataと使う｜Kai Sasaki
"the most popular OSS data projects"を眺めてみる（1位〜10位）
古橋貞之：世界中で使われるソフトウェアを作る日本人プログラマー
Embulk & Digdag Meetup 2020｜IT勉強会ならTECH PLAY［テックプレイ］