こんにちは。ECプラットフォーム部 推薦基盤チームで、DWH・DMP・広告まわりのデータエンジニアリングを担当している大谷です。 本記事では、マーケティング部門の広告運用のインハウス化に伴ってこれまで取り組んできた広告データの収集と活用、その仕組みにフォーカスして事例をご紹介します。 背景 データの収集と活用 Arm Treasure Data Integrations Hub ログ収集 アクセスログ 検索インプレッションログ Workflow フィードローダー (Google) レポーティング Googleスプレッドシート × BigQuery CausalImpact (Google) まとめ 背景 ZOZOでは事業・開発部門を問わず、様々な部門のスタッフが各自の業務に必要となるデータを取り扱い、レポーティングなどに活用する文化が根付いています。社内では人づてにデータを扱うノウハウが伝
大切なお客様とパートナーの皆様へ ソフトバンクとNvidiaは、NvidiaがArmを買収することを正式に合意したと発表しました。 今回の取引には、トレジャーデータとArmのIoTプラットフォーム事業で構成されるArmのIoTサービスグループ(ISG)は含まれていません。 Armは7月に、トレジャーデータをArmのコア事業である半導体IPライセンス事業から分離し、トレジャーデータを独立した事業として運営できるようにするための譲渡案を発表しました。 当社事業の分離は計画通り進んでおり、NvidiaによるArmの買収が成立する前には完了する予定です。当社のサービスやサポートには変更はございません。 トレジャーデータは、カスタマーデータプラットフォーム事業に注力し、顧客体験を向上させる価値あるインサイトを提供することをお約束します。 今後ともご支援、ご協力を賜りますようお願い申し上げます。 20
Amazon Web Services ブログ Fluent Bit による集中コンテナロギング 本投稿は Wesley Pettit と Michael Hausenblas による寄稿を翻訳したものです AWS はビルダーのために作られています。ビルダーは常に最適化の方法を模索し、それはアプリケーションのロギングにも当てはまります。全てのログの重要性が同等ということはありません。あるログはリアルタイムの分析を必要とし、他のログは必要となった時に分析が行えるよう単に長期間保管しておくことを必要としたります。それ故に AWS とパートナーが提供する様々なストレージや分析のツールに容易にログをルーティングできることが重要です。 そこで私たちは Fluent Bit をサポートし、コンテナ化されたアプリケーションから AWS やパートナーのログ保存ソリューション、ログ分析ソリューションへのログ
Rails Governance
As some questions have been raised about how the Rails project’s governance functions, we’d like to clarify how the team is structured and how we operate: Ruby on Rails is an Open Source project run by the Rails Core team. In addition to the Core team we have two additional teams - the Committer team who can merge code changes, as well as the Issues team who can triage issues and merge documentati
ArmがIoT部門をソフトバンクに移管すると発表
ARMアーキテクチャで知られる半導体設計企業のArmが、モノのインターネット(IoT)部門の一部をソフトバンクグループに移管する計画を発表しました。Armは今後、主力である半導体事業に注力していくと述べています。 Arm intends to strengthen focus on core semiconductor IP – Arm https://www.arm.com/company/news/2020/07/focus-on-core-semiconductor-ip-business Arm proposes spinning off IoT businesses into new Softbank-owned entities | ZDNet https://www.zdnet.com/article/arm-proposes-spinning-off-iot-busines
ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化 - Pepabo Tech Portal
こんにちは！GMOペパボで Customer Ops を担当しているもりまい（@morimai）です。今回は、2020年7月に発足した CS 室の Customer Ops チームで取り組んでいる「ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化」について紹介します。 CS がひとつになった！Customer Ops チーム立ち上げ CS 室の課題 ペパボのログ活用基盤『Bigfoot』を使った Zendesk の問い合わせデータの可視化 (1)Zendesk のデータを BigQuery へ取り込む (2)BigQuery へ取り込んだ Zendesk のデータをサービスごとのデータセットに振り分ける (3)サービスごとに振り分けられたデータを集計、グラフ化する まとめ CS がひとつになった！Customer Ops チーム立ち上げ 元々ペパボでは、活動拠
ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ
研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform（以下 GCP）を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com
焼き鳥屋で刑法学者と意気投合してコインハイブ事件について書き出すだけの難儀なお仕事 - 白のカピバラの逆極限 S.144-3
JavaScript で仮想通貨を採掘するコインハイブというライブラリがありました。 コインハイブ事件というのは、この仮想通貨をマイニングするプログラムコードを自身の管理するウェブサイトに設置したところ、不正指令電磁的記録保管罪(刑法168条の3)に問われたというものです。 このコインハイブ事件に関して、「アプリ開発の実務を踏まえた不正指令電磁的記録に関する罪の一考察 －コインハイブ事件を契機としてー」というタイトルで千葉大学の紀要に書き、千葉大学のページ上で PDFでも公開されました。 https://opac.ll.chiba-u.jp/da/curator/900119535/S09127208-36-1-P056.PDF https://opac.ll.chiba-u.jp/da/curator/900119535/ 内容に入る前に、まずは、この事件に関わっている、被告人、弁護士、
前回はベイエリアでの収入や支出についてまとめたが、今回はUS生活でのお金に関するそれ以外の話、具体的には銀行、クレカ、投資、年金などについてこれまで調べたり考えたりしたことを書いておく。 日本に住んでる人でも、金利が0.01%や0.001%の普通預金をメインで使っていたり*1、クレカのポイント還元率が1%だったり、確定拠出年金をやってなかったりする人にはその辺りを見直すきっかけになる話もあるかもしれない。 方針 資産運用が趣味でも仕事でもなく、何もしなくても金がいっぱい増える仕組みが欲しい人を念頭に置いている。普段ほぼ運用に手間をかけずに生活し、1年に1度くらいなら運用に手間をかけてもいいが、それ以外の時間はプライベートや自己投資*2に費したい場合のお金の最適化について書いている。 銀行 Checking 現金の出し入れに使う口座。Savingsの方が一般に金利が高いので、ここには普段ほと
バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
これはなに RubyKaigi 2024に関する情報を有志でまとめている非公式ページです。 編集に興味がある方はruby-jpの#scrapboxチャンネルから参加できます。 概要 公式ページ: RubyKaigi 2024 日程: 2024-05-15〜2024-05-17 会場: NAHA CULTURAL ARTS THEATER NAHArt (那覇文化芸術劇場なはーと) (沖縄県那覇市) オフラインのみ 事前イベント 4/16(火) 19:00 - 22:00 第229回 Okinawa.rb Meetup @ SAKURA innobase Okinawa🌸（in-person） 4/23(火) 19:30 - 21:30 RubyKaigi 2024 タイムテーブル徹底解説（in-person） 4/25(木) 19:00 - 21:30 RubyKaigi 2024事前勉
エンプラSaaSの可能性、日本の10兆円超えのエンタープライズソフトウェア市場｜高橋亮祐@Acompany CEO
先日、ALL STAR SAAS FUNDの2024年のSaaS業界「5大トレンド」の予想が実施されていました。その中でSaaS企業の変化として「エンタープライズシフト」が紹介されました。エンタープライズシフトとは、これまでSMBが中心だったSaaS企業がより市場と予算が大きい大企業（エンタープライズ）を狙う動きを指します。 2024年のSaaS業界「5大トレンド」を予想SMBを席巻してエンタープライズ領域に切り込んでいくというのは、とても綺麗なストーリーです。しかし、個人的には多くの場合この戦略は非常に困難が伴うと思っています。なぜなら、SMB向けソフトウェア事業とエンタープライズ向けソフトウェア事業はビジネスモデルが異なるものであるからです。結局のところ、このストーリーを成功させるというのはゼロからエンタープライズ向けの事業を立ち上げるようなものとなると思います。 いちプレイヤーとして
Challenges for Machine Learning Systems toward Continuous Improvement
Challenges for Machine Learning Systems toward Continuous Improvement 継続的改善をし続けるための機械学習基盤の課題 IBIS 2019 機械学習工学セッション @ Nagoya 2019.11.22 Arm Treasure Data Aki Ariga
はじめまして、Newspicksでエンジニアしています、Hoàngです。 新卒で入社し、現在はNewspicksを支えるデータ分析基盤を作っています。そのノウハウをシェアできればと思い、この記事を書きました。 なぜData lakeが必要なのか？ (AWSより引用) サービスに機械学習、AIを導入したい思ったことがありますでしょうか。あるいは、ユーザーがどのようにサービスを利用しているかを分析したいと思ったことがありますか。 ユーザ分析や機械学習をするために本番のデータベースにアクセスしたり、クエリを投げたりしてはいけません。分析、機械学習の用途で本番サービスに負荷を与えると、最悪の場合本番サービスを停止させてしまうこともあります。本番データと完全に同期されたデータ基盤があれば、このような問題にも対処できます。 また、データ分析はSQLを使うのですが、SQLではDynamoDB, Mong
第313回NRIメディアフォーラム
Cookielessで再構築が必須となるデジタルマーケティング 2021年5月25日 株式会社野村総合研究所 コンサルティング事業本部 マーケティングサイエンスコンサルティング部 主任コンサルタント 田中渚子 NRIデジタル株式会社 ビジネスデザイン 上級システムコンサルタント 矢治健吾 株式会社野村総合研究所 未来創発センター データサイエンスラボ 上級研究員 広瀬安彦 第313回 NRIメディアフォーラム 訂正版 2 Copyright （C） Nomura Research Institute, Ltd. All rights reserved. 目次 Cookielessで再構築が必須となるデジタルマーケティング １．日本のデジタルマーケティングにおけるCookie活用 ３．Cookielessが及ぼすデジタルマーケティング業界への影響 ２．Cookielessをめぐる最新動向 ４
SaaS最初のプライシングをどう決める？ Fond福山太郎、Treasure Data太田一樹と芳川裕誠に聞く、それぞれの実践
はじめてSaaSのプロダクトをリリースする際、避けて通れないのがプライシング。会社の成長スピードを大きく左右するものでありながら具体的な方法論が確立されておらず、誰もが頭を悩ませる問題です。 適切なプライシングを行うためには、どんな視点が必要なのか。Fondの福山太郎さん、Treasure Data太田一樹さんと芳川裕誠さんに、それぞれのプライシングの考えをうかがいました。 聞き手は、ALL STAR SAAS FUNDの前田ヒロです。 アメリカで起業し、2012年から福利厚生代行サービスを提供するFond。その創業者でありCEOを務める福山太郎さんは、プライシングについて「最初は安く、徐々に高めていくのがいい」と語ります。 適正価格に近づいている手応えを感じる反応や値上げの頻度まで、具体的なテクニックを聞かせてくれました。 最初の価格設定は重要ではない前田：福山さんがこれから新しいプロダ
「JRE POINT」を顧客理解に活かす、JR東日本のデジタル・プラットフォーム戦略｜モバイルマーケティング研究所｜ModuleApps 2.0
本記事は、トレジャーデータが主催するオンラインイベント「PLAZMA 13」より、東日本旅客鉄道株式会社 佐野氏から「新しい暮らしの提案にむけたデジタル・プラットフォームの構築と拡大」というテーマで講演が行われた。 鉄道プラットフォームの課題 これまでのビジネスは、鉄道というプラットフォーム上に、駅ビル、ホテル、エキナカ商業施設を展開していた。また交通量が多い特性を活かしてポスター、中づり広告、デジタルサイネージなどの広告を掲示していたが、メッセージが一方通行となり、効果測定ができない課題があったという。どうすれば店舗を使っていただけるか、そして再来店してもらえるかという観点は低かったと話す。 そこでJR東日本グループのポイントサービス「JRE POINT」より会員情報を一元管理し、ユーザー行動や購買情報などが把握できるようになった。これを活用して、メール、LINE、Webサイト、アプリと
転職して一年経過した CREとしてTDに転職して、一年経過したので今の所感とどんなことやったのかをまとめる。 一人目ロールのCRE 前々職ではAWSインフラに詳しくなって、前職でデータ基盤の開発・運用をした。データ基盤の開発運用は基本的には保守的な活動である。次の職では、会社のKPI改善をより直接サポートできるような領域をやっていきたいと思い、これまでの知見を生かしてデータ基盤の上のレイヤーの活用領域を出来れば良いなと思っていた。TDで募集していたCRE職は、サポートチーム内の一人目ロールで自由度が高く、期待されることも希望に近かったためちょうど良かった。Pre IPOのグローバルSaaS企業の求人はそんなに多くはない。 とりあえずの基本方針として、ICであり特に指示できるメンバーもいないため、各チームのニーズを受けて自分の動ける範囲で手を動かし、まずは短期的に結果が出るタスクに注力した。
既報の通り、英国のArmはISG（IoT Service Group）として展開してきた「Pelion IoT Services」とトレジャーデータ（Treasure Data）のCDPなどのサービスについて、これをソフトバンクグループ（以下、ソフトバンク）に移管するという提案を行ったことを明らかにした。本稿では、このニュースを深堀りしてみたいと思う。 ⇒連載「Arm最新動向報告」バックナンバー 「ArmのIoT事業」とは何か そもそも、現在のISGが提供する製品はこちらのWebサイトにまとまっているが、大まかに分けて以下の4つになる。 Pelion IoT Platform（図1） IoT向けクラウドサービスの総称。図1の中のDeviceに対して、Connectivity Management Service、Device Management Service、Data Manageme
未踏クリエータがもたらす新たな可能性を間近で体感できる場、「未踏会議」。未踏修了生たちが、未踏事業でのプロジェクトや、新たな技術への展望などについて話しました。未踏会議に向け、竹内郁雄未踏統括PMと登大遊氏の事前対談が実現。未踏会議のテーマ「好きなことをしていたら世の中を変えていた」について語りました。 世の中の常識を覆す登大遊氏 竹内郁雄氏（以下、竹内）：登くんと対談するのは、初めてのような気がするんですが、私が登くんの提案を初めて見た時、頭の中に？マークが3つくらいついたんですよね。 TCP／IPの上に、イーサケーブルをシミュレーションのように乗っけるという提案だったので、そんなのスピード出るわけがないと思っていて、こんなの本当にできるのかなぁと思っていたのが、未踏のブースト会議でした。 これは、自分のやりたいことをみんなが発表して、意見をもらって開発をブーストするという会議なんですが
Treasure Data TechTalk 2022 - TD CDP in 30 minutes
Treasure Data TechTalk 2022で発表した「30分でわかるTreasure Data CDP」のスライドです。
Frog > インタビュー > キャリアのスタートは研究者。コーディングの楽しさに突き動かされ輝かしいキャリアを築いてきたAkiさんの歴史を紐解く ブログ みなさんこんにちは！FrogメンバーのHiroshiです。今回インタビューに応じてくださったのは、現在Treasure Dataという会社でStaff Software Engineerとしてご活躍中のAkiさん。キャリアのスタートは研究者として東芝に勤められていました。その後Cookpadに転職し、副菜レコメンド機能の開発に貢献。その後はClouderaという会社での勤務を経て現在に至ります。エンジニアであれば誰もが二度見するような素晴らしいキャリアの持ち主ですが、Akiさんは更にオライリーから書籍も出版されています。 仕事ではじめる機械学習 バンクーバーに来られてから約2年が経過したAkiさん。インタビューの中では、キャリアに関する
こんにちは、相良です。日本と東南アジアを拠点にシードスタートアップへの投資を行うジェネシア・ベンチャーズでキャピタリストをしています。 SaaSを愛する多彩なメンバーが寄り集まって誕生したブログリレー企画 #SaaSLovers にお声掛けいただいたので、国内SaaSの黎明期にあたる2013年から2018年にかけて在籍したTreasure Dataで運良く積み上げた事業経験とVCとしての視点を織り交ぜつつ、予てからぼんやり考えていた掲題のテーマについて筆を執ってみたいと思います。 要旨は以下の通りです。 ITサービス市場においてSaaSのプレゼンスは依然として小さく、飛躍的な成長ポテンシャルがある。SaaSのGo-To-Market戦略はSMBかエンタープライズかの実質二択で、現在はSMB向け、もしくはSMBでマーケットエントリーして中長期でエンタープライズを狙うスタートアップが多い一方、
平成生まれのRubyエンジニアで集まり、ステップアップして行きたいという思いで作ったコミュニティ、平成.rbが主催した「平成Ruby会議」。キーノートとして、Yuichiro Kaneko氏が「ある時点で次に来ることができる文字列のトークンをどうやって知るか」について語りました。 次に来ることができる文字列のトークンを知る Yuichiro Kaneko氏：「What is expected？」という話をします。 まず私の自己紹介です。金子雄一郎と申します。今日はArm Treasure Dataという会社から来ました。ふだんはAudienceチームというところに所属をしていて、Prestoのクエリの最適化をしたり、Digdagのワークフローを動的に生成するようなRuby on Railsのアプリケーションを書いたり、あまり得意じゃないですがJavaのKey-Value Storeのサービ
中国の投資ファンドYUNQI PARTNERSも注目する オープンソース・ソフトウェアへの投資 | DG Lab Haus
中国の投資ファンドYUNQI PARTNERSも注目する オープンソース・ソフトウェアへの投資 TOP Other 中国の投資ファンドYUNQI PARTNERSも注目する オープンソース・ソフトウェアへの投資 スタートアップアクセラレーターの草分けであるシリコンバレーのY Combinatorは、「Docker」を生み出したDocker社（旧dotCloud社）のようなオープンソース・ソフトウェア（OSS）のスタートアップに早い段階から投資し、そのいくつかは、ユニコーンとなった。 クラウドの利用が主流となって以降、「開発はOSS、サービス提供はクラウド」という形の企業が多く登場している。その流れは米国だけではない、中国でもそういった変化を巧みに捉え、OSS企業への投資を加速させているベンチャーキャピタル（VC）がある。 中国有力VCも重視するOSSへの投資 2014年創業YUNQI PA
カルチュア・コンビニエンス・クラブ（CCC）傘下のCCCマーケティングとトレジャーデータが2022年8月から、新たなデータサービスの提供を始めた。トレジャーデータのデータ基盤上で、利用企業が持つ自社顧客のデータとCCCマーケが保有するT会員データを突合する。CCCにとって虎の子といえるT会員データの価値を引き出す施策だが、個人データの第三者提供を巡って懸念も浮上している。 両社は2022年7月28日、「CDP（カスタマー・データ・プラットフォーム）」と呼ばれる領域で業務提携すると発表した。2022年8月から、CCCマーケが保有するT会員データとトレジャーデータのデータ活用技術を組み合わせたデータサービス「CDP for LIFESTYLE Insights」の提供を始めた。初年度に30社程度の契約獲得を目指している。 「フェアでオープンな情報プラットフォーム」 CCCマーケはT会員データを
ビックカメラが語る、DX戦略を推進して継続的な効果を生み出す方法｜モバイルマーケティング研究所｜ModuleApps 2.0
数年前から多くの企業でDXの推進を検討する話が出ている。いざ推進となるとどのように進めたらいいのか、どんなリスクがあるのか、体験に基づいた事例が少ないのが現状である。ビックカメラならではのDXの理解とは？DXを成功に導く戦略、データ活用へのアプローチと今後の展望について語った。 本記事は、トレジャーデータが主催するオンラインイベント「PLAZMA13」より、株式会社ビックカメラ 深川氏から「形だけに終わらせない！DX戦略とデータ活用」というテーマで講演が行われた。 DXが盛り上がりを見せるなか、実際会社で取り組んでいくとなったとき、DXの成果をどのように定義するかというのが一番難しい課題である。会社には既存の領域と今後拡張していく領域があり、そこにDXが入ったとき、会社はどう取り組んでいくのか。 既存価値の拡大、新しい価値の創出など、会社がDXに求めるものを曖昧にしないためにも自分たちでD
ここ最近「SnowflakeとTreasure Dataの違いを教えてほしい」 といった質問を頂くことが増えています。 どちらもクラウドDWH(データウェアハウス)や、 クラウドデータプラットフォームと呼ばれるように、競合するプロダクトですね。 クラウドのスケールメリットを活かしている点、 ユーザビリティの高いGUIが用意されている点など、共通点が多いです。 2011年に米国で日本人が創業し、 2013年から今日に至るまで日本国内での普及を着実に進めていったTreasure Data。 2012年に米国で元Oracle出身者が創業し、 グローバルでの評価を確固たるものとし、 満を持して2019年に日本法人を設立したSnowflake。 グローバルでの知名度は圧倒的にSnowflakeの方が高いのですが 日本国内での歴史はまだ浅く、 国内においてはTreasure Dataの方が知名度が高く
先週、会社のサポートによりアメリカのグリーンカード申請の最後のステージの提出が終わり、それが処理されるのを待った後少し事務手続をこなすとグリーンカードがもらえる状態まで来た。アメリカ移住に興味があるけど大変そうと思ってる人や、どの程度学歴が求められるか不安な人の参考になるよう、忘れないうちに全体のプロセスについてざっとまとめておく。*1 Diversity Visa 移民多様化ビザ。まず一番敷居が低い申請方法として、Diversity Visa Lottery (DV Lottery)というのがある。これは申し込むと抽選で誰でもグリーンカードが当たるという奴で、私もビザで渡米する前に2回挑戦し、両方外した。 申請条件 以下の2つを満たす必要がある。(詳細) 出生国がアメリカへの移民率が低い国であること (日本はok) 高校卒業か、最低2年の研修や経験が必要な仕事を2年経験していること これ
構想は半年ほど前？ここ一ヶ月ほど集中して開発に取り組んでいた、Fluentd向けApache Arrowプラグインがようやく動くようになったので、今回はこちらのモジュールについてご紹介します。 そもそもPG-Stromは、IoT/M2M領域で大量に発生するデータを高速に処理できますというのがセールスポイントで、GPU-Direct SQLはじめ、各種の機能によってそれを実現しているワケですが、実際に運用する際には、発生したデータを『どうやってSQLで処理できるようDBにインポートするか？』という問題があります。 例えば、PostgreSQLに一行ずつINSERTするというのも一つの解です。ただし、単純なI/Oに比べると、DBへの書き込みはどうしても処理ボトルネックになりがちです。 そこで、大量に収集するログデータを、少ない時間ロスで（つまり一時ファイルに保存したデータを再度DBにインポート
-------------------------------- 2023.2.25 SAT, 13:30よりOnlineにて生配信 『The 30th Anniversary of Ruby - プログラミング言語Ruby30周年記念イベント-』 プログラミング言語Rubyの30年を振り返り、Rubyの今、そして未来を展望します ▼Official Site https://30.ruby.or.jp/ ▼Timetable 0:00:00-0:12:40：『オープニング』角谷信太郎（一般社団法人日本Rubyの会 理事） 0:12:40-0:37:25：『特別講演／Rubyの30年』高橋征義（一般社団法人日本Rubyの会 代表理事） 0:37:25-1:10:30：『招待講演1／Enterprise Platform SaaSにおけるRubyの12年』なひ（Treasure D
システムトラブルの概要 無印良品の各サイトについて、昨年の年末年始から雲行きが怪しいことは存じ上げていましたが先週あたりからメディアにまで記事が出始めていました。 tech.nikkeibp.co.jp 同社広報によると、もともと2019年12月31日午前0時から通販サイト「無印良品ネットストア」と会員向けアプリ「MUJI passport」の更新作業を行い、2020年1月1日午後1時までに終える予定だったという。トラブルが発生したことで、更新作業の完了が遅れている。同社はWebサイトで通販サイトの更新作業の終了予定日時を「2020年1月上旬」と掲示している。iOS用アプリについては、会員証の表示など一部機能が復旧しているという。 1月上旬・・といってももう本日時点で1/14ですのでどうなっているのか見に行ったら、再度1月下旬にリスケされています。 https://www.muji.com
1コンテナ上で、nginxとfluentdを動かした話。 どうして複数プロセスを起動してはいけないの Dockerコンテナではプロセスを1つだけ起動させる、とは有名なContainerベストプラクティスですが、これはどうしてでしょう。いろいろ理由があると思いますが、明確な技術的理由として、DockerではCMDオプションやENTRYPOINTオプションで起動したプロセスがコンテナ上のPID1になるからだ、と思っています。 試しに、nginxのコンテナを起動してプロセスを確認してみると、PID1は、nginxのmaster processとなっています。 $ docker run --rm -d --name nginx nginx $ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 1d4d0754f57a n
リクルート『スタディサプリ』のデータ分析基盤を支える技術と活用事例──RECRUIT TECH MEET UP #3 - TECH PLAY Magazine
200万人近い利用者を要する、リクルートのオンライン学習サービス『スタディサプリ』。そのデータ基盤が約2年の期間を経て、BigQueryを中心としたGCP環境に移管された。従来の基盤における技術的負債や課題をどう解決したのか。リリースに至るまでに開発チームがどのように取り組み、どう成長したのかを紹介する。 ■登壇者プロフィール 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア マネージャー 戸井田 明俊氏 新卒でオンラインゲーム会社に入社し、広告事業やデータ基盤のエンジニアを担当。2017年リクルートに中途入社。データエンジニアマネージャーとして、データ基盤の開発・運用やデータプロダクトの開発に従事。 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア 橘高 允伸氏 2019年リクルート新卒入社。デー
CCCがトレジャーデータと提携しTポイントの個人データを販売することで炎上中なことを考えたー個人情報保護法（追記あり） : なか2656のblog
（CCCマーケティングサイトより） １．CCCがトレジャーデータと連携し7000万人分のT会員の個人データを販売開始 マイナビニュースの2022年7月28日付の記事「CCC、Tポイントデータをオープン化 - 7000万人の会員データが利用可能に」が、TポイントのCCC（カルチュア・コンビニエンス・クラブ）が、トレジャーデータと業務提携し、約7000万人分のT会員の個人データの販売を始めると報じ、ネット上では「CCCは正気か」と炎上しています。 記事によると、このCCCの新しい事業で注目すべきは、「利用する各企業が持っている自社データ（1st Party）を個人識別単位でT会員データと連携できる点」であるそうです。つまり、CCCからデータを購入する会社に提供されるのは、匿名加工情報などではなく、１対１で突合・名寄せされた個人データを分析・加工したものであるとのことです。（個人識別符号はメール
Amazon EMR のバージョンアップ 3/3：Presto から Trino への移行 - Repro Tech Blog
前回の続きです。 EMR 5.36.1 から EMR 6.15.0 への更新 使用するアプリケーションのバージョンは以下のようになりました。OS は Amazon Linux 2 です。 アプリケーション等 EMR 5.36.1 EMR 6.15.0 Tez 0.9.2 0.10.2 Hue 4.10.0 4.11.0 Hive 2.3.9 3.1.3 Hadoop 2.10.1 3.3.6 Presto 0.267 0.2831 Trino N/A 426 Hive, Hadoop, Tez については前の記事で確認済みなので、ここからはそれ以外の要素について検討していきます。 一番問題になったのは Presto から Trino への移行です。Trino 移行に関係して発生した事柄を列挙します。 Datadog Agent の設定変更 任意の期間の指定したタイプのクエリを実行して結果の
トレジャーデータは11月5日、新経営陣によるビジネス戦略を発表した。10月1日付けで日本法人の社長執行役員に就任した三浦喬氏は「成長するCDP（Custromer Data Platform）市場にあって、トレジャーデータのシェアは市場の伸び以上に拡大している。今後は米国や日本のCDP市場で先行して培ってきた強みを武器に成長著しいAPAC(アジアパシフィック)へ本格進出し、デジタルトランスフォーメーションを支えるエコシステムを確立していきたい」と語り、APACのCDP市場を拡大する意向を示している。 ArmのIoTサービス部門から再び独立企業へ トレジャーデータの親会社である米Treasure Dataは、2018年8月に英Armに買収され、以降、Arm Treasure DataとしてArmのIoTサービス部門として機能してきたが、2020年9月に発表された米NVIDIAによるArm買収
PCやデータベース、クラウドサービス上に散らばったデータをnehanに連携し、データを活用する準備をしましょう。 Amazon S3 Google BigQuery snowflake Treasure Data MySQL Google Analytics salesforce Hubspot kintone Zoho CRM 等。
「DWH・BIツールのこれまでとこれから」Data Engineering Study #1イベントレポート | trocco®(トロッコ)
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか（Why）」「どんな要素が必要なのか（What）」「どのように実現するのか（How）」の3つに分けて語られました。 ゆずたそ氏：「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Company Announcement: Treasure Data officially part of Softbank Vision Fund 2; Welcome Back Founding Leadership Team Last modified: July 13, 2021 Treasure Data officially part of Softbank Vision Fund 2*; Welcome Back Founding Leadership Team We are thrilled to announce that Treasure
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZOZOTOWNのインハウス広告運用を支援するデータと仕組みの話 - ZOZO TECH BLOG
NvidiaによるArmの買収について - Treasure Data
Fluent Bit による集中コンテナロギング | Amazon Web Services
USの資産運用とクレジットスコア - k0kubun's blog
RubyKaigi 2024 - ruby-jp
Data lakeとは？データ分析基盤をゼロから作るプロセス - Qiita
CREを一年やってみたサマリー - satoshihirose.log
ArmはなぜIoT事業を切り離すのか、表と裏から読み解く
「20年後、日本の国力が豊かになるように今種を蒔いている」 竹内郁雄×登大遊が語る、おもしろインチキへの入り口
キャリアのスタートは研究者。コーディングの楽しさに突き動かされ輝かしいキャリアを築いてきたAkiさんの歴史を紐解く
システムインテグレーターとエンタープライズSaaSの交差点｜Shunsuke Sagara
Rubyで「expected tokens」をどうやって知るか？ Part.1
CCC系とトレジャーデータの提携に懸念、「分かりにくい規約」での同意は有効か
【禁断の比較？】SnowflakeとTreasure Dataを比べてみました
アメリカのビザ取得からグリーンカード申請まで - k0kubun's blog
Fluentd向けApache Arrowプラグインについて - KaiGaiの俺メモ
The 30th Anniversary of Ruby - プログラミング言語Ruby30周年記念イベント-
「無印良品」システムトラブルに関する情報収集 - orangeitems’s diary
コンテナで複数プロセスを起動させる - goodbyegangsterのブログ
トレジャーデータ、新経営陣によるビジネス戦略を発表
分析ツールnehanとは
Treasure Data Company Announcement