BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔
SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ… とりあえずカラムとかサンプルでちょっとデータをみたいよな, こんな感じだっけか？ とりあえず動かしてみよう, ポチッとな. … 5秒でレスポンスが帰ってくる. おー、速い. えーっと, あれ課金データ309TB？！ いちげきひっさつ、ハサンギロチン2. BigQueryでクエリ一撃5 秒で29万円溶かした人の顔# 話題の画像生成AI, DALL･Eをつかって BigQueryでお金溶かした人の顔を表現してもらった3. あ
CCC、Tポイントデータをオープン化 - 7000万人の会員データが利用可能に
CCCマーケティングとトレジャーデータは7月28日、CDP（Customer Data Platform）領域において業務提携を行い、同意取得済のT会員データ（Tポイントデータ）を、生活者のライフスタイルを基点とした情報プラットフォーム「CDP for LIFESTYLE Insights」として8月から提供を開始すると発表した。 2022年3月現在、名寄せをし重複を排除したT会員数は7025万人で、週間の利用者は2469万人、月間利用者は4175万人だという。この会員により、年間35億件以上の購買トランザクション、15万店舗のネットワークで扱われる60億種類の商品データ、数千項目からなる顧客DNAのペルソナデータ、 オフライン・オンライン上の移動・行動データやメディア接触データ、またCCCマーケティンググループオリジナルのエンハンスデータなとが得られ、データベースに蓄えられている。 20
ピボットを経てグローバル戦略へ、そして1兆円企業に…Treasure Data CEO・太田一樹の「忘れられない30分間」
データの収集・分析・連携ができるCDP（カスタマーデータプラットフォーム）を手掛けるTreasure Dataは、グローバルでも急成長中の注目SaaS企業。2018年にはArm社へイグジットしましたが、その後、今年になって創業者たちが「出戻り」の形で経営陣につき、さらなる飛躍を目指すというニュースは、業界に驚きをもたらしました。 今でこそCDPとして名高いTreasure Dataも、実はARR 30億円の段階でピボットし、現在の姿へと変わった経緯がありました。その背景にあったストーリー、ピボット後にARR 100億円を突破するため必要だったこと、そしてカムバックの理由まで、共同創業者でCEOを務める太田一樹さんに伺います。 聞き手は、ALL STAR SAAS FUNDマネージング・パートナーの前田ヒロです。 3年でARR10億、しかしテックジャイアントの参戦で…──早速ですが、ARR3
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
データ収集の基本と「JapanTaxi」アプリにおける実践例
1. Mobility Technologies Co., Ltd. Data Engineering Study #2 データ収集の基本と 「JapanTaxi」アプリにおける実践例 株式会社 Mobility Technologies 渡部 徹太郎 2020/8/19 2. Mobility Technologies Co., Ltd. 自己紹介 2 ID ：fetaro 名前：渡部 徹太郎 学生：東京工業大学でデータベースと情報検索の研究 (@日本データベース学会) 職歴： * 野村総合研究所(NRI) - オンライントレードシステム基盤 - オープンソース技術部隊 * リクルートテクノロジーズ - ビッグデータ分析基盤 * MobilityTechnologies - データエンジニア エディタ：emacs派→ InteliJ派 日本AWSユーザ会(JAWS) ビッグデータ支部長
データサイエンティスト生活でお世話になった本｜武田邦敬｜Kunihiro TAKEDA
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
百貨店から感染拡大か 客ら２万人割り出し隔離 中国 天津 | NHKニュース
新型コロナウイルスの感染拡大が続く中国の天津では、市内にある大規模な百貨店から感染が広がったとして、利用客らおよそ２万人を自宅に隔離する徹底した対策が行われています。 これを受けて地元当局は百貨店の従業員およそ200人全員を隔離したほか、地域の住民に百貨店を利用していた場合は報告するよう呼びかけ、さらに、ビッグデータを使いながら、担当者が地域の住宅を１軒ずつ回って、最終的におよそ２万人の利用客らを割り出したということです。 地元当局はこの２万人に自宅での隔離を求めたうえで、７人が発熱していることを突き止め、このうち５人は感染していないことが確認され、残る２人を確認中だということです。 天津では17日までに確認された感染者は124人で、このうち３人が死亡しています。 ※テイは土偏に「抵」のつくり
文系記者が「データサイエンティスト育成スクール」に通った結果
企業が持つビッグデータを分析し、ビジネス課題の解決に役立てる「データサイエンティスト」の需要が高まっている。近年のAIブームもあり、データサイエンティストへのキャリアチェンジを考えている人も多いのではないだろうか。実際、データサイエンティストの採用、育成に関する記事は読者からの反響が大きい。 SEからデータサイエンティストに転身 「考え方が全く違う」NEC社員が味わった苦労 未経験からデータサイエンティストになれる？ 「死の谷」を越えた独学プログラマーが伝えたいこと 「僕と契約してデータサイエンティストになってよ！」 分析少女ありさ☆アリスの悲劇 年収180％アップも 「データサイエンティスト」注目される理由 専門家が”必要なスキル”解説 「データサイエンティスト・ラプソディ」 なぜ優秀なAI人材は転職するのか “自称AIエンジニア”を見破るには？ 採用担当に伝えたい「ゴレンジャイ問題」
世界的な人気を誇る乙女ゲームにおける，徹底したデータドリブンによる物語構築術
GAMEBOOKのChief Business Development Officer，Nico Nowarra氏 日本で主に女性に人気のある，いわゆる「乙女ゲーム」というジャンルは当然ながら海外にも存在し，その一部は大きな売上を上げる巨大ジャンルとなっている。なかでも有名なのはビジュアルノベル系のゲームで，プレイヤーはゲーム内で提示される選択肢を選ぶことで異なる物語体験ができるというシステムのものだ。 日本からはあまり見えてこないタイプのゲームだが，このシステムを有するゲームを実際にどう設計し，運用するかにまで踏み込んだ講演がdevcom 2019で行われたので，レポートしたい。 必要に応じてメインプロットも変更 登壇したのはGAMEBOOKのChief Business Development Officer，Nico Nowarra氏だ。GAMEBOOKは多数の乙女ゲームを制作してい
EU一般データ保護規則(GDPR)への対応に向けたやるべき事まとめ – 週休７日で働きたい
EUの個人情報保護に関する新しい法律(General Data Protection Regulation)が2018年5月25日から施行される。EUの居住者に対してサービスを提供していて個人情報を取り扱っている業者は、たとえ個人であろうとも遵守義務が課せられる。 最近多くのサービスがプライバシーポリシーの改定を行っているのはそのためである。個人で作っている自分のサービスにもEUのユーザが沢山いるので、そろそろ対応しなければならない(遅い)。 今回はEUの法律によるものだが、内容は至極真っ当な、客観的に見れば当たり前のルールだ。将来的には事実上のデファクトとなり、アメリカや日本もこの法律に倣うのは時間の問題だろう。だから「日本人向けのサービスだから大丈夫」とほったらかしにしている業者は後々痛い目に遭うだろう。 Twitter社がパスワードをログに記録していた件は記憶に新しいが、今これが公に
【保存版】Pythonでデータサイエンスするための全体像と、必要な学習項目を初心者向けにまとめてみたよ！｜Dai
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
「データサイエンティストの世界競技」Kaggleハイスコア者がこれからのモノづくりに欠かせないワケとは | フルスイング - DeNA
「Kaggler（Kaggleに取り組む人）が増えることで、サービス改善のプロセスそのものも変わっていく」 そう話すのは、AIシステム部 部長の山田憲晋（やまだ けんしん）。同部署はKagglerを推奨することで、DeNAのビジネスに変革を起こそうとしています。 Kaggleとは、多くのデータサイエンティストたちが集い、企業や研究者が投稿したデータに対しての最適モデルを競い合うプラットフォーム。世界中のスペシャリストたちがこの場所で切磋琢磨し、データ分析のスキルを磨いています。 DeNAでは、AI技術開発の横断部門であるAIシステム部のデータサイエンスチームにおいてKaggle社内ランク制度を導入しました。これは業務時間を使った同競技への参加を認める制度。どの程度の業務時間を割いて良いかはKaggleでの成績を元に決定します。 ※採用時の条件は、社内異動によるデータサイエンスチーム参加等も
データサイエンティストはもう不要？ JAL渋谷直正氏に届いた「挑戦状」
「『渋谷さん、データサイエンティストはもう要らなくなるらしいよ』。社内でそんな話を聞いて、本当だろうかと話半分で詳細を聞いてみたところ、その内容に衝撃を受けた」。 そう語るのは、日本航空（JAL）でデータサイエンティストとして活躍するWeb販売部 1to1マーケティンググループの渋谷直正氏。主担当であるWebサイトにおけるマーケティングのみならず、JAL社内のさまざまなデータ分析を支援し、日経情報ストラテジーの「データサイエンティスト・オブ・ザ・イヤー」にも選出された人物だ。 その渋谷氏が「衝撃を受けた」とするのは、NECがAI（人工知能）技術群の一環として開発した「予測分析自動化技術」と呼ぶ機能である。2017年夏から秋にかけて、JALのWebサイトの訪問者を対象にした実証実験を実施した。 専門家と同程度の精度で、地道な作業を自動化 具体的には、「過去3カ月に国際線の航空券を購入したマイ
米有権者2億人弱の個人情報1.1テラバイト分がうっかり流出
全部刷りだしたら100億ページ分！ 有権者情報の露出としては人類史上最大です。 トランプ大統領当選を支えた共和陣営の調査会社から、アメリカ全人口の62%にあたる1億9800万人の有権者の個人情報1.1テラバイト分が今月ウェブに野ざらしになっていたことがわかりました。有権者のセンティメント分析で集めたデータポイントは計95億件。それらがAmazonクラウドサーバーに12日間、パスワード未設定で保存されており、リンクさえあれば誰でもアクセスしダウンロードできる状態だったといいます。 保存したのは共和党全国委員会（RNC）が選挙運動で雇ったマーケティング会社Deep Root Analyticsです。米Gizmodoからの取材に対し、事実に間違いないと認めました。 ただの個人情報じゃありません。銃規制に反対かどうか、幹細胞研究に反対かどうか、中絶に反対かどうか、下手すると宗教と民族までわかります
エラーページ - ヤフー株式会社
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「江の島」「巣鴨」はどこから人々が訪れた？――KDDIが提供する「Location Analyzer」で見える化
小説はビッグデータ 分析から導くヒットの法則 - 日本経済新聞
リクルートが、日本人の人生すべてを握る「恐怖の企業」と化す可能性（現代ビジネス） - Yahoo!ニュース
「ひとり暮らしの40代が日本を滅ぼす」NHKが作ったAIの分析が冷たすぎる #AIに聞いてみた
