1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
小売業の特徴は、いわゆる｢ニッパチの法則｣（売り上げを支える売れ筋商品は全体の2割という法則）。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。｢均一価格｣は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、｢人間の能力では在庫を把握するのは難しい｣という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす｢自動発注システム｣（2015年導入）だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、｢チャンスロス｣が解消された。
「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に - ITmedia NEWS いやーこれはまずい。この件に限らず、「悪いやつをAIで予測する」というのはすなわち 「あなたに似た人が悪いことをしたので、あなたも悪い人と見なします」 ということだからだ。 レストランのランプ たとえばこんな例を考えてみよう。ある街でレストランが強盗に襲われる事件が相次いだ。これを防ぐため、レストランの入口に防犯カメラを設置することにした。このカメラはAIで犯罪者の顔を学習していて、「犯罪を犯しそう」な人間を検知してくれるのだ。 もちろん検知するといってもサイレンが鳴ったりするわけじゃない。あくまで「犯しそう」なだけで、まだ犯罪を犯したわけではないからね。でもキッチンに置いてある赤いランプがピカピカ光って、「要注意人物」が来たことはわかるようになっている。ああこれで安心だ。 …さて、これは本
エストニアの経済通信省と国家情報システム局が提供する「電子政府コードリポジトリ」により、将来的には、セキュリティ上の理由から特に要求されない限り、エストニアのデジタル国家ソリューションのすべてのソースコードが公開され、誰でも使用できるようになると。 Estonia creates a public code repository for e-governance solutions データの再利用を進めるEUでは、オランダやマルタ共和国など、電子政府で使用するソースコードを公開している事例がありますが、総合的な電子政府コードリポジトリ（電子政府ソースコードの再利用サービス）を提供するはエストニアが初めてなのではないでしょうか。これは非常に重要な試みで、一般的な電子政府が最終局面に入ってきたことを意味します。 個人的には、いわゆるGAFA（Google、Amazon、Facebook、App
人気レジャー施設が「現地払いのWeb予約」をやめただけで、売り上げ2.5倍以上に──なぜ？：PANZA宮沢湖（1/3 ページ） PANZA宮沢湖は、2019年4月に埼玉・飯能市にオープンしたアドベンチャーパークだ。施設内では「ファンモック」という空中アスレチックが楽しめる。森の中に張り巡らしたネットの上で揺られながら寝転んだり飛び跳ねて浮遊感を味わったりと、自分なりの方法で過ごせ、子どもから大人まで利用できる。 長引くコロナ禍の中、自然豊かな土地に出掛けて「非日常を気軽に味わえれば」と集まる人も多いだろう。コロナ禍でも人気は絶えず、安定して利用者が訪れている。 このPANZA宮沢湖では、予約システムを見直し「現地払いのWeb予約」をやめたことで、月商が対前年比で平均157％、最高値の月では272％もアップしたという。つまり売り上げが平均して2.5倍以上にもなった。なぜそれほどの効果があった
34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場所のリスクを知ることが、災害から命を守るスタートだから
風俗客とキャスト「性接触の全国ネットワーク」を可視化 口コミ9万件分析で見えた「世界の狭さ」 - 弁護士ドットコムニュース
誰と誰が性的な関係を持ったかという性接触のネットワークはHIVなどの感染症予防のために古くから研究されてきた。一方で、もっとも他人には知られたくないプライバシーに関わる内容ゆえに大々的な調査は不可能とされ、その実態は謎につつまれていた。 しかし2022年11月、静岡大学の守田智教授と長崎大学の伊東啓助教らのグループは、性風俗の口コミサイトに寄せられたレビューをもとに全国規模の「性接触ネットワーク」の構築に成功したと発表した。 その内容はどんなものなのか。守田教授と伊東助教が解説する。 「ネット上で公開されている風俗店のレビューはある人とある人が性的接触をした証拠なわけです。これを使ってネットワークを作れないかと考えました。レビューの中から女性キャストの名前と客のハンドルネームだけを抜き出して、誰と誰がつながっているのかというのを収集しました。 例えばAさんが静岡のお店で働くaさんに対して口
データサイエンティスト生活でお世話になった本｜くに | 武田邦敬
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。 ・全世界のインターネット通信量(下り)の15%をNetflixが占めており、YouTubeを超える世界一の動画サービス ・時価総額が20兆円超え ・サブスクリプション収入が月々約1500億円 そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netflixのホーム画面には、今話題の作品やユーザーにパーソナライズ化されたおすすめの作品が並びます。 Googleの検索と違って、Netfl
高梨陣平 @jingbay 99台のスマホを手押し車で運び、virtualな交通渋滞をGoogle Map上で起こす。この活動によりグリーンで表示された道路を赤に変えることで現実世界に対し、自動車を他の道へ誘導するという影響を与えることが可能だ。 twitter.com/simon_deliver/… 2020-02-03 02:11:44 Simon Weckert @simon_deliver 99 smartphones are transported in a handcart to generate virtual traffic jam in Google Maps. Through this activity, it is possible to turn a green street red which has an impact in the physical world
本Webサイトでは、エムスリー株式会社が保有する医療リアルワールドデータであるJAMDAS（日本臨床実態調査）をベースとした国内患者数に関する推計値と、厚生労働省または国立感染症研究所（NIID）による公表値を掲載しています。 JAMDASデータは、統計処理された集計データとして個人と紐づかない形で医療機関から提供されており、一切の個人情報を含みません。 新型コロナウイルス感染症新規陽性者全数報告に関する厚生労働省からの公表が2023年5月8日をもって終了したため、本Webサイトにおける新型コロナウイルス感染症新規陽性者の公表値の更新も、2023年5月8日分をもって終了しています。 JAMDASは国内約4,100医療機関（2022年12月時点）由来の臨床データに基づくデータベースで、検査結果等も含んだ前々日までの臨床データをリアルタイムに反映しています。 JAMDAS推計値は、医療機関の受
AI担当の記者が「データサイエンティスト育成スクール」に半年間の体験取材。未経験の文系記者はデータサイエンティストになれるのか。 企業が持つビッグデータを分析し、ビジネス課題の解決に役立てる「データサイエンティスト」の需要が高まっている。近年のAIブームもあり、データサイエンティストへのキャリアチェンジを考えている人も多いのではないだろうか。実際、データサイエンティストの採用、育成に関する記事は読者からの反響が大きい。 SEからデータサイエンティストに転身 「考え方が全く違う」NEC社員が味わった苦労 未経験からデータサイエンティストになれる？ 「死の谷」を越えた独学プログラマーが伝えたいこと 「僕と契約してデータサイエンティストになってよ！」 分析少女ありさ☆アリスの悲劇 年収180％アップも 「データサイエンティスト」注目される理由 専門家が”必要なスキル”解説 「データサイエンティス
みなさんこんにちは。電通国際情報サービス(ISID) 金融ソリューション事業部の水野です。 これは電通国際情報サービス Advent Calendar 2022の16日目の記事です。 今回は、ISID金融事業部で運用しているスキルマップについてご紹介します。 テックリードとは 実は、ISIDの少なくとも金融事業部にテックリードと言うポジションはありません。 実在するのはチーフアーキテクトと言う職種のみで、各プロジェクトでリードエンジニアやテックリードという仮想的なロールがあるのが実態です。 一時期はフルスタックエンジニアと呼んでいる時期もありましたが、近年このワーディングが好まれない印象なので、大々的に使っていません。 主観ですが、フルスタックエンジニアはインフラ知識／運用系の知識のウェイトが高いエンジニアで、テックリードはソフトウェアアーキテクチャ、Webアプリケーション実装技術寄りのエ
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
2016年10月に未経験・新人データサイエンティストで雇ってもらいました。当時はまだ業界が牧歌的だったのと、比較的書類上のスペックが高い若者だったのもあり、運良く拾ってもらえたのでした。今だと100％受かってないです。 そんな私が今までで読んだ本の中で、役に立った本をつらつら書いていきます。 現代の若者がどんどん優秀になっているので、これくらいでいまんとこいっぱしのデータサイエンティスト（@ビジネスサイド）になれるんだなあという基準を述べようかと思いました。何年か後に振り返りたいですね。 もちろん、これが誰かの学習の役に立てばと思っています。 ちなみに、アフィリエイト入れてないので気にせず買っていってください。 数学無難に解析学と線形代数学を勉強しておくといいと思っています。
こんにちは、SWETでCI/CDチームの前田（ @mad_p ）です。 SWETではCI/CDチームの一員として、Jenkins運用のサポートや、CI/CD回りのノウハウ蓄積・研究をしています。 はじめに Gitリポジトリをクローンすると、ローカルフォルダにはそのリポジトリの全体がダウンロードされ .git というフォルダに格納されます。ブランチをチェックアウトすると、ブランチ内のファイルがワーキングツリーとして展開されます。この様子を図にするとこのようになります。 この .git とワーキングツリーの使うディスク容量を節約しようというのが今回のお話です。特にJenkinsにおいて、大きめのGitリポジトリをクローンしてくる場合に課題があり、いろいろ工夫してみたので、その結果を紹介します。同じCI/CDチームの加瀬による記事「大規模リポジトリで高速にgit cloneするテクニック」と内容
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
GAMEBOOKのChief Business Development Officer，Nico Nowarra氏 日本で主に女性に人気のある，いわゆる「乙女ゲーム」というジャンルは当然ながら海外にも存在し，その一部は大きな売上を上げる巨大ジャンルとなっている。なかでも有名なのはビジュアルノベル系のゲームで，プレイヤーはゲーム内で提示される選択肢を選ぶことで異なる物語体験ができるというシステムのものだ。 日本からはあまり見えてこないタイプのゲームだが，このシステムを有するゲームを実際にどう設計し，運用するかにまで踏み込んだ講演がdevcom 2019で行われたので，レポートしたい。 必要に応じてメインプロットも変更 登壇したのはGAMEBOOKのChief Business Development Officer，Nico Nowarra氏だ。GAMEBOOKは多数の乙女ゲームを制作してい
都庁と伽藍とバザール｜miyasaka
東京都の情報技術利活用への取り組みは都庁内に常勤で働いている情報技術系職員に加え高い専門性の人にフェローとして非常勤でサポートしてもらってます。 その一人の関フェローの嬉しいニュースが。 デブサミ2020夏のベストスピーカーが決定、1位はCode for Japan 関治之氏 日本で有数の伝統もあって大規模なエンジニアのイベントでの受賞。東京都の新型ウイルス感染症対策サイトは職員とシビックテックのコミュニティによって運営されていますがそのことにもプレゼンでは触れていただいています。 このプロジェクトを通じてシビックテックについて多くを彼やその仲間から学びました。全員の名前はとても書ききれないんだけどまさに私にとってのジェダイマスターたちです。せっかくなのでジェダイマスターたちから学んだことをこれを機会に書き留めておきます。行政でシビックテックやオープンデータの推進を検討してる人の参考になる
画像はUnsplashより 在宅時間が増加したであろう現在は、学生や社会人が人工知能（AI）やデータサイエンスについて身につける絶好のチャンスと言える。「AIについて何か勉強したい」「統計学について知りたい」という人も少なくないのでは。 近頃、Pythonなどのプログラミングについて勉強したり、データサイエンスについて知識を深めたりできる学習コンテンツが無料で公開される機会が増えつつある。そこで、2021年1月27日現在、無料で学べるAIやデータサイエンス関連の学習コンテンツを集めてみた。 総務省、社会人のためのデータサイエンス入門を無料開講 総務省は2021年1月12日開講した「誰でも使える統計オープンデータ」に先駆け、「社会人のためのデータサイエンス入門」を特別開講している。登録料および受講料は無料。 本講座では入門編として、統計学の基礎やデータの見方・データの取得方法などを学べる。統
NTTドコモは10月10日、ネットワーク通信品質対策を発表した。 2023年の春ぐらいから、ドコモのユーザーからネットワーク品質に関する不満の声がSNSなどで多く上がっている。当初は渋谷や池袋などの都心部、ターミナル駅周辺が中心であったが、最近では地方にも拡大している印象だ。 他キャリアでは数年前に実施済みの対策をようやく 発表会で実際にドコモのネットワーク通信品質に対する改善策を聞いたが、第一印象としては「後手後手」に回っており、他社に比べても大きく遅れている感が強かった。 例えば、ドコモでは駅や繁華街、住宅地など全国2000カ所以上で集中的に対策を実施。さらに乗降客の多いJRや私鉄などの鉄道動線を強化するという。 しかし、鉄道動線を強化する考え方はKDDIが5G開始当初から行っており、2021年6月にはJR東日本の山手線全30駅、JR西日本の大阪環状線全19駅のホームで、5Gネットワー
『データ指向アプリケーションデザイン』を読んだ。たいへんおもしろかった。技術書でこんなにわくわくしながら一気に読んだのは『Androidを支える技術』以来かもしれない。 データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理 作者: Martin Kleppmann,斉藤太郎,玉川竜司出版社/メーカー: オライリージャパン発売日: 2019/07/18メディア: 単行本（ソフトカバー）この商品を含むブログを見る 本書はソフトウェアシステムの設計について「データ」という観点からまとめたものだ。もちろんデータベースは登場するが、それだけでなくJSONなどのデータ形式、RPC、メッセージキュー、全文検索インデクス、バッチ処理やオンライン処理も等しく「データ」という観点から扱っている。特筆すべき点は、理論だけでなく実際のミドルウェア製品を引き合いに出しつつ具体例を
CCCマーケティングとトレジャーデータは7月28日、CDP（Customer Data Platform）領域において業務提携を行い、同意取得済のT会員データ（Tポイントデータ）を、生活者のライフスタイルを基点とした情報プラットフォーム「CDP for LIFESTYLE Insights」として8月から提供を開始すると発表した。 2022年3月現在、名寄せをし重複を排除したT会員数は7025万人で、週間の利用者は2469万人、月間利用者は4175万人だという。この会員により、年間35億件以上の購買トランザクション、15万店舗のネットワークで扱われる60億種類の商品データ、数千項目からなる顧客DNAのペルソナデータ、 オフライン・オンライン上の移動・行動データやメディア接触データ、またCCCマーケティンググループオリジナルのエンハンスデータなとが得られ、データベースに蓄えられている。 20
来春に消滅する｢Tポイント｣栄華と没落の20年
共通ポイントの先駆者が、ついに街から姿を消す。 カルチュア・コンビニエンス・クラブ（CCC）が展開するTポイントと三井住友フィナンシャルグループ（FG）のVポイントが、2024年春に統合する。ID数は合計1.46億人と、楽天などを抜いて国内最大規模となる。 ポイントにひもづく決済機能が弱かったCCCと、決済には強い一方で知名度の低さが課題だった三井住友FGとの間で2023年4月に資本業務提携を結んだ。 新ポイントでは、青と黄のイメージカラーが継承される一方、名称はVポイントに統一。Tポイントのブランドは消滅する。 日本初の共通ポイント Tポイントは2003年、全国1100ものTSUTAYA（ツタヤ）店舗網（当時）とその顧客基盤を背景に、同業態の会員カードを発展させる形で誕生した。日本初の共通ポイントとして、あらゆる業種の有力企業を続々と取り込んでいった。 中でも大きな提携先だったのが、ヤフ
入門 Kubeflow ～Kubernetesで機械学習をはじめるために～ （NTT Tech Conference #4 講演資料）NTT DATA Technology & Innovation5.4K views•56 slides MLOps に基づく AI/ML 実運用最前線 ～画像、動画データにおける MLOps 事例のご紹介～（映像情報メディア学会2021年冬季大会企画セッショ...NTT DATA Technology & Innovation2.2K views•55 slides
就職情報サイト「リクナビ」を運営するリクルートキャリア（東京・千代田）が就活学生の「内定辞退率」の予測データを企業に販売していた問題で、トヨタ自動車が同データを購入していたことが10日、分かった。購入した企業名が明らかになるのは、ホンダに次いで2例目。トヨタは「選考の合否判定には使っていない」としている。【関連記事】リクナビ問題、利用38社の責任も 省庁間で連携同社は「採用活動は志望者と実際に面談し、適性や入社意思を確認するのが前提」と説明。辞退者を減らす目的で購入
新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
渋谷100台プロジェクト | IDEA（イデア）
プロジェクトの背景 Intelligence Design 株式会社では、これまで渋谷のセンター街、宮下パークなどに、商業施設や交通管理会社と連携し、AIカメラを設置してきました。（センター街の映像はこちら） 今回、人流データを複合的に可視化、分析することにより、 マーケティングや防犯における新たな視座の獲得や、データ利用価値を模索するべく、渋谷駅周辺の広域に100台のAIカメラを設置します。
あの竹中平蔵氏が、中国で大いに人気を集めているらしい。中国の人々はいったい竹中氏の何に惹かれ、彼から何を得ようとしているのか。その背景を追っていくと、日中で共振する「新自由主義」の動きが見えてきた。神戸大学・梶谷懐教授による全3回のレポート。 スーパーシティ法案成立の陰で 本年5月27日に、国家戦略特区法の改正案、いわゆる「スーパーシティ法案」が国会で成立した。新型コロナウイルス禍の拡大に伴う緊急事態宣言発令中の成立であり、報道などでは、遠隔医療の本格導入を始めスマート技術を用いた感染対策の進展に期待する声も多く聞かれた。 このスーパーシティ構想の背景としてAIやビッグデータを活用して社会のあり方を根本から変えるような都市設計を目指す動き、すなわちスマートシティの建設が、世界各地で本格化していることが指摘されている。 それを踏まえた上で（1）生活を支える複数のサービスが導入されている（2）
ピボットを経てグローバル戦略へ、そして1兆円企業に…Treasure Data CEO・太田一樹の「忘れられない30分間」
データの収集・分析・連携ができるCDP（カスタマーデータプラットフォーム）を手掛けるTreasure Dataは、グローバルでも急成長中の注目SaaS企業。2018年にはArm社へイグジットしましたが、その後、今年になって創業者たちが「出戻り」の形で経営陣につき、さらなる飛躍を目指すというニュースは、業界に驚きをもたらしました。 今でこそCDPとして名高いTreasure Dataも、実はARR 30億円の段階でピボットし、現在の姿へと変わった経緯がありました。その背景にあったストーリー、ピボット後にARR 100億円を突破するため必要だったこと、そしてカムバックの理由まで、共同創業者でCEOを務める太田一樹さんに伺います。 聞き手は、ALL STAR SAAS FUNDマネージング・パートナーの前田ヒロです。 3年でARR10億、しかしテックジャイアントの参戦で…──早速ですが、ARR3
SolanaのPublic DataをBigQueryで取得したかった# えー、お笑いを一席. ブロックチェーンSolanaのデータがGoogle Cloud BigQueryで使えるようになったというニュースをたまたまネット推薦記事でみかけた1. おや, 面白そうだ. ちょっとやってみようかな… BigQueryはさわるのが１年以上つかってないかも, どうやるんだっけ… とりあえずカラムとかサンプルでちょっとデータをみたいよな, こんな感じだっけか？ とりあえず動かしてみよう, ポチッとな. … 5秒でレスポンスが帰ってくる. おー、速い. えーっと, あれ課金データ309TB？！ いちげきひっさつ、ハサンギロチン2. BigQueryでクエリ一撃5 秒で29万円溶かした人の顔# 話題の画像生成AI, DALL･Eをつかって BigQueryでお金溶かした人の顔を表現してもらった3. あ
はじめに 初めまして、バックエンドエンジニアの伊藤皓程です。2015年にサイバーエージェントに入社してからソーシャルゲーム2本、その後アドテクで広告配信システムの開発に携わりました。以前のプロジェクトではデイリーで数TBのログを収集と分析を行なっていた経験があり、また個人でAWS AthenaのTypeScript・Node.js用のクライアントライブラリ1を公開しています。今回は今年にリリースしたアプリボットの新データ分析基盤についてご紹介したいと思います。 経緯 アプリボットではゲームの運用の改善のためにユーザの行動ログの分析に力をいれており、Redshiftを利用したデータ分析基盤2がありました。一方でゲームの運用年数や運用タイトルの増加などにより以下のような課題がありました。 Redshiftのストレージ容量の枯渇 デイリーのレポート集計バッチの実行時間の増加 データ分析基盤の運用
2020年2月6日に開催された「令和元年度 政策評価に関する統一研修」（埼玉会場）の講義資料です。 (2020-02-09追記) 受講者以外の方々にもたくさんご覧頂いているようでありがとうございます。 注意点として、口頭での説明を前提とした資料であるため、スライド中の文章は最小限にとどめてある点ご了承下さい。
世界の気象に関する国連の専門機関は、新型コロナウイルスの影響による世界的な航空便の欠航で、天気予報に利用されている民間の旅客機からのデータが大幅に減り、今後、天気予報の精度が低下する可能性があるという見解を明らかにしました。 しかし、新型コロナウイルスの影響で世界的に航空便の欠航が相次いでいることを受け、旅客機からのデータをこれまでのようには得ることができなくなり、特にヨーロッパで顕著になっているということです。 ＷＭＯのターラス事務局長は、この状況が続けば「天気予報への信頼性が徐々に低下すると予想される」とし、今後、世界で航空便の欠航が長引けば、天気予報の精度が低下する可能性があるとしています。
新型コロナウイルスの感染拡大が続く中国の天津では、市内にある大規模な百貨店から感染が広がったとして、利用客らおよそ２万人を自宅に隔離する徹底した対策が行われています。 これを受けて地元当局は百貨店の従業員およそ200人全員を隔離したほか、地域の住民に百貨店を利用していた場合は報告するよう呼びかけ、さらに、ビッグデータを使いながら、担当者が地域の住宅を１軒ずつ回って、最終的におよそ２万人の利用客らを割り出したということです。 地元当局はこの２万人に自宅での隔離を求めたうえで、７人が発熱していることを突き止め、このうち５人は感染していないことが確認され、残る２人を確認中だということです。 天津では17日までに確認された感染者は124人で、このうち３人が死亡しています。 ※テイは土偏に「抵」のつくり
去年からネットで広がっている「ワクチン接種で不妊になる」という、科学的根拠がないとして多くの専門家が否定している情報は、誰が広め、なぜ拡散し続けているのか。 私たちが専門家と協力してSNSのビッグデータを分析したところ、誤った情報の「拡散者」の存在と、そこにごく一部の現役の医療関係者たちが加わっていることも見えてきました。 感染拡大の不安が広がるなかで、誤った情報に惑わされないためにはどうしたらいいのでしょうか。 （フェイク・バスターズ 新型コロナワクチンと誤情報 取材班 / 総合テレビ 8月10日 午後10時 放送予定） https://www.nhk.jp/p/ts/XKNJM21974/ “ワクチンで不妊” 20万件の投稿を分析すると 私たちはまずツイッターで「ワクチン」と「不妊」という言葉が含まれる投稿を分析しました。 対象は去年12月から6月までの投稿で、リツイートを含めて約20
【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します
【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。 今回は、LINEグループ全体のデータ関連業務で根幹になる戦略づくりや開発業務を担当しているData Platform室から、データ基盤の開発をしている「Data Infrastructureチーム 」とData ingestion pipelineを開発する「Ingestion Pipelineチーム」をご紹介します。Wang Tianyiと齋藤智之に話を聞きました。 LINEのプラットフォーム上では、多様なサービスの中から、非常に多くの種類の大量の
そろそろオープンデータを無秩序に管理するのは卒業したいので📦データを管理するパッケージマネージャを開発した【ツール開発】 - Qiita
今回はdim(オープンデータパッケージマネージャ) v1.0のリリースに伴って開発したツールの紹介をしたいと思います。 オープンデータもパッケージマネージャ(apt、npm、gem、pipなど)と同じようにnpm install xxxxxのような形でオープンデータをインストールして管理すると良いのではないかという話です。 以前のバージョンに関しては以下の記事で紹介 【個人開発】パッケージマネージャーの考えを流用してオープンデータ管理ツールを作ってみた話 以前の記事を読んでいてv1.0からの変更点に関して読みたい方 dim v1.0 変更点 オープンデータを無秩序に管理するのはやめたい ソフトウェアやライブラリの管理は世の中様々な体系化された方法が確立されつつあります。ソフトウェアであればaptやbrewなど、ライブラリであれば言語ごとにnpmやgemなどが存在します。しかし、データに関し
医療機関データのオンプレ → クラウド移行にかけた1年と、6倍の効率化について - JMDC TECH BLOG
株式会社JMDC開発本部データ基盤開発部の中村と申します。 私が所属する医療機関基盤グループでは、昨年から今年にかけて基幹システムをオンプレからクラウド（AWS）へ刷新しました。 この移行プロジェクトは、JMDC史上トップを争うくらい難易度の高いプロジェクトだったと個人的に感じています。マネージャーの立場から今回のシステム刷新のきっかけや、プロジェクトのハードな道のり、そしてクラウド化で得られた成果などを振り返っていきます。 プロフィール 中村竜甫（https://twitter.com/rh1011_） 株式会社JMDC 開発本部 データ基盤開発部 医療機関データ基盤グループ マネージャー SIerにて広告配信システムの企画・開発・運用を経験。その後2015年9月から現職。 基幹システムの刷新リーダーを担当後、Webプロダクト開発のマネージメントを経験。現在は医療機関基盤Gマネージャとし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ダイソー快進撃を支える｢毎晩105億件データ処理｣する需要予測システムはどう生まれたか
「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp
エストニアのデジタル国家ソリューションのすべてのソースコードが公開されます
人気レジャー施設が「現地払いのWeb予約」をやめただけで、売り上げ2.5倍以上に──なぜ？
「NHK全国ハザードマップ」を公開した理由 34テラバイトのデータと格闘 - NHK
Netflixを支える推薦システムの裏側｜masa_kazama
スマホ99個を１カ所に集めてGoogle Mapsに幻の渋滞を起こし，現実世界の人間の動きを誘導する実験が面白い
新型コロナ・季節性インフルエンザ・RSウイルス リアルタイム流行・疫学情報
文系記者が「データサイエンティスト育成スクール」に通った結果
エンジニアのスキルマップ・テックリードへの途 - 電通総研 テックブログ
データサイエンティストとして読んで役立った本たち@2020-07｜だみ〜
大きなGitリポジトリをクローンするときの工夫を図解します - DeNA Testing Blog
世界的な人気を誇る乙女ゲームにおける，徹底したデータドリブンによる物語構築術
今すぐ無料でPythonやデータサイエンスを学べる学習コンテンツ7選 | Ledge.ai
「つながらない」の声が浮き彫りにしたドコモの現状--他社から数年レベルの遅れ鮮明
『データ指向アプリケーションデザイン』を読んだ - hydrakecat’s blog
CCC、Tポイントデータをオープン化 - 7000万人の会員データが利用可能に
データ収集の基本と「JapanTaxi」アプリにおける実践例
リクナビ問題、トヨタも「内定辞退率」データ購入 - 日本経済新聞
「江の島」「巣鴨」はどこから人々が訪れた？――KDDIが提供する「Location Analyzer」で見える化
竹中平蔵氏、中国社会でひそかに「大人気」になっていた（梶谷 懐） @gendai_biz
BigQueryでクエリ一撃で29万円溶かしたけど助かった人の顔
ソーシャルゲームの運用に欠かせないデータ分析基盤の作り方
行政プロセスにデータ分析を取り入れるために知っておきたい知識と事例
世界的な航空便の欠航で天気予報の精度低下も 世界気象機関 | NHKニュース
百貨店から感染拡大か 客ら２万人割り出し隔離 中国 天津 | NHKニュース
“ワクチンで不妊”のデマ なぜ拡散し続けているのか | NHKニュース
jbpress.ismedia.jp
www.yomiuri.co.jp
www.goo-net.com
tonarinoyj.jp
www.tomo-diary.com
twitter.com