新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
「NHK全国ハザードマップ」を公開した理由 34テラバイトのデータと格闘 - NHK
34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場所のリスクを知ることが、災害から命を守るスタートだから
安心して使えるデータ基盤を作る
2020/01/24 大規模データ集積/分析基盤 Meet-up! の発表資料です。
Cloud Composer & Dataflow によるバッチETLの再構築 #data_ml_engineering / 20190719
データとML周辺エンジニアリングを考える会#2の発表資料です。 https://data-engineering.connpass.com/event/136756/
ダイソー快進撃を支える｢毎晩105億件データ処理｣する需要予測システムはどう生まれたか
小売業の特徴は、いわゆる｢ニッパチの法則｣（売り上げを支える売れ筋商品は全体の2割という法則）。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。｢均一価格｣は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、｢人間の能力では在庫を把握するのは難しい｣という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす｢自動発注システム｣（2015年導入）だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、｢チャンスロス｣が解消された。
エストニアのデジタル国家ソリューションのすべてのソースコードが公開されます
エストニアの経済通信省と国家情報システム局が提供する「電子政府コードリポジトリ」により、将来的には、セキュリティ上の理由から特に要求されない限り、エストニアのデジタル国家ソリューションのすべてのソースコードが公開され、誰でも使用できるようになると。 Estonia creates a public code repository for e-governance solutions データの再利用を進めるEUでは、オランダやマルタ共和国など、電子政府で使用するソースコードを公開している事例がありますが、総合的な電子政府コードリポジトリ（電子政府ソースコードの再利用サービス）を提供するはエストニアが初めてなのではないでしょうか。これは非常に重要な試みで、一般的な電子政府が最終局面に入ってきたことを意味します。 個人的には、いわゆるGAFA（Google、Amazon、Facebook、App
ソーシャルゲームの運用に欠かせないデータ分析基盤の作り方 – てっくぼっと！
はじめに初めまして、バックエンドエンジニアの伊藤皓程です。2015年にサイバーエージェントに入社してからソーシャルゲーム2本、その後アドテクで広告配信システムの開発に携わりました。
データ更新をする際に確認と周知をルール化しておいたほうがよさそうなこと | データ分析とインテリジェンス
データ更新1つだけでも結構な問題だったことに気づいた データ分析プロセスにおける収集フェーズはいかにしてデータを集めてくるかが主題だが、データエンジニアがそのためのデータをしっかり作ってくれる恵まれた環境にいる人は少なそうだ。 ということは分析者側が多かれ少なかれデータがどのように作られ、保管されているかを知り、改善のために関わらざるを得ない場合が多いということでもある。 そこでデータアナリストというか アナリティクスディレクターの目線でデータマネジメントについて考えていた一環でデータ更新をする際におきることを考えていたところ、日常の風景なので簡単かと思ったら結構な問題だったことに気づいたので記事としてまとめることにした。 データがおかしいな？と思って調べてみるとよくある データを使っていると、 知らない間にマスタデータが更新されているのに周知されない 大分前に更新されたことは記憶にあって
正しいデータは正しい設計に宿る - そーだいなるらくがき帳
って話をbuilderscon 2018でします。 builderscon.io 当日利用する資料はこちら。 speakerdeck.com 私のセッションはbuildersconの最終セッション。 皆さん素晴らしいセッションが並ぶ中で選択肢に迷ってる方も居ると思います。 だから先に公開しておきますのでこれをご覧になって、他のセッションに行くというのも有りだと思います。 あと事前に去年のトークを見てくれると当日はより理解が深まると思います。 同じ話を2回しても皆さんにとって勿体無いのでリファクタリングの細かい前提の話は当日はしません。 soudai.hatenablog.com 動画はこちら。 www.youtube.com これを見て、面白そうだなって思ったらぜひ、遊びに来てください。 僕が知ってるRDB設計、そしてRDBの歩み方を全てお伝えします。 あなたの新しい道の一歩目をご用意しま
Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 のデータを AWS Glue データカタログで管理し、Amazon SageMaker ノートブックから利用する方法 あなたがデータサイエンティストであるとしましょう。会社のシステムが統合され、膨大なデータセットの定義も完了し、データが容易に分析できるとしたら、ラッキーです。そんな会社はごく一握りだからです。 では、そのような恵まれた環境ではないとしましょう。機械学習用の準備作業の中で、フォーマットの異なるデータセットを統合し、データの分析や可視化を行ううえでの支援が必要なら、ぜひこの記事をお読みください。 このブログ記事では、Amazon SageMaker で、大量の企業データを予備解析する方法について説明します。Amazon SageMaker では、Jupyter ノートブックが動作しており、企業のデータレイクの中
一休のETL処理をAirflowで再構築しました - 一休.com Developers Blog
一休のデータサイエンス部に所属しています小島です。 以前データ分析基盤の構築で記事を上げていましたが、今回はETL*1周りの話をしようと思います。 user-first.ikyu.co.jp 今回ETLのツールとして導入したのはAirflowというツールです。 2017年のアドベントカレンダーでも紹介させていただきました。 一休のデータフローをAirflowを使って実行してみる 一休のETLの現状について 一休のETL周りは以下の画像のようになっていました。 課題 ETLの処理時間が伸びた（出社後も処理が続いていた） エラーのリカバリ作業に時間がかかる（ログが確認しにくい, サーバーに入って作業しなければいけない） 複雑な依存関係の定義がしにくい（どれとどれが依存しているかわからない） リソース負荷（全て並列で実行していた） 処理毎のボトルネックが把握できない ツールの問題というよりは正し
HTTP cookieを使って年齢と性別を推定する - MicroAd Developers Blog
背景 SPSSという壁 SPSSは使わない 本題 ~ HTTP cookieを使って年齢と性別を推定する 問題の設定 データを可視化してアプローチ方法を考える モデリング 結果 性別 年齢 結果の総評 プロダクション環境に組み込む 終わりに 背景 表題をみた皆様はこう思われたに違いない「何を今更そんな話、、、、」。 実はこれ、 developers.microad.co.jp でサラリと触れられている”SPSS"に関係があるんです。 SPSSという壁 マイクロアドではSPSS Modeler(以下SPSS)を使って年齢と性別を推定していました。いま流行の機械学習でね。 皆さんのSPSSについての印象は大まかに次の３パターンに分かれるでしょう。 「Ⅰ. SPSSってなんぞや？(((ﾟдﾟ; )」 「Ⅱ. (∩ﾟдﾟ)Rの有償版？」 「Ⅲ. あぁ、察した、、、（そそくさと退散）彡(*￣з￣)」
リクルートライフスタイルが考える、万人に使ってもらえる分析基盤の作り方
リクルートライフスタイルでは大小３０ほどのサービスを提供しており、それらのデータを横断的に分析出来る分析基盤を有しています。 データの利活用が推進されている昨今ですが、分析基盤を作っただけでは分析者はなかなか使ってくれません。 また、使っている分析者の要求は日々増していきます。 継続的に使ってもらえる分析基盤を構築、運用するためにはどのようにすれば良いのか？ 弊社の事例を踏まえて紹介させていただきます。 リクルートライフスタイル 山田 雄(ヤマダ ユウ)Read less
なぜ日本企業は｢ビッグデータ集めなきゃいけない病｣にかかるのか？
私は、シリコンバレーに拠点をもつAIビジネスデザインカンパニー、パロアルトインサイトのCEOとして、過去50社以上の日本企業にAI技術活用に関するアドバイスや導入をしてきました。 業界特化型のAIソリューションを提供する会社ではなく、業界横断的に企業のニーズを見て、それに対してAI技術を駆使した解決策を提案、実装してきた中で見えてきたことがあります。 それは、多くの日本企業、それも超一流の会社ばかりが、｢データ集めなきゃいけない病｣にかかっているということです。 弊社のクライアント企業の経営陣は、よく以下のような質問を投げかけて来ます。 •集められるデータを集められるだけ収集しないと、AI活用できないのか？ •分析するのは｢ビッグデータ｣じゃないといけないのか？ •どれだけの容量のデータが集まれば、｢解析するのに十分だ｣と言えるのか？ データが十分に集まっているだけでは、ゴールにたどり着け
データの民主化とサービスレベルについて話しました＠分析基盤Meetup #shinjukugl - 下町柚子黄昏記 by @yuzutas0
セプテーニ・オリジナル様が主催する新宿Geek Lounge#4 分析基盤MeetupでLTをしました。 スライド 『データ基盤を支える民主化とサービスレベル』 「いかにビジネス価値を最大化し続けるか」という本来の目的から、データ基盤1を見直すキッカケになればと思います。 PyCon JP 2017でベストトークアワード優秀賞を受賞した発表（構築編）の続き（運用編）をチラ見せです。 データ基盤は使われてこそ意味がある 世の流れは「やってみた」から「価値創出・運用」志向に推移しています（例：DataOps、機械学習工学、MLOps） 「俺の考えた最強のダッシュボード」では1週間で誰も見なくなります データの民主化 事務スタッフ（非エンジニア）がBigQueryを叩いています！すごい浸透！ チームごとの民主化状況をモニタリングして必要なアクションを実施しています 民主化には3つの壁があることが
リクルートホールディングスのインターンシップに参加しました - たいむかぷせる2
はじめに リクルートでのインターンシップがようやく終了したのでそれのまとめです。職種はデータサイエンティストというやつで，以下の2つのコースに参加していました。 夏インターンシップ リクルートホールディングスのサマーインターンシップ。2週間で集中してやる。 就業型インターンシップ サマーインターンシップ参加者を対象に，実際に現場に配属されて行うインターンシップ いちおう両方に参加していたというのと，なんだかんだ学びはたくさんあったので，ちょっとずつ書いていこうと思います。 なんかいっぱい書いてたら長くなってしまったので，主に「まとめ」というところだけ読むといいと思います。 サマーインターンシップ サマーインターンシップは2週間の集中コースでした。データサイエンティスト職の学生が5-6人，これまた5-6チームくらいに別れて各タスクに取り組んでいきます。タスクは様々で，各グループ会社から与えら
意思決定をデザインする メルカリの躍進を影で支えるデータ分析チーム | Forbes JAPAN 公式サイト（フォーブス ジャパン）
「メルカリで売ればいいじゃん」 日々の生活の中で、こんな言葉を耳にすることが増えた気がする。例えば、大学生などのミレニアル世代は何かモノがいらなくなったとき、“捨てる”のではなく“メルカリで売れるかどうか”を真っ先に考える。そして、この言葉を聞く度にこう思う。 グーグルが「ググる」という言葉とともに、「グーグルで検索する」行為が世の中のスタンダードになったように、メルカリも何かいらないものがあったときの売り場所として世間に浸透しつつあるのか、と。 また、メルカリは2017年12月、世界累計1億ダウンロードを達成。その勢いはとどまるところを知らない。そんなメルカリの躍進を語る際、「経営陣」にフォーカスが当たりがちだが、それが全てではない。メルカリの本質的な強みは、「現場」にあると言っていい。 数ある現場のチームの中でも、今回は多くの重要な意思決定に際して影でメルカリを支えているデータ分析の専
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「離脱」企業続出…Tポイントに何が起こったか
位置情報で日常「捕捉」、ジャパンタクシーに行政指導 - 日本経済新聞
GDPRについてデータサイエンティストとデータエンジニアは何を知るべきか?
