1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
人身事故が起きた全国130万件分の地点を日本地図に置き、あなたの近くに潜む危険な場所を可視化しました。各地の小さな交差点で交通事故が多発していることも明らかに。
息子が爆誕しました！ 「くらしとココロに、彩りを。」でお馴染みのLideaをご覧の皆さんこんにちは。 ライターのヨッピーです。 今日は皆さんにお知らせがあります。 実は……、 かわいいかわいい息子が爆誕してしまいました。本当にありがとうございます。 「お前に息子が誕生したことと、くらしとココロの彩り、何が関係あるの？」と聞かれれば「さあ？」としか答えられないのですが、息子氏が爆誕したことによって、酒をかっ食らってゲームをして寝るだけみたいな、荒れた日々を送ってきた僕ですら家事だの育児だのを頑張るようになってくらしに彩りが出てきました。 実は僕、子どもが生まれる前から、Twitterなんかで「育児、大変！」「子育ては地獄や！」みたいな意見がたくさん流れてくるのを見ていたので、子どもが生まれることに対してかなりビビっており、爆誕前から育児本を読み、時短家電を買いあさり、義両親の手を借りるため義
【シリコンバレー=奥平和行】米グーグルがインターネットの閲覧履歴などを保存する「クッキー」の利用制限に向けた取り組みを加速する。広告主と協力し、代替技術の試験的な運用を4月に始める方針だ。消費者のプライバシーに対する意識が高まるなか、ネット広告の効率維持との両立を目指す。プライバシーなどを担当するグループプロダクトマネジャーのチェトナ・ビンドラ氏が25日、ブログを通じて代替技術の開発状況につい
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」
「西側諸国を支援するために立ち上げた」 2019年秋のある晴れた火曜日の午後、パリのリュクサンブール公園でアレックス・カープ（53）が太極拳をしていた。青のナイキのスウェットパンツに、青のポロシャツ。靴下はオレンジで、スニーカーはチャコールグレー。赤のアクセントが入った白縁のサングラスが、彼の最大の特徴である天に向かって逆立つゴマ塩の髪を引き立てていた。 栗の木の木陰でカープは太極拳と気功の一連の優雅な動きをする。体をひねったり、向きを変えたりするたびに足元の小石や土がわずかに動いた。その姿を、近くにいた10代の若者たちが面白そうに眺める。 10分ほど、そうやって体を動かした後、カープは近くのベンチに行った。そのベンチにはボディーガードの一人が置いた楽器ケースのようなクーラーボックスがある。 ケースにはカープが愛飲するドイツのノンアルコールビールの瓶も数本入っているが、いま中から取り出した
「運賃4割引き」「グリーン車無料」JR東日本が銀行参入で“豪華特典” 専門家「太っ腹だが…いつまで特典続くか」｜FNNプライムオンライン
9日、JR東日本が参入したのは銀行。新たにスタートしたインターネット銀行サービス「JRE BANK」が、豪華な特典を得られると話題を呼んでいる。 特典１「片道料金４割引き」 「JRE BANK」の注目の特典の1つ目は、50万円以上預金するなどの条件を満たせば、JR東日本の路線内で「片道料金が4割引」となるというもの。 この記事の画像（16枚） 例えば、東京駅から新青森駅まで新幹線で旅行した場合、指定席の片道運賃は一人約1万7500円。これが4割引きとなると、運賃は約1万500円と、約7000円の割引となる。 この割引について街の人からは、「かなり（割引が）大きい！」「ねぶた祭とか見てみたい」「“ちりつも”で、いつか年に1回の旅行とか使うチャンスがあれば使いたい」といった声が聞かれた。 特典2「グリーン車無料」 特典の2つ目は、「グリーン車の無料」だ。 こちらも預金残高が50万円以上あるのが
11日までの3連休の人出について、2回目の緊急事態宣言が出ている1都3県の各地で分析したところ、いずれも先月の土日・祝日より減少したものの、去年の1回目の宣言時を大幅に上回ったことがビッグデータの分析から分かりました。 NHKは、IT関連企業の「Agoop」が利用者の許可を得て個人が特定されない形で集めた携帯電話の位置情報のデータを使って、1都3県の主要な駅周辺や繁華街の3連休中の人の数を分析しました。 分析した時間は ▽駅周辺が日中時間帯の午前6時から午後6時 ▽繁華街は夜間帯の午後6時から翌午前0時です。 主要駅周辺の人出 その結果、主要な駅周辺の人出は、いずれも先月の土日・祝日の平均より5％から40％近く減少していたものの、去年の緊急事態宣言時の土日・祝日の平均と比べると2倍以上に増えていました。 このうち東京駅は、先月と比べて38％減少しましたが、去年の宣言時と比べるとおよそ2.4
Google アカウントのストレージポリシー変更について
Gmail、Google ドライブ、Google フォトは、世界の数十億人のメール、ドキュメント、写真、動画などを安全に保存して管理するお手伝いをしています。そして今、かつてないほど多くのコンテンツがアップロードされており、Gmail、ドライブ、Google フォト全体で、1 日 にアップロードされるデータの容量は 430 万 GB 以上にのぼります。 今後増え続ける需要に対応し優れたストレージの利用体験を継続して提供するためストレージポリシーの変更を行います。本変更は、Google フォトと Google ドライブ（Google ドキュメント、スプレッドシート、スライド、図形描画、フォーム、Jamboard ファイル）に適用されます。さらに 2 年以上使用されていないアカウント 及び、2 年以上ストレージ制限を超えた状態が続いているファイルについても、新しいポリシーを本日公開します。これ
As global communities responded to COVID-19, we heard from public health officials that the same type of aggregated, anonymized insights we use in products such as Google Maps would be helpful as they made critical decisions to combat COVID-19. These Community Mobility Reports aimed to provide insights into what changed in response to policies aimed at combating COVID-19. The reports charted movem
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
ビッグデータの外部提供が広がる | NHKニュース
ＩＴ大手のヤフーは、インターネットで検索されたことばなど、大量のビッグデータを外部に販売する新たなビジネスを始めました。個人は識別できないということで、商品開発などに向けてビッグデータの活用が広がりそうです。 専用のウェブサイトで調べたいキーワードを入力するとそのことばを検索している人の性別や年代ごとの動向や、一緒に検索されたほかのことばなどが分かり、商品開発や価格設定といったさまざまな活用方法があるとしています。 記者会見したヤフーの川邊健太郎社長は「個人情報の保護を第１とし、より使いやすいもの、効果があるものにアップデートを繰り返し、事業の柱にしていきたい」と話していました。 ビッグデータをめぐってはＮＴＴドコモが携帯電話の基地局の情報をもとにどの地域にどのくらいの人がいるかを示すデータを有料で提供しているほか、楽天もネット通販の購買情報を分析したビジネスを展開するなど、活用が広がって
Big Data is Dead
For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t
【シリコンバレー=白石武志】米アップルとグーグルは10日、スマートフォンを使って新型コロナウイルスの濃厚接触の可能性を検出・通知する技術を共同開発すると発表した。5月に第1弾となる機能を各国の公衆衛生当局向けに提供を始める。日本でも展開する。スマホを使って感染経路を追跡する技術はすでに中国などで導入されているが、プライバシー上の課題もあり、対策が急務になっている。両社が開発する新技術は、スマホ
トヨタ自動車は5月12日、同社のテレマティクスサービスに契約したユーザーのうち、215万人分の車両の位置情報・時刻が外部から閲覧された可能性があると発表した。 データ管理を委託した子会社・トヨタコネクテッドがクラウド環境を誤って設定し、約10年間にわたり、データが公開状態になっていたという。 また、トヨタコネクテッドは同日、法人向けサービスで収集した、ドライブレコーダーで車外を撮影した映像も閲覧された可能性があると発表した。 対象は、2012年1月2日から2023年4月17日に、トヨタのテレマティクスサービス「T-Connect」「G-Link」「G-Link Lite」「G-BOOK」を契約したユーザー約215万人分の、ナビごとの識別番号（車載端末ID）、車両1台ずつに割り当てられた識別番号（車台番号）、車両の位置情報、時刻。2013年11月6日から2023年4月17日の約10年間にわた
日本の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの／学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理＆公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである（2008年から運用が開始され、2018年にリニューアルされた）。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育・文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無
【読売新聞】 カルチュア・コンビニエンス・クラブ（ＣＣＣ）が、Ｔカード利用者の個人データ販売を本格化させる。使われるのは、全国５３００の提携企業から集めた私たちの利用履歴だ。ＣＣＣ側は「規約で説明し、利用者の同意は得ている」というが
DuckDuckGo on Twitter: "After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO"
After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO
by ライブドアニュース編集部 ざっくり言うと ヤフー検索のビッグデータ解析で、日本人の一面が垣間見えるという 時間単位で見ると、朝から夜にかけてはポジティブな思考を持つ人が多い しかし夜更けにつれて様子が変になり、朝4時には「死ね」という投稿が1位に 提供社の都合により、削除されました。 概要のみ掲載しております。 関連ニュース ランキング 総合 国内 政治 海外 経済 IT スポーツ 芸能 女子
大規模データ活用向けストレージレイヤソフトのこれまでとこれから（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）
大規模データ活用向けストレージレイヤソフトのこれまでとこれから （NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05） NTTデータ システム技術本部 OSSプロフェッショナルサービス 吉田 耕陽, 福久 琢也 Read less
4月27日から6月30日に開催されたデータサイエンスコンペティション「AIエッジコンテスト（外部サイト）」で、JR西日本の若手社員二人が優勝を勝ち取った。JR西日本は、2017年から本格的にデータサイエンスの取り組みを開始。2020年には「データソリューション室」を設立し、データ分析やAIを用いた業務変革を進めている。 なぜ、JR西日本は優勝できたのか？優勝を勝ち取ったJR西日本データソリューション室の松田篤史さん、兒玉庸平さんのお二人に話を聞いた。 元新幹線の運転士、駅機械設備のエンジニアだった二人兒玉さんと松田さんは、ともに事業部の出身だ。 兒玉さんが新卒で最初に配属された先は、総合車両所という車両検査を行う部署。その後、山陽・北陸新幹線の運転士を務めた後、指令所と呼ばれる、新幹線の運行管理を行う部署に異動した。
about / おすすめタグページ / ネットワークを可視化したい / データ活用 / ssig33 / 世帯収入:_平均以上 / utgwkk / 奨学金 / mizdra / 日産 / 言語:_日本語、他_1_件 / karia / 犬 / 社員数:_大規模雇用者（従業員数:_250～10,000_人） / OKINAWA_CELLULAR_TELEPHONE_COMPANY / 学歴: 学士
秘伝のredash v1.0.3 から redash v8.0.0 on ECSになるまで - KAYAC Engineers' Blog
この記事はTech KAYAC Advent Calendar 2019 Update/MigrationTrack 3日目の記事です。 昨年のAdvent Calendarで闇のredash の記事を書いていたゲームコミュニティ(Lobi)事業部の自称データエンジニアの池田です。今回も、redashについて記事を書いていきたいと思います。 redashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。 2017-01-31にv1.0.0-rc.1のリリースされて以来開発が続けられており、この前の2019-10-27にv8.0.0 がリリースされました。 今後もビジネスインテリジェンスの現場でのダッシュボードツールの選択肢として利用され続けることでしょう。 ゲームコミュニティ事業部でのRedashの課題 私の所属するゲームコミュニティ事業部でも、以前本
【祝】スーパー玉出がPayPayに対応したのでスーパー玉出ダッシュボードを改修しました #Alteryx #Tableau | DevelopersIO
こんちは。DA事業本部@大阪オフィスの玉井です。 みなさん、ついにスーパー玉出（の一部店舗）がPayPayでの支払いに対応しました。というわけで、以前作成したスーパー玉出ダッシュボードに「PayPayが使えるかどうか」のフラグデータを追加したので、その作業経緯をここに記します。 スーパー玉出ダッシュボードについて スーパー玉出のPayPay対応について きっかけは弊社大阪オフィスのSlackチャネル。 なぜ玉出の情報が会社のSlackで共有されるのかはよくわかりませんが、そのニュースを見た私は2秒で玉出のHPにアクセスしました。そして店舗情報を見ると… 対応してた。 しかし、まだ対応しているのは一部の店舗のみ。これは対応している店舗としていない店舗がひと目でわかるように、以前作成したスーパー玉出ダッシュボードにデータを追加しないと大変なことになるのは火を見るより明らかでした。 PayPay
DS.INSIGHT - ヤフー・データソリューション
DS.INSIGHTは、顕在化されづらい消費者の気持ちをお手元で探索・分析できるデスクリサーチツールです。 Yahoo! JAPANの月間5,600万人のユーザー*からお預かりしたデータを統計化し、 どなたでも直感的に使いやすいインターフェースで、企画立案や意思決定などに データをお役立ていただけます。
「Redash v8.0.0」で気になった新機能と機能改善 - kakakakakku blog
2019年10月末に Redash の最新バージョン「Redash v8.0.0」がリリースされた．Change Log を読むと機能改善が多くあり，今回は「個人的に気になった Redash v8 新機能と機能改善」を「計10点」紹介しようと思う．Change Log は以下の CHANGELOG.md で確認できる． redash/CHANGELOG.md at master · getredash/redash · GitHub 目次 ドロップダウンで複数値を選択できるようになった クエリ名を日本語で正しく検索できるようになった ダッシュボードがグリッド表示になった データソース追加／削除 データソース設定画面の UI 改善 クエリ画面にデータソースのアイコンが表示されるようになった カスタムアラート機能 Query API Key を作り直せるようになった アラート送信先から Hip
Googleが患者に無断で医療記録を収集していたと報告される
By stevanovicigor Googleは「プロジェクト・ナイチンゲール」というコード名で呼ばれるプロジェクトの下、アメリカの21の州で何百万もの患者記録を収集していたと報告されています。この大規模な医療記録の収集プロジェクトについて、医師や患者への通知はなかったと報じられています。 Google’s alleged ‘Project Nightingale’ may be secretly gathering health records - The Verge https://www.theverge.com/2019/11/11/20959771/google-health-records-project-nightingale-privacy-ascension Wall Street Journalのロブ・コープランド氏は、プロジェクト・ナイチンゲールによって収集されたデ
Food Data Platformは、「Retty」に蓄積され、日々更新され続けるFood領域の各種データを収集／格納／成形／統合／管理し、企業のデータベースとシームレスにデータ連携できるデータ基盤。企業が独自に保有するデータ・データ基盤とFood Data Platformを連携させることで、新たなコンテンツ体験機会の創出、ユーザーインサイトによるマーケティング精度の向上、トレンド分析、商品企画開発、位置情報を活用した出店戦略立案、消費動向調査など、企業独自データの品質向上などに利用できる。 また、データ基盤連携第一弾として、出光興産が運営する旅行プラン作成サイト「ドライブコンサルタント」と「Food Data Platform」の連携を開始した。 同社によると、出光興産が保有する全国に広がるサービスステーションを起点とした地域データと「Retty」の人気店データを掛け合わせることで、
「感染症の専門家だからといってビッグデータとＡＩを扱えるわけではない」三浦瑠麗氏が感染者数のピーク予測を提供する理由 | 国内 | ABEMA TIMES | アベマタイムズ
7日のABEMA『NewsBAR橋下』にゲスト出演した国際政治学者の三浦瑠麗氏が、政治と専門家の役割について橋下徹氏と議論した。三浦氏は先月から、自身の参加する民間有志チーム「CATs」（Collective Analysis Teams）による、東京都での新型コロナウイルス感染症の第6波ピーク予測を連日公開してきた。 橋下：尾身さんたち専門家の皆さんが日々努力をされていることには敬意を表するんだけど、ちょっと“同族グループ”すぎたんじゃないか。尾身さんっていう権威がいて、同じような考え方の、いわば弟子というか、知り合いを引っ張ってきちゃったから。違う考え方の専門家もいっぱいいるわけだし、そういう人たちも含めてどういう会議体にするか、そこは、最後は政治の責任だが、日本のコロナ対応で混乱が起きたことの一番の問題点は、専門家が“同族”すぎるからというところにあると思う。
Googleが警告、AI「Gemini」に“機密情報を入力しないで”。会話は従業員も閲覧（PHILE WEB） - Yahoo!ニュース
GoogleはBard改めGeminiのプライバシーの取り扱いについて、ヘルプページの「Gemini アプリのプライバシー ハブ」で、AIアプリの使用時に注意すべきリスクを説明している。 Google Bardが「Gemini」に名称変更。高性能AIモデル「Ultra 1.0」も提供開始へ Googleは、Gemini アプリケーションが会話、位置情報、フィードバック、利用状況情報といった情報を収集すると説明。それらの情報を製品、サービス、機械学習技術の提供や向上、開発に利用すると述べている。 ただ、ZDNetは懸念すべき事項として、Geminiがユーザーの会話内容にアクセスする点を指摘している。Googleはこのページの「どのような種類のデータが収集され、どのように使用されますか？」という項目において、ユーザーの個人情報を他人に販売することはないとしているが、自動ツールを用いて会話のサブ
DXへの取り組みの加速により、企業は保有しているデータを分析・活用する必要性が高まってきました。「データドリブン経営」という言葉が一般的になってきたように、ビジネスでより良い判断をするために保有しているデータを活用することは最優先事項となっています。 前回はなぜ今データ分析を行うべきなのか、目的とメリットをご紹介いたしました。 ※前回の記事はこちら blog.css-net.co.jp 今回は、そのデータ分析における現状と課題点について詳しくご説明いたします。ぜひご自身の会社に当てはめてお考え下さい。 １．データ活用の現状 1-1. データが散在しており、現状を把握出来ていない 1-2. データを見てもビジネスの発想が出てこない 1-3. 顧客や成果のデータを可視化したい 1-4. 施策に有効なデータを選定できない ２． 効果的にデータを活用するために 2-1
データカタログ横断システム
データカタログ横断システムはSIP NIIコンソーシアムが開発したオープンデータに係る情報検索サイトです。
ここ最近「SnowflakeとTreasure Dataの違いを教えてほしい」 といった質問を頂くことが増えています。 どちらもクラウドDWH(データウェアハウス)や、 クラウドデータプラットフォームと呼ばれるように、競合するプロダクトですね。 クラウドのスケールメリットを活かしている点、 ユーザビリティの高いGUIが用意されている点など、共通点が多いです。 2011年に米国で日本人が創業し、 2013年から今日に至るまで日本国内での普及を着実に進めていったTreasure Data。 2012年に米国で元Oracle出身者が創業し、 グローバルでの評価を確固たるものとし、 満を持して2019年に日本法人を設立したSnowflake。 グローバルでの知名度は圧倒的にSnowflakeの方が高いのですが 日本国内での歴史はまだ浅く、 国内においてはTreasure Dataの方が知名度が高く
はじめに この記事は、Apache Beam Documentation の内容をベースとしています。 Apache Beam Python SDK でバッチ処理が可能なプログラムを実装し、Cloud Dataflow で実行する手順や方法をまとめています。また、Apache Beam の基本概念、テストや設計などについても少し触れています。 Apache Beam SDK 入門 Apache Beam SDK は、Java, Python, Go の中から選択することができ、以下のような分散処理の仕組みを単純化する機能を提供しています。 Pipeline：処理タスク全体（パイプライン）をカプセル化します。処理タスクには、入力データの読み取り、変換処理、および出力データの書き込み等が含まれます。 PCollection：分散処理対象のデータセットを表すオブジェクトです。通常は、外部のデータ
データレイク解説シリーズ 第 1 回 : データレイクってなに ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは。今回から 4 回の予定でデータレイクについての連載をスタートします。現在データレイクの書籍を 4 名で執筆中なのですが、そこからエッセンスとなるポイントを抜き出し、builders.flash を読んでいただいている皆様にコンパクトにお届けします。第一回は「データレイクってなに？」です。 データレイクを一言で表すならば、多様なデータを一元的に、大量に保存して置ける場所です。データベースに入っているような構造化されたデータも、ソーシャルメディアのメッセージも、画像や音声ファイルも一箇所に集めたデータ置き場という意味です。 これを読んでいる皆様は「データベースでは駄目なの ?」と思われるかもしれませんね。巨大なデータを扱うという意味ではデータウェアハウスもありますが、これとはどう違うのでしょうか？ 今回はデータレイク理解の最初の一歩として、データレイクは、データベースやデータウェア
小売にはびこる「悪しき先入観や現場主義」をぶっ壊せ！ データドリブンなグッデイ三代目社長は、何と戦ってきたのか：長谷川秀樹の「IT酒場放浪記」（1/4 ページ） メルカリのCIOを退任し、「プロフェッショナルCDOの道を切りひらく！」と宣言した長谷川秀樹氏が、酒を酌み交わしながら語り合う本対談。今回は、何を食べてもおいしい博多にやってまいりました。 ゲストは、北部九州・山口を中心にホームセンター65店舗を運営する「グッデイ」の三代目社長 柳瀬隆志さん。独学で統計分析ツールのRや、プログラミング言語のPythonを習得し、社員とともにデータドリブンな経営を目指しています。 POSデータは「過去は分かる」が、「未来は教えてくれない」――。そんな小売業の定説に、「せやろな」と同調していた東急ハンズ時代の長谷川氏にとって、柳瀬氏との出会いは衝撃的だったようで…… データドリブンな三代目社長はこうし
Embulk & Digdag Online Meetup 2020｜IT勉強会・イベントならTECH PLAY［テックプレイ］
概要 COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました！ Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの２社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。 Youtube Live経由で配信します。https:
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全国130万件の交通事故マップ-みえない交差点-プレミアムA：朝日新聞デジタル
17万人の育児データから、赤ちゃんの特長や個人差について調査してみた | Lidea(リディア) by LION
Google、脱「クッキー」加速 4月から広告主と試験運用 - 日本経済新聞
GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）
3連休 1都3県の人出 前回の緊急事態宣言時を大幅に上回る | NHKニュース
COVID-19 Community Mobility Report
BigQuery と Snowflake を徹底比較
コロナ濃厚接触をスマホで通知 AppleとGoogle - 日本経済新聞
トヨタ「215万人分のクルマの位置情報、漏えいの可能性」公表 クラウド環境誤設定、約10年にわたり
機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選
Ｔカード会社、４千万人分の顧客データを販売へ…「同意」は有効か
データに見る日本人の一面 朝4時のTwitter投稿は「死ね」が1位 - ライブドアニュース
社内でAI人材を発掘するJR西日本、物体認識コンペ優勝の裏側 | Ledge.ai
Googleの広告設定を共有してメンバー間でつながるプロジェクト
スマホがドラレコになるアプリ登場、無料の狙いは撮影データ
Retty、食領域のビックデータ連携基盤「Food Data Platform」--連携の第一弾は出光興産
【データ分析入門】データ分析の現状と課題 - シー・エス・エス イノベーションラボ（ブログ）
【禁断の比較？】SnowflakeとTreasure Dataを比べてみました
Apache Beam (Dataflow) 実践入門【Python】 - Qiita
小売にはびこる「悪しき先入観や現場主義」をぶっ壊せ！ データドリブンなグッデイ三代目社長は、何と戦ってきたのか
www.sizugawa-mazda.co.jp
zenn.dev/kusaremkn
www.strava.com
www.kashiwashobo.co.jp
spincoaster.com
www.yomiuri.co.jp