1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
現役高校生プログラマーの率いるワンファイナンシャルは6月12日、お財布に溜まっているレシートを瞬時に現金化できるアプリ｢ONE（ワン）｣の提供を始めることを明らかにした。スマートフォンのカメラ機能を使ってレシートを撮影すれば、すぐにアプリ内のウォレットに10円が振り込まれるという。振り込まれた現金は銀行の手数料分以上になれば、国内のほぼ全ての金融機関で好きなタイミングで引き出すことができる。 ワンファイナンシャルCEOで高校3年生の山内奏人さんは｢レシートには究極のいろんなデータが含まれている。いつ、どこで、誰が何をいくら払って、いくらお釣りをもらって買ったのか。一人ひとりの購買行動やパターン分析ができるようになる｣と話す。蓄積データをメーカーなど企業向けに販売していく狙いがある。 山内さんは小学生の時に独学でプログラミングを始め、国際的なプログラミングコンテストやビジネスコンテストで数々
【保存版】Pythonでデータサイエンスするための全体像と、必要な学習項目を初心者向けにまとめてみたよ！｜Dai｜note
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
宮崎県の統計システムの公募がすごい。
宮崎県から出された公募が前代未聞な形で話題になっています。github にプロトタイプが公開されている他、技術的に「分かっている」人が書いた感が漂っており、多くの人の興味を引いています。 さらに、これを書いた職員は実は生え抜きの公務員で、独学でプログラミングを学んだとか・・・
人身事故が起きた全国100万件分の地点を日本地図に置き、あなたの近くに潜む危険な場所を可視化しました。各地の小さな交差点で交通事故が多発していることも明らかに。
小売業の特徴は、いわゆる｢ニッパチの法則｣（売り上げを支える売れ筋商品は全体の2割という法則）。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。｢均一価格｣は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、｢人間の能力では在庫を把握するのは難しい｣という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす｢自動発注システム｣（2015年導入）だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、｢チャンスロス｣が解消された。
日本の電子決済と異なり、中国のQRコードスマートフォン決済「アリペイ」「WeChatペイ」は、加盟店手数料などが原則不要だ。それでなぜ利益を上げられるのか。今日頭条が報じた。。 踏んだり蹴ったりの電子決済 日本で電子決済が広まらない理由。それは手数料だ。加盟店は一般的に3％から5％程度の手数料を支払わなければならない。お客さんが1000円のランチを食べても、電子決済で支払われたら、実質の実入りは950円で、50円は決済運営企業に支払わなければならない。 これは、ギリギリのコスト、ギリギリの利幅で経営している小規模飲食店にとって、かなりきつい。電子決済をする客が増えてきたら、値上げをせざるを得なくなり、値上げをすれば客数が減り、客数が減れば売り上げが下がるという悪い循環に入ってしまうのではないかという恐怖がある。 そのため、飲食店では、電子決済に対応していることを積極的にアピールしないことも
政府がマイナンバー（個人番号）カードを活用して2020年度に実施するポイント制度の概要が1日、分かった。10月の消費税増税対策で、一部自治体が独自発行する「自治体ポイント」の拡充を検討していたが、変更して全国共通にするのが柱。民間のスマートフォン決済事業者と幅広く連携し、利用者がスマホに入金すると、地域を問わず使えるポイントを国費で上乗せする。20年10月に始め、入金2万円に対して5千円分（25％）を提供する案が有力だ。 本人認証やポイント管理にマイナンバーカードのシステムを使う点は変わらず、利用はカード取得が条件だ。
息子が爆誕しました！ 「くらしとココロに、彩りを。」でお馴染みのLideaをご覧の皆さんこんにちは。 ライターのヨッピーです。 今日は皆さんにお知らせがあります。 実は……、 かわいいかわいい息子が爆誕してしまいました。本当にありがとうございます。 「お前に息子が誕生したことと、くらしとココロの彩り、何が関係あるの？」と聞かれれば「さあ？」としか答えられないのですが、息子氏が爆誕したことによって、酒をかっ食らってゲームをして寝るだけみたいな、荒れた日々を送ってきた僕ですら家事だの育児だのを頑張るようになってくらしに彩りが出てきました。 実は僕、子どもが生まれる前から、Twitterなんかで「育児、大変！」「子育ては地獄や！」みたいな意見がたくさん流れてくるのを見ていたので、子どもが生まれることに対してかなりビビっており、爆誕前から育児本を読み、時短家電を買いあさり、義両親の手を借りるため義
日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 【シリコンバレー=奥平和行】米グーグルがインターネットの閲覧履歴などを保存する「クッキー」の利用制限に向けた取り組みを加速する。広告主と協力し、代替技術の試験的な運用を4月に始める方針だ。消費者のプライバシーに対する意識が高まるなか、ネット広告の効率維持との両立を目指す。 プライバシーなどを担当するグループプロダクトマネジャーのチェトナ・ビンドラ氏が25日、ブログを通じて代替技術の開発状況について説明した。グーグルは2020年1月、クッキーのうち消費者が閲覧しているサイトの運営企業とは異なる第三者が提供する「サードパーティー」を制限する方針を示していた。 グーグルは22年までに同社のネット閲覧ソフト（ブラウザー）「クローム」でサードパーティークッキ
政府、AI人材年25万人育成へ 全大学生に初級教育
日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 政府が策定する「AI戦略」の全容が分かった。人工知能（AI）を使いこなす人材を年間25万人育てる新目標を掲げる。文系や理系を問わず全大学生がAIの初級教育を受けるよう大学に要請し、社会人向けの専門課程も大学に設置する。ビッグデータやロボットなど先端技術の急速な発達で、AI人材の不足が深刻化している。日本の競争力強化に向け、政府が旗振り役を担う。
行政が紡ぐ「赤い糸」－。愛媛県の「えひめ結婚支援センター」（松山市、 https://www.msc-ehime.jp/ ）による婚活事業が好評だ。人工知能（ＡＩ）と蓄積された利用者のデータを使い、相手を幅広く選べるシステムも導入し、結婚が成立した組み合わせは約９００組。婚活事業に取り組む団体などの視察が相次ぎ、同システムを導入した自治体は１０を超えている。 ■まるで「ＩＤ野球」 センターは県が未婚・晩婚化対策として平成２０（２００８）年１１月に設立し、県法人会連合会に運営を委託。今年１月までに延べ約７３００組のお見合いをお膳立てした。 ２７（２０１５）年３月からは、ＡＩと利用者の婚活履歴を蓄積した「ビッグデータ」を活用。利用者が好みの相手を検索すると、同じ相手を選んだ別の利用者とグループ化され、ＡＩがそれぞれの婚活履歴を解析し、「好みに近い」相手も選択肢として提示する。 公共性が高い機関
「いろんな報道でまた騒がせておりますが、そのすべてが会社の事業のためです。一点一点説明するときりがないので今日は割愛させていただきますけれど、今日は私のほうから、プライベートブランド（PB）、および、ゾゾスーツ（ZOZOSUIT）の今後の新展開ということでご説明申し上げます」。 ZOZOに社名変更をしてから初となる決算説明会（10月31日開催）で、前澤友作社長はこう切り出した。続けて、ZOZOSUITの廃止理由や、PB「ZOZO」のビジネススーツの不良品の発生や発送の遅れについて、謝罪するとともに対策を語った。すでにさまざまなメディアがその内容について報じ、SNSなどでも多くの意見が飛び交っているが、今後のZOZOの行方を占ううえでも、彼らのスタンスを見極める意味でも重要な内容なので、ほぼすべての発言についてここに記しておく。 生産・配送が遅れ、15.4億円の受注に対して納品は5.4億円に
2020年に制度が本格始動すれば、すべての中国人の行動が習近平の監視対象になる Aly Song-REUTERS ＜長々とゲームをするのは怠け者、献血をするのは模範的市民、等々、格付けの高い者を優遇し、低い者を罰するこのシステムにかかれば、反政府活動どころかぐれることもできない＞ 中国で調査報道記者として活動する劉虎（リウ・フー）が、自分の名前がブラックリストに載っていたことを知ったのは、2017年に広州行の航空券を買おうとした時のことだった。 航空会社数社に搭乗予約を拒まれて、中国政府が航空機への搭乗を禁止する「信頼できない」人間のリストを保有しており、自分がそれに掲載されていたことに気づいた。 劉は、2016年に公務員の腐敗を訴えるソーシャルメディアに関する一連の記事を発信し、中国政府と衝突した。政府から罰金の支払いと謝罪を強要された劉はそれに従った。これで一件落着、と彼は思った。だが
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
結論 何がいいたいかといいますと0000-00-00 00:00:00があるとORMも死ぬし、DBマイグレーションツールも死ぬし、そもそもMySQLからポスグレにデータを持っていくこともFDWをすることも出来なくて死ぬのじゃ。— そーだい@初代ALF (@soudai1025) 2018年4月25日 色々困るので使わない。 理由 以下に理由を述べる SQL標準ではない 正論で殴った場合。 0000-00-00 00:00:00の仕様が難しい 0000-00-00 00:00:00 はMySQLの独自な仕様で NOT NULL制約のカラムではNULLと等価であり、NULLではない という仕様がある。 "NOT NULL として宣言された DATE および DATETIME カラムでは、次のようなステートメントを使用することで、特殊な日付 '0000-00-00' を検索できます"https:
ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」
「西側諸国を支援するために立ち上げた」 2019年秋のある晴れた火曜日の午後、パリのリュクサンブール公園でアレックス・カープ（53）が太極拳をしていた。青のナイキのスウェットパンツに、青のポロシャツ。靴下はオレンジで、スニーカーはチャコールグレー。赤のアクセントが入った白縁のサングラスが、彼の最大の特徴である天に向かって逆立つゴマ塩の髪を引き立てていた。 栗の木の木陰でカープは太極拳と気功の一連の優雅な動きをする。体をひねったり、向きを変えたりするたびに足元の小石や土がわずかに動いた。その姿を、近くにいた10代の若者たちが面白そうに眺める。 10分ほど、そうやって体を動かした後、カープは近くのベンチに行った。そのベンチにはボディーガードの一人が置いた楽器ケースのようなクーラーボックスがある。 ケースにはカープが愛飲するドイツのノンアルコールビールの瓶も数本入っているが、いま中から取り出した
A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
京都大学の梅野健教授と新谷健修士課程学生は、世界中の様々なビッグデータに現れる「べき則」の普遍性を説明する新しい統計法則を発見した。この統計法則は「超一般化中心極限定理」と呼べるもので、データ上に普遍的に現れるという。これにより世界の様々な現象の統計モデルの構築が期待される。 今回の研究では、現実のデータを反映した、従来の統計則である極限定理では捉えることができない、異なるべき分布を個々に持つ独立な確率変数の和という統計モデルを定式化した。その上で、データの数Nを無限にする極限において、レビの安定分布に収束するという極限定理を導出した。 この極限定理は、統計学の基本法則である中心極限定理をべき則に一般化した一般化中心極限定理を、さらに異なるべき則の和の極限に拡張したもので、「超一般化中心極限定理」と呼ぶことができる。より一般化された状況でも成立する極限定理としての統計学的な意義があるととも
経団連は、ビッグデータの活用を国を挙げて強力に推し進める必要があるとして、政府に「デジタル省」の創設を求める提言をまとめました。 これに対し、日本企業は遅れをとっており、ビッグデータの活用を国を挙げて強力に推し進める必要があるとして、各省にバラバラに置かれている担当部署を統合し、「デジタル省」を創設すべきだと提言しています。 ビッグデータをめぐっては、各国によるデータの争奪戦が激しくなっていて、中国が国境を越えたデータの移転を禁止するなど法規制によってデータを囲い込む動きも出ています。このため提言ではデジタル省の創設によって各国と交渉を行う体制を整え、規制の撤廃などを働きかけるべきだとしています。
インターネットで表示されたページに、以前検索したことのある商品などに関連した広告が出てきて、自分の個人情報の扱いが気になった経験はないだろうか。 去年は、フェイスブックで最大8700万人分の利用者の個人情報の流出が判明。便利なサービスと引き換えに、自分が知らないところにも情報が使われているおそれがあることを認識させられた。 こうしたなか、プライバシー保護を重視した新しいサービスが登場している。掲げるのは、ＧＡＦＡ（Google、Apple、Facebook、Amazon）への反旗だ。（経済部記者 野上大輔） ＡＩ＝人工知能を搭載し、声だけで買い物や家電の操作ができる「ＡＩスピーカー」。 グーグルやアマゾンなど各社が投入し、日本でも利用者が増えている。 各社は利用者が話しかけた情報を収集してＡＩで分析し、精度の高い動作を実現している。消費者が懸念するのは、自分たちの情報がＡＩスピーカーから会
11日までの3連休の人出について、2回目の緊急事態宣言が出ている1都3県の各地で分析したところ、いずれも先月の土日・祝日より減少したものの、去年の1回目の宣言時を大幅に上回ったことがビッグデータの分析から分かりました。 NHKは、IT関連企業の「Agoop」が利用者の許可を得て個人が特定されない形で集めた携帯電話の位置情報のデータを使って、1都3県の主要な駅周辺や繁華街の3連休中の人の数を分析しました。 分析した時間は ▽駅周辺が日中時間帯の午前6時から午後6時 ▽繁華街は夜間帯の午後6時から翌午前0時です。 主要駅周辺の人出 その結果、主要な駅周辺の人出は、いずれも先月の土日・祝日の平均より5％から40％近く減少していたものの、去年の緊急事態宣言時の土日・祝日の平均と比べると2倍以上に増えていました。 このうち東京駅は、先月と比べて38％減少しましたが、去年の宣言時と比べるとおよそ2.4
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
Netflixがカスタマーを誰よりも理解するためのデータ分析プロセス、コンシューマー・サイエンスの紹介 - Qiita
時間がたつに連れて、私のフォーカスは、「カスタマーが何を言っているのか？」から、「まずはテストしよう！」というコンシューマー・サイエンスの態度に変わりました。私のチームのカスタマーに関するインサイトは向上し、学びの速度も上がり、何がカスタマーを喜ばせるのかについてのある仮説を形成するに至りました。 以下が、コンシューマー・サイエンスとカスタマーオブセッションのために私達が使ったリサーチの手法です。 既存のデータを使って過去と現在のカスタマーの行動を理解する。 私達の作っているものに対してカスタマーがどう反応するのかを聞くために、フォーカス・グループや一対一のインタビューやユーザーテストといったクオリティティブなリサーチをする。 カスタマーがどういった人たちなのかを、デモグラフィック（人口統計学的属性、つまり性別、年齢、住んでいる地域、所得、職業、学歴、家族構成など）、競合する製品の使用度、
As global communities responded to COVID-19, we heard from public health officials that the same type of aggregated, anonymized insights we use in products such as Google Maps would be helpful as they made critical decisions to combat COVID-19. These Community Mobility Reports aimed to provide insights into what changed in response to policies aimed at combating COVID-19. The reports charted movem
リクナビ問題、なぜ「脱法」サービスが生まれたのか
新卒採用に応募した学生1人ひとりの選考離脱率や内定辞退率の予測スコアなどを契約企業へ提供していたことが発覚した就職情報サイト「リクナビ」。この問題に関して、運営会社のリクルートキャリアは2019年8月22日、学生会員向けにおわびのメールを配信した。 リクナビは毎年会員を更新しており、2019年3月から運用しているのは「リクナビ2020」、前年は「リクナビ2019」だ。スコア算出の対象者である7万4878人の大部分はリクナビ2020の会員だが、リクナビ2019の会員が1万2330人いる。 ところがおわびメールを送った相手はリクナビ2020の会員のみで、リクナビ2019の会員には送っていないという。学生がスコア算出の対象者に自分が含まれるかどうかを調べる特設サイトも、リクナビ2019会員は対象外である。 同年8月26日にリクルートキャリアが開いた記者説明会で、同社の小林大三社長は「問題の根本は
最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
コンテンツビジネスのキモはレコメンド機能 映像作品も音楽も、いまや「ネットサービス」を抜きには語ることができない。ビジネスの主体は、月額料金を支払うことで見放題・聴き放題になる「サブスクリプション型」が軸になっている。 そして、サブスクリプションといえば、個々のユーザーが好みそうなコンテンツを教えてくれる「レコメンド」機能がつきものだ。 では、レコメンドによって提案されるコンテンツは、どのように選択されたものなのか？ そこには、各コンテンツ企業の戦略と、個人情報に対する考え方が大きく影響している。 レコメンドは、現在のコンテンツビジネスに必須の機能である。 なぜなら、ネットビジネスには「在庫リスクが低い」一方、「陳列能力が弱い」という特徴があるからだ。これは、現実の店舗とネット上の店舗を比較すればよくわかる。 「未知の作品」に出会わせる力は、実店舗が上 現実の店舗には、最低でも数百種類の商
ビッグデータを活用し、犯罪や事故発生を予測する取り組みが全国の警察で進められる中、福岡県警は、平成２６年に壊滅作戦に着手した特定危険指定暴力団工藤会（北九州市）から証人や情報提供者を守るため、組員らの行動パターンを基に襲撃の予兆を把握するシステムの開発を始めた。 普段と違う行動に着目 北九州市では２０００年前後から暴力団排除運動に関わる市民やあいさつ料を断った事業者を狙った事件が目立って発生。県警は平成２６年９月、元漁協組合長射殺事件で同会トップの野村悟被告（７１）ら上層部を逮捕した。野村被告は２４年の元警部銃撃や２５年の看護師襲撃、２６年の歯科医襲撃などでも起訴され、上納金を巡る脱税事件では今年７月、実刑判決を受けた。 県警は、脱税以外の公判が今後始まるのを見据え、証人らの保護対策を強める必要があると判断。自宅周辺をパトロールするだけでなく、ビッグデータ解析の専門家の協力を得て、襲撃を事
ビッグデータの外部提供が広がる | NHKニュース
ＩＴ大手のヤフーは、インターネットで検索されたことばなど、大量のビッグデータを外部に販売する新たなビジネスを始めました。個人は識別できないということで、商品開発などに向けてビッグデータの活用が広がりそうです。 専用のウェブサイトで調べたいキーワードを入力するとそのことばを検索している人の性別や年代ごとの動向や、一緒に検索されたほかのことばなどが分かり、商品開発や価格設定といったさまざまな活用方法があるとしています。 記者会見したヤフーの川邊健太郎社長は「個人情報の保護を第１とし、より使いやすいもの、効果があるものにアップデートを繰り返し、事業の柱にしていきたい」と話していました。 ビッグデータをめぐってはＮＴＴドコモが携帯電話の基地局の情報をもとにどの地域にどのくらいの人がいるかを示すデータを有料で提供しているほか、楽天もネット通販の購買情報を分析したビジネスを展開するなど、活用が広がって
この世で一番「会いたい」ヤツを決める『天下一あいたい会』を開催します。 2019年2月12日までにリリースされた楽曲の歌詞の中でどれだけ「あいたい」が使われているのかをアーティストごとに集計し使用率をランキングにしました。 ルール：一曲の中で複数回使われていても「1回」とカウント。 集計対象ワード：「会いたい」「逢いたい」「あいたい」「会いたくて」「逢いたくて」「あいたくて」「会いたかった」「逢いたかった」「あいたかった」「会いたくなる」「逢いたくなる」「あいたくなる」「会えるの？」「逢えるの？」「会えるかな？」「逢えるかな？」「会えるのかな？」「逢えるのかな？」「会えるのなら」「逢えるのなら」「あえるのなら」「会えるのを」「逢えるのを」「あえるのを」「会えるのならば」「逢えるのならば」「アイタイ」「Aitai」「miss you」…他 参考サイト：歌詞検索サービス 歌ネット ※リリース曲
For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t
ぼくが地上波テレビを見なくなったワケ【茂木健一郎の言葉とコミュニケーション】 - ENGLISH JOURNAL ONLINE
茂木健一郎さんの連載「言葉とコミュニケーション」第17回は、今、世界を席巻している動画配信サービス「Netflix」について。その成功の秘密はどこにあるのかを考察します。 失われた地上波テレビの「熱」ぼくが子どもの頃は、地上波テレビが好きで、楽しみにしている番組がたくさんあった。 アニメ『巨人の星』とか、英国制作の人形劇『サンダーバード』とか、『仮面ライダー』とか、『ウルトラセブン』とか、毎回わくわくして見ていた。 大人向けの番組も、『スター千一夜』とか、『アップダウンクイズ』とか、楽しみなものがいっぱいあった。 最近は全くテレビを見なくなってしまった。忙しくなってしまったこともあるけれども、テレビがすっかり変わってしまったからだろう。 最近本当に楽しみなのは、動画配信サービスの「Netflix（ネットフリックス）」である。さまざまな新作がリリースされるたびに、「わあ、見なくちゃ！」と盛り
229522
グーグル、アマゾン、フェイスブック、マイクロソフト、アップル（5社まとめてGAFMA）は、政府にも手出しできないほど強大な存在になったのか。 テクノロジー産業は米国経済の誇りであり、あふれ出るイノベーションの泉であり続けてきたように見える。だが、こうした巨大テック企業による技術革新にもかかわらず、全体の生産性向上は遅々として進んでいない。 脅威となる企業があれば飲み込む 理由はいろいろある。リーマンショックから10年を経ても投資が低位にとどまっていることが最大の原因だろう。だが、GAFMAによってイノベーションの芽が摘み取られている点は見逃せない。巨大テック企業の支配力や収益力、影響力があまりにも大きくなったせいで、新興勢力がのし上がるのは極めて困難な状況になっている。 確かに、フェイスブックやグーグルはかつて、ヤフーなど既存のライバルを蹴落とすことで成り上がってきた。だが、GAFMAの株
コロナ濃厚接触をスマホで通知 AppleとGoogle
日経の記事利用サービスについて 企業での記事共有や会議資料への転載・複製、注文印刷などをご希望の方は、リンク先をご覧ください。 詳しくはこちら 【シリコンバレー=白石武志】米アップルとグーグルは10日、スマートフォンを使って新型コロナウイルスの濃厚接触の可能性を検出・通知する技術を共同開発すると発表した。5月に第1弾となる機能を各国の公衆衛生当局向けに提供を始める。日本でも展開する。スマホを使って感染経路を追跡する技術はすでに中国などで導入されているが、プライバシー上の課題もあり、対策が急務になっている。 両社が開発する新技術は、スマホの近距離無線通信規格「ブルートゥース」を活用。周辺のスマホを一定の間隔で検知し、互いの識別情報を端末内に保存する。新型コロナの感染者が見つかった場合、本人の同意を得られれば、過去14日間に蓄積した近隣のスマホの識別情報がクラウド上のシステムに送られ、濃厚接触
私は、シリコンバレーに拠点をもつAIビジネスデザインカンパニー、パロアルトインサイトのCEOとして、過去50社以上の日本企業にAI技術活用に関するアドバイスや導入をしてきました。 業界特化型のAIソリューションを提供する会社ではなく、業界横断的に企業のニーズを見て、それに対してAI技術を駆使した解決策を提案、実装してきた中で見えてきたことがあります。 それは、多くの日本企業、それも超一流の会社ばかりが、｢データ集めなきゃいけない病｣にかかっているということです。 弊社のクライアント企業の経営陣は、よく以下のような質問を投げかけて来ます。 •集められるデータを集められるだけ収集しないと、AI活用できないのか？ •分析するのは｢ビッグデータ｣じゃないといけないのか？ •どれだけの容量のデータが集まれば、｢解析するのに十分だ｣と言えるのか？ データが十分に集まっているだけでは、ゴールにたどり着け
「ビッグデータ」が「notデータ」でAIマジギレ!? “残念なAI導入”を卒業するには：マスクド・アナライズのAIベンチャー場外乱闘！（1/4 ページ） ハロウィーンのお祭り騒ぎのように、AI（人工知能）やロボットブームに沸く日本。「とりあえずAIをしたい」という相談に悩まされてきたAIベンダー担当者が、AIが活用できる分野を紹介する。 前回記事では、はま寿司でPepperが有効活用されている理由や、ロボットと人間のコストパスフォーマンス比較などについて考えました。コストの問題は、Pepperに限らずAI（人工知能）でも考えなくてはいけません。 同じく前回記事の冒頭で触れたハロウィーンですが、AIと同じように右肩上がりでブームが続くのでしょうか？ ここ数年ハロウィーンの市場規模は頭打ちですし、繁華街における騒動や散乱するごみが問題視されています。こうした「ブームに踊らされる日本人」について
日本の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの／学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理＆公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである（2008年から運用が開始され、2018年にリニューアルされた）。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育・文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レシート1枚10円で買うアプリ、天才高校生プログラマーが小売市場に挑む
全国100万件の交通事故マップ-みえない交差点-プレミアムA：朝日新聞デジタル
ダイソー快進撃を支える｢毎晩105億件データ処理｣する需要予測システムはどう生まれたか
手数料ゼロでも利益が出るアリペイの秘密 - 中華IT最新事情
政府、全国共通の新ポイント発行 マイナンバーカードを活用 ｜ 共同通信
17万人の育児データから、赤ちゃんの特長や個人差について調査してみた | Lidea(リディア) by LION
Google、脱「クッキー」加速 4月から広告主と試験運用
「ＩＤ婚活」行政が人工知能とビッグデータで縁結び、結婚９００組成立 愛媛県（1/2ページ） - 産経ニュース
ZOZOSUITとPBの失敗理由と対策について、前澤社長はアナリストにかく語りき（ほぼ全文記録）(松下久美) - 個人 - Yahoo!ニュース
14億人を格付けする中国の「社会信用システム」本格始動へ準備
MySQLの0000-00-00 00:00:00は使ってはならない - そーだいなるらくがき帳
給料の大半が家賃に消えてしまう…日本の住宅政策は大丈夫か？ 藤田孝典さん持論 - 弁護士ドットコムニュース
GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）
京都大学がビッグデータの新統計法則を発見、「べき則」の普遍性を解明
経団連“デジタル省”創設を提言 ビッグデータ活用を推進 | NHKニュース
ビジネス特集 私のデータは渡さない！ アンチＧＡＦＡの新サービス | NHKニュース
3連休 1都3県の人出 前回の緊急事態宣言時を大幅に上回る | NHKニュース
Google アカウントのストレージポリシー変更について
COVID-19 Community Mobility Report
BigQuery と Snowflake を徹底比較
Netflixが「住所や年齢」を必要としないたった1つの理由（西田 宗千佳）
ビッグデータで暴力団襲撃予測 「工藤会」対策 証人ら保護目的 福岡県警（1/2ページ） - 産経ニュース
この世で一番会いたいヤツは誰だ。歌詞「あいたい」使用率ランキングベスト100 - kansou
MotherDuck: Big Data is Dead
なぜ日本企業は｢ビッグデータ集めなきゃいけない病｣にかかるのか？
「ビッグデータ」が「notデータ」でAIマジギレ!? “残念なAI導入”を卒業するには
機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選
s.japanese.joins.com
dothtml5.com
sulog.net
toyokeizai.net
www.asahi.com
cartman0.hatenablog.com