データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary
(2019/10/12追記 データ解析のプログラムもGitHubで公開しました) (2019/10/15追記 会員の見分け方に誤りがありました。本文中では"非会員"と"有料会員"に分けると述べていますが、正確には"非会員・無料会員"と"有料会員"に分かれています。以後の図・文章は脳内で変換していただけると幸いです。詳細は https://anond.hatelabo.jp/20191011180237 で他の方が調べてくださっています) はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
このように、可視化されたデータを連続して見せることによってファクトを伝えるのが、データ・ストーリーの手法です。 Ben Jones氏によるデータ・ストーリーについての解説と、彼が見出した7つの王道パターン データを伝える記事を多く出しているNYタイムズですが、彼らの新人記者向けの研修の資料では、データ・ストーリーについて詳しいBen Jones氏による以下の講演動画が紹介されていました。(講演のスライドはこちらから見られます。) 講演の内容について手短に解説します。Jones氏は当時(2015年)、データ可視化ツール大手のタブローソフトウェアでプロダクトマネージャーをしていました。(ちなみにタブローは、先月Salesforceに1.7兆円で買収されています。) ある日、タブローがいくつかの可視化されたデータを連続して見せる機能を公開したところ、ユーザーはそれを使ってさまざまなデータ・ストー
JavaScriptでコードを記述する際、配列の各要素について処理をするケースは頻出します。開発の現場で配列操作の処理を見ていると、次のようなケースがよくあります。 配列の非破壊の望まれる場面が増えているが、元の配列を破壊操作している filter()やevery()など配列のメソッドで書けるところを、forEach()メソッドやfor ... of文を使ってコードを記載し、冗長になっている 記述しても効果のないArray.from()を使用している コード的には問題なく、アプリケーションは意図的に動作しているかもしれません。しかし、冗長な記述は可読性が低下し、予期せぬバグを誘発する可能性があるでしょう。 本記事では、配列操作でよく見かける冗長な記述を、簡潔な記述で置き換える方法について解説します。 本記事で紹介するJavaScriptの配列操作のチートシートを用意したので、まとめて読みた
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノートJavaScriptd3.jsデータ分析データサイエンスcolaboratory CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZn
統計やっている人からするとなんら特別な話でもないのかもしれませんが。知人がこんなことを言っていたんですよね。 ワシントン州の独身男性の平均資産が急に500万円ほど増えたと。 なぜだかピンときますかね。 ・コロナの影響 ・お金持ちの独身男性が一気にワシントン州に増えた ・独身男性の定義が変わった ・急激なインフレによる報酬の増加 他にもあるかもしれませんが、抽象度の大小あれど色々原因の仮説は浮かびます。 が、 上記はどれもはずれです。 正解は何だと思います？ 答え：ビルゲイツが離婚したから ビルゲイツの資産額はググった数字ですが、14兆円とのことです。 離婚したので、その数字が平均値を一気に押し上げたと。 一つの突出した数値がある場合、平均値を見るだけでは状況を把握しづらいって良い例です。こういう場合は中央値を見る必要があると。 中学、高校の先生なんかが嬉々として引用しそうなエピソードですね
※本記事はアフィリエイトプログラムによる収益を得ています 古今東西、あらゆる作品の織田信長を紹介する新感覚評論本『信長名鑑』が、太田出版から発売されます。11月14日発売、1800円（税別）です。どのページめくっても織田信長しかいない……！ 織田信長だけを集めたマニアック過ぎる評論本です ゲームにもアニメにも漫画にも、いろいろな作品に登場する織田信長。至るところで創作されている織田信長をとことん調べ上げたマニアックな同人誌『信長名鑑』が、一般書籍になって登場です。同人誌時代から大幅に増補して、「織田信長」や「織田信長をイメージしたキャラ」を幅広いジャンルから掲載しています。 歴史上の人物というよりも、キャラクターとしての織田信長のイメージに迫った書籍で、美少女になった織田信長や、タイムスリップした織田信長など、ありとあらゆる織田信長を分析しています。総数585作品、703人の織田信長が登場
NTTデータ子会社のクラウドが壊滅、ストレージのバグで戸籍や税務などのデータ全消失 1 名前：ベスタ(茸) [US]：2019/12/05(木) 17:18:57.47 ID:yztuQHN80 日本電子計算株式会社（通称：JIP）とは、NTTデータの子会社、いわゆる「デー子」である。 概要 1962年に日本証券金融株式会社の電算室が独立し「日本電子計算」として分社化するかたちで設立された。 2012年にNTTデータにより公開買付（TOB）が行われ約100億円で買収された。 この買収は「NTTデータは銀行業には強いが証券業には弱い」というのを補うためだとしている。 2019年12月4日午前11時ごろ、同社が運営するクラウドサービスが吹っ飛び、その上で動く全国の自治体システムも吹っ飛び、全国約50の自治体で戸籍管理や税務処理、医療保険、図書館などのデータが消失した。 2019年12月4日午後
深層学習の数理
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku61.6K views•43 slides Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida15.5K views•38 slides
先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
日本人は国際的に低い給料の本質をわかってない
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
こんにちは、Exploratoryの白戸です。 Appleは新型コロナウイルスの対策支援として、Appleマップでの経路検索をもとにした移動傾向のデータを公開しています。ところが、残念ながらこのデータはそのままでは簡単に可視化できるようなフォーマットになっておらず、ちょっとした加工を行う必要があります。 しかし逆に、加工の仕方さえわかってしまえばそれぞれの都市や地域の移動データを可視化することで、恐怖を煽るばかりのマスコミからは見えてこない現状を理解することができるようになります。 今回はこのAppleの移動傾向データを簡単に可視化できるようにするための基本的な加工方法を、みなさんと共有させていただければと思います。 データはこちらからダウンロードすることができます。 以下は「モダンでシンプルなUIを使ってデータサイエンスができる」Exploratoryを使って、「日本で最も自粛している都
警視庁が公開している「警視庁犯罪情報マップ」が、ネットで「活用したい！」と話題になっている。東京都内の治安を簡単に調べられるサイトになっており、時期的に引っ越しの物件探しなどで役立ちそうだ。 東京都内の治安を調べられる「警視庁犯罪情報マップ」 「警視庁犯罪情報マップ」(リンクで外部サイトが開きます)では、調べたい住所を入力すると、その場所の犯罪情報や、不審者情報などを確認することができる。具体的には、子供や女性に対する声かけやつきまとい事案などをまとめた「前兆事案情報」、特殊詐欺の犯行予兆電話である「アポ電情報」、侵入やひったくりなどの「犯罪情報」の発生状況を地図上に表示してくれるのだ。また、パソコンだけでなくスマートフォンでも閲覧可能で、歩きながら治安状況を確認できる。 このサイトを使えば、ちょうど新生活前のこの時期であれば、引っ越しを検討している人にとって、その地域の治安を知ったり、犯
こんにちは、COOKERSの近藤です。 昨日、こんな記事が上がっていました。 togetter.com ケータリングの仕事をしていると、この「食べる量」の物量計算が本当に重要。 少なすぎれば「量が足りなくて物足りなかった」というクレームが来ますし、多すぎても「料理が随分と余ってるから、今回のケータリングは不評だったな。次お願いするのはやめよう」という判断になります。 特に料理が余っている状況は、食べ物を粗末にしてはいけないという文化で育っている日本人は強烈な不快感を感じるようです。（実際、自分自身も料理を残すのが苦痛ですし） そこで正確な食べる量を測定する必要があるのですが、僕はこれを「タンパク質（注）」の量で測っています。 総重量やカロリーではなく、肉や魚のタンパク質重量で測る理由は「食べ応え/満足度」と大きく影響するためです。さらに、原価も炭水化物や野菜類などと比較すると高くなるため利
上場したばかりの企業などの成長を確認する上で、社員数などが増えているのかを確認する上で便利な日本年金機構の厚生年金保険・健康保険 適用事業所検索システム - ねこぷろ
今日は便利なHPの紹介です 上場したばかりの企業などの成長を確認する上で、四季報などの情報なども薄かったり少なかったりする中で、自分たちで情報を集めることは重要になってくると思います。 成長を確認する上で、社員数が増えるということは今後売上なども増えていくのではないかと推測できたりします。 社員数などが増えているのかを確認する上で便利な日本年金機構の厚生年金保険・健康保険 適用事業所検索システム www2.nenkin.go.jp 厚生年金保険・健康保険 適用事業所検索システム | 日本年金機構 ここで社名や住所などを入力すると 保険などがかけられているかが検索できます。 なので大まかな社員数などが確認できるので、投資する上で参考としているHPです。 www.nekopuro.com
物語の始まり 事の発端は納品後。 先方からメッセージが届きました。 クライアント様「このファイルの文字コードがShift_JISになっておりますので、UTF-8で再納品をお願いいたします。」 拙者（あれ…UTF-8にしてたと思うんだけどな） 拙者「確認いたします。」 文字コードを確認する 本案件はいわゆる更新案件で、今回の納品時に言われていたのは、「文字コードがUTF-8ではないものは変換して納品してくれ」ということ。 そして、ご指摘いただいたのは、今回の更新案件で中身はいじらなかったJavaScriptファイル。 本来ならば納品するファイルではないのですが、文字コード変換という要件があったため、納品ファイルとして加えられたものでした。 一括で文字コードを変えたので作業漏れかなぁと思っていました。 ファイルの中身は記事用にかなり適当につくったものですが、まあだいたいこんな感じです。
キャッシュレス決済をすると金額の2～5％が還元される経済産業省の「キャッシュレス消費者還元事業」に関し、家計簿アプリを展開するZaim（ザイム、東京都渋谷区）が2019年9月4日、同事業の対象店舗を「検索」できるサービスを独自に開発・公開した。 同事業をめぐっては、対象店舗を公式サイトから探そうとすると全3608ページのPDFファイルに移動する仕様となっており、インターネット上では「探しづらい」と不満の声があがっていた。Zaimはこうした声を受け、「1日で」開発したという。 登録加盟店一覧はこちら→全国約18万店がズラリ 「キャッシュレス・消費者還元事業」は消費税増税に伴う施策で、10月1日から20年6月末までの間、登録加盟店舗で対象キャッシュレス決済手段を使って代金を支払うと、最大5％のポイント還元を受けられる。経産省が主導し、同省が監督官庁の一般社団法人キャッシュレス推進協議会が事務局
データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。 これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。 中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。 本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。 データ可視化そのものについて知りたいたは、こちらの記事からどうぞ。 データ可視化とは？その重要性や手法、よくある課題と解決策を解説 データ分析における視覚化（ビジュアライゼーション）系のおすすめの本17選1 S
「8割おじさん」のクラスター対策班戦記【前編】～ 厚労省のビルから北大の研究室に戻るにあたり伝えたいこと（中央公論） - Yahoo!ニュース
「緊急事態宣言がほどなく終わることがほぼ確実かと思いますので（インタビュー実施は5月19日）、それを踏まえておそらく専門家のやってきたことに関してある程度検証が進むと思います。東京に出てきていた研究員たちも輪番制にして北海道に帰し、僕自身もパートタイムになります。そこで、この3、4ヵ月のうちに経験したことや、反省点、今抱いている問題意識について共有できればと思っています」 北海道大学・西浦博教授は、Zoomのウィンドウの中からそのように語り始めた。「8割おじさん」として知られるようになった日本の理論疫学のエースは、この4ヵ月、厚生労働省（以下、厚労省）が入居する中央合同庁舎5号館に「登庁」する日々を送ってきた。データ分析を一手に担い、対策の科学的根拠を提供してきたのが西浦らのチームである。Twitterでの発信や、マスコミとの「意見交換会」などを通じて、肉声を届ける回路を保ってはいたものの
最近リリースされたものを中心に、ひらがな・カタカナ・漢字が使える日本語の新作フリーフォントを紹介します。 レトロなフォント、漫画や同人誌にぴったりなアンチック書体、プログラミング向けの等幅フォント、タイトルやコピーに使えるデザインフォントなど、たくさんのフォントがリリースされています。 ※梅干フォントが新コミック体になってしまってます、、、 最近のだけでなく、これまで全部の日本語の無料フォントは下記をどうぞ。 2020年用、日本語のフリーフォント 417種類のまとめ 最新のフリーフォント、まずは縦組み・長文・文芸向けの「源暎ちくご明朝」から。 源暎ちくご明朝 個人・商用サイトで無料利用可。同人誌や各種印刷物なども可。 源ノ明朝をベースにした、縦組み・長文・文芸向けをターゲットにデザインされた本文向け明朝体。東京築地活版製造所の五号活字（築五）の系譜に連なるオールドスタイルの仮名を持つフォン
データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」
naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」 2022-08-19 09:58:41
アメリカの名門大学に編入したのに…がっかり？ 脱北者で人権活動家のパク・ヨンミ（27) は、現在ニューヨークに在住し、難関エリート校のひとつであるコロンビア大学に通っている。2016年に韓国の大学から編入したのだ。 彼女がアジア圏だけでなく、欧米諸国でも注目を集めたきっかけは、2014年の国際会議でのスピーチだった。 彼女はアイルランドで開かれた18～30歳の若者による国際会議「One Young World」に参加し、壇上で涙ながらに北朝鮮の悲惨な実情や、常にレイプや死と隣り合わせだった中国での脱北生活について語った。その様子は世界中で報じられ、英メディアBBCが毎年発表する、世界に影響を与えた「100人の女性」にも選ばれた。
画像は『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では2021年1月14日から、日本統計学会と日本行動計量学会の協力のもとに作成した「統計学Ⅲ:多変量データ解析法」が開講される。受講料は無料。 『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より 実際のデータは複数個の測定項目からなる多変量データであることが多く、そのようなデータの統計解析手法の学習は、統計手法の現実問題への応用で極めて重要なものと言える。本講座では、多変量解析法を実際のデータに適用する際の注意点や実際の応用例を中心に学習できる。 『「統計学Ⅲ:多変量データ解析法」講座PV ～ gacco：無料で学べる大学講座』より 講師は、横浜市立大学データサイエンス学部教授の岩崎学氏、大阪大学大学院人間科学研究科
これまで国内で制作されたアニメ、およそ1万5000作品の公開時期やスタッフなどのデータをまとめた初めてのデータベースが完成し、25日、公開されることになりました。 運営する団体はアニメの研究などに役立ててほしいとしています。 このデータベース「アニメ大全」は、日本のアニメ100周年を記念するプロジェクトの一環で制作されたもので、国内で初めてアニメが作られた1917年以降のアニメ作品、およそ1万5000作品についての公開時期やスタッフ、声優などの詳しい情報がまとめられています。 データベースはインターネットを通じて25日公開されるということで、作品の公開時期や監督の名前などから知りたい情報を検索することができるようになっています。 運営する団体によりますと、日本のアニメのデータはこれまで網羅的にまとめられておらず、時間がたって情報が失われてしまうケースも少なくなかったということで、こうしたデ
100日間「自撮り」を送り合うとどうなるか
私はあまり自撮りをしない。しかし、周りにはサラッと自撮りをしてSNSにあげる友達もたくさんいる。しかもみんなうまい。 私も毎日練習すれば、自撮りがうまくなるのではないか？ ということで100日間自撮りをし続け、友人と送り合ってみました。 友人と自撮りグループを作る えいやで「100日続ける」と決めたが、ひとりで続けられる自信がなかった。すぐに友人を巻き添えにする。 大学時代の友人である郡司さん（左上）と山宮さん（下）である。「うわ〜自撮りか〜」と気が重そうだ。 自撮りを投稿するグループを作った。この部屋に3人分、300枚の自撮りが格納されていくのか？不安になる。 基本は毎日自撮りをする、それだけだ。とはいえ長いマラソンなのでルールも用意した。 特に最後が重要だ。我々は自撮りビギナーである。心が折れないよう細心の注意をはらい、お互いを尊重しようと強めに確認しあった。 写真だけ送るのも怖いので
はじめに# データビジュアライゼーションとは，数値や文章などのデータに基づいた情報を，人間が理解しやすい形に視覚化する技術を指します． このサイトは，文化庁のメディア芸術データベース・ラボ（MADB Lab）で公開されている四大少年誌（ 週刊少年サンデー， 週刊少年ジャンプ， 週刊少年チャンピオン， 週刊少年マガジン ）のデータを用いて，データビジュアライゼーションの学習を手助けすることを目指しています． データビジュアライゼーション（に限らずデータ分析全般）の学習において重要なのは，分析対象のデータに興味を持てるかどうかです． 本書では約47年の四大少年誌のマンガ作品データを採用しているため，モチベーションを保ちつつ学習を進めることが可能です．
＼【お知らせ】SPOT、引きこもりメディアはじめました／ この記事はコタツ記事です。 皆さんはコタツ記事というものをご存じでしょうか。 簡単に説明しますと、「取材などをせずにネット上にある情報を収集して、再構成して書く記事」のことを指します。コタツに入ったまま完結するからそう呼ばれているわけです。 コタツから出ることなく適当に作っている内容の薄い記事、みたいな文脈で使われることの多い「コタツ記事」ですが、ここSPOTにはその「コタツ記事」が存在しません。 なぜならSPOTのコンセプトは「実際に行ってみて体験したこと観たことをもとに熱量のある記事を書く」です。このコンセプトに共感し、我々は時には死ぬほどの乗り継ぎを経て取材先に行き、時には100キロ歩き、時にはシベリアまで行かされるわけです。そうなるともちろんのこと経費がかさみ、赤字も膨らんでいくわけです。 それでも、ただコタツに入りながら再
Search, watch, and cook every single Tasty recipe and video ever - all in one place! News, Politics, Culture, Life, Entertainment, and more. Stories that matter to you.
日本の空き家問題は新たなフェーズに突入しようとしています。 これまで人口減少が続く「地方の過疎地」の問題とされてきましたが、近年は県庁所在地などの都市部や大都市圏でも空き家が急増。そして団塊世代が平均寿命を超過し、多くの相続問題が発生する2040年に向けては、更に拍車がかかるといわれています。 今回NHKでは、明治大学の野澤千絵教授に協力を依頼。「2040年空き家数予測マップ」を作成し空き家問題の未来を可視化しました。分かってきたのは、いわゆる「人気の町」「人気のエリア」であっても空き家問題からは逃れられないという深刻な現実。 あなたの町、あなたの実家のある町は大丈夫ですか!? 必見のデータマップです。 野澤千絵さん / 明治大学政治経済学部教授 国土交通省の審議会委員 現場を訪ねデータ解析も用いて空き家や土地政策を研究 マップを見るポイント ―今回の2040年空き家予測マップの特筆すべき
ライセンスは「CC BY-NC-ND 4.0」で、利用の際にクレジットを表示すること、非営利でのみ利用すること、内容を改変しないことを求めている。 バンダイナムコは、メタバースやXR技術が広まる中、コンテンツ規模が拡大すると従来のモーション制作過程では限界を迎えると予想。AIを活用したキャラクターのモーションを生成する研究を行っている。 一方、AIによるモーション研究はデータセットの入手が難しいため研究開発が進んでいないとして、自社で使っているデータの一部を提供することにしたという。 関連記事 実在しない顔の画像3000点を無償配布、AI学習用データセットに 法人向け・商用利用可 AI活用のコンサルティング事業を手掛けるAPTOなど2社が、AIの学習データとして利用できる、実在しない男女の顔写真3000枚の無償配布を始めた。法人を対象に11月30日までの期間限定で提供し、商用利用も認める。
何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか - 渋谷駅前で働くデータサイエンティストのブログ
先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談
にゃんこそば🌤データ可視化 @ShinagawaJP オープンデータを使って都市の姿を可視化したり、防災/天気/住まいなどの関心分野を呟いています。 💻QGIS/Mapbox/Vis.gl/Tableau/Python/R にゃんこそば🌤データ可視化 @ShinagawaJP 鉄道と航空、どちらの交通手段が早いのか比べてみた。まずは東京（千代田区）から。 こうして見ると「4時間の壁」がよく分かる。北陸新幹線が延びた世界、四国新幹線が実現した世界を想像すると楽しくなってくる･･･ (･ㅅ･)。 【出典】RESAS「国内移動時間分析」市区町村役場間の平均所要時間 pic.twitter.com/ntckJOG1m5 2022-01-31 21:07:11
日本の感染者数、スイスに抜かれついにトップ10圏外へ（クルーズ船含む）／『日本の感染者数は現在10位、死亡者数も８位に低下』とネットユーザのコメント（クルーズ船含まず）
marigold01 @marigold014 ※3月11日19時時点です。 世界でみてみると11万7626人感染で、4202人が死亡。 コロナウイルス感染者数 1位中国 8万778人 2位イタリア 1万149人 3位イラン 8042人 4位韓国 7513人 5位フランス 1784人 6位スペイン 1622人 7位ドイツ 1296人 8位イギリス 877人 9位アメリカ 754人 10位日本 566人 2020-03-11 19:13:56
スーパー戦隊の売上げが４年前から75％減なのは時間変更のせいではないよ、というお話 - プリキュアの数字ブログ
「スーパー戦隊」の売り上げが大きく落ち込んでいます。 でも、その大きな原因は「放送時間の変更」ではないよ、というお話です。 2021年5月11日バンダイナムコHDの2021年決算数値が出ました（IR・投資家情報｜株式会社バンダイナムコホールディングス） ２０２０年は新型コロナの影響でバンナムの主要作品はほぼ数字を落としていますが、ここ数年特に顕著なのは「スーパー戦隊」の売り上げの低下です。 下記グラフはバンダイナムコのニチアサ3作品（＋アイカツ！）の「グループ全体売り上げ」の推移グラフです。 （※グループ全体売り上げは、おもちゃや関連商品の他、映像作品、音楽作品、アプリ、家庭用ゲーム、イベントや海外展開なども含みます） スーパー戦隊シリーズ（緑色）の売り上げが特が2018年3月期以降、急激に落ち込んでいる事が判ります。 スーパー戦隊は2018年までは、150～200億円のグループ全体売り上
ユーザーローカルが、ダミーの氏名・住所などの個人情報を自動生成するWebサービス「個人情報テストデータジェネレーター」の無償提供を始めた。最大1万行を生成し、CSV形式のファイルなどでダウンロードできる。システム開発時の動作テストやセキュリティチェックなどに使えるという。 生成できるのは、氏名や年齢、生年月日、性別、血液型、メールアドレス、電話番号、郵便番号、住所、会社名、クレジットカード番号と期限、マイナンバーの情報。氏名は漢字・平仮名・片仮名・ローマ字などを選択でき、年齢は「20～80歳」など指定した範囲を基に日本の人口比に合わせて出力できる。 データはCSV・TSV形式かExcelファイルでダウンロードできる。生成するデータ数は1件単位で設定できるが、1万行以上はユーザーローカルへの問い合わせが必要だ。 同社はシステム開発時のセキュリティチェックなどに使うダミーデータの作成に手間がか
『鬼滅の刃』大ヒットの背景には、既存のアニメ業界の常識を覆す「視聴の最大化」という流通戦略があった！ 1兆円規模の「鬼滅経済圏」が成立した要因を、データから分析する
『鬼滅の刃』大ヒットの背景には、既存のアニメ業界の常識を覆す「視聴の最大化」という流通戦略があった！ 1兆円規模の「鬼滅経済圏」が成立した要因を、データから分析する 興行収入400億円超えと、空前の大ヒットとなった『鬼滅の刃』の劇場版『無限列車編』や、リリースから3か月で約300億円の売上をあげた『ウマ娘 プリティーダービー』。栄枯盛衰の激しいコンテンツ業界の中にあって、なぜこれらのタイトルが爆発的なヒットを成し得たのか？ 2021年10月14日に発売された『推しエコノミー 「仮想一等地」が変えるエンタメの未来』は、そうした疑問を考えていくうえで非常に参考になる一冊である。 本著は、バンダイナムコにてコンテンツビジネスに実際に従事した経験を持ち、現在でもブシロードの顧問などを務める中山淳雄氏が、実務で得た経験をベースにしつつも、半ばライフワークとして調べ上げた詳細な分析内容を、まとめ上げた
こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen
新型コロナウイルスの感染食い止めのため、小売りでの来店客の密集防止が叫ばれている。政府などが必要に応じた入場制限を呼び掛けているスーパーと並び、焦点となっているのがドラッグストアだ。在宅勤務などで消費が増えた日用品を買いに訪れる人を減らすのは、容易ではない。加えて、マスクやトイレットペーパーを買うための早朝の行列も問題になった。 では、実際にドラッグストアに実際に「殺到」しているのはどの年代で、時間帯はいつ頃なのか。「高齢者は～」「若者だから」などとどうしても印象論で語られやすいこうした消費者行動や世代差の実像について、購買データによる独自分析で迫った。 「トイレットペーパー騒動」時、特に50～60代急増 分析は、ビッグデータによるマーケティング分析を手掛けるTrue Data（東京・港）が、全国のスーパーやドラッグストアにおける延べ約5000万人の購買情報を活用。レシートに加えてポイント
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleが大量の機械学習用データベースを無料公開してた - Qiita
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
NYタイムズの記者も使っている、データ・ストーリーの王道パターン7選｜Saya｜note
配列を征する者はJSを制す。JavaScriptのスマートな配列操作テクニック - ICS MEDIA
独身男性の平均資産額が急に「500万円」も増えた理由｜玉坂
あらゆる織田信長をまとめて1冊に 700人以上の織田信長キャラを徹底分析した狂気の評論本『信長名鑑』が一般書籍化
NTTデータ子会社のクラウドが壊滅、ストレージのバグで戸籍や税務などのデータ全消失 : 痛いニュース(ﾉ∀`)
基本4情報での名寄せは難しい｜MORIDaisuke
Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita
.pdf)
データ分析のための統計学入門.pdf
東京都内の治安が一目瞭然な「警視庁犯罪情報マップ」が話題、ネット「自分とこ治安悪かったわ」
人はどれだけ食べるのか。食材の適正量計算 - COOKERS blog
「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita
経産省の「3600ページPDF」、たった1日で民間が地図化 Zaim「キャッシュレス還元マップ」公開
データ視覚化のプロが選ぶデータ分析のオススメ本32選
フリーフォントの作者様に感謝！最近リリースされた日本語フリーフォントのまとめ -2019年上半期
脱北ヒロイン 米エリート校に広がる“お目覚め文化”に「北朝鮮と似ている」と苦言 | アメリカの名門校にがっかり
無料の統計学講座が開講、多変量データの解析法を学べる | Ledge.ai
日本アニメ 約1万5000作品のデータベースが初めて完成 公開へ | NHK
はじめに — マンガと学ぶデータビジュアライゼーション
全国1741市町村の「日本一」をコタツに入りながら調べた【究極のコタツ記事】 | SPOT
「お願いです。補聴器をイヤホンと思わないで」。警察官の注意に当事者から悲痛な声。
日本の空き家問題を考える 2040年 空き家数全国予測マップ - 住まいの問題 - NHK みんなでプラス
バンナム、約42万フレーム分のモーションデータ無償公開 歩行、格闘、ダンスなど 研究用に
電車と飛行機どっちの交通手段が早いか比べた地図がかなり意外な結果で面白い「隣の県なのに6時間も掛かる」
ダミーの個人情報を作る「個人情報ジェネレーター」登場 氏名・住所・クレカ情報など、無償で最大1万件
Elasticsearch運用ノウハウ | メルカリエンジニアリング
高齢者は朝のドラッグストアへ本当に「殺到」したか 購買データで解明