データサイエンティストとは データサイエンティストは、端的にいえばAI社会におけるデータを扱うプロフェッショナルです。大量のデータを集め、整理し、パターンやトレンドを分析し、ビジネス上の課題や問題に対する解決策を見つける役割を果たします。 近年、人々の生活のデジタル化が進んだことで、知らず知らずのうちに人々の行動がデータとして蓄積されています。例えば、インターネットで使用した「検索ワード」や、ECサイトにおける購入履歴、SNSにおける投稿など、人々が行動した過程や結果で生成されるさまざまな記録は、すべてその人の特徴を表すデータの一部になります。 また生成されるのは個人のデータだけでなく、事業者のデータも数多く存在します。例えば農業や水産業などの一次産業、その先の二次産業、三次産業においても、気象状況や収穫量、工場での生産量、実際の市場での流通量など、企業活動を通じてさまざまなデータが生成さ

データサイエンティストとは――21世紀で最も魅力的と称された職業の今とこれから データサイエンティスト――2012年10月、アメリカのThomas H. Davenport氏とD.J. Patil氏が発表した"Data Scientist: The Sexiest Job of the 21st Century"（邦訳『データ・サイエンティストほど素敵な仕事はない』DHBR2013年2月号）で、21世紀、最も魅力的と称された職業です。 そこから本記事を執筆している2022年9月時点で約10年が経過しましたが、今も魅力的といえる職業といえるのでしょうか。 時間の経過とともに技術が進化した結果、データサイエンティストの需要は高まりました。10年前は魅力的な職業という表現でしたが、2022年の今、なくてはならない職業の一つといえます。 その背景には、2000年初頭からの、各種Webサービスやソー

(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出

ソフトウェアエンジニアがプログラミングの腕を競い合う競技プログラミングや、データサイエンティストや機械学習エンジニアが機械学習モデルの精度を競い合うKaggle。こうしたコンペティションのトップランカーが持つテクニックやスキルを実際の業務にも活かそうとしている、あるいはすでに活かしている企業も少なくないでしょう。 一方で、その能力を最大限活かして仕事に取り組めるかには課題も残っているようです。「競技のトップランカー」の肩書きに引きずられるためか、彼らの強みを活かすためには起用範囲を絞らざるをえない、という悩みも方々から聞こえてきます。 そんな中、リクルートではトップランカーのスキルや技術だけでなく、「本質的な強み」に着目。その「本質的な強み」を、領域を横断してさまざまなプロジェクトに活用することで、事業課題の解決やサービス価値の向上につなげています。 トップランカーの「本質的な強み」とは、

はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか？ 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました（完全に思い付きです）。 本記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキングで

みなさんこんにちは デジタル改革推進部の浅野です。 NTT Comでは社内の分析課題をコンペにしてみんなで解くイベントがあるのですが、今回は正解データが十分用意できなくてもコンペを開催することに成功したので、その妙技をご紹介したいと思います。 (過去の開催はこちらにも投稿しております) 分析コンペとは 分析コンペとは予め用意された課題に対して参加者が予測を行いその精度を競う催しです。コンペサイトではKaggleやAtmacupなどが有名です。 コンペでは参加者に学習用のデータが配られます。学習用データの中には正解データが含まれており、それを頼りに参加者は予測を作ります。さらに参加者に秘密の評価用データも裏にあり、最終的な順位はそちらで決めます。 つまりコンペを開くには、正解データを十分に用意しておく必要があります。 今回のコンペのテーマ 8月に新しいコンペのテーマ案として「社内にかかってく

近年は、大量のデータを活用して業務のデジタル化に役立てる「データ利活用」という考え方が広がりつつあります。データ利活用を成功させるうえで、重要な手段の一つがデータ解析です。 データ解析と似た用語にデータ分析があり、両者の違いがよく分からないという方もいるでしょう。今回はデータ解析とデータ分析の違いを始め、ビッグデータとの関係性についても解説します。 また、データ解析を行うにあたっては数多くの手法があるため、代表的な手法についても触れています。データ解析を行うメリットや注意点についても解説していますので、今後データ解析について知りたい人から実際に関わっていく人まで、有益な内容となるでしょう。ぜひ最後までお読みいただければ幸いです。

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

研究員の渡辺（@watasan） です。 先日、ペパボ研究所のメンバーが社内で実施した、新卒エンジニア向け機械学習研修についてご紹介します。 ペパボ研究所は2020年から、新卒エンジニア研修1の一環として機械学習研修を実施しています2。 今年で3年目となりますが毎年アップデートを重ねており、今年はより「ペパボらしさ」の強い研修となりました。 このエントリでは本研修の目的やコンテンツについてご紹介できればと思います。 本研修の位置付けと目的 GMOペパボ（以降ペパボ）では、新卒入社したエンジニアに向けて、様々な技術要素について「現時点で一番良いやり方」を学んでもらうための研修を毎年行っています2。 フロントエンド、バックエンド、インフラ、セキュリティなど、Webサービスを構築するための技術に関して「現時点で一番良いやり方」を学ぶことが研修全体のゴールとして設定されています。 この新卒エンジニ

公開した研修資料は3つ。機械学習についてのイントロダクションや再帰化と機械学習の関係性、サービス事例などを紹介している。資料と併せて、同社の研修スケジュールも公開。1日3時間の研修を計3日間行ったという。 9時間行った研修のうち、半分近くの時間はGoogleが提供する研修用教材「Machine Learning Crash Course」でのハンズオンを行い、一般的な機械学習の知識を身に付けるよう指導したという。その際、リアルタイムでのフィードバックの実施や日本語で専門用語の意味をまとめた用語集を配布するなどの工夫をしたとしている。 関連記事 14時間分の機械学習教材も　GMOペパボ、エンジニアの研修資料を公開 GMOペパボが、新人エンジニアの研修資料を今年も無償公開。今年は機械学習教材を一新した。 ゲームシステムを高速化する社内ノウハウを無償公開　Unityエンジニア向けに　サイバーエー

(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ

Diabetes Dataset：糖尿病（年齢／血圧／血糖値などの10項目）の表形式データセット：AI・機械学習のデータセット辞典 データセット「Diabetes」について説明。442件の糖尿病の「表形式データ（年齢／血圧／血糖値などの10項目）」＋「ラベル（1年後の糖尿病進行度）」が無料でダウンロードでき、回帰問題などのディープラーニングや統計学／データサイエンスに利用できる。scikit-learnにおける利用コードも紹介。

経済セミナー2022年6・7月号 通巻726号【特集】経済学と再現性問題 日本評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、 特集＝ 経済学と再現性問題 【鼎談】再現性の問題にどう向き合うか？……川越敏司×會田剛史×新井康平 心理学における再現性の危機――課題と対応……大坪庸介 経済学における再現性の危機――経済実験での評価と対応……竹内幹 フィールド実験・実証研究における再現性……高野久紀 健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣 再現性問題における統計学の役割と責任……マクリン謙一郎 という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい

日立製作所研究開発グループは、技術文章と輸出管理法令を関連付けて照会する技術を開発した。英語を介して技術文章と法令文の類似度を人工知能（ＡＩ）技術で算出する。英語を介することで表記揺れを抑えた。輸出管理担当者が確認すべき法令を探し当てる負荷を低減できると見込まれる。 企業の複数拠点間でデータを共有するなどの国をまたぐデータ移動を想定する。技術情報を国境を越えて移動させると輸出管理法令の規制対象になる。そこで技術文章に関連する法令をＡＩ技術で探し当てる。 まず英語法令文や英語技術文章を合わせてＡＩの言語モデルを構築する。同モデルで技術文章や法令文から文ベクトルを算出する。文ベクトルのコサイン距離を計算して文章の類似度を判定する。 輸出関連法令は法務省から英訳された法令文が提供されており、翻訳の質が高い。技術文章は人手や機械学習で翻訳した英文を用いる。英語を介することで技術用語などの表記揺れを

「SIGNATE Student Cup」は、高度なデータ活用スキルを有する学生の発掘・育成を目的として、同社が企画する学生限定のイベント。 データサイエンスやAIモデリングといった技術・アイデアを競い合うデータ分析コンペは、予測部門とインサイト部門の2部門制で、予測部門では英語圏の求人情報に含まれるテキストデータ（職務内容に関する記述）をもとに、その職務内容がデータサイエンティスト、機械学習エンジニア、ソフトウェアエンジニア、コンサルタントのいずれの職種に該当するかを判別するアルゴリズムを構築し、予測精度の高さを競う。インサイト部門では、データサイエンティストのスキルを定量的に評価するアルゴリズムの考案とその説明レポート作成に挑戦し、審査員による定性評価で勝負を決する。 コンペ終了後は、入賞者表彰と入賞者による解法プレゼンテーションなどが行われる「合同イベント」と、協賛企業各社が自社のデ

松本健太郎 @matsuken0716 「仮説が先、データが後」は僕が敬愛する鈴木敏文さんの言葉です。「今あるデータから何かできないか」と問われても、何もできない最大の理由です。問題を解決する仮説が先です。しかし、大半の分析は仮説をすっ飛ばしていきなり検証から入り、かつそれを分析と言います。それはおかしい。（1/n） pic.twitter.com/5GaXebGfCM 2022-05-31 22:32:33 松本健太郎 @matsuken0716 データ分析には、仮説構築向きと仮説検証向きの2種類に分かれます。そして"仮説構築"の真意は「筋の良い可能性の選択肢を増やすこと」にあります。すなわち正解は1つでは無い、と私は考えています。分けて考えないと「正解を絞れていない」「確からしく無い」とひっちゃかめっちゃかです。（2/n） pic.twitter.com/ZifqK8q3PE 2022

TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした

特定健診などで糖尿病と指摘された人が実際に医療機関を受診するかどうかを、過去に医療機関を受診した頻度や使っている薬の種類など4つの項目から事前に予測できるとする研究結果を東京大学などのグループが発表しました。 この研究は、東京大学医学部附属病院の山口聡子特任准教授らのグループが行いました。 特定健診などの健康診断では、糖尿病と指摘され、医療機関の受診を勧められても、実際に受診するのは3分の1程度にとどまるとされ、課題となっています。 グループは、医療統計データベース会社に登録された糖尿病の診断基準に該当する1万人余りを対象に半年以内に受診するかどうかに関連する特徴があるかを「機械学習」と呼ばれる方法を使って分析しました。 その結果、受診しない傾向と関連していたのは、過去1年間に医療機関を受診した頻度が少ないこと、血糖値に関わる「HbA1c」の値が低いこと、それに脂質異常に関する薬を処方され

コモディティ化するKaggleのTier　差別化のポイントは？ 大久保渉太氏（以下、大久保）：では次の質問に行きます。「昨今、特に日本においてKaggleのTierは、コモディティ化しつつあるように見えます。これについてどう思われますか？　そこで大切になる、Tierだけでは表せない差別化ポイントは何だと思いますか？」。これは誰が答えますか？ 横尾修平氏（以下、横尾）：では僕が答えます。 （一同笑） 大久保：お願いします。Tierがコモディティ化しているという話ですね。 横尾：コモディティ化しているというのは、事実としてあると思っています。Grandmasterの数は、確か日本だとまだ20名ぐらいしかいない気がするので、まだまだ大丈夫なんじゃないかなと思います。マスターになってくると、今は相当数が増えているという印象があって、そうなると差別化する要素が必要になってくるのではないかなと思います