データサイエンティストとは データサイエンティストは、端的にいえばAI社会におけるデータを扱うプロフェッショナルです。大量のデータを集め、整理し、パターンやトレンドを分析し、ビジネス上の課題や問題に対する解決策を見つける役割を果たします。 近年、人々の生活のデジタル化が進んだことで、知らず知らずのうちに人々の行動がデータとして蓄積されています。例えば、インターネットで使用した「検索ワード」や、ECサイトにおける購入履歴、SNSにおける投稿など、人々が行動した過程や結果で生成されるさまざまな記録は、すべてその人の特徴を表すデータの一部になります。 また生成されるのは個人のデータだけでなく、事業者のデータも数多く存在します。例えば農業や水産業などの一次産業、その先の二次産業、三次産業においても、気象状況や収穫量、工場での生産量、実際の市場での流通量など、企業活動を通じてさまざまなデータが生成さ

データサイエンティストとは――21世紀で最も魅力的と称された職業の今とこれから データサイエンティスト――2012年10月、アメリカのThomas H. Davenport氏とD.J. Patil氏が発表した"Data Scientist: The Sexiest Job of the 21st Century"（邦訳『データ・サイエンティストほど素敵な仕事はない』DHBR2013年2月号）で、21世紀、最も魅力的と称された職業です。 そこから本記事を執筆している2022年9月時点で約10年が経過しましたが、今も魅力的といえる職業といえるのでしょうか。 時間の経過とともに技術が進化した結果、データサイエンティストの需要は高まりました。10年前は魅力的な職業という表現でしたが、2022年の今、なくてはならない職業の一つといえます。 その背景には、2000年初頭からの、各種Webサービスやソー

(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出

近年は、大量のデータを活用して業務のデジタル化に役立てる「データ利活用」という考え方が広がりつつあります。データ利活用を成功させるうえで、重要な手段の一つがデータ解析です。 データ解析と似た用語にデータ分析があり、両者の違いがよく分からないという方もいるでしょう。今回はデータ解析とデータ分析の違いを始め、ビッグデータとの関係性についても解説します。 また、データ解析を行うにあたっては数多くの手法があるため、代表的な手法についても触れています。データ解析を行うメリットや注意点についても解説していますので、今後データ解析について知りたい人から実際に関わっていく人まで、有益な内容となるでしょう。ぜひ最後までお読みいただければ幸いです。

「SIGNATE Student Cup」は、高度なデータ活用スキルを有する学生の発掘・育成を目的として、同社が企画する学生限定のイベント。 データサイエンスやAIモデリングといった技術・アイデアを競い合うデータ分析コンペは、予測部門とインサイト部門の2部門制で、予測部門では英語圏の求人情報に含まれるテキストデータ（職務内容に関する記述）をもとに、その職務内容がデータサイエンティスト、機械学習エンジニア、ソフトウェアエンジニア、コンサルタントのいずれの職種に該当するかを判別するアルゴリズムを構築し、予測精度の高さを競う。インサイト部門では、データサイエンティストのスキルを定量的に評価するアルゴリズムの考案とその説明レポート作成に挑戦し、審査員による定性評価で勝負を決する。 コンペ終了後は、入賞者表彰と入賞者による解法プレゼンテーションなどが行われる「合同イベント」と、協賛企業各社が自社のデ

TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした

コモディティ化するKaggleのTier　差別化のポイントは？ 大久保渉太氏（以下、大久保）：では次の質問に行きます。「昨今、特に日本においてKaggleのTierは、コモディティ化しつつあるように見えます。これについてどう思われますか？　そこで大切になる、Tierだけでは表せない差別化ポイントは何だと思いますか？」。これは誰が答えますか？ 横尾修平氏（以下、横尾）：では僕が答えます。 （一同笑） 大久保：お願いします。Tierがコモディティ化しているという話ですね。 横尾：コモディティ化しているというのは、事実としてあると思っています。Grandmasterの数は、確か日本だとまだ20名ぐらいしかいない気がするので、まだまだ大丈夫なんじゃないかなと思います。マスターになってくると、今は相当数が増えているという印象があって、そうなると差別化する要素が必要になってくるのではないかなと思います

機械学習モデルの精度を競うコンペティションプラットフォーム「Kaggle」 大久保渉太氏（以下、大久保）：本日の流れです。本日はこれらの目次の内容を通して、みなさんにKaggle Grandmasterの仕事や働く環境を一歩踏み込んで紹介できればと思っています。まずは私たちが取り組んでいるKaggleの紹介をしたいと思います。 Kaggleをご存じの方もけっこういると思いますが、機械学習モデルの精度を競うコンペティションのプラットフォームです。このKaggleに参加している人をKagglerと呼びます。DeNAには、Kaggle Grandmaster4名など、世界トップクラスのKagglerが数多く在籍しています。 図のように、Kaggleではスポンサーが出した課題に対して参加者が機械学習の予測モデルを提出してそのスコアを競っています。成績上位者であるKaggle Grandmaster

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

こんにちは、エニグモでデータアナリストをしている井原です。 この記事は Enigmo Advent Calendar 2021 の 7日目の記事です。 今日は、実際に業務で、データ分析をした内容を元に、データアナリストがどのような仕事をしているのかをお話したいと思います。 データアナリストの仕事 世の中では、データアナリストと言われる職種の仕事は多岐に渡ると思います。 データマイニング、データ分析基盤の整備、ビジュアライゼーション、KPIの設計、機械学習モデルの構築、etc... エンジニアリングやサイエンスの領域と思われるところを担っているデータアナリストの方もいらっしゃるのではないかと思います。 エニグモの場合、データサイエンティストやデータ基盤エンジニアといった、専門家が在籍しています。そのため、データアナリストは、施策の効果検証やサイト上の課題発見といった、ビジネス領域の課題に対し

ヤングKagglerは、いかにしてグランドマスターになったのか：Kaggle グランドマスター インタビュー（前）（1/3 ページ） 24歳＆26歳。世界でわずか230人前後しかいない「Kaggle グランドマスター」の称号を持つ2人の青年は、子どものころからプログラミングに親しんできた……わけではなかった。 Google社が所有するKaggle社が運営する「Kaggle」（カグル）という機械学習プラットフォーム上で開催されるコンペティションで、最高の称号「グランドマスター」を持つ人は日本国内で20人前後、世界でも230人前後。その希少な人材のうちの2人が、2021年に社会人デビューした。2人のグランドマスターは、どのようないきさつでKaggleに参加し、どのようにして最高位の称号を獲得し、どのような就職活動をしたのだろうか。 Kaggleのグランドマスターとは ラッパーがMCバトルで技を

はじめに：本稿のターゲット データサイエンティストを目指す若手エンジニアや学生向けに投稿しました いまもっとも熱い職種の一つとなっているデータサイエンティスト。 その影響もあって大学生や若手の社会人でもその道を目指す人が増えています。 私は現在インターンの採用面談をしていますが、その工程の中で、 ◎データサイエンティストはどのような仕事なのか解像度がまだ低い ◎実社会で求められているスキルと目指す側の方向性に乖離が起きている というようなことを感じましたので一度ここで振り返っておこうと思います。 データサイエンティストに求められる条件は数学だけなのか？ 以下はデータサイエンティストに求められる素養を端的に表現した図になります。 ご覧の通り。求められる素養は　プログラミング力、ビジネス力、数学力の３つが条件となっています。 データサイエンティストを目指している学生はほぼ皆さん数学の勉強はしっ

「データサイエンス」と聞くと、難しそうな印象を持つ人は多いだろう。そんな人に読んでいただきたいのが、この1冊、博報堂ＤＹメディアパートナーズの篠田裕之さん著『データサイエンスの無駄遣い　日常の些細な出来事を真面目に分析する』である。現役のデータサイエンティストが分析するのは、「飲み会での孤立」「LINEの既読スルー」など、日常生活において起きそうな事象ばかり。読み終えた頃にはデータサイエンスがぐっと身近に感じられるに違いない。果たしてエンジニアに「データ分析」という視点が加わったらどうなるのか。期待を寄せつつ、本を書いた目的やデータサイエンスの醍醐味を篠田さんに伺った。 ごく自然にデータ分析をコンテンツ開発に融合させ、相乗効果を出せる仕事へシフト ――篠田さんはデータサイエンティストとしてどんなお仕事をされていますか。また、どういった経緯で現在のお仕事に就かれたのですか？ 現在は広告会社

連載目次 こんにちは、初心者Kagglerの一色です。また、この連載の記事を開いてくれてありがとうございます！ 前回は「Kaggle初心者のためのコンペガイド ― Titanicの先へ：僕たちのKaggle挑戦記」という記事を公開して、ブックマーク数は少なかったものの、そこそこのページ参照数が得られました。ドキドキしながらの記事公開でしたが少し安心しました。これを受けて、自分もそうだったのですが、「取りあえずTitanicコンペでSubmission（提出）まではやったけど、次のコンペティション（本稿ではコンペと表記）になかなか取り組めない」という人が少なくないということなのかなと思いました。 壁「Titanicの次」を突き破る！　オススメの方法 筆者はどうやって「Titanicの次」という壁を突き破れたのか。そのきっかけになったのが、前回の記事で「Kaggleを始めるのに役に立ったこと」

Welcome, folks, to Week in Review (WiR), TechCrunch’s regular newsletter covering this week’s noteworthy happenings in tech. TikTok’s fate in the U.S. looks uncertain after President

先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談

Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。後半は実際のデータマネジメントの方法ついて。 データマネジメントの11領域 ゆずたそ氏（以下、ゆずたそ）：そういったつらい状況の中で、解決のために何ができるかという話をしていきたいと思います。ちょうど今折返しぐらいの時間なので、後半、この話をやっていきます。 今回テーマにもあるように、データマネジメントという概念・手法が鍵になるかなと自分は考えています。 じゃあ「データ

Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。前半は使えないデータとは何かについて。 自己紹介 ゆずたそ氏（以下、ゆずたそ）：では、発表を始めたいと思います。「データマネジメントなきMLは、破綻する。〜こんなデータじゃ機械学習できねぇよ問題の処方箋〜」という話をしたいと思います。 はじめに、まず自己紹介です。「yuzutas0」というアカウントをやっています。機械学習の専門家ではないのですが、機械学習を使った施策に

みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。