ビジネスの実務で「因果」を推測するということ - 渋谷駅前で働くデータサイエンティストのブログ
統計的因果推論と言えばすっかり統計学分野ではお馴染みのアプローチになった感があり、また機械学習分野でも扱うテーマが複雑化するにつれて注目が高まり続けているトピックスという印象があります。 このブログでも2016年ぐらいから因果推論に関する記事をちらほら書くようになり、僕個人にとってもまた因果推論と言えば馴染み深い概念になってきたという感があります。 一方で、ビジネス実務の現場においても「因果推論」という言葉は使われないにせよ、かなりはっきりと「因果」についての知見もしくは説明可能性が求められるようになってきた、という印象が個人的にはあります。それは良くも悪くもDXブームでありとあらゆるビジネスに関わる事由がデータ化され、「相関」だけなら簡単に見つけられるようになったことで、相関だけからは見えてこない「因果」をはっきりさせたいという願望が浮かび上がってきた、ということなのかもしれません。 そ
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
グアムに行ってきました - 渋谷駅前で働くデータサイエンティストのブログ
Hafa Adai!!*1 6月中旬、夏至のちょっと前にグアムに行ってきました。コロナ禍以降これまで全く海外に行っておらず、また昨年5月にDVT（深部静脈血栓症）に罹ってから*2は飛行機にすら乗っていなかったので、その両方を今回ようやく解禁したという次第です。 行き先をグアムにした理由は幾つかあるんですが、1つ目は飛行機で4時間未満しかかからず「海外としては極めて近い」ということ。2つ目は時差が1時間しかないということ。3つ目は「南の島でゆっくりしたかった」ということ。1・2番目は主にDVT*3を慮った結果なんですが、3番目に関しては10年前にも行ったサイパンでも良かったんですよね。ただ、サイパンは今でも直行便が少なく不便なのに対して、グアムの方が直行便が多くて尚且つ我が家ではまだ行ったことがなかったので、今回はグアムを選んだのでした。 ということで、我が家としては事前に期待した以上にグア
データ分析部門にビジネス上のレゾンデートルを与えるということ - 渋谷駅前で働くデータサイエンティストのブログ
3月にばんくしさんとイベントでご一緒したり個人的に話をする機会*1があったんですが、その際に何度も話題にされていたのが「エンジニア部門やAI部門にビジネス上のレゾンデートル（存在意義）をどう与えるか」というテーマでした。これについては実際にご本人もnoteの記事としてまとめられています。 このnote記事ははてブ数を見るまでもなく各所で多くの議論を呼んだようで、観測範囲ではかなり広汎に分かれた論調が散見されています。そのいずれもそれぞれの界隈*2における実態を反映しているように見受けられ、一口にエンジニア業界・AI業界といってもやはり多様なのだなという感想を持ちました。 ということで既にある程度論点が出尽くしてきた感もありますが、今回のブログ記事ではデータ分析部門の話題に特化した上で、そこに僕の見聞談並びに見解を幾許か付け加えてみようかと思います。ちなみにあまり楽しい話題ではない旨、予め警
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
データサイエンティストは何を勉強すべきか：「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ
深部静脈血栓症(DVT)に罹りました - 渋谷駅前で働くデータサイエンティストのブログ
(Image by MasterTux from Pixabay) あまりこういう私事はブログでは書いてこなかったのですが、今後の備忘録も兼ねて記事として書き留めておこうと思います。 Twitterなどでは既に書いている話ですが、タイミング悪く実家の親父が危篤になった時期に並行して、僕は深部静脈血栓症(Deep Venous Thrombosis: DVT)という厄介な病気に罹っていると診断されました。45歳という年齢にしては珍しい病気ですが、かつて元サッカー日本代表の高原直泰選手も22歳で発症したというのを覚えていて、若い人でも罹り得るということは知っていました。 事の発端は4月半ば頃で、最初はふとした調子に右膝をグッと動かしたら何か膝の裏〜ハムストリングの筋を違えた感じがあったのでした。その数日後に夫婦で2泊3日で大阪旅行に出掛けてUSJと大阪城を歩いたんですが、しばらく膝裏が腫れて痛
95%信頼区間の「95%」の意味 - 渋谷駅前で働くデータサイエンティストのブログ
ふと思い立ってこんなアンケートを取ってみたのでした。 頻度主義統計学における「95%信頼区間」の95%というのは、以下のどちらだと思いますか— TJO (@TJO_datasci) 2021年7月16日 結果は物の見事に真っ二つで、95%信頼区間の「95%」を「確率」だと認識している人と、「割合」だと認識している人とが、ほぼ同数になりました。いかに信頼区間という概念が理解しにくい代物であるかが良く分かる気がします。 ということで、種明かしも兼ねて95%信頼区間の「95%」が一体何を意味するのかを適当に文献を引きながら簡単に論じてみようと思います。なお文献の選択とその引用及び解釈には万全を期しているつもりですが、肝心の僕自身が勘違いしている可能性もありますので、何かしら誤りや説明不足の点などありましたらご指摘くださると有難いです。 頻度主義において、95%信頼区間の「95%」は「割合」を指す
人類未曾有の危機に抗いながら、前を向く - 渋谷駅前で働くデータサイエンティストのブログ
(Image by cromaconceptovisual from Pixabay) これは年末恒例のポエムです。故に皆様にとって役に立ったりあまつさえ学術・技術的に価値ある内容などは何ひとつございませんので、予めご了承ください。 今年は何と言っても、COVID-19パンデミック（新型コロナウイルス及びその感染症とさらには派生した「コロナ禍」と呼ばれる社会的影響）という人類未曾有の危機が世界中のほぼ全ての話題をさらった1年でした。僕自身にとっても、本業の仕事でも趣味のデータ分析でもコロナと向かい合うことを迫られ続けた1年であったという印象があります。 今回の記事ではそんな今年1年間を振り返りつつ、来年以降 (with / after COVID-19) の展望を徒然なるままに書き散らしてみようかと思います。 コロナ禍の社会的影響と向かい合う データ分析を「束ねる」役割への転換 「ビジネス
データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR（思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください） しんゆうさんの舌鋒鋭いブログ＆note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。（中略） 現在起きている第３次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 （太字筆者） この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた
機械学習や統計学を「社会実装」するということ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 最近になって、こんな素晴らしい資料が公開されていたことを知りました。 この資料自体は著者のMoe Uchiikeさんが東大での講義に用いられたものだとのことですが、その内容の汎用性の高さから「これは全ての機械学習や統計学を実務で用いる人々が必ず読むべきドキュメント」と言っても過言ではないと思われます。 正直言ってこの資料の完成度が高過ぎるのでこんなところで僕がああだこうだ論じるまでもないと思うので、内容の詳細については皆さんご自身でまずは上記リンクから精読していただければと思います。その上で、今回の記事では「機械学習や統計学を『社会実装』する」ということがどういうことなのかについて、この資料を下敷きとした上でさらに僕自身の経験や見聞を加えて考察したことを綴ってみます。 機械学習や統計学と、社会との「ギャップ」 機械学習や統計学を、社会に「馴染ませる」
何故データサイエンスは魅力を失いつつあるのか - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) こんな記事が、しばらく前に我らが盟主タカヤナギ＝サンによって言及されていました。 データサイエンティストになる魅力がなくなってきた理由を４つの理由（ジュニアのポジションが減っている、アナリスト職種で良い、データサイエンスを簡単だと思いすぎ、AutoML出てきた）とともに紹介。 Why Is Data Science Losing Its Charm? by @iamharshitahuja https://t.co/fqRUil9QLr— Shinichi Takayanagi (@_stakaya) 2020年6月8日 Why Is Data Science Losing Its Charm? データ分析業界の中の人という立場から見れば、ここで言われている主張については分からないこともありません。ただ、同意できる部分もあれば同意できない部分もあり、ま
ML design: 機械学習を確かならしめる「メタ」な枠組み - 渋谷駅前で働くデータサイエンティストのブログ
(By Gufosowa - Own work, CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=82298768) ここ最近、事あるごとに僕が色々な人たちに提案している概念として"ML design"というものがあります。これは元々"ML Ops"（DevOpsと同じように機械学習のシステム基盤などを包含する考え方）に対して「機械学習モデリングを運用する上で注意すべき点って多いよね」ということで、その注意点をまとめたものを一つの体系として扱えないかという趣旨で僕が勝手に言い出したものです。 言い方を変えると、統計分析に適したデータを集めるための実験計画法(experimental design)があるのと同じように、機械学習に適したデータの集め方やその交差検証などのやり方についてもまとめた計画法(design)が
機械学習の説明可能性（解釈性）という迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい
移り変わる「データサイエンティストの『常識』」について考える - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 先日、こんな話題を見かけました。 【夏なので怖い話】 こないだ、いかにもエリートな男性と知り合ったんですよ 彼は年収1000万で飛ぶ鳥を落とす勢いのデータサイエンティストだっていうじゃないですか それでふとAICの話題を持ちかけたんです 「あー現実であまり使わない数学の話はわかりません」 …おわかりいただけただろうか？— ゆうな (@kawauSOgood) 2019年8月14日 で、悪ノリした僕はこんなアンケートをやってみたのでした。 データサイエンティストという肩書きで年収1000万円以上の高給取りが、知らなかったとしても許される項目はどれですか— TJO (@TJO_datasci) 2019年8月15日 このアンケート結果こそが、今回の記事を書こうと思ったきっかけです。ある程度知識のある方ならお分かりかと思いますが、ここで挙げた「AIC」「正則
データ分析人材の長期的キャリアという迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 先日出たこんな記事が注目を集めていたようです。 私はデータサイエンス的エンジニアになりたいのか？データサイエンス的コンサルタントになりたいのか？なんもわからん タイトルにもなっていて、記事中で提起されている「データ分析者のキャリアなんもわからん問題」は僕にとっても全くもって他人事ではありません。一方で僕自身この仕事をするようになって7年ほどが経ち、データ分析人材がどのようなキャリアをたどっていくかについてある程度見聞や知見が貯まってきているということもあります。 ということで、あくまでも僕自身が見聞した範囲での話にはなりますが、データ分析人材即ちデータサイエンティスト＆機械学習（人工知能）エンジニアの長期的なキャリアがどのようなものになっていくかについて、ちょっと考察してみようと思います。勿論異論・反論色々あり得るかと思いますので、コメント欄なりブコメ
機械学習のビジネス上の価値を「効果測定」して「数値評価」する方法 - 六本木で働くデータサイエンティストのブログ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 気が付けば、日本における第一次データサイエンティストブームから6年、人工知能ブーム開始から3年が経ったようです。意外と言っては何ですが、これまでのところ人工知能ブームも、そしてそれにブーストされた形で起こった第二次データサイエンティストブームも、まだまだ続くどころかどんどん加速していきそうな状況です。 なのですが、これだけ統計学や機械学習のような高度なデータ分析技術がビジネスの現場に浸透するようになった現在でも、なぜかあまり多く見かけないものがあります。それは「機械学習（もしくは自動化された統計分析）によるビジネス上の成果を数値として示したもの」。意外かもしれませんが、個人的な観測範囲では例えば「Deep Learningを導入したら〇〇がXX%向上した」みたいなリリースや記事を見かけることは、正直なところ思った以上に少ないように思われます。それでも第
社内政治が上手くなりたいAIエンジニアのための本を書きました - 渋谷駅前で働くデータサイエンティストのブログ
個人的には2年ぐらいで萎むだろうと思っていた日本の人工知能(AI)ブームも4年目に入りそうで、「AIエンジニア」の採用数もうなぎ上りならその待遇もどんどん高騰する一方です。その反面、ブームに乗って企業に採用されたは良いものの、まだまだ保守的な文化の企業組織にうまく適応できず悩んでいるAIエンジニアも多いようにかなり以前から聞きます。 そこで、そういう悩めるAIエンジニアが日本の企業組織の中で生き抜いていけるような「社内政治術」についての本があったら良いなということで、実際に書きました。題して『AIエンジニアのための社内政治術』です。発売日は調整中ですが、そろそろ各種書籍販売サービスで予約可能になるかと思います。以下に本書の目次を載せておきます。 目次 第1章 なぜAIエンジニアの提案は通らないのか 第2章 まずは会社にとけ込もう 第3章 社内政治に強い「相棒」を探せ 第4章 AIを「布教」
Googleに入社した時のこと - 渋谷駅前で働くデータサイエンティストのブログ
東京オフィスのsoftware engineer (SWE)部門のsite leadのRyoichiさんがTwitter上でこんなことを呼びかけたところ*1、GoogleのSWE採用に関して多くの同僚から色々な記事やコメントが集まったようです。 (Good question!) 期待していたのは、面接でこの問題が出て、こう答えて受かった、という話ではなくて、どういう勉強/準備をしたのか、という話です。面接の時点で英語はどれ位話せたかとか、データ構造やアルゴリズムの勉強は特別に準備したかとか、コーティングはどれ位のレベルだったか、とかです。 https://t.co/hs36GRTSU5— Ryoichi Imaizumi | 今泉竜一 (@r_ima) 2019年3月25日 僕はSWEではなく下記のような経緯があってglobal business organization（GBO: つまり
研究者を辞めた時のこと、そしてその後のこと - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR これは、このブログの本題とは何の関係もない僕自身の回顧録にして懺悔録であり、見ようによっては怪文書です*1。故に、記事中には何の参考になる内容も書かれていないことを予めお断りしておきます。それでも良いという方だけ、この先をお読みください。ただしTL;DRと書いた通りで、超長文につきご注意を。 当時から7年が経ち、この中に登場する人物の中には既にリタイアしている人もいれば、物故している人もいます。ある意味もう時効だろうということで、その時起きたことをつぶさに書いてみることにした次第です。 研究者を辞めた時のこと 研究者の道を目指した理由 正直言って無能だったが、勉強だけは熱心なポスドクだった ポスドク待遇改善運動、研究体制改革運動を経て、業界では知らぬ者のないお尋ね者になった そしてポスドクをクビになり、国内に行き先がなくなった 土壇場でシンガポールでのjob talkに招かれた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
