40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita
下で最新版に記事を編集しましたブログを作ったよ ツイッターアカウントフォローお願いします https://twitter.com/usagipycom こんな記事も書いてます 友達がpythonでPCゲームのレベル上げツールを作っていた それを聞いて、pythonって便利なのね。と思いその後色々あってプログラミングを勉強することにした プログラマー35歳までみたいな世の中で40代おそすぎ！ってあるかもしれない PCがあって、無料の教材はネットに転がってるし、本もたくさんあるし、挑戦するのは無料だし2022年の1月ぐらいから勉強を始めた 入門書って成果物がないからつまらないなと思ってそれ以外になんかないかなって本屋さんをふらふらしてたら python自動化 みたいな書籍がいっぱいあることに気がついた なるほど、もしかしたら仕事楽になるんじゃないかそんな思いから次の本を買った シゴトがはかどる
機械学習で使用する手法を全公開 - Qiita
株式会社デジサク がお送りするプログラミング記事、 今回はAI(機械学習)について扱っていこうと思います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに kaggleや学習サイトなど誰でも機械学習を学べる機会が増えてきました。 その反面、情報量が多すぎて全体感を掴めていない人が多いと感じています。 そこで、様々な参考書や記事で紹介されている機械学習で使用する手法を全公開しようと思います。 細かなコーディングはリンクを貼っておくので、そちらを参照されてください。 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習の一連手順 まず、機械学習を習得するために必要なスキルは下記です。 実務の場では数段細かな作業が必要になりますが、最初は下記を勉強するだけで十分で
みなさんこんにちは。電通国際情報サービス(ISID) 金融ソリューション事業部の水野です。 これは電通国際情報サービス Advent Calendar 2022の16日目の記事です。 今回は、ISID金融事業部で運用しているスキルマップについてご紹介します。 テックリードとは 実は、ISIDの少なくとも金融事業部にテックリードと言うポジションはありません。 実在するのはチーフアーキテクトと言う職種のみで、各プロジェクトでリードエンジニアやテックリードという仮想的なロールがあるのが実態です。 一時期はフルスタックエンジニアと呼んでいる時期もありましたが、近年このワーディングが好まれない印象なので、大々的に使っていません。 主観ですが、フルスタックエンジニアはインフラ知識／運用系の知識のウェイトが高いエンジニアで、テックリードはソフトウェアアーキテクチャ、Webアプリケーション実装技術寄りのエ
統計検定1級(2021)を受験した話（統計数理の試験対策・勉強編） - 統計応用合格君’s diary
この記事は何？ タイトルの通り、2021年の統計検定1級試験を受験し統計数理に合格してきたので、記憶が鮮明なうちに勉強してきた内容をメモしておこうと思います。ちなみに、統計検定は私にとって今回が（級によらず）初めての受験でした。 対策・勉強した内容以外の、当日の受験体験記は以前に公開していますので、そちらもご興味あればぜひ併せてご覧ください。 taro-masuda.hatenablog.com 免責 あくまで個人的な方法論であるため、本記事の情報が必ずしも今後の試験においてそのまま有効であるとは限りませんのでご注意ください。損失等をこうむられた場合であっても、筆者は一切の責任を負いかねます。 TL;DR 久保川先生の教科書『現代数理統計学の基礎』の2~8章の章末問題(（＊）印は飛ばす) + 統計数理は過去問を仕上げました。過去問は1ヶ月以上前からやるのがお勧めです。 現代数理統計学の基礎
ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
機械学習の全体像をまとめてみた
教師あり学習 概要 入力値から何かしらの予測をしたい場合を考えます. 予測する対象の正解データが事前に得られる場合、 入力値から正解データを出力するモデルを学習する手法を教師あり学習と言います. 主なタスク 何を入力して、何を出力するかでタスクが分類されます. 代表的なものに以下が挙げられます 時系列予測: 現在以前の時系列データ ⇒ 未来の時系列データ 画像分類: 画像 ⇒ ラベル 物体検出: 画像 ⇒ 物の位置と種類 セグメンテーション: 画像をピクセル単位で分割 文章分類: 文章 ⇒ ラベル 機械翻訳: ある言語の文章 ⇒ 別の言語の文章 時系列予測 現在以前のデータから将来のデータを予測します. 実用例 株価予測 災害予測 自動車の事故防止システム 主要なアルゴリズム 自己回帰モデル（AR・MA・ARMA・ARIMA） 時系列間の関係を数学的に定量化、モデル化する. 周期性のあるデ
なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか？ 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは？ 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 冬休みの個人的課題図書(自習)として「Pythonによる時系列予測」を読み終えましたので、感想と振り返りを書いておこうと思います。 書籍情報 以下の書籍になります。 Pythonによる時系列予測 | マイナビブックス 発売 : 2023年10月 翻訳本であり原著は以下となります Time Series Forecasting in Python 発売 : 2022年08月 概要 概要として本書に記載されていることと、記載されてないことを紹介します。 記載されていること（感想含む） 記載されていることは以下のようになっています。 時系列タスクの説明 トレンド、季節性、残差という3成分に分けられることの説明 ランダムウォークという解けない問題の定義 統計モデル MA、AR、ARMA、SARIMA、SA
大学生のためのデータサイエンス（Ⅱ）
講座内容 前回の「大学生のためのデータサイエンス(Ⅰ)」では、データサイエンス全般についての概観を与えることを目的にして、現代社会におけるデータサイエンス、データ分析の基礎、コンピュータを用いたデータ分析、データサイエンスの応用事例について4週間で説明しました。 今回の(Ⅱ)では、技術的により進んだ内容として、機械学習の諸手法とその応用について説明します。まず、機械学習とは何かという説明から始め、その後に機械学習の応用事例を紹介します。応用事例を先に見ることによって、機械学習の有用性が理解でき、機械学習の手法をより積極的に学ぶことができると期待されます。次に分類問題と回帰問題の具体的な手法を説明し、同時に特徴量の設計・選択など、実践的なテクニックについても紹介します。最後に、近年、発展の著しいニューラルネットワークについて説明します。 本講座は、機械学習の分野の中でも教師あり学習を中心に進
こんにちは。デジタルテクノロジー統括部でアナリストをしているY・Nです。 パーソルキャリアのデジタルテクノロジー統括部は、一般社団法人データサイエンティスト協会が定める「データサイエンティストに求められるスキルセット」を基に、以下の3つのグループが組織されています。 ビジネスグループ アナリティクスグループ エンジニアグループ 出典：データサイエンティスト協会 これらの3グループが互いに連携しあい、AI（ここでは機械学習による予測モデルを指すことにします）によって様々な業務を自動化させたり、意思決定の補助に利用させるプロジェクトに取り組んでいます。 その際、「AIの判断根拠をどの程度（どの様に）見せれば良いか」ということが常にビジネスグループで議題に上がります。殊にAIの予測結果を人間（特に営業部門の人）が見た上で意思決定の補助として利用する場合に顕著で、判断根拠が表示されないブラックボッ
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
文字数が超えるため、本の画像をて削除しました。興味がある方は、元記事をご覧ください。 2019年データサイエンスにオススメの本80冊！ ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ #Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイ
28歳、一念発起して未経験からデータサイエンティストを志した2年間の軌跡 - Qiita
はじめに 経済産業省の試算によるとAIやビッグデータといったデータサイエンティストが関わる分野では2020年に4.8万人が不足すると言われています。 まだまだ、世の中的に需要があり、将来性のある職業ですので、これから目指そうと思われている方も少なくないのではないでしょうか。 私も時代の流れに乗って、データサイエンティストを目指した人の一人です。 「一念発揮して未経験からデータサイエンティストを目指した普通の社会人が、2年後どのような姿になったのか？」 ということに、少しでも興味のある方に読んで頂けましたら幸いです。 そもそもデータサイエンティストとは データサイエンティストは大きく分けて2種類あると考えています。 企業の課題解決のために大規模データを分析し、その結果をもとに状況の改善をすべく施策立案を行うデータアナリスト・コンサルタント寄りのDS サービスに機械学習を用いた機能を実装したり
こんにちはkamikawaです 今回は無料で利用できる機械学習、データサイエンスに関するサイトや書籍をまとめました 私自身も機械学習プロジェクトに関わった経験があるのですが、ここに載せたサイトや資料を勉強に使っていました 機械学習エンジニアを目指す人必見です 入門者レベル〜応用・発展レベルまで幅広く載せていますレベルは個人の見解です。(あくまでも参考程度に) 日本語のものと英語のものを紹介します 海外の大学の講義もあるので英語の勉強にも使えます 海外でのキャリアを考えている方も必見です 対象読者 機械学習を学びたいけどお金をかけたくない人 独学で機械学習を身につけたい人 機械学習エンジニアになりたい人 発展的な機械学習を学びたい人 日本語 Python 三重大学奥村教授のサイト 機械学習、様々な分析、スクレイピング、データ可視化、地図データ、CV、統計など幅広い分野を扱っている R編もある
【2020年版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 - Qiita
AI Academy Bootcamp ６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。 数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください！ https://aiacademy.jp/bootcamp この記事の対象者 ・将来Pythonでデータ解析をしたいと考えているが、何から手をつけたら良いか知りたい方 ・将来、人工知能に関連した業務に携わりたいと検討中の初学者の方 ・未経験者からAIエンジニアになりたく、そのためにどのような知識が必要か知りたい方 ・AIプログラミングスクールや専門学校に進学しようか考えているが、独学で勉強できる方法を知りたいという方 対象ではない方 ・既
こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． (追記)動画版も公開しました！全38時間の3部作という超大作です 【日本一の高評価】機械学習超入門講座(前編&後編)を公開しました!! 【ついに3部完結】機械学習超入門講座の本番編を公開しました!! いやーついに長かったデータサイエンス入門機械学習編35回分の記事を書き終えました！！ 本記事はそのまとめです．目次として使ってください． 目次 線形回帰 第1回: 機械学習とは？なにをしているのか？ 第2回: 線形回帰の損失関数をわかりやすく解説 第3回: 最急降下法を図と数式で理解する(超重要) 第4回: 正規方程式を完全解説(導出あり) 第5回: scikit-learnを使って線形回帰モデルを構築する 第6回: 線形回帰の係数の解釈の仕方(p値) 評価 第7回: (超重要)過学習と汎化性能を理解する(
戦力になるレベルのデータサイエンティストを育成することの難しさ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 僕自身がデータサイエンティストという肩書きを与えられて働くようになった9年前から、一貫して問題意識を持ち続けてきたのが「データサイエンティストをどう育成すべきか」についてでした。その後、この9年の間に質の良し悪しや量の多寡はともかく多くのデータサイエンティスト向け技術講座・資料が沢山世に出るようになり、一見その育成体制はそれなりに整ってきたように見えます。 以前議論していた「何故戦力になるレベルのデータサイエンティストが育たないのか」4項目を発掘して面白かった 1. 実戦可能レベルになるまでの学習量が多過ぎる 2. 『知っている』から『使いこなせる』への溝が深い 3. コミュニケーションで死ぬ 4. ビジネス価値と結びつけて自走するところに溝がある— TJO (@TJO_datasci) 2021年6月1日 しかし、当事者たちか
実践 時系列解析
時系列データが使われる範囲は広く、医療データ、金融分析、経済予測、天気予報など、さまざまな分野で使われています。本書は時系列データを通してデータ解析手法を学んでゆくアプローチで、データのクリーニング、プロットの方法、入出力など基本的なトピックについてひととおりカバーしてから、さまざまな分野の事例を数多く取り上げ、統計的手法と機械学習手法の両方を時系列データに適用し、また人気のオープンソースツールも積極的に取り入れた手法を紹介します。プログラムにはRとPythonの両方を利用。データセットやコードはGitHubからダウンロード可能です。 はじめに 1章 時系列の概論と簡単な歴史 1.1 時系列の多様な用途の歴史 1.1.1 時系列問題としての医学 1.1.2 気象予測 1.1.3 経済成長の予測 1.1.4 天文学 1.2 時系列解析の人気に火がつく 1.3 統計的時系列解析の起源 1.4
研究開発プロジェクトを先に進めるためにどのようなAI技術を使用すればいいのだろうか。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明する。 科学技術の急速な成長と進化のおかげもありますが、研究開発プロジェクトを先に進めるためにどのようなAI（人工知能）技術を使用するかを理解し、定めることは困難です。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明します。 定義：機械学習vs.ディープラーニング 機械学習とディープラーニングの両方において、エンジニアはMATLABなどのソフトウェアツールを使用して、コンピュータがサンプルデータセットから学習することで、データの傾向や特性を識別できるようにします。 まず機械学習の場合、学習デ
Pythonではじめる教師なし学習
教師なし学習はラベル付けされていないデータから学習する機械学習の一種です。現在の機械学習では大量のラベル付きのデータを用いる教師あり学習が主流ですが、ラベルを付けるには膨大なコストがかかります。現実世界に機械学習を適用していくためには、ラベル付けを必要としない教師なし学習の重要性が増してくると考えられます。本書は実践的な視点から、データにある隠れたパターンを特定し、異常検出や特徴量抽出・選択を行う方法を紹介します。ラベルなしデータを有効に利用することで、機械学習の可能性を各段に広げる教師なし学習の本質に迫ります。さらに、変分オートエンコーダ（VAE）や敵対的生成ネットワーク（GAN）、制限付きボルツマンマシン（RBM）などの生成モデルも紹介します。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書
これはなに？ kaggle本を読んで血肉になった/したい点をなぐり書きにしたただの個人用メモです。ちゃんとした書評を書こうと思い続けてはや半月以上経過したので一旦書きました。 この箇条書きの記事だけ読んでも多分内容わからないと思うので、気になった点があればぜひ購入しましょう！読後すぐに書いた推薦ツイートは以下のとおりです。 kaggle本読み終わりました。初心者にも良い本だと思いますが、ExpertやMasterなりたての人が最も恩恵を得られそうだなと感じました。自分の今までのコンペ経験を思い返しつつ、その中では経験できなかった内容を学ぶことができ「賢者は歴史に学ぶ」が可能になった感があります。著者の方々に感謝です！— ML_Bear (@MLBear2) October 23, 2019 リンク Chap. 2 - タスクと評価指標 「しきい値の最適化」という概念 正例か負例のラベルを提
はじめに 勾配ブーストを用いた決定木(GBDT)によるクラス分類や回帰はデータ分析コンペでも非常によく使われています。 その中でも2016年に出されたXGBoostはLightGBMと並びよく使われている手法です。 性能が良いことで有名なXGBoost, LightGBMですが、モデル内部でどのような処理が行われているかよくわかっていなかったので論文を読んでみました。 式変形の省略が多く、またイメージしづらい箇所もあり、読みづらかったのですが 一度イメージできれば割とあっさり理解できます。 その体験を踏まえて、イメージ図を多く取り入れながらXGBoostの論文を（途中まで）丁寧に解説します。 XGBoost: A Scalable Tree Boosting System 論文 この記事で述べること データの入出力 XGBoostの木構造 損失関数とboosting 木構造の学習（spli
下で最新版に記事を編集しましたブログを作ったよ ツイッターアカウントフォローお願いします https://twitter.com/usagipycom こんな記事も書いてます 友達がpythonでPCゲームのレベル上げツールを作っていた それを聞いて、pythonって便利なのね。と思いその後色々あってプログラミングを勉強することにした プログラマー35歳までみたいな世の中で40代おそすぎ！ってあるかもしれない PCがあって、無料の教材はネットに転がってるし、本もたくさんあるし、挑戦するのは無料だし2022年の1月ぐらいから勉強を始めた 入門書って成果物がないからつまらないなと思ってそれ以外になんかないかなって本屋さんをふらふらしてたら python自動化 みたいな書籍がいっぱいあることに気がついた なるほど、もしかしたら仕事楽になるんじゃないかそんな思いから次の本を買った シゴトがはかどる
人気No.1プログラミング言語「Python」の入門から応用まで幅広いレベルの講座が分かりやすいムービー形式でサクッと学べるオンライン学習プラットフォーム「Udemy」
世界で4400万人以上が利用し、様々な分野の専門知識を持った講師による講義をムービー形式で受講できるUdemyが、利用者の学習トレンド動向を調査した報告書によると、「最も学びたいテックスキル」ランキングで1位に輝いたのは人工知能や機械学習、ウェブアプリ作成など、多くの分野でよく利用されるプログラミング言語の「Python」でした。プログラマーが本当に支持するプログラミング言語ランキングでも1位に輝くなど不動の地位を築き上げているPythonについて、学習を進めていくのにぴったりなUdemyの講座をさまざまな難易度・分野からピックアップしてみました。 オンラインコース -世界最大級のオンライン学習プラットフォーム- Udemy https://www.udemy.com/ ・目次 ◆1：完全に知識ゼロでも大丈夫な初心者向け解説講座 ◆2：シリコンバレーエンジニア直伝のPython入門講座 ◆
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
ゼロからはじめるデータサイエンス 第2版
本書はPythonプログラミングを通してデータサイエンスの基本知識を「ゼロから学ぶ」ことができる入門書です。読者は架空のソーシャルネットワーク運営企業、データサイエンス・スター社のデータサイエンティストとして、さまざまな課題を解決しながら、必要な知識とスキルを着実に積み上げていきます。第1版の発刊から5年。その間、データサイエンスへの注目はますます高まり、Pythonはバージョンアップが進み、ライブラリは一層充実しました。このような変化に伴い、内容を全面的にアップデート。Pythonプログラミングの基礎から線形代数、統計確率の基礎、回帰、機械学習、ナイーブベイズ、決定木、ニューラルネットワーク、ディープラーニング、自然言語処理、ネットワーク分析、リコメンドシステム、データベースとSQL、MapReduce、データ倫理まで、データサイエンスに必要な幅広い知識をカバーします。 正誤表 ここで紹
データサイエンス設計マニュアル
本書は広い視野からデータサイエンス全体を俯瞰し、問題を解決する上で重要なことは何か、その設計原則に焦点を当てた入門書です。データを収集、分析、解釈するためのシステムを構築するために必要な、確率・統計の基礎から線形代数、スコアとランキング、統計分析、データマンジング、可視化、数学的モデル、回帰、機械学習まで広範囲にわたってカバーするだけでなく、思考プロセスも重視します。著者は、ニューヨーク州立大学ストーニーブルック校で長年にわたりコンピュータサイエンス教育に携わってきた計算機科学者で、統計学と計算機科学の枠を越えた新しい学問としてデータサイエンスを捉え直し、著者独自のアプローチでデータサイエンスの本質に迫ります。 1章データサイエンスとは 1.1 計算機科学、データサイエンス、リアルサイエンス 1.2 データについての興味深い問い 1.3 データの性質 1.4 分類と回帰 1.5 データサイ
ゼロから機械学習エンジニアになった方法 - Qiita
はじめに 未経験から機械学習エンジニアになって2年が経った節目にここに至るまでの経緯を紹介します。 初期スペック 30代 高専卒 工場勤務 数学は学生時代は並みの上くらいだったがほとんど忘れてる プログラミングスキルゼロ パソコンスキルはオフィスソフトが事務作業レベルで使える程度 タイピングできる 初期のモチベーション 今の仕事は今の会社じゃないと役に立たないスキルしか身につかないと感じ、何か自力で稼げるスキルを身に着けたい。 人生の大半の時間を費やす仕事を苦痛で終わらせたくない。楽しい仕事がしたい。 パソコン触るの好きだし、プログラミングとかどうなん？（機械学習なんて言葉も知らない） 取り組んだこと 1/2 まずは触ってみる プログラミングのプの字も知らなかったので、最初に取り組んだのが Progate でした。はじめはHTMLとCSSでWebページを作ることからはじめました。しかし、P
Kaggleなどのデータ分析コンペでテーブルデータを扱う場合、最近は取りあえずLightGBMを利用する場合が多いです。 本記事では、初手の機械学習アルゴリズムとして「LightGBM」*1を採用する理由を紹介します。あくまで2019年10月末時点での個人の主観なので、ご参考までにご覧いただければと思います。 1. 欠損値をそのまま扱える 2. カテゴリ変数の指定ができる 3. 特徴量のスケーリングが不要 4. feature importanceが確認できる 5. 精度が出やすく最終的なモデルとして残る可能性が高い 6. 比較的大きいデータも高速に扱える 7. 過去の経験からハイパーパラメータの勘所がある おわりに 初手としては、手の混んだ特徴量を作らずに、まずは何かしらの予測結果を生成したい場合も多いです。LightGBMは既存のデータセットを極力加工せずに利用するという観点で、特徴量
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
ダウンロードはこちら 目的や分析するデータの内容によって、選択すべき機械学習アルゴリズムは変わる。例えば製品管理に適したアルゴリズムと、売り上げ予測に適したアルゴリズムは同じとは限らない。アルゴリズムの真価を引き出すには、事前に目的を明確にすることと、各アルゴリズムの特徴を理解することが必要だ。 本資料は、代表的な5つの機械学習アルゴリズム「線形回帰」「決定木」「SVM」「k平均法」「アプリオリ法」のそれぞれの仕組みと、適する用途を説明する。最適なアルゴリズム選びの一助となれば幸いだ。 プレミアムコンテンツのダウンロードはこちら
セキュリティエンジニアのための機械学習
情報セキュリティのエンジニアや研究者を読者対象とした機械学習の入門書。フィッシングサイト、マルウェア検出、侵入検知システムなどの情報セキュリティ全般の課題に対して、機械学習を適用することでどのようなことが可能になるのか？ 本書ではサイバーセキュリティ対策でとても重要なこれらの知識を実装レベルで身につけることができます。また、どうすれば機械学習による検出を回避できるか、という点についても同時に解説します。サンプルコードはPython 3対応。Google Colaboratory上で実際に手を動かしながら学ぶことができます。 訳者まえがき まえがき 1章 情報セキュリティエンジニアのための機械学習入門 1.1 なぜ情報セキュリティエンジニアに機械学習の知識が必要なのか 1.2 本書のコードサンプルの実行環境 1.2.1 Google Colaboratory入門 1.2.2 GPU/TPUラ
scikit-learnライブラリを用いて、機械学習の実装とアルゴリズムをバランス良く学んでいただく書籍を執筆しました。 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 既に発売開始しています。 機械学習の ・各種アルゴリズムの実装 ・それぞれのアルゴリズムの動作の仕組み これらを学んでみたい方に向けて執筆いたしました。 ご活用いただければ幸いです。 昨年書いた書籍 つくりながら学ぶ! PyTorchによる発展ディープラーニング（小川雄太郎、マイナビ出版） の、機械学習版のような位置付けです。 本記事では、 ・本書を書いたモチベーション ・本書の概要 ・本書の目次 を紹介いたします。 本書を書いたモチベーション 本書
久しぶりの記事更新です…。 というのも理由がありまして。 この度、『Pythonと実データで遊んで学ぶ データ分析講座』という書籍を発売することになりました！！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る 発売は、明後日です！（ギリギリの宣伝） 理論と実践、双方をバランスよく解説した一冊です。 これからデータ分析・機械学習といった分野を勉強したい方に、ピッタリの本に仕上がりました。 ぜひ、お盆で実家に帰る前に、購入してくださいませ。（実本でもKindleでも！） ということで、今回は、書籍の紹介をさせていただきます。 本書のターゲット本書は、主に これから機械学習の勉強を始めたい人 「AI」や「人工知能」というワードはよく聞
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
【書評】「仕事ではじめる機械学習」を読んで、機械学習プロジェクトの大変さを知った夏 | DevelopersIO
どうも。DI部@大阪オフィスの玉井です。 仕事ではじめる機械学習という本を読んだので、久しぶりに書籍エントリを投下します。この本はとってもとってもとってもとってもとってもとっても大スキよ ダーリン I like you. ダーリン素晴らしいので、ぜひこの気持ちをみなさんに伝えたいと思いました。 この本を読もうと思った理由 今後、機械学習を扱う製品やサービスが増えてくるのではないか、と思ったから 現在、私は製品サポートエンジニアとして、データ分析に関係する製品やサービス（Tableauとか）のサポートや導入を行っています。機械学習は触れたことは一切ありません。また（少なくとも現時点では）機械学習エンジニアに転向する予定もありません。 ところで、データ分析関係の製品やサービスっていうのは、それはもうすごい勢いで色々なものがリリースされています。弊社ではTableauやAlteryxといった製品
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！ 2020-06-25-1 [Programming][Python][BookReview] データサイエンティストに俺はなる！！ Python 初学者のタツヲです。 いまどきは高校の授業（情報II）でデータサイエンスをやるのですね。 文部科学省から教員用の資料が公開されてるのを知りました。 「情報II」を取った高校生がどんなことを学んでいるのかを知るために、さっそく調査です！ 高等学校情報科「情報Ⅱ」教員研修用教材(本編)：文部科学省 第3章がデータサイエンスの話題ですので、そこを読みました。 で、読んでみた感想ですが、内容が本格的すぎて震える。 大学のデータサイエンス演習のテキストじゃないのかよ、これ。 流し読みでは一部ついていけないところも（真面目に読む必要あり）。 高校生のうちからこの辺をマスターできれば将来安泰でしょ
深層学習の技術が著しく進歩した結果、コンピュータビジョンや自然言語処理、音声信号処理などの分野では深層学習モデルの性能が古典的な手法のを大きく上回っており、すでにスタンダードなアプローチになっています。 しかし、テーブルデータを扱うタスクにおいては、深層学習の有効性は明らかになっていません。本記事ではテーブルデータにおける従来手法と深層学習の比較論文のご紹介をしていきます。 背景近年、テーブルデータを扱う深層学習モデルも登場し、一部の論文では決定木ベースのモデルと同等かそれ以上の性能を示しています。しかし、私が実務で試す中では決定木ベースのモデルの方が性能が高く、学習と推論が速く運用コストでも優れているため、深層学習モデル採用には至っていません。 より一般的なテーブルデータのタスクにおける、決定木ベースモデルと深層学習モデルとの性能比較の文献を調べたところ、NeurIPS 2022で発表さ
5分で分かる機械学習（ML）
1分 ―― 機械学習 （ML：Machine Learning）とは 人間が経験から学ぶように、機械がデータから学習することを機械学習（ML）と呼びます。例えば犬や猫の画像データから「あれが犬」「これが猫」と判断できるように学習することなどです。これは人間の子供に犬や猫を見せて「あれが犬」「これが猫」と覚えさせるのに似ていますね。 「5分で分かる人工知能（AI）」でも説明しましたが、機械学習には例えば、回帰分析や主成分分析、決定木、サポートベクタマシン、ディープラーニング（＝ニューラルネットワークという仕組みを発展させたもの）など多くの手法（後述）があります（図1）。 統計学と機械学習の違い 回帰分析や主成分分析と聞いて、統計学の多変量解析を思い浮かべたかもしれません。実際に、一部の統計学の手法は機械学習でも使用します。しかし、統計学はデータを分析してインサイト（＝内在する本質）を得ること
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンジニアのスキルマップ・テックリードへの途 - 電通総研 テックブログ
機械学習の説明可能性（解釈性）という迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
特徴量重要度にバイアスが生じる状況ご存知ですか？ - 学習する天然ニューラルネット
【書評】Pythonによる時系列予測 | DevelopersIO
AIプロジェクトにおける説明可能性の方針 - techtekt
Interpretable Machine Learning
データサイエンスにオススメの本80冊！ - Qiita
無料、独学で機械学習エンジニアになる！~機械学習が学べる無料サイト、書籍~ - Qiita
【無料】データサイエンス入門:機械学習編全35回まとめと目次
機械学習とディープラーニング、どちらを使えばいいのか
kaggle本で参考になった点のなぐり書き - ML_BearのKaggleな日常
XGBoost論文を丁寧に解説する(1) - Qiita
40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
「初手LightGBM」をする7つの理由 - u++の備忘録
「Python実践データ分析100本ノック」を写経してみた - Qiita
「線形回帰」「決定木」「SVM」「k平均法」「アプリオリ法」とは？ 機械学習の5大アルゴリズム
機械学習の実装とアルゴリズムをバランス良く学べる書籍を執筆しました - Qiita
『Pythonと実データで遊んで学ぶ データ分析講座』という書籍を執筆しました - Np-Urのデータ分析教室
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
深層学習VS決定木：テーブルデータ分析の未来｜PKSHA Delta