真面目なプログラマのためのディープラーニング入門
はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなことが学習できるのか?」 という疑問に対する具体例として、物体認識や奥行き認識などの問題を扱う。 最終的には、機械学習のブラックボックス性を解消し、所詮は ニューラルネットワークもただのソフトウェアであり、 固有の長所と短所をもっていることを学ぶことが目的である。 なお、この講座では機械学習のソフトウェア的な原理を中心に説明しており、 理論的・数学的な基礎はそれほど厳密には説明しない。 使用環境は Python + PyTorch を使っているが、一度原理を理解してしまえば 環境や使用言語が
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
「Pythonで儲かるAIをつくる」はビジネス向けの超実践的な機械学習本でした - karaage. [からあげ]
「Pythonで儲かるAIをつくる」を読みました 日経BP様より「Pythonで儲かるAIをつくる」を献本いただきました。筆者の赤石さんは、日本IBMで働く、本職のデータサイエンティストです。赤石さんの執筆したAI書籍の本は3冊目4冊目になります。赤石さんに関して、詳細はIBMの以下ブログ記事が詳しいです。 Pythonで儲かるAIをつくる 作者:赤石 雅典発売日: 2020/08/06メディア: 単行本 Pythonで儲かるAIをつくる 作者:赤石 雅典発売日: 2020/08/06メディア: Kindle版 AI関連書籍三冊目を出版したIBM赤石雅典に聞く「AIと仕事と執筆」 | IBM ソリューション ブログ 赤石さんが書いた本は、いずれも基礎から丁寧に説明してあり分かりやすい内容です。特に「ディープラーニングの数学」は社会人になってから、必要に迫られてディープラーニングに必要な数学
![「Pythonで儲かるAIをつくる」はビジネス向けの超実践的な機械学習本でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9449c9db4388eeb4c8c79bd8b9f8f8c89aee3743/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200809%2F20200809110655.jpg)
超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
ゆるふわMLOps入門 - Re:ゼロから始めるML生活
MLOpsに関してちゃんと勉強中でして、色々事例とか調べてました。 とは言うものの、現在ではMLOpsを様々な観点から語られて、MLOpsという言葉にいろんな意味が含まれています。 という事情から色々探していたら、こちらをお見かけしました。 medium.com 書籍へのリンクはこちらです。 n月刊ラムダノート Vol.1, No.1(2019)（紙書籍＋PDF版） – 技術書出版と販売のラムダノート こちらの書籍では基本的な背景からきれいに整理されていました。 こちらを参考にしつつ、頑張ってMLOpsの動向について整理してみたので、そのメモです。 それでは張り切って書いていきます。 tl;dr; 背景・問題設定 機械学習は学習のアルゴリズムよりその周辺のほうが大きい 機械学習システムに携わる人の役割の違いによってうまくいかないことがある 機械学習システムの構築・運用する上で課題も多い 問
データ分析の「7つの進化のステップ」を今一度おさらいしてみる - 渋谷駅前で働くデータサイエンティストのブログ
2016年最初の記事ということで、もはや1月下旬に差し掛かりつつありますがこちらでは改めて、あけましておめでとうございます＆本年もよろしくお願いいたします。 で、新年一発目のお題は。。。実は似たようなお題で過去にも記事を書いていますが（笑）、年も改まったことなので今一度備忘録的におさらいしてみたいと思います。観点としては、どちらかというと「これからデータ分析のカルチャーを職場に導入していくとしたらどうやってステップアップさせていくか」みたいなところです。なお過去記事はこちら。 この辺の話題を踏まえながら、過去記事リンクのオンパレードで恐縮ですがちょっと一席やってみます。なお以下に挙げる「ステージ」はあくまでも一例であり、業界によってはもっと高度な方向に展開させられる（orもっとプリミティブなレベルに留まる）こともあるので、参考程度に見てもらえればと。 特にここでは「まだデータ分析を始めてい
初心者でも深層学習を学べる、PFNがオンライン学習資料を無償公開
かつて深層学習フレームワークの選択肢がCaffeやTheanoしか無かった頃、大学を出たばかりの齋藤氏は理想とするフレームワークの自作に取り組んでいたが、PFNが2015年6月にChainerを発表。その設計思想に感銘を受けて即座にコントリビュータとして名乗りを上げ、そのままPFNの社員になった 教材開発のプロジェクトが始まったのは2018年秋。重要なミッションの1つが「Chainerのユーザー数を拡大させること」だったという。 ただ、既に「PyTorch」「TensorFlow」といった他のフレームワークを使っている現役の技術者に、Chainerに切り替えてもらうのは難しい。そこで、これまでどのフレームワークにも触れたことが無い初学者にリーチすることで、Chainerの利用者層を広めようと考えた。 想定する対象は大学1～2年の初学者。大学の講義資料としてそのまま使える内容を目指す。高校で
【13個掲載】 機械学習に使える日本語のデータセットまとめ - Qiita
※本記事は、Lionbridge AI発の連載記事を再編集したものです。他の機械学習に使えるオープン・データセットまとめ記事は、こちらからご覧ください。 本記事は、日本語のデータセットを紹介いたします。日本語の公開データセットを無料ダウンロードできるポータルサイトや、自然言語処理に使える日本語のテキストデータセットを含みます。 機械学習に使える日本語のデータセットポータル DATA GO JP: 日本政府のデータカタログサイト。日本政府は、公共データを広く公開することにより、国民生活の向上、企業活動の活性化等を通じ、我が国の社会経済の発展に寄与する観点から、機械判読に適したデータ形式を、営利目的も含めた二次利用が可能な利用ルールで公開する「オープンデータ」の取組を推進しています。このウェブサイトは、二次利用が可能な公共データの案内・横断的検索を目的としたオープンデータの「データカタログサイ
深層学習を実運用システムに組み込むということ / To incorporate deep learning into actual operation system
Data Driven Developer Meetup #5 (2019.3.7) の発表資料です スライド中のリンクを参照したい場合はPDFをダウンロードすると便利です。
MLのアルゴリズム以外を取り扱った勉強会を開催した話 - 元データ分析の会社で働いていた人の四方山話
年末までにこのエントリを投下したい、と思いつつ、あれよあれよと年があけてしまいましたが、去る2017年12月に表題の通り、機械学習のアルゴリズム「以外」を対象としたML Ops Study（仮）#1 という勉強会を開催してみました。 経緯など ここ数年、機械学習やらディープラーニング、と言われる領域に親しいところに身を置いていて、自分の興味が機械学習や高度な分析の社会実装に興味があることが分かってきました。幸いにして、機械学習ブームによって、機械学習のアルゴリズム部分に関する勉強会や書籍はたくさん世の中に出てくるようになり、結果、多くの人が機械学習のアルゴリズムを勉強をするようになったように思います。一方で、問題を解決できそうなアルゴリズムがあったとしても、実際はそれを仕組みに落としていくところ、仕組みにした後に継続的に運用し続ける部分に関しての知見やノウハウはなかなかないのが現状です。こ
機械学習プロジェクトが失敗する9つの理由 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 勉強が進まないので、今回は与太記事でも書いてお茶を濁すことにします（笑）。ネタはこちらです。 Why your machine learning project will fail – THE DATA SCIENCE NINJA 9 Reasons why your machine learning project will fail 読んで字の如し、「あなたの機械学習プロジェクトが失敗する9つの理由」というグサグサ刺してくる論評記事です。あまりにもオリジナルの記事が素晴らしかったということか、KDnuggetsに誘われてrepostされた模様です*1。 最近は機械学習の学術・技術的研究開発も極めに極まったところで一息つく感じになってきている印象で、どちらかというとインダストリーサイドではML Opsという考え方が提唱されるようになってきています。そ
DeepLearning/機械学習を始めると必ずいるカス - BizDeep
(2018.1227)なんか急にバズったのでちょっと追記しました。 ディープラーニング人材はやばい奴だらけ これから「AIを仕事に導入したい！」と思う人は沢山いるでしょう。 ただ「ディープラーニング」や「AI」という言葉に関しては世間で色々な誤解がされており、正しく現状を理解できている人はとても少ないように思います。 ディープラーニングという言葉はAlexNetがでた2012年頃に流行り出しました。 実際に企業が仕事としてディープラーニングに手を出し始めたのはAWSがGPUインスタンスをリリースした頃からだと思うので2014年ぐらいからでしょうか。 まだ流行り出して５年も経っていない技術であるため、最新の研究レベルでもディープラーニングの全容は明らかになっていなかったり(参照： ディープラーニングの解釈に関するサーベイ論文) 、正しくディープラーニングを理解するための教科書や参考書などもま
「統計学と機械学習の違い」はどう論じたら良いのか - 渋谷駅前で働くデータサイエンティストのブログ
何かこんなメディア記事が出ていたようです。 これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは「完全に間違った説明というわけでもないのに何故か（両分野に詳しい）誰が読んでも猛烈な違和感を覚える」ところなんじゃないかなぁと。 正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている「統計学と機械学習の違い」についてちょっとコメントしてみようと思います。 あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。 統計学はデータを「説明」す
2018年のPythonプロジェクトのはじめかた - Qiita
4/30 公開 5/1 増補改訂: 大幅加筆しました。 この記事では、2018年以降に実現可能になったモダンなPythonプロジェクトのはじめかたを整理して紹介します。 PythonにもPipenvという公式推奨の高機能なパッケージマネージャーが登場し、さらに2018年に入ってからの機能向上で、npmやyarnのような開発体験が得られるようになってきました。 私はここしばらくはフロントエンドやNode.jsに携わっていて、npmやyarnに慣れきっていたせいか、pipenv導入以前はvirtualenvやpipを組み合わせた開発が面倒で仕方なかったですが、Pipenv導入によって一変しました。 これからはPythonのプロジェクトがよりクリーンかつ簡単にはじめられるようになり、開発体験も向上するでしょう。 それでは、まずはPythonのインストールからです。 Pythonのインストール P
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stanford CS229: Machine Learning Full Course taught by Andrew Ng | Autumn 2018
https://blogs.oracle.com/oracle4engineer/post/oracle-cloud-infrastructure-data-science
AI/MLシステム開発の難しさ