はじめに — 機械学習帳import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
【13個掲載】 機械学習に使える日本語のデータセットまとめ - Qiita
※本記事は、Lionbridge AI発の連載記事を再編集したものです。他の機械学習に使えるオープン・データセットまとめ記事は、こちらからご覧ください。 本記事は、日本語のデータセットを紹介いたします。日本語の公開データセットを無料ダウンロードできるポータルサイトや、自然言語処理に使える日本語のテキストデータセットを含みます。 機械学習に使える日本語のデータセットポータル DATA GO JP: 日本政府のデータカタログサイト。日本政府は、公共データを広く公開することにより、国民生活の向上、企業活動の活性化等を通じ、我が国の社会経済の発展に寄与する観点から、機械判読に適したデータ形式を、営利目的も含めた二次利用が可能な利用ルールで公開する「オープンデータ」の取組を推進しています。このウェブサイトは、二次利用が可能な公共データの案内・横断的検索を目的としたオープンデータの「データカタログサイ
無料で拾える機械学習系の本のPDFまとめ - とある京大生の作業ログと日々の雑記
最近はツイッターでいろんな人に普段どんな感じで勉強してるのかということを聞かれるのですが、ぼくはだいたいネットでPDFを拾ってきて読んでます。 そこでぼくが今まで読んだ中で良さげな機械学習系の本のリンクをまとめておこうと思います。 ちなみに全て英語ですので日本語じゃないとやだ〜〜〜って泣いちゃう方はタブを閉じるか日本語訳を書店で探してきてください。 PRML (Pattern Recognition and Machine Learning) Pattern Recognition and Machine Learnng www.microsoft.com まず1冊目はみんな大好きPRML。 機械学習の本というよりかはベイズの本と言っていいようなお気持ちもあるのですが、基礎力として非常にいい本だと思います。 特にグラフィカルモデルの章はめちゃくちゃ読み応えあるので個人的には大好きな一冊。
2018年版もっとも参考になった機械学習系記事ベスト10 - Qiita
こんにちは NewsPicks Advent Calendar 2018の 5日目を担当させていただきます、NewsPicks の戸辺と申します。 2年ほど前に「機械学習をゼロから1ヵ月間勉強し続けた結果」という記事を書き、多くの方に読んでいただきました。そこから引き続き機械学習に携わっており、今年も多くの機械学習系の記事を拝読させていただきました。それら中から「実戦でためになった」「機械学習の勉強に役に立った」という観点から、僕なりのベスト10をあげてみました。 長い冬休み(余談ですが、社会人で一番長く休めるときですよね!?)は知識のアップデートをするのにいい機会だと思いますので、まとめ読みしてみてはいかがでしょうか。 では、スタート！ まずは 2018年にみんなが使った Colaboratory 関連から 1位: 【スマホOK/実行しながら学ぶ】東大松尾研のデータサイエンティスト育成/
一から始める機械学習（機械学習概要） - Qiita
このページの対象読者、目的 対象読者 ・機械学習について一から勉強したい人が対象です 目的 ・機械学習の概要について理解する ・人工知能と機械学習の違いについて理解する ・ディープラーニングが話題になっている背景を理解する ・機械学習の進歩の背景を理解する ・更に勉強したい場合のおすすめの教材を理解する アジェンダ 人工知能とは 機械学習とは 機械学習はどのようなことで使われているか 学習の方法 ニューラルネットワークとディープラーニング ディープラーニングがなぜすごいのか 用語についてのまとめ 人工知能とは何か？ 世間の見方 なぜ機械学習が話題となるほどの進歩を遂げているのか 最後に 更に勉強したい場合 プレゼンテーション版(PDF)がこちらにあります。 プレゼンテーションとしてみたい方はこちらをどうぞ https://www.edocr.com/v/zy1dq0dz/tflare/Ma
機械学習で使うベクトルや行列の微分を使った公式の導出 - Qiita
はじめに 機械学習の勉強をしていると，次のようなベクトルや行列を使った公式達を使わなければならない場面が出てくると思います．機械学習の本の巻末に書いてあることが多いと思います．(これらはPattern Recognition and Machine Learning (Bishop著, 2006)の巻末に載っている公式です) \frac{\partial}{\partial\boldsymbol{x}}(\boldsymbol{x}^\mathrm{T}\boldsymbol{a}) =\boldsymbol{a} \\ \frac{\partial}{\partial\boldsymbol{A}}\mathrm{Tr}(\boldsymbol{A}\boldsymbol{B})=\boldsymbol{B}^\mathrm{T} \\ \frac{\partial}{\partial\b
機械学習システムの運用課題とコンテナオーケストレーションがもたらすもの - yubessy.hatenablog.com
最近仕事では機械学習を使ったアプリケーションをKubernetes上で運用することが多くなっています。 MLOpsのような言葉も次第に浸透してきたりと、システムとしての機械学習をどう運用していくかが活発に議論されるようになってきました。 運用に頭を悩まされてきた身としては心強い限りです。 この記事ではKubernetes(以下k8s)のようなコンテナオーケストレーション技術が、機械学習システム(以下MLシステム)の実行基盤としてなぜ適しているのかについて考えてみました。 注意点として、私はMLアルゴリズムの専門家ではなく、またLinuxやコンテナ技術の専門家でもありません。 あくまで仕事としてMLシステムを運用するためにk8sを利用している立場からの考察です。 TL; DR: MLシステムの運用には次のような課題が存在する 目的によって求められるワークロードの形態が異なる 一時的・断続的に
【Draft版公開】Machine Learning Yearning 1～5章 by stanford大学Andrew Ng教授 - Qiita
【Draft版公開】Machine Learning Yearning 1～5章 by stanford大学Andrew Ng教授機械学習MachineLearningAIデータサイエンスデータサイエンティスト 現在、AIや機械学習界隈で最も有名なスタンフォード大学のAndrew Ng教授が、「Machine Learning Yearning」という書籍を執筆中です。2018年4月18日に、そのドラフト版（1-14章）が公開されました。 この投稿では、いち早く本書籍を翻訳しました。 http://www.mlyearning.org/ この本は、機械学習プロジェクトの構築方法を提供します。また、機械学習アルゴリズムを教えるのではなく、機械学習アルゴリズムが機能する方法に焦点を当てています。 本投稿は、1-5章の翻訳になります。少しづつ翻訳していきます。（教授は、来週も送ってくると言ってい
社内でKaggleの布教活動をやっている話 - yasuhisa's blog
最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。— im132nd (@im132nd) 2018年4月4日 という話もあり、(特にデータサイエンティスト以外の職種の人が)Kaggleをやる意義/メリットについてまとめてみました。ガッと勢いで書いたので、項目に結構被りがあります。なお、書いている本人はKaggleほぼ初心者であまり説得力がないです。Kaggle Masterの人がもっといいエントリを書いてくれるのを期待しています、議論の叩き台エントリです!! Kaggleをやる意義/メリット 様々なデータセットを触ることができる kernelでデータ分析の
「確率統計－機械学習その前に v2.0」を公開した - hidekatsu-izuno 日々の記録
以前、社内の勉強会用の資料として作成した「確率統計-機械学習その前に」という資料を今回大幅に改定して公開しました。 改定の一番のポイントは、統計分析の総覧的なガイドとして使えるようにしたことです。正直な話、内容的に私自身も十分に理解出来ていない部分も多いのですが、いろいろ調べた結果、なんとなく統計分析の手法マップ的なものが頭の中に出来上がってきたので、それをアウトプットとしてまとめてみました。 確率統計－機械学習その前に v2.0 from Hidekatsu Izuno 確率統計に限った話ではありませんが、新しい分野を学ぶ初学者にとって、全体像がよくわからないため混乱することが少なくありません。この資料を読むことでなんとなくでも全体を把握できていれば、他の文献を読む際にも理解が容易になるのではと思っています。 例によって、確率統計については完全に素人なので、間違いもあるかもしれません。そ
オープンソースの機械学習プラットフォームまとめ - たけぞう瀕死ブログ
PredictionIOは機械学習を使用したアプリケーションを開発・運用するためのプラットフォームを提供するためのOSSですが、世の中には他にも同じ領域のOSSが存在します。PredictionIO含めて各プロダクトの特徴をまとめてみました（PredictionIO以外はドキュメントやソースをチラ見して書いているので見落としていることなどあるかもしれませんがご容赦いただければと思います）。 PredictionIO github.com Apache Software Foundationで開発されている機械学習プラットフォームです。基本的にSpark上で動作する機械学習ライブラリをターゲットにしていますが、最近はPython対応なども行われています。作成したマイクロサービスはSprayベースのAPIサーバとして起動することが可能です。用途に応じたテンプレートが多数用意されており、それをカ
OSSベースの機械学習が強い理由
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
機械学習をこれから始める人の線形代数を学ぶモチベーション - HELLO CYBERNETICS
はじめに 機械学習に使われる主要な数学 線形代数 最も重要な理由 線形代数って何なんだ？ 線形代数を学ぶモチベーション 線形代数を学んで、できるようになること 補足 微分積分学は？ 確率統計は？ 確率・統計を考えていくための初歩を確認したい人は以下の記事へ はじめに この記事は、私が機械学習を学んできて感じた、数学の役割をまとめたものです。記事を書く上で特に意識したのは、ある数学が機械学習においてどのように活躍し、どのような旨味をもたらしたのか、そして、そこから数学を学ぶ意義を改めて抑えることです。 数学の解説をすることが目的ではないため、直接的に数学の疑問を晴らすということにはなりませんが、 これから機械学習を学んで行こうという場合に、数学がどのように役立ちうるのか、その全体像を予め把握しておくことに使っていただけると幸いです。 機械学習に使われる主要な数学 多くの書籍、多くの記事が世の
機械学習、深層学習のプラットフォームの整理 - Qiita
PaaSサービスの簡単な説明 各ベンダーの提供サービスには予め学習されたモデルの翻訳や画像・動画認識などが用意されています。 Google Cloud Platform Google社が提供する機械学習プラットフォームになります。 サイズを問わず、あらゆるデータの機械学習モデルを簡単に構築できるマネージド サービスです。 クラウド上に用意されたTensorFlowも使えます。 ※サイトより抜粋 機械学習の内容 ・Cloud Machine Learning Engine 教師ありの回帰・分類、教師なしのクラスタリングなどさまざまなデータから学習ができます。 使用アルゴリズムは非公開。 Azure Machine Learning Azure Machine Learning は、クラウドの予測分析サービスであり、分析ソリューションとして予測モデルを迅速に作成し、デプロイできるようにします。
Webエンジニアがやりたいことドリブンで機械学習に入門してみた - Qiita
概要 普段Ruby on RailsでWebアプリの開発をやっているWebエンジニアが機械学習に挑戦した話です。 普通のWebエンジニアがこういった具合で機械学習を学ぶと、このくらいの期間でこのくらいのことができるようになる。 みたいなひとつの例として参考になるかもしれません。 とにかく機械学習楽しくてうっひょーなので仲間を増やしたいという気持ちもあって記事を書くことにしました。 知り合いもほとんどWebエンジニアなんで、機械学習やってる人ってあんまり周りにいないんですお(´・ω・`) この記事を読んで「これなら自分でもいけそう！」と、挑戦しようと思ってくれる人が一人でもいれば嬉しいです。 機械学習について踏み込んだことは書きません（書けません）。 対象読者 機械学習に興味があるWebエンジニア 筆者のバックグラウンド 仕事： 4年くらいRuby on RailsでWebアプリケーションを
機械学習の超初心者が、みんなが良いと言う記事を読んでまとめてみた - Qiita
機械学習について勉強したいので調べてみたのですが、 同じ記事や同じ本をおすすめされてることが多かったので、自分なりにまとめてみました。 私は数学も機械学習も無知だし、まだ何も機械学習のコードを書いてません。 ただのリンク集になってます。 実際にやってみた画像認識の内容も含めたブログ記事はこちらです 機械学習をやるまえに 最初に機械学習で何をしたいのかを決めることが重要 ゴールを持つことが学習の進み具合を変えるらしい。 たしかに、やりたいことがあれば、勉強量も定着量も全然違う気がする。 無駄な知識を学ばないことも大切なんでしょう。 すべての理論を理解しようとしない。 機械学習は難しすぎるのでまず理解できないし、少しずつ簡単なものを実践して理解していくことが大切。 まずはコードを書く！ コードを書いていけば、なぜ動くのかをおおまかに理解していける。 数式や理論の理解は後回し、慣れろ、ってことで
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
機械学習の超初心者が、みんなが良いと言う記事を読んでまとめてみた - たくさん調べたことをまとめるブログ
機械学習をやるまえに スライドで「機械学習とは」を感じよう 必ずと言っていいほど紹介されてる動画 日本語なので聞きやすそうな動画 これだけは読んでおきたい初心者向けの本 実際に簡単なサンプルを試してみよう！（すぐできる！） なんで動いてるのか 機械学習にはたくさんの手法があることを知る スライドで「Deep learningとは」を感じよう 勉強のための 環境構築 をしよう 勉強のためのプログラムを書こう ライブラリごとの初歩記事 真似していろいろつくってみよう 最後に、なんだかすごそうな人の紹介 機械学習について勉強したいので調べてみたのですが、同じ情報源を良いと言ってる人が多い印象でした。 それだけ実践的な情報が少ないのかもしれませんが。。 「この本、さっき読んだ記事でもおすすめしてたな。あれ、この記事もだ。」 なんてことが多々。 そこで、機械学習をやる前に情報を整理したいと思い、この
メルカリのデータサイエンティストの取り組みを大公開! Drink Meetupを開催しました
メルカリのデータサイエンティストの取り組みを大公開! Drink Meetupを開催しました AI Author: kuropanther プロダクトの分析全般を担当している@hikaruです。 日々、メルカリのプロダクト改善のPDCAを定量分析の面からサポートしております。 以前、メルカリのデータサイエンティストが日々どのようなツールを使って分析をしているのかをお伝えしました。 tech.mercari.com このエントリーでは、メルカリの分析チームの活動をもっと知ってもらうために、先日メルカリで行われた「Drink Meetup with Mercari (BI/ML)」の様子をお伝えしようと思います。 mercari.connpass.com ちなみに、ご存じない方もいると思うので説明しておくと、Drink Meetup with Mercari はメルカリの各チームがどのように働
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習技術とその数理基盤