はじめに — 機械学習帳import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
Papers with Code - Machine Learning Datasets
CIFAR-10 (Canadian Institute for Advanced Research, 10 classes) The CIFAR-10 dataset (Canadian Institute for Advanced Research, 10 classes) is a subset of the Tiny Images dataset and consists of 60000 32x32 color images. The images are labelled with one of 10 mutually exclusive classes: airplane, automobile (but not truck or pickup truck), bird, cat, deer, dog, frog, horse, ship, and truck (but no
機械学習システムの設計パターンを公開します。
メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
予測分析ツール「Prediction One」をソニーが無償提供。導入後は38倍の作業効率化 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
東大松尾研究室監修のエンジニア向け教育プログラム「DL4US」の演習コンテンツが無償公開 | Ledge.ai
2018年にかけて実施されていた、東京大学松尾研究室が監修するエンジニア向け無償教育プログラム「DL4US」の、演習パートのコンテンツが無償公開された。 関連記事：松尾研監修のディープラーニング無償オンラインプログラム「DL4US」が募集を開始 「DL4US」とは？Deep Learningエンジニア育成講座「DL4US」の演習コンテンツを無償公開しました。実装に重きを置いてエンジニア向けに松尾研で作成したもので、画像認識や翻訳モデルから始まり、生成モデルや強化学習まで扱う実践的な内容になっています。ご興味ある方はぜひ。https://t.co/jLWlrk9UdK — 松尾 豊 (@ymatsuo) 2019年5月15日 DL4USは高度なディープラーニング技術者を育成することを目的とした、アプリケーション指向の無償オンライン教育プログラムだ。 東京大学ディープラーニング基礎講座、応用講
Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
機械学習プロジェクトをいい感じにプロダクトに載せていく今風のやり方について考える | Qrunch（クランチ）
機械学習プロジェクトをいい感じにプロダクトに載せていく今風のやり方について考える この記事は裏freee developers Advent Calendar 2018の18日目の記事です。 どうも、@aflcです。freeeで機械学習とかやってます。freeeだとRoyで通ってます。 今日は、なんとかしてモデルは作ったもののその後どうしよう、という話をします。 TL;DR TensorFlow Servingとkubelessで、サーバーとか何も考えずにデプロイ出来るようになることを目指します。 本日話す内容 機械学習モデルのデプロイ 前処理・後処理の実装 モデルのバージョン 話さない内容 評価・テスト 開発時の環境 TensorFlow以外で実装する場合 APIの設計 などなど Python以外の言語の話題 はじめに あなたが様々な苦労を乗り越え、イカした機械学習モデルを構築できたとし
2018年版もっとも参考になった機械学習系記事ベスト10 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは NewsPicks Advent Calendar 2018の 5日目を担当させていただきます、NewsPicks の戸辺と申します。 2年ほど前に「機械学習をゼロから1ヵ月間勉強し続けた結果」という記事を書き、多くの方に読んでいただきました。そこから引き続き機械学習に携わっており、今年も多くの機械学習系の記事を拝読させていただきました。それら中から「実戦でためになった」「機械学習の勉強に役に立った」という観点から、僕なりのベスト10をあげてみました。 長い冬休み(余談ですが、社会人で一番長く休めるときですよね!?)は知識の
データが少なくても高精度に判断できる機械学習技術を開発
富士通研究所は、学習に必要なデータが少なくても高精度に判断できる機械学習技術「Wide Learning」を開発した。重要度の高い仮説を選別し、それぞれの影響度を制御することで、データに偏りがあっても、均等に正しい分類／判断ができる。 富士通研究所は2018年9月19日、学習に必要なデータが少なくても高精度に判断できる機械学習技術「Wide Learning（ワイドラーニング）」を発表した。データ項目を組み合わせて、その全てのパターンを仮説とし、各仮説に対し分類ラベルのヒット率で仮説の重要度を判断する。 例えば、商品の購入傾向をAI（人工知能）で分析する際は、これまでの購入者、未購入者（分類ラベル）のデータ項目から「女性、免許所有」「未婚、20～34歳」など全てのパターンを組み合わせて仮説とし、実際の商品購入者のデータとどれくらいヒットするかを分析する。 一定以上ヒットした仮説をナレッジチ
機械学習で使うベクトルや行列の微分を使った公式の導出 - Qiita
\frac{\partial}{\partial\boldsymbol{A}}\mathrm{Tr}(\boldsymbol{A}\boldsymbol{B})=\boldsymbol{B}^\mathrm{T} \\ \frac{\partial}{\partial\boldsymbol{A}}\mathrm{Tr}(\boldsymbol{A}\boldsymbol{B}\boldsymbol{A}^\mathrm{T}) =\boldsymbol{A}(\boldsymbol{B}+\boldsymbol{B}^\mathrm{T}) 単純な公式はちょっと考えたら分かるけれど，複雑な公式になってくると理解するのに時間がかかります．とにかく沢山公式が出てきて，まあ覚えなくてもいいやと思っていると，いざ自力で式変形していった時に，あれ，こんな時どの公式使えばいいんだっけ？となって躓いてし
scikit-learn から学ぶ機械学習の手法の概要 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学
Googleの事前学習済みモデルを手軽に利用出来るTensorFlow Hub - Technical Hedgehog
自然言語処理におけるword2vecや画像処理におけるInceptionなど、一般的に広く用いられているモデルを上流で用いる事は多くあります。汎用的な知識を扱えるメリットがある一方、学習には大量のデータセットの準備と膨大な学習時間がかかってしまいます。 この問題に対して、あらかじめ学習させた状態のモデル(事前学習済みモデル)を用意しておき上流に転移させる方法があります。本記事ではその事前学習済みモデルについて、Googleが提供するのライブラリであるTensorFlow Hubを紹介します。 TensorFlow HubはGoogleの大量リソースを用いて学習したモデルを手軽に実装できるほか、自作したモデルを別環境で利用しやすいように自作することも可能です。本記事では概要と特徴、利用方法を紹介します。 今回説明するTensorFlow Hubの利用方法、作成方法について実験したコードはGi
初心者でも機械学習の基本的なアルゴリズムを学べる11のスライド - paiza times
Photo by fdecomite こんにちは。谷口です。 最近、機械学習の勉強をしている人や、機械学習関連の求人が増えてきましたね。弊社のエンジニアにも、機械学習を勉強中の人達が何人かいます。 ただ、初心者だと「機械学習を勉強したいけど、難しいし何から手を付けたらいいのかよくわからない」という人も多いかと思います。 そこで今回は、機械学習の勉強を始めたばかりという初心者の方向けに、機械学習でよく使われるアルゴリズムがわかるスライドをいくつかご紹介します。 ■機械学習以前 そもそも「機械学習で何ができるのか・どんなものなのか知りたい」という段階の人が機械学習の概要をつかむには、このあたりのスライドが参考になるかと思います。 If文から機械学習への道 from nishio www.slideshare.net 機械学習入門以前 from mrtc0 www.slideshare.net
初めての深層学習ロードマップ [随時更新&文献追加 予定] - Qiita
はじめに 先日、SEの友人と機械学習について話していて、「どういう風に機械学習を勉強していけば良いのかイマイチわからん」と言っていました。時間があればCourseraを取ればいいのでしょうが、ある程度高等数学も勉強した身だと、冗長過ぎるきらいがあるようです (マイペースで勉強できないというのも大きい)。 私自身、広範囲の機械学習のトピックについては勉強不足なので、今回は深層学習を全く知らない方が、どのように勉強していけば良いのかについてまとめることにしました。1から10まで示すことはしていませんが、キーワードを提示することで大まかなガイドラインを示すことにしました。 深層学習と機械学習の違いについて 一般的に、機械学習はデータセットに対して個別にアルゴリズムを設定する必要があります。一方深層学習では、コンピュータ自身が（画像や音声から）自ら特徴量を取り出し、学習を行います。大雑把に言えば、
![初めての深層学習ロードマップ [随時更新&文献追加 予定] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a7db9dfce1fb7d19184272c33e281ed4bb710ab/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JUU1JTg4JTlEJUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgxJUFFJUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgzJTlFJUUzJTgzJTgzJUUzJTgzJTk3JTIwJTVCJUU5JTlBJThGJUU2JTk5JTgyJUU2JTlCJUI0JUU2JTk2JUIwJTI2JUU2JTk2JTg3JUU3JThDJUFFJUU4JUJGJUJEJUU1JThBJUEwJTIwJUU0JUJBJTg4JUU1JUFFJTlBJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kOWI3ZjExMjQ3Y2UyOWZkOWU2MDIzMzc0NjllYWU2Zg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaGlyb3l1a2k4MjcmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWI1YzU5NTlhMTI5ZWNiYTY1ZTY1OTcxOGJhM2EyODdj%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df30ef45ce16f474358a8b43b03e760e8)
代表的な機械学習手法一覧 - Qiita
概要 本ページは、代表的な機械学習の手法の特性について独自に簡単にまとめたページです。 （ご意見、ご指摘等あったらご連絡ください。） 世の中のスタンダードなものとして下記もあるので、それを踏まえてご参照いただければと思います。 - ScikitLearn Choosing the right estimator - Microsoft Azure Machine Learning Studio の機械学習アルゴリズム チート シート - 朱鷺の杜Wiki 機械学習 教師データあり 回帰 (一般化)線形回帰 ロジスティック回帰 サポートベクターマシーン(SVM) 木 決定木（CART) 回帰木 ランダムフォレスト 勾配ブースティング木 ニューラルネットワーク(NN) パーセプトロン 畳み込みニューラルネットワーク(CNN) 再起型ニューラルネットワーク(RNN) 残差ネットワーク(ResNe
Firebase ML Kitで自作のカスタムモデルを使って料理・非料理画像を判定できるようにした - クックパッド開発者ブログ
会員事業部の山下(@farmanlab)です。 Androidエンジニアとしてクックパッドアプリの開発を担当しています。 今回はGoogle I/O 2018で新しく発表されたML Kitをクックパッドのデータで学習したモデルを使って検証した話をします。 機械学習モデルの利用にあたって、研究開発部の菊田(@yohei_kikuta)の協力の元で検証を行いました。 これからお話する内容がイメージしやすいよう、 クックパッドの料理・非料理を判別するモデルを動かした実機デモをお見せします。 これは料理と判定された確率がfood、料理ではないと判定された確率がnon-foodというラベルのスコアで表示されているデモです。 (非)料理画像において(non-)foodのラベルのスコアが大きくなり正しく判別できていることが分かります。 モデルは MobileNetV2 tensorflow-gpu==1
畳み込みニューラルネットワークすごさを従来の機械学習のアルゴリズムと比較する - Qiita
畳み込みニューラルネットワーク（CNN）が画像判別でよく使われるというのは知っていても、従来の機械学習アルゴリズムと比較してどれぐらいすごいものなのかというのがいまいちピンとこなかったので確認してみました。だいぶ長いよ！ 概要 機械学習のアルゴリズムとして、ディープラーニングが出る前は例えばロジスティック回帰、サポートベクトルマシン、ランダムフォレストなどがありました。従来の手法というと漠然としますが、Scikit-learnでできるアルゴリズムと考えてよいです。これらの手法は現在でも有効で、これらのどれを使っても、手書き数字（MNIST）に対して最低でも8割、ちゃんと実装すれば9割の精度は出ます。Scikit-learnはとても使いやすいライブラリで、学習効率・実装効率ともによく、計算が比較的簡単なので高速です。逆にその段階で9割近く出ちゃうと、「学習が大変で処理も遅いディープラーニング
文系エンジニアがCourseraの機械学習コースを1ヶ月で修了したので振り返ってみました。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 昨年の丁度同じ時期に、1ヶ月ほど仕事を休んで小学校の算数から高校数学までを学び直しまして、文系エンジニアが機械学習に入門するために小学校の算数から高校数学までを一気に復習してみましたという記事を書きました。 その後、機械学習やディープラーニングに関する勉強をどんどん進めていく予定だったのですが、Go、Scala、DDD、関数型言語の基礎、Rust、そしてGCPやKubernetes等、仕事上でキャッチアップしなければならない分野が山積みだった(＆とても面白かった)ため、中々手を付けられませんでした。 それらの学習がやっと一段落した＆今年
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Learning Machine Learning | Cloud AI | Google Cloud
https://scikit-learn.org/stable/machine_learning_map.html