Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
機械学習システムのアーキテクチャアラカルト
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有しています。 http://xpaperchallenge.org/cv/ 本資料はViEW2021チュートリアルセッション「最新研究の始め方」のプレゼン素材です。また、xpaper.challengeの2020年末ワークショップとしてプレゼンした「研究効率化Tips」の拡張版です。本資料では3社12研究室300ページにわたるノウハウの詰め合わせです。 VIEW2021のチュートリアルセッションでは時間の制限があるため、こちらの資料から一部抜粋して発表を行うことになりますが、VIEW2021チュートリアルセッションの方にも足を運んでいただければ幸いです。 VIEW2021チュートリアルセッション：http://vie
[翻訳]BERTで自然言語AIをはじめる（github上のREADMEの翻訳） - Qiita
その他多くのタスクでも効果的です。 さらに、これらの結果は、タスク特有のニューラルネットの設計をほぼすることなしに得られます。 もし、既にBERTが何かを知っておりただ利用を開始したいだけなら、事前学習済みのモデルをダウンロードし、たった数分で最先端（state-of-the-art）の 転移学習を実行できます. What is BERT?：BERTとは何か？ BERTは言語表現事前学習の新しい方法です。その意味するところは、(Wikipediaのような)大きなテキストコーパスを用いて汎用目的の「言語理解」（language understanding）モデルを訓練すること、そしてそのモデルを関心のある実際の自然言語処理タスク(質問応答など)に適用することです。BERTは従来の方法を超えた性能を発揮します。なぜならBERTは、自然言語処理タスクを教師なしでかつ双方向に事前学習する初めてのシ
![[翻訳]BERTで自然言語AIをはじめる（github上のREADMEの翻訳） - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/059cbad7acc30cb169e4051caecdf0686c437d44/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEQkVSVCVFMyU4MSVBNyVFOCU4NyVBQSVFNyU4NCVCNiVFOCVBOCU4MCVFOCVBQSU5RUFJJUUzJTgyJTkyJUUzJTgxJUFGJUUzJTgxJTk4JUUzJTgyJTgxJUUzJTgyJThCJUVGJUJDJTg4Z2l0aHViJUU0JUI4JThBJUUzJTgxJUFFUkVBRE1FJUUzJTgxJUFFJUU3JUJGJUJCJUU4JUE4JUIzJUVGJUJDJTg5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0zYmRlOTg5ODJjNTRmMDkxNTQ2ZTJlMDZjZTliMzZlYQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB1ZWRha2U3MjImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTZlZmI2M2UyYTgzY2UwOTViMTczZTMwODEwYjQwMDY0%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Ddb85d319f8b92ffd42f70ac64a305898)
Wikipedia2Vecを用いた文書分類 - MicroAd Developers Blog
こんにちは、機械学習エンジニアの岸本です。マイクロアドのシステムにおいて、機械学習などデータ解析が関わる部分の研究開発を行っています。 学生時代は、医用画像を対象とした医師の診断を支援するシステム (Computer-Aided Diagnosis; CAD) の研究開発を行っていました。マイクロアドに入社してからは、画像解析や広告配信のログを対象とした機械学習を行ってきましたが、最近では主に自然言語処理を行っています。 広告配信をユーザへの広告のレコメンドと捉えると、ユーザに対してWebページの閲覧履歴などから、「何にどれだけ興味があるか」を定量的に評価することが重要です。そこでWebページに記載されている内容から、トピックを推定したり重要なキーワードを抽出したりすることが必要になってきます。マイクロアドでは、こういったところで自然言語処理を活用しています。 自然言語処理においてWiki
AIを使って自分の顔がジャニーズ系かどうかを判定するWebサービスを作ってみた - Qiita
追記 (8/8 22時追記) Gigazine様に特集していただき、たくさんのアクセスを受け、サイトが一時停止してしまったことをお詫び申し上げます。急遽、スペックをt2.large(コア2個、メモリ8GB)に引き上げました。 (8/19 11時追記) さすがにリクエストが落ち着いてきたので、インスタンスタイプをt2.smallへ変更しました。 (12/2 14時追記) コンスタントに利用いただいておりましたが、月々5000円弱サーバー維持にお金がかかるの個人では苦しいため、申し訳ありませんが、サービス停止とさせていただきました。 いままで、ありがとうございました。 はじめに 学生時代に研究をしていた以来３年ほど遠ざかっていたAIの分野で何か自作アプリを作って公開してみたいと思い、約三ヶ月かけて遂にリリースしました。そもそも自作アプリのサービス公開が初めてで、たくさん勉強になったことがあった
Facebookら、2Dの群衆動画から人間の姿勢を推定し、身体のテクチャも貼ってくれるCNNを用いたシステム「DensePose」オープンソース発表
Facebookら、2Dの群衆動画から人間の姿勢を推定し、身体のテクチャも貼ってくれるCNNを用いたシステム「DensePose」オープンソース発表 2018-06-19 Facebook AI Research（FAIR）とINRIAの研究者らは、人間の姿勢を2D画像から推定し、人体の表面にテクスチャをマッピングできる機械学習を用いたシステム「DensePose」のオープンソース化を発表しました。 論文：DensePose: Dense Human Pose Estimation In The Wild 著者：Rıza Alp Guler、Natalia Neverova、Iasonas Kokkinos GitHub:facebookresearch/DensePose: A real-time approach for mapping all human pixels of 2D R
初めての深層学習ロードマップ [随時更新&文献追加 予定] - Qiita
はじめに 先日、SEの友人と機械学習について話していて、「どういう風に機械学習を勉強していけば良いのかイマイチわからん」と言っていました。時間があればCourseraを取ればいいのでしょうが、ある程度高等数学も勉強した身だと、冗長過ぎるきらいがあるようです (マイペースで勉強できないというのも大きい)。 私自身、広範囲の機械学習のトピックについては勉強不足なので、今回は深層学習を全く知らない方が、どのように勉強していけば良いのかについてまとめることにしました。1から10まで示すことはしていませんが、キーワードを提示することで大まかなガイドラインを示すことにしました。 深層学習と機械学習の違いについて 一般的に、機械学習はデータセットに対して個別にアルゴリズムを設定する必要があります。一方深層学習では、コンピュータ自身が（画像や音声から）自ら特徴量を取り出し、学習を行います。大雑把に言えば、
![初めての深層学習ロードマップ [随時更新&文献追加 予定] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9a7db9dfce1fb7d19184272c33e281ed4bb710ab/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JUU1JTg4JTlEJUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgxJUFFJUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgzJTlFJUUzJTgzJTgzJUUzJTgzJTk3JTIwJTVCJUU5JTlBJThGJUU2JTk5JTgyJUU2JTlCJUI0JUU2JTk2JUIwJTI2JUU2JTk2JTg3JUU3JThDJUFFJUU4JUJGJUJEJUU1JThBJUEwJTIwJUU0JUJBJTg4JUU1JUFFJTlBJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kOWI3ZjExMjQ3Y2UyOWZkOWU2MDIzMzc0NjllYWU2Zg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaGlyb3l1a2k4MjcmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWI1YzU5NTlhMTI5ZWNiYTY1ZTY1OTcxOGJhM2EyODdj%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df30ef45ce16f474358a8b43b03e760e8)
第1回 機械学習 ことはじめ | gihyo.jp
次のサービスや製品はどれも身近にありますが、これらに共通していることはなんでしょう。 Amazonの「この商品を買った人はこんな商品も買っています」 はてなブックマークの「関連エントリー」 Google 翻訳 Google 日本語入力 メールクライアントのスパムフィルタ デジタルカメラの自動顔認識 ニンテンドーDSの手書き文字認識 買い物履歴、ユーザが書いたコメントやタグ、Webに無数にあるページ、メール、画像や動画と対象はそれぞれ異なっていますが、どれも「データから有益な情報を取り出す」ということを行っています。 これらは「機械学習」という技術を使って実現されているのです。 機械学習の応用範囲 機械学習は冒頭で挙げた以外にも、様々な分野で使われています。 例えば、ノイズ除去や特徴の抽出を目的とした利用パターンがあります。音声認識や画像認識、文字認識（OCR）などはその代表格です。それらも
第20回 ロジスティック回帰の実装 | gihyo.jp
今回は実践編、前回導出した確率的勾配降下法でのロジスティック回帰の学習を実装してみましょう。 環境はこれまでと同じくPython/numpy/matplotlibを用います。インストールなどの準備は第6回を参照してください。 パーセプトロンの実装の復習 今回のロジスティック回帰の実装は、連載第17回のパーセプトロンの実装と非常によく似たものになります。 そこでパーセプトロンの実装を再掲しておきます。パーセプトロンそのものの復習はここではしませんので、必要なら連載第15回をご覧ください。 import numpy as np import matplotlib.pyplot as plt import random # データ点の個数 N = 100 # データ点のために乱数列を固定 np.random.seed(0) # ランダムな N×2 行列を生成 = 2次元空間上のランダムな点 N
TensorFlowを使って学習率による動きの違いを確認する - Qiita
学習率とは、機械学習の最適化においてどのくらい値を動かすかというパラメーター。学習率を大きくしすぎると発散し、小さくしすぎると収束まで遅くなる。 （参考） 確率的勾配降下法 - Wikipedia 学習率を変えると、実際にどのような変化がおきるのかを確認してみます。 コードはこちらのスライドシェア資料を参考というかほぼそのままお借りしました。ありがとうございます。 TensorFlow を使った 機械学習ことはじめ (GDG京都 機械学習勉強会) 学習回数は100で実施。 まずは0.02で。学習回数が増えるに従って、誤差(loss)が少なくなっている。 step= 10, a1= 70.35, a2= 46.23, loss=2189.06 step= 20, a1= 83.06, a2= 36.70, loss=771.90 step= 30, a1= 90.13, a2= 31.41,
バイアスとバリアンス - アドファイブ日記（ミラー版）
専門家には常識だと思うけど、バイアスとバリアンスという話がある。これが結構ややこしいので自分なりに整理してみる。 教師あり学習で統計モデルを作るアルゴリズムがあったとして、そのアルゴリズムの「良し悪し」を評価したい。 ここでアルゴリズムが出力する統計モデルは、xというデータをインプットすると、yという値を推定してくれるものだとしよう。 （ちなみに、統計モデルの良し悪しを評価するんじゃなくて、教師データから統計モデルを学習してくれるアルゴリズムの良し悪しを評価するのだということを意識してないと割と混乱する。） アルゴリズムを利用する手順は x,yの母集団から教師データを採取する 教師データをアルゴリズムにインプットする アルゴリズムが統計モデルをアウトプットする その統計モデルにx'を与えるとy'が推定される （ここでx'に対する本当の値はy"だとする） というものだ。 このときに「アルゴリ
バイアスとバリアンス | Nana-Korobi
統計モデルを作製するアルゴリズムの評価 統計モデルを作製する（学習する）アルゴリズムの良し悪しを測る指標としてバイアス (Bias)とバリアンス (Variance)がある。参考ページにも記載されているが、”モデルそのものの性能” を評価するための指標ではないことに注意する。 以下の図に示すように、モデル精度の悪さをバイアス、モデル作製の不安定さ（再現性の悪さ）をバリアンスと定義する。 理想的なモデル作製アルゴリズムは、低いバイアス・低バリアンスなもの。 バイアスとバリアンスはトレードオフ 直感的には、 モデルが単純 ⇒ 性能は良くないが、教師データに対して安定 ⇒ 高バイアス・低バリアンス モデルが複雑 ⇒ 性能は良いが、教師データに対して不安定（過学習など） ⇒ 低バイアス・高バリアンス であるため、両者はトレードオフの関係にあると言える。回帰モデルの正則化手法と絡めて考えると、 L1
バイアスとバリアンスを理解する - Qiita
前回は線形回帰について書いた。 ここでは、バイアスとバリアンスについて考える。 まず、学習の目的は、「観測不能な真の値と予測値との誤差を可能な限り小さくする」こと。観測不能な真の値を$y$、学習によって得られる解$\widehat{f}$とすると、
【Tensorflow】tensorboard が表示されない場合の対処とは
スポンサーリンク カテゴリ：Tensorboard Python バージョン：Python2.7 Tensorflowバージョン：Tnsorflow 1.0 OSバージョン：Ubuntu 16.04.2 ブラウザからtensorboard が表示されない場合の対処をまとめました。 原因と対処 ・tensorboardを実行していない。以下コマンドを実行する。 tensorboard --logdir=[ログのディレクトリ] ・ポートがバッティングしている。既に他のプロセスがポート番号 6006 を使用している。 この場合、以下のメッセージがコンソールに表示される。 ERROR:tensorflow:TensorBoard attempted to bind to port 6006, but it was already in use TensorBoard attempted to bi
強化学習入門 ～これから強化学習を学びたい人のための基礎知識～ - Platinum Data Blog by BrainPad
こんにちは。アナリティクスサービス本部の仲田です。 本日は、「強化学習」について、その基礎的なアルゴリズムと、簡単なデモをご紹介します。 強化学習とは機械学習の手法のひとつ (画像はhttps://www.engadget.com/2016/03/12/watch-alphago-vs-lee-sedol-round-3-live-right-now/より) 「強化学習（Reinforcement Learning）」と呼ばれる学問分野をご存知でしょうか。 機械学習にはさまざまな分類方法がありますが、「教師付き学習（Supervised Learning）」「教師なし学習（Unsupervised Learning）」「強化学習」という3種類に分ける考え方があります。 この考え方では、強化学習は機械学習のひとつの大きな分野をなすということになります。 (画像は UCL Course on
Deep Learning AMI で機械学習の参考書のサンプルコードをほぼ完遂する - サーバーワークスエンジニアブログ
はじめに 技術1課の白鳥です。 「今流行りの機械学習を、実際に動かしながら勉強してみたいけど、実行環境を構築するだけでもきつい」 「せっかく参考書を買ったのに、掲載されているコードが正常に実行できない」 という悩みを持つ人は多いと思います。私もそんな感じです。 そこでこの記事では、AWSの Deep Learning AMI で実行環境を構築し、 参考書 Python機械学習プログラミング に掲載されているコードを実行してみます。 私が検証した条件では、第13章まである中で、第12章まではサンプルコードを正常に実行できました。 この記事では、バージニア北部リージョン(us-east-1)に環境を構築しますが、Deep Learning AMIは最近東京リージョン(ap-northeast-1)でも利用できるようになったので、今なら東京リージョンで同じことができるはずです。 インフラ構築 今
深層強化学習でシステムトレードをやる時に役に立ちそうな資料まとめ - ニートの言葉
Photo via Visual Hunt 少し前のことですが、AlphaGoという囲碁の人工知能プログラムがイ・セドル九段に勝利したことで話題になりました。*1 また、一部のゲームにおいて「DQN（Deep Q-network）」が人間よりも上手くプレイするようになったというニュースも話題になっていましたね。*2 今回はこれらの事例で使われている「深層強化学習」という仕組みを使って、FXのシステムトレードができないかと思い、調べてみました。 注意：強化学習もFXも勉強し始めたばかりなので、色々間違っている箇所があるかもしれません。ご指摘いただけると幸いです。 今回の内容 1.強化学習について 1-1.強化学習 1-2.Reinforcement Learning: An Introduction (2nd Edition) 1-3.UCL Course on RL 1-4.強化学習につい
ゼロからDeepまで学ぶ強化学習 - Qiita
ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開催しました(PyConJPのTalkの増補改訂版) Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン 講義資料の方が図解が豊富なので、数式とかちょっと、という場合はこちらがおすすめです。 Tech-Circle #18 Pythonではじ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MOT Challenge - Data
TechCrunch
