［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！
［37選］機械学習ライブラリやフレームワークは？ 国内AI活用サービスのアーキテクチャを大調査！ Webのアーキテクチャ大調査の第二弾は「AI活用サービス」編。プログラミング言語や機械学習のライブラリをはじめ、フレームワークやツールの選定・設計もサービスによって異なります。ぜひ参考にしてください。 2017年4月に掲載したアーキテクチャ大調査の第二弾！ 今回は、人工知能（機械学習、深層学習、画像処理など）を活用したWebサービス・アプリを提供しているベンチャーを中心に、36のサービスで使用されているプログラム言語やフレームワーク、その他さまざまな開発ツールなどをヒアリングのうえまとめました。選定理由を記述いただいた12のサービスでは、それもあわせて紹介しています。 前回との違いは、当然ですがTensorFlowやKerasといった機械学習のライブラリが挙げられていること。また、技術領域もH
オープンデータ取得先まとめ - Qiita
2018/1/1時点で利用可能な、オープンデータの主要取得先を記載します。 1. 世界中の国や都市の情報 EUとイギリス Public Data EU http://publicdata.eu Open Data Europe http://data.europa.eu/euodp/en/home UK Government Data https://data.gov.uk アフリカ Africa Open Data https://africaopendata.org Code for South Africa http://code4sa.org Code for Africa https://codeforafrica.org アジア Open Cities Project http://www.opencitiesproject.org Open Nepal http://data
TensorFlow : ML 初心者向けの MNIST （コード解説） – OpenAI API / Gemini API | ClassCat® Chatbot
TensorFlow : コード解説 : ML 初心者向けの MNIST * 本ページのベースとなっている TensorFlow : Get Started : ML 初心者向けの MNIST は TensorFlow のバージョンアップに伴い、大幅に加筆修正されましたが本ページには反映されておりません。必要ならばリンク先を参照してください。(03/19/2017) * (Obsolete) TensorFlow : Tutorials : ML 初心者向けの MNIST に、数式は排除/コード重視の方針で詳細な解説を加筆したものです。 データセットはまた、どの数字かを教えてくれる各画像へのラベルを含みます。例えば、上の画像へのラベルは 5, 0, 4 そして 1 です。 このチュートリアルでは、画像を見てどの数字であるか予測できるようにモデルを訓練していきます。我々の目的は Tensor
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee
応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ
K近傍法(多クラス分類) - Qiita
K近傍法とは KNN(K Nearest Neighbor)。クラス判別用の手法。 学習データをベクトル空間上にプロットしておき、未知のデータが得られたら、そこから距離が近い順に任意のK個を取得し、多数決でデータが属するクラスを推定する。 例えば下図の場合、クラス判別の流れは以下となる。 １ 既知のデータ(学習データ)を黄色と紫の丸としてプロットしておく。 ２ Kの数を決めておく。K=3とか。 ３ 未知のデータとして赤い星が得られたら、近い点から３つ取得する。 ４ その３つのクラスの多数決で、属するクラスを推定。 今回は、未知の赤い星はClass Bに属すると推定する。 ※Kの数次第で結果が変わるので注意。K=6にすると、赤い星はClass Aと判定される。 利用データ用意 sklearnでirisのデータセットを用意。 from sklearn.datasets import load_
次元の呪いについて - Qiita
この記事について 以下の観点から高次元空間の性質についてまとめます。 次元数と最近傍・最遠傍との距離の関係 データ数と最近傍・最遠傍との距離の関係 人工データと実データの比較 はじめに 機械学習を使って何らかのタスクを解く上で、データの次元数は常に気にする必要があります。なぜなら、機械学習で扱う多くの問題はデータの次元数が大きくなるごとに難易度が跳ね上がるからです。 「次元の呪い」とも呼ばれるこの問題の原因は、高次元空間の性質にあると言われています。 データの次元数を大きくすると、私達の直感に反する興味深い挙動が確認できます。今回は、高次元空間の性質を簡単な数値実験で調べてみました。 次元の呪いとは データの次元数が高次元になると、データが空間の外側に集中して分布する現象です。 高次元空間の直感的な理解のためには下記が参考になると思います。 次元の呪い、あるいは「サクサクメロンパン問題」
次元の呪い、あるいは「サクサクメロンパン問題」 - 蛍光ペンの交差点
超球の体積、すなわち多次元空間における球は、一般的に私たちが観測する３次元の球体の体積とは遥かに異質な性質を示すらしい。 機械学習の有名な教科書によれば、 Our geometrical intuitions, formed through a life spent in a space of three dimensions, can fail badly when we consider spaces of higher dimensionality. 拙訳： 我々の幾何学に関する直観は、３次元空間の中で過ごした人生の中で形成されたものだが、高次元空間を考えるときには、まるで役立たないことがある。 ("パターン認識と機械学習 上", 原書, p.36) ... in spaces of high dimensionality, most of the volume of a spher
【Day-23】機械学習で使う"距離"や"空間"をまとめてみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、また本質的な内容。 データ分析で使われている手法などをまとめて集約して、簡単な説明を付け加えていく。 しかし、このあたりの数学*1は苦手なので、なるべく直感的に自分のイメージを書いていく。 われわれが生きている空間や、距離は"正しい"のか ユークリッド空間/ユークリッド距離 点の距離 分布の距離 wasserstein計量 カーネル(再生核ヒルベルト空間) Topological Data Analysis(TDA) 次元削減/Embedding PCA(principal component analysis) t-SNE(t-Distributed
2017年のディープラーニング論文100選 - Qiita
これはFujitsu Advent Calendar 2017の18日目の記事です。 掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました[リンク]。なお、内容の正確性には注意を払っていますが、無保証です。 はじめに この記事では今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2017年開催またはジャーナル掲載が2017年のもの）から私が個人的に重要だと思った論文を収集しています。また、2016年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2016年のディープラーニング論文100選[リンク] ディープラーニングにとっての2017年 2017年のディープラーニング技術は主に画像系技術で革新的な進歩がありました。それをけん引したのは敵対
Deep Image Prior
Example results on several image restoration problems. We use deep neural networks, but we never train/pretrain them using datasets. We use them as a structured image prior. Deep convolutional networks have become a popular tool for image generation and restoration. Generally, their excellent performance is imputed to their ability to learn realistic image priors from a large number of example ima
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
SwishをCIFAR10で試してみる - 緑茶思考ブログ
Swish: a Self-Gated Activation Function https://arxiv.org/abs/1710.05941 ReLUの代わりになる活性化関数Swishの提案。 Swishの形はシンプル。 $$ f(x) = x \cdot σ (x) $$ ReLUとの違いは，non-monotonicityとsmoothnessだと思う． 小さい負の入力はReLUを通すと全てゼロになるが， Swishでは負の値を出力する． また，smoothnessという観点では， 2入力・2出力の6層NNに対して、 ランダムに入力を与えたときの出力(x,y)をヒートマップで描画すると，以下のようになる。 ReLUは値の変化が鋭い領域があるのがわかる。 Swishのこのsmoothnessはlossに影響を与えて最適化しやすいらしい． これらの特徴がどういう効果を具体的に持つのかは
AIが自動生成する「セレブっぽい写真」が実在するセレブっぽ過ぎて見分けがつかないレベル
人工知能(AI)を使った画像の自動生成といえば、DeepDreamのように「実際の写真とはどこか異なる独特の雰囲気」のものが生成されてしまうことが多いです。そこで、NVIDIAの研究グループが機械学習の手法のひとつである「教師なし学習」で使用されるAIアルゴリズム「GANs」を用いた画像の自動生成を行っており、ホンモノの写真と見分けがつかないレベルのハイクオリティな画像が生成できることを示しています。 Progressive Growing of GANs for Improved Quality, Stability, and Variation | Research http://research.nvidia.com/publication/2017-10_Progressive-Growing-of prosthetic knowledge — Progressive Growin
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
「ＡｌｐｈａＧｏ」が進化 囲碁の打ち手教えずに従来型破る | NHKニュース
囲碁のトップ棋士に勝った人工知能「ＡｌｐｈａＧｏ」が進化し、打ち手を全く教えずに白紙の状態から学習して従来型の人工知能を破ったと開発した会社が発表し、人工知能はもはや人間の知識に制約されなくなったとしています。 この会社が開発した人工知能「ＡｌｐｈａＧｏ」は、囲碁の名人の打ち手のデータを基に学習を重ね、ことし世界最強とされる中国のトップ棋士を破り、大きな話題となりました。 今回、新たに開発した「ＡｌｐｈａＧｏＺｅｒｏ」は答えを導くデータがなくても、人工知能がみずから試行錯誤を繰り返して、よりよい答えにたどり着く、「強化学習」という手法を取り入れたということです。 そして、囲碁の基本ルール以外には何も教えず、わずか３日間で５００万回の対戦をひとりでに繰り返して強さを身につけた結果、トップ棋士を破った従来型の人工知能に圧勝したということです。 さらに、新型の人工知能は白紙の状態から学習する中で
Cognitive Servicesを使って3か国語の文章をテキストデータに変換してみた。 – ナレコムAzureレシピ | AIに強い情報サイト
※現在はプレビューのため価格には割引が適応されています。 OCR 機能について Optical Character Recognition (光学文字認識)の略 画像データ内のテキストを認識し、文字列データとして読み取る機能 OCR 自体は新しい技術ではなく、1950 年代には商用システムとして利用されるほど歴史が深い スキャナーなどのオプション機能としても一般的に提供 Cognitive Services では、Computer Vision API の1機能としてOCR 用 API が提供 写真に撮った文書から文章の傾きや言語情報などを検知、文字列データに変換できる Computer Vision APIのOCR機能 Computer Vision API のリクエストは Face API とほぼ同じで、Request header に API キー、Request body に画像を
OCR と AI を使用した Azure AI Vision | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
ディープラーニングの判断根拠を理解する手法 - Qiita
ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在しており、そこから学習された「何か」を人間が理解可能な形で取り出すというのは至難の業です。 例題：このネットワークが何を根拠に猫を猫として判断しているか、ネットワークの重みを可視化した上図から答えよ(制限時間:3分) image from CS231n Visua
PRML - 朱鷺の杜Wiki パターン認識と機械学習 - ベイズ理論による統計的予測
パターン認識と機械学習 - ベイズ理論による統計的予測† This is a support page for the Japanese edition of "Pattern Recognition and Machine Learning" authored by C. M. Bishop. 本書は，Christopher M. Bishop 著「Pattern Recognition and Machine Learning」の日本語版です．上下2巻の構成です． パターン認識や機械学習の各種のアルゴリズムや背後の考えについて，ベイズ理論の観点から解説した教科書です． 基礎的な線形モデルから，カーネルトリック，グラフィカルモデル，MCMCなどの発展的な話題までをバランス良く収録しています． 数式による形式的な記述だけにとどまらず，豊富なカラーの図による直観的な説明もなされています． 本
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめてのパターン認識 第5章 k最近傍法(k_nn法)
