Planning for AGI and beyond
Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity. Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity. If AGI is successfully created, this technology could help us elevate humanity by increasing abundance, turbocharging the gl
《日経Robo》自己注意機構：Self-Attention、画像生成や機械翻訳など多くの問題で最高精度
ニューラルネットワークはあらかじめ設計されたネットワーク構造に従ってデータが入力から出力に向かって計算されながら伝搬していく。多くの問題では、事前知識を使って構造を設計することで性能を上げることができる。 例えば、畳み込みニューラルネットワーク（CNN）は、画像は近い位置にある情報が関係があるという事前知識を使って、近い位置にあるニューロン間のみをつなぐことでパラメータ数を減らし、特定のモデルが学習されやすいようにして汎化性能を上げている。 このような事前知識は帰納バイアスとも呼ばれ、学習が成功するかの重要な要素である。しかし、データの流れ方は学習によって決定し、データに合わせて変わることが望ましい。 自己注意（Self-Attention）機構1-2）は、データの流れ方自体を学習し決定するような方法である。もともとRNN向けに提案されたが、CNNなど他のニューラルネットワークにも利用され
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステム
メルカリの写真検索を支えるバックエンド | メルカリエンジニアリング
メルカリのAI EngineeringでTech Leadを務めている中河です。今回は3/18に正式リリースされた「写真検索機能」を支えるバックエンド・インフラをシステム側からの視点でご紹介します。 写真検索とは 所謂、画像検索機能で商品名を知らなくても画像から商品を検索できる機能の事です。詳しくは下記の公式リリースをご覧ください。 about.mercari.com 基本的な写真検索の仕組みは、Deep Neural Networks (DNN)を使用して商品画像から特徴ベクトルを取得し、取得した特徴ベクトルをApproximate Nearest Neighbor Index(ANN Index)に追加して画像indexを構築。 検索時には同じく商品画像からDNNを介して特徴量ベクトルを取得し、ANN Indexから検索します。 アーキテクチャの概要 Figure1 上記がアーキテクチ
日本メディカルAI学会公認資格 「メディカルAI専門コース」のオンライン講義資料を作成し一般公開 - 株式会社Preferred Networks
株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、日本メディカルAI学会公認資格（以下、メディカルAI専門コース）のオンライン講義資料を作成し、無料で一般公開しました。 一般社団法人日本メディカルAI学会は、医療および人工知能に関する技術およびその応用の研究を行うための場として2018年に設立されました。現在、PFNの岡野原大輔およびPreferred Networks America, Inc. の大田信行が理事を務めています。 メディカルAI学会では当該分野の研究を発展させ、国際競争力を高めることを目的にメディカルAI専門コースを開設しました。このコースは、機械学習の基礎から応用について学ぶオンライン講義、医学の専門知識を学ぶオフライン講義、および小テストで構成され、医療で人工知能技術を使う際に最低
ニューラルネットの逆襲から５年後 | Preferred Research
私が2012年にニューラルネットの逆襲（当時のコメント）というのをブログに書いてからちょうど5年が経ちました。当時はまだDeep Learningという言葉が広まっておらず、AIという言葉を使うのが憚られるような時代でした。私達が、Preferred Networks（PFN）を立ち上げIoT、AIにフォーカスするのはそれから1年半後のことです。 この5年を振り返る良いタイミングだと思うので考えてみたいと思います。 1. Deep Learning Tsunami 多くの分野がこの5年間でDeep Learningの大きな影響を受け、分野特化の手法がDeep Learningベースの手法に置き換わることになりました。NLP（自然言語処理）の重鎮であるChris Manning教授もNLPで起きた現象を「Deep Learning Tsunami」[link] とよびその衝撃の大きさを表して
機械学習の精度と売上の関係
4. ビジネス面の制約条件を考える • 「人工知能で何とかしてください」 • この案件はどのタイプの利益モデルか？ • 人間のリプレイスが目的なので、人間より精度が高ければよい？ • 今の人間の精度は95%位なので、それよりも精度が高くなければ使えない • 今の人間の精度は60%位なので、それよりも精度が高くなければ使えない • 60%であれば、簡単なルールベースや画像処理で到達できる可能性が高い • 機械学習を使わなくても改善が出来る • 要求される精度次第で、使う技術が異なる • 自らの立ち位置によって、精度売上曲線の意味が変わってくる • 内製と下請け 5. YahooとGoogle • Yahooは自社の検索ビジネスをロジスティック型だと思い込んでいた • これ以上投資しても売上が増えないと思っていた • http://blog.livedoor.jp/lionfan/archiv
OSSベースの機械学習が強い理由
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
勾配降下法の最適化アルゴリズムを概観する | POSTD
(編注：2020/10/01、2016/07/29、いただいたフィードバックをもとに記事を修正いたしました。) 目次： さまざまな勾配降下法 バッチ勾配降下法 確率的勾配降下法 ミニバッチ勾配降下法 課題 勾配降下法を最適化するアルゴリズム Momentum(慣性) Nesterovの加速勾配降下法 Adagrad Adadelta RMSprop Adam アルゴリズムの可視化 どのオプティマイザを選ぶべき？ SGDの並列化と分散化 Hogwild! Downpour SGD SGDのための遅延耐性アルゴリズム TensorFlow Elastic Averaging SGD 最適化されたSGDに対する更なる戦略 シャッフル学習とカリキュラム学習 バッチ正規化 早期終了 勾配ノイズ 結論 参考文献 勾配降下法は、最適化のための最も知られたアルゴリズムの1つです。これまではニューラルネット
Haskell、Scala、ML、Scheme：あなたが次に学ぶ関数型言語 | POSTD
(編注：2016/7/27、頂いたフィードバックを元に記事を修正いたしました。) 学生たちから、次に学ぶ言語はどれがいいのかとよく聞かれます。IT業界で働きたい人にお薦めするのは、現在盛んに使われている言語です。C++、Java、C#はもちろん、Python、Ruby、PHP、Perlなども挙げられるでしょう。 一方、向学のためという人や、学術研究や起業に関心がある人にとって、次の言語を選ぶ基準となるのは、就職に有利かではなく言語の表現力でしょう。学術研究や起業活動を行うには、プログラマとしての能力を何倍にも高める必要があります。そして、（おそらく）確立されたコードベースを扱った経験はないでしょうから、手元にあるタスクにとって最適な言語を自由に選ぶことができます。 この記事では、勉強に適したHaskell、Scala、ML、Schemeという4つの言語を、私の好きな特徴や参考資料のリストと
IBMも追従！機械学習ライブラリ「SystemML」を公開 - エトセトランダム
2015 -11 -25 IBMも追従！機械学習ライブラリ「SystemML」を公開 IT 機械学習 ほんの数日で 機械学習 ライブラリのオープン化が進み続けていますね。 Google の TensorFlow やMicrosftの DMLT の公開。 そして今回は IBM の SystemML 。 といっても私が気がついていなかっただけで、2015年の6月に公開していたのですがっ。 SystemMLライブラリは Github に公開されています。 SystemMLのGitHub TensorFlow や DMLT との大きな違いは、 Java で記述されていることですね。 それに、主要OSの Windows 、 MacOS , Linux のどれでも環境を構築できるようです。 個人的に TensorFlow を扱ってみようと思ったんですが、どうにも Windows で利用するには 難
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Machine Learning | Google for Developers
YJTC18 D-3 ユーザーの位置情報解析の最先端