GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
高次元科学への誘い:Hiroshi Maruyama's Blog
（注意：長いです。お時間のある時にどうぞ。） 私は「情報技術が私達の社会にどのような影響を与えるか」という問題に興味を持っています。ここでは、最近進歩が著しい深層学習が、科学の営みにどのように影響を与えるかを考えてみたいと思います。「高次元科学」とでも呼ぶべき新しい方法論が現れつつあるのではないか、と思うのです。 １．深層学習と科学 そもそも、この考えに行き着いた背景には、私が統計数理研究所で過ごした5年間がありました。統計数理研究所は大学共同利用機関として、自然科学の様々な研究を推進するための統計的手法を研究しています。ご存知の通り、統計的仮説検定や統計モデリングは、現代の科学における重要な道具立ての一部です。そのような道具立てが、科学の方法論の長い歴史の中でなぜそのような地位を占めるようになってきたか、に興味を持つようになったのです。 きっかけは、情報技術が科学の方法論をどのように変え
ディープラーニング入門：Chainer チュートリアル
Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ
2018年度講義情報ページ
講義 京都大学集中講義：機械学習と深層学習の数理と応用 2018年12月17日～20日 レポート課題 (2019年1月10日締め切り．提出先：数学教室事務室) レポート課題１: Pythonによる深層学習の実装（"初学者向け"・"非初学者向け"のどちらかを解いてください） 初学者向け：Google colabを用いて以下のipython notebookに書いてある内容に従い実行し，４つの課題の結果を報告してください． Pythonの基本的な文法.ipynb， scikit-learn を用いた機械学習.ipynb, 深層学習を用いた画像認識.ipynb 非初学者向け：自分で興味のある深層学習モデルを学習し，その結果を報告してください．問題は画像認識でも自然言語処理でもなんでも構いません． レポート課題２：問題を解いて提出してください レポート課題２のpdf． 講義資料 初回：機械学習概要
Deep learning experiments in OCaml
Last year we held a machine learning seminar in our London office, which was an opportunity to reproduce some classical deep learning results with a nice twist: we used OCaml as a programming language rather than Python. This allowed us to train models defined in a functional way in OCaml on a GPU using TensorFlow. Specifically we looked at a computer vision application, Neural Style Transfer, and
Keras Documentation
Keras: Pythonの深層学習ライブラリ Kerasとは Kerasは，Pythonで書かれた，TensorFlowまたはCNTK，Theano上で実行可能な高水準のニューラルネットワークライブラリです． Kerasは，迅速な実験を可能にすることに重点を置いて開発されました． アイデアから結果に到達するまでのリードタイムをできるだけ小さくすることが，良い研究をするための鍵になります． 次のような場合で深層学習ライブラリが必要なら，Kerasを使用してください: 容易に素早くプロトタイプの作成が可能（ユーザーフレンドリー，モジュール性，および拡張性による） CNNとRNNの両方，およびこれらの2つの組み合わせをサポート CPUとGPU上でシームレスな動作 Keras.ioのドキュメントを読んでください． KerasはPython 2.7-3.6に対応しています． ガイドライン ユーザー
AlphaGo Zeroの論文の要約 : ブログ
AlphaGo Zeroが自己学習のみで過去最強になったというニュースが出たのでその元論文を読み、要約をしました。 まず感想を述べると、過去数千年にわたって蓄積してきた知識をAIが数時間で発見することに対する気持ち良さがありました。人間などクソ食らえと思っておりますので、こう言うニュースはとてもスッキリします。そして人間の発見していない打ち筋の発見にも感動しました。これこそがAIの真髄だと信じています。人間が見えていないものをAIが見つける、僕もいつかそんなことをしてみたいと思いながら生きています。 あともう一つ重要だと思ったのは、とてもネットワーク構造および学習過程が簡素化されたことです。マシンパワーも過去に比べて非常に少なく済み、個人でもすぐに再現実験ができそうなくらいです。AIが強くなることと、構造および学習のsimplerが同時に達成できていることが本質的だと思います。 一応、下記
Neural networks and deep learning
Neural Networks and Deep Learning What this book is about On the exercises and problems Using neural nets to recognize handwritten digits How the backpropagation algorithm works Improving the way neural networks learn A visual proof that neural nets can compute any function Why are deep neural networks hard to train? Deep learning Appendix: Is there a simple algorithm for intelligence? Acknowledge
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - apache/mxnet: Lightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more