30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
配牌からアガれるかアガれないか予測する - Qiita
はじめに 趣旨 個人的にディープラーニングや機械学習を学習したいと思い、O'Reilly Japanさんから出版されているゼロから作るDeep Learningを読みました。 しかし、私自身に知識がなく、いまいちピンとこなかったので、簡単なものを作ってみようと考えました。 とはいえ、せっかくなら自分の趣味でもある麻雀に関わるところで作ろうと考えました。 筆者のスペック Python、機械学習ともに初心者 普段はPHPやRubyを使ったWebのお仕事 環境 Python 3.6.0 bottle 0.12.13 heroku 機能概要 作成したアプリは下記になります。 https://python-mahjang.herokuapp.com/index また、ソースコードは下記になります。 https://github.com/naoki85/python_mahjong 配牌と結果のみを学
ディープラーニングのプロジェクトをまとめた『Deep Learning Gallery』 | 100SHIKI
すっきりまとまっていていい感じ。 Deep Learning Galleryでは、最近話題の深層学習に関するプロジェクトをまとめているようだ。 ざっと眺めておくだけでも「へー、こういうことができるのか！」とわかっていいのでは。 もちろん詳細を見ることもできるので興味がある人はさらに踏み込んでいくことができる。 今年はどんなブレイクスルーが生まれるか楽しみですね。
160924 Deep Learning Tuningathon
2. © ABEJA, Inc. Deep Learningのパラメータを理解し、チューニングを実践することで Deep Learningに関する理解を深める ■学べること ・どのパラメータを変えると実行速度や学習速度がどう変わるのか？ ・ネットワークの構築方法を変えるとどう精度にインパクトするのか？ ■対象 Deep Learningはある程度使ったことあるが、ネットワークの細かな チューニングはどうすればいいかわからない 目的 3. © ABEJA, Inc. Deep Learningに対する初学者以上の知識 Deep Learningで自分でネットワークを書いたことがある Python(numpy, tensorflow)に関する知識 Linux, SSH, AWSに関する知識 今回の勉強会の対象者
ゼロから作るDeep Learning
ディープラーニングの本格的な入門書。外部のライブラリに頼らずに、Python 3によってゼロからディープラーニングを作ることで、ディープラーニングの原理を楽しく学びます。ディープラーニングやニューラルネットワークの基礎だけでなく、誤差逆伝播法や畳み込みニューラルネットワークなども実装レベルで理解できます。ハイパーパラメータの決め方や重みの初期値といった実践的なテクニック、Batch NormalizationやDropout、Adamといった最近のトレンド、自動運転や画像生成、強化学習などの応用例、さらには、なぜディープラーニングは優れているのか？ なぜ層を深くすると認識精度がよくなるのか？ といった“Why”に関する問題も取り上げます。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learning技術の今
