[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Modelsパラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った背景まで丁寧に解説します。
![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
AWSの機械学習エンジニア認定試験を受けてきた - Qiita
AWS Certified Machine Learning - Specialtyを受けてきた。830点くらいで合格できた。その攻略方法を後学のためにメモ書き。 AWSの機械学習エンジニアの認定試験 - Qiita 試験の流れ 制限時間は180分。出題数は65問だった。 試験のあとに10問程度のアンケートがある。 時間に関してはかなり余裕があるので心配無用。 試験を受けるために本人確認書類が必要である。運転免許証とクレジットカードでなんとかなった。運転免許証と保険証ではNGみたい。 出題されたサービス 超重要 SageMaker S3 Glue Kinesis[Stream/Firehose/Analytics] Athena Spark 知っておくべき Redshift EMR Polly,Comprehendなどの自然言語処理系のサービス Cloudwatch QuickSight
GitHub - deeppomf/DeepCreamPy: Decensoring Hentai with Deep Neural Networks
Dismiss Join GitHub today GitHub is home to over 50 million developers working together to host and review code, manage projects, and build software together. Sign up GitHub is where the world builds software Millions of developers and companies build, ship, and maintain their software on GitHub — the largest and most advanced development platform in the world.
Microsoftが公開したDeep LearningフレームワークCNTKの3つの特徴
CNTKとは CNTKの特徴 パフォーマンス スケーラビリティ 1-bit SGD 世界最高水準のモデルが作成できること 多様なインターフェース Python BrainScript Microsoftでの実績 まとめ 参考 Hinton先生がDeep Learningの研究成果を上げてから、Microsoftでもディープラーニングに関する様々な取り組みをしてきたそうだ。 Skype翻訳ではビデオ会議中のリアルタイム自動翻訳に活用され、Microsoft Researchにおいても様々な研究がなされてきた。 そんなMicrosoftも、2016年1月にはCNTKという機械学習フレームワークにMITライセンスを適用させてGitHub上に公開している。 本記事では、 Microsoftが公開したCNTKとは何か CNTKの特徴 CNTKのメリット を紹介する。 CNTKとは CNTKは、Mic
Kerasで自作画像を用いてAlexNetで訓練するソースコード(Windows10)
Tensorflow+Kerasの環境構築を前回やってみて、無事環境構築に成功しました。 そのときはMNISTデータセットで正常な実行を確認しましたが、実用的な面を考えると、自分で学習画像を用意して訓練するというケースが多くなると思います。 そこで、予めフォルダに分類した学習画像からクラス名(及びクラス数)を自動で読み取り、各クラスの分類学習を行うソースコードを書いてみました。 また、前回からの差分として、分類のモデルはAlexNet(畳み込み層5層、全結合層3層モデル)を用いることとしました。 AlexNetのモデル部分のコードに関しては、 参考ページ：KerasによるAlexNetを用いた犬猫分類モデル – Qiita 上記のコードを参考にさせていただきました。ありがとうございます(厳密には上記のコードはLRNがBN((Batch Normalization)に変わっているので、Ale
【決定版】スーパーわかりやすい最適化アルゴリズム -損失関数からAdamとニュートン法- - Qiita
オミータです。ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽に@omiita_atiimoをフォローしてください！ 深層学習を知るにあたって、最適化アルゴリズム(Optimizer)の理解は避けて通れません。 ただ最適化アルゴリズムを理解しようとすると数式が出て来てしかも勾配降下法やらモーメンタムやらAdamやら、種類が多くあり複雑に見えてしまいます。 実は、これらが作られたのにはしっかりとした流れがあり、それを理解すれば 簡単に最適化アルゴリズムを理解することができます 。 ここではそもそもの最適化アルゴリズムと損失関数の意味から入り、最急降下法から最適化アルゴリズムの大定番のAdamそして二階微分のニュートン法まで順を追って 図をふんだんに使いながら丁寧に解説 していきます。 それでは早速最適化アルゴリズムとは何
ニューラルネットワークによる学習の停滞はどこから生ずるか - HELLO CYBERNETICS
現在機械学習ではディープラーニングの活躍が目立っています。 その基礎はニューラルネットワークの学習にあり、この学習を知っているのとそうでないのとでは、各手法に関する理解度が大きく異なってくるものと思います。 今回はニューラルネットワークの学習における不思議の1つ、「学習の停滞」の原因について述べてみたいと思います。 はじめに 勾配法 勾配法 具体的な例題 学習が停滞する原因 勾配法の落とし穴 学習が停滞し、再び進む原因 鞍点はどこから現れるのか 勾配が「」になる点 パラメータを少し変更しても、損失関数がまったく変化しない点 簡単な例 特異点 まとめ はじめに ニューラルネットワークでは学習が停滞したと思いきや、しばらく学習を根気強く続けていると、学習が進むときが訪れます。既にニューラルネットワークのプログラムを動かしたことがある人ならば経験したことがあるでしょう。なぜに学習が停滞し、そして
The Neural Network Zoo - The Asimov Institute
With new neural network architectures popping up every now and then, it’s hard to keep track of them all. Knowing all the abbreviations being thrown around (DCIGN, BiLSTM, DCGAN, anyone?) can be a bit overwhelming at first. So I decided to compose a cheat sheet containing many of those architectures. Most of these are neural networks, some are completely different beasts. Though all of these archi
これから強化学習を勉強する人のための「強化学習アルゴリズム・マップ」と、実装例まとめ - Qiita
※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 これから強化学習を勉強したい人に向けて、「どんなアルゴリズムがあるのか」、「どの順番で勉強すれば良いのか」を示した強化学習アルゴリズムの「学習マップ」を作成しました。 さらに、各手法を実際にどう実装すれば良いのかを、簡単な例題を対象に実装しました。 本記事では、ひとつずつ解説します。 オレンジ枠の手法は、実装例を紹介します。 ※今回マップを作るにあたっては、以下の文献を参考にしました。 ●速習 強化学習: 基礎理論とアルゴリズム（書籍） ●Deep Learning for Video Game Playing 強化学習とは 強化学習は、画像識別のような教師あり学習や、クラスタリングのような教師なし
ディープラーニングの応用のための具体的方針まとめ - HELLO CYBERNETICS
はじめに 目標の設定と指標の決定 目標の設定 指標の決定 評価指標に対する最低限の知識 機械学習における知識（補足） ニューラルネットワークの学習 最初に使うニューラルネットワーク 時間的にも空間的にも独立である複数の特徴量を持つデータ 空間の局所的な構造に意味のある多次元配列データ（例えば画像） 時間的な変動に意味のあるデータ（例えば音声、自然言語） ニューラルネットワークの細かい設定 ユニットの数と層の数 正則化 活性化関数 ドロップアウト バッチ正規化 学習の早期終了 性能が出ない場合 データの追加収集 ニューラルネットの設定をいじる 用いるニューラルネット自体を変更する 新たなニューラルネットワークの考案 コードを書くにあたって データ成形 結果を記録するコード フレームワークの利用 フレームワークの選択 ChainerとPyTorch TensorFlow Keras 最後に は
Neural networks and deep learning (ニューラルネットワークと深層学習)
ニューラルネットワークと深層学習 What this book is about On the exercises and problems ニューラルネットワークを用いた手書き文字認識 逆伝播の仕組み ニューラルネットワークの学習の改善 ニューラルネットワークが任意の関数を表現できることの視覚的証明 ニューラルネットワークを訓練するのはなぜ難しいのか 深層学習 Appendix: 知性のある シンプルな アルゴリズムはあるか? Acknowledgements Frequently Asked Questions Sponsors Resources 「ニューラルネットワークと深層学習」は無料のオンライン書籍です。 この本では、次のような内容を扱います。 ニューラルネットワーク：コンピュータに、観測データにもとづいて学習する能力を与える、生物学にヒントを得たプログラミングパラダイム。 深
TensorFlowによる推論 ― 画像を分類するCIFAR-10の基礎 - Build Insider
本コーナーは、インプレスR＆D［Next Publishing］発行の書籍『TensorFlowはじめました ― 実践！最新Googleマシンラーニング』の中から、特にBuild Insiderの読者に有用だと考えられる項目を編集部が選び、同社の許可を得て転載したものです。 『TensorFlowはじめました ― 実践！最新Googleマシンラーニング』（Kindle電子書籍もしくはオンデマンドペーパーバック）の詳細や購入はAmazon.co.jpのページをご覧ください。書籍全体の目次は連載INDEXページに掲載しています。プログラムのダウンロードは、「TensorFlowはじめました」のサポート用フォームから行えます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ディープラーニング チュートリアル（もしくは研究動向報告）
Tomohide Shibata on Twitter: "GoogleがmT5 (多言語T5)を公開してくれた。すばらしすぎる。日本語T5をちびちび学習していたが、もう必要ないかもしれない。 mT5モデルと同じくらいうれしいのはmC4 (Common CrawlをきれいにしたC4の多言語… https://t.co/bDxoD2rxW9"
https://jp.mathworks.com/content/dam/mathworks/mathworks-dot-com/company/events/webinar-cta/2459280_Basics_of_semantic_segmentation.pdf
MeteorSearch.pdf
TechCrunch | Startup and Technology News