RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
KAN: Kolmogorov-Arnold Networks
Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametriz
Papers with Code - The latest in Machine Learning
X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design ericlbuehler/mistral.rs • 11 Feb 2024 Starting with a set of pre-trained LoRA adapters, our gating strategy uses the hidden states to dynamically mix adapted layers, allowing the resulting X-LoRA model to draw upon different capabilities and create
論文紹介 Understanding Batch Normalization - じんべえざめのノート
今回は、NIPS2018に投稿されたUnderstanding Batch Normalizationという論文を読んだので、紹介していきたいと思います。この論文は、なぜバッチ正規化（Batch Normalization）が学習に効果的なのかを実証的なアプローチで検証した論文です。 この記事は、ニューラルネットワークの基礎（全結合層や畳み込み層）を理解している方を対象にしています。また、可能な限りバッチ正規化を知らない方でも理解できるようにしています。この記事を読み終わるころには、「なぜバッチ正規化が学習に効果的なのか」が分かるようになっています。 ニューラルネットの基礎は以下の記事で紹介しています。 ニューラルネットワーク入門 KelpNetでCNN この記事は論文を要約したものに説明を加えたものとなっています。記事内で１人称で語られている文章については、多くが論文の主張となっています
Chatbot and Related Research Paper Notes with Images
Papers related to chatbot models in chronological order spanning about 5 years from 2014. Some papers are not about chatbots, but I included them because they are interesting, and they may provide insights into creating new and different conversation models. For each paper I provided a link, the names of the authors, and GitHub implementations of the paper (noting the deep learning framework) if I
State-of-the-Art を達成したニューラル機械翻訳 2017 年 - ディープラーニングブログ
Ryobot です． 今週 5 日連続でニューラル機械翻訳の論文解説をやりました． もとは NAIST の第１回ニューラルネットワーク勉強会の発表資料で，大幅に加筆してひとりアドベントカレンダー？ に変貌しました． 今回紹介した論文は大規模な対訳コーパスにおける評価スコア上位 5 手法で，最先端のニューラル機械翻訳を網羅しています． 近年の傾向をまとめると LSTM を使わず CNN 等の並列化が容易な手法を使う 大規模コーパス + 巨大なモデル + 大量の GPU というわけで厳しい世界ですね． 1日目 GNMT Google翻訳の中身 GNMT です． 2016 年までのニューラル機械翻訳を最速で把握できる資料になっています． NMT 初心者におすすめです． 2日目 MoE MoE は最大 13 万のサブネットワーク (パラメータ数 1300 億！) を持つ超巨大ネットワークを条件付き
2017年のディープラーニング論文100選 - Qiita
これはFujitsu Advent Calendar 2017の18日目の記事です。 掲載内容は富士通グループを代表するものではありません。ただし、これまでの取り組みが評価されて、富士通がQiitaに正式参加することになりました[リンク]。なお、内容の正確性には注意を払っていますが、無保証です。 はじめに この記事では今年発表されたディープラーニング論文（ArXivでの発表時期、発表された国際会議が2017年開催またはジャーナル掲載が2017年のもの）から私が個人的に重要だと思った論文を収集しています。また、2016年末ごろの論文も重要なものは採用しています。 以下の投稿も合わせてご覧ください。 2016年のディープラーニング論文100選[リンク] ディープラーニングにとっての2017年 2017年のディープラーニング技術は主に画像系技術で革新的な進歩がありました。それをけん引したのは敵対
33122
Google「DeepMind」、コンピュータが人型ベースでB地点にたどり着く最善の方法（柔軟な動き）を独学で生成する強化学習を用いたアプローチを提案した論文を発表 2017-07-11 GoogleのAIを研究する子会社「DeepMind」は、強化学習で人型含めシミュレートされた環境の中で複雑で柔軟な動きを生成するアプローチを提案した論文を公開しました。 Emergence of Locomotion Behaviours in Rich Environments（PDF） これら動きは、コンピュータが独学で最善の方法として考案した行動です。 研究者は、エージェントに動きのセットと前進するインセンティブを与え、AからB地点にたどり着く最善の方法を生み出すための強化学習を仕込みます。 コンピュータは、今ある動作を使って試行錯誤を繰り返し、さまざまな動き方を思いつく中で次々と最善へ近づけてい
2014/07/26 CVPR2014読み会（前編）発表資料 - takminの書きっぱなし備忘録 @はてなブログ
昨日、第24回 CV勉強会＠関東を「CVPR2014読み会」というテーマで開催しました。 CVPRというのは、コンピュータビジョンのトップカンファレンスの１つで、当勉強会でも定期的に読み会を行っています。 http://www.pamitc.org/cvpr14/ コンピュータビジョン勉強会＠関東 http://sites.google.com/site/cvsaisentan 参加申込みサイト http://connpass.com/event/6856/ Togetter http://togetter.com/li/698100 CVPR2014の論文は以下から入手可能です。 http://www.cvpapers.com/cvpr2014.html 今回は幸いにして発表者が多かったため前後編に分けての開催となりました。昨日はその前編で、私も発表してきたので資料をアップしておきます。
Matching Networks for One Shot Learning
Learning from a few examples remains a key challenge in machine learning. Despite recent advances in important domains such as vision and language, the standard supervised deep learning paradigm does not offer a satisfactory solution for learning new concepts rapidly from little data. In this work, we employ ideas from metric learning based on deep neural features and from recent advances that aug
MIT、カメラに写る画像を実物に触れずリアルタイムに揺らす新技術「IDV」を発表。ポケモンGOへの応用として実写背景をインタラクティブに動作させるデモ映像も公開
MIT、カメラに写る画像を実物に触れずリアルタイムに揺らす新技術「IDV」を発表。ポケモンGOへの応用として実写背景をインタラクティブに動作させるデモ映像も公開 2016-08-03 マサチューセッツ工科大学（MIT）のコンピュータ科学・人工知能研究所（CSAIL）は、新たなイメージング技術「Interactive Dynamic Video（IDV）」を発表しました。 IDVは、CSAILの学生Abe Davis氏とJustin G. Chen氏、そしてFredo Durand教授によって研究論文として発表されたものです。 IDVとは？ カメラに写るオブジェクトを実物に触らずに画像内を操作しリアルタイムに揺らしてしまう技術です。既存カメラと新しいアルゴリズムを使用し実現します。 最初に小さく振動するオブジェクトの映像をキャプチャし、そこから分析・計算することで学習し有用な力学モデルを抽出
sci-hub.io
sci-hub.io 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
あの人の研究所
イノベーションは，技術の目的外使用からはじまります．飛行機のプロペラは，船のスクリューを目的外使用することから生まれました．空を飛びたいという欲望が，技術の目的外使用を促した結果，新たな価値を生みだし，社会に大きな変化をもたらしたのです．国際論文誌"ANORON: International Journal on Desire-driven Innovation"は，こうした個々人の欲望に基づく技術の目的外使用に関する先進的内容を扱う論文誌です．一見，誰得な，技術の無駄遣いにしか見えない取り組みの中から，将来新たなる価値が生まれることを期待し，多様な取り組みを受け入れます． “ANORON” is the first peer-reviewed international academic journal for serious investigators of desire-driven
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[1905.10742] Disentangling Style and Content in Anime Illustrations
ぱろすけ's website