Papers with Code - The latest in Machine Learning
X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design ericlbuehler/mistral.rs • 11 Feb 2024 Starting with a set of pre-trained LoRA adapters, our gating strategy uses the hidden states to dynamically mix adapted layers, allowing the resulting X-LoRA model to draw upon different capabilities and create
AudioPaLM
A Large Language Model That Can Speak and Listen |paper| Paul Rubenstein*, Chulayuth Asawaroengchai*, Duc Dung Nguyen*, Ankur Bapna, Zalán Borsos, Félix de Chaumont Quitry, Peter Chen, Dalia El Badawy, Wei Han, Eugene Kharitonov, Hannah Muckenhirn, Dirk Padfield, James Qin, Danny Rozenberg, Tara Sainath, Johan Schalkwyk, Matt Sharifi, Michelle Tadmor Ramanovich, Marco Tagliasacchi, Alexandru Tudor
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！ 2021.05.26 AI論文 学術研究, 画像処理, 自然言語処理 はじめに Google Brainが全結合層を基本としたニューラルネットワークがTransformerと同程度の精度を出すことができることを研究で明らかにしました。この結果、NLP（自然言語処理）だけではなく、最近ではCV（画像処理）の分野でもデファクトスタンダードになりつつあったTransformerをベースとしたモデル構成に再考が求められることになります。 なお、今回利用した図はすべて下記論文（「Pay Attention to MLPs」）から引用しております。 ●Transformer系の解説記事 Facebookチームが開発した画像分類にTransformerを利用した効率モデルDeiTを紹
alternative illustration2vec（高次元タグ予想器）について - にほんごのれんしゅう
alternative illustration2vec（高次元タグ予想器）について 図1. 予想結果のサンプル はじめに 今回はillustration2vecを去年10月に知り、実装法を模索していたが、Kerasでの転移学習と、目的関数を調整することで同様の結果が得られるのではないかという仮説に基づいて、検証実験を行った。 illustration2vecのような画像のベクトル化技術に関してはアプローチは複数用意されており、どのような方法がデファクトかつ、もっとも精度が良いのかわかっていない。 以下、私が考えた３つの方法を記す。 1. VGG16などの学習済みモデルの出力部分のみを独自ネットワークの入力にすることで、タグ予想問題に切り替える 2. 上記のアプローチをとるが、入力に途中のネットワークのレイヤのベクトルも入力に加える 3. キャラクタ判別問題などにタスクを切り替えて、タスク
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。 http://xpaperchallenge.org/cv/
DNC (Differentiable Neural Computers) の概要 + Chainer による実装 - Qiita
こんにちは．@yos1up と申します．好きな食べ物は，緑色のキノコです． 2016/10/12に DeepMind が Nature に投稿した論文，Hybrid computing using a neural network with dynamic external memory にて提案されているニューラルネットワークモデル DNC (Differentiable Neural Computers) を，大急ぎで Chainer で実装してみました． DNC について DNC は，先述の論文で提案された新しいニューラルネットワークで，その情報処理能力の高さが期待されています．論文中では，グラフ上の最短経路タスクやちょっとしたパズルのタスクなど，従来ニューラルネットワークでは学習不可能と思われていたタスクが DNC で学習できており，その情報処理能力の高さがうかがい知れます． DN
【エヴァンゲリオン】アスカっぽいセリフをDeepLearningで自動生成してみる - Qiita
はじめに エヴァンゲリオン20周年おめでとうございます 加えて、アスカの誕生日もおめでとうございます。(4日遅れ) Twitter Bot等でも使われている、文章の自動生成を流行りのDeepLearningの1種であるリカレントニューラルネットワーク(以下:RNN)を使ってやってみました。 データ集め 何はなくともまずはデータが無いと始まりませんね。 書き起こしも覚悟してましたが、アニメ全セリフをまとめてあるありがたいサイトが有りました。感謝。 こちらから全セリフを抽出しました。 セリフのフォーマットはこんな感じで、キャラ名 「セリフ」になってます。 放送「本日、12:30分、東海地方を中心とした関東中部全域に特別非常事態宣言が発令されました。住民の方々は速やかに指定のシェルターに避難してください」 放送「繰り返しお伝えいたします…」 ミサト「よりによってこんな時に見失うだなんて、まいった
松尾 豊
東京大学で、人工知能の研究を行っています。 ディープラーニング（深層学習）を中心とする技術で、人工知能の研究領域に大きなブレークスルーを生み出すこと、ウェブやものづくり等の産業に大きなインパクトをもたらすことを目指しています。松尾研究室では、多くの学生やスタッフが日々、新しい技術の研究と応用を行っています。[研究] 人工知能（特にディープラーニング）とウェブ工学が専門分野です。人工知能学会では2012年から2年間、編集委員長を務め、2014年から2018年まで倫理委員長を務めました。2017年には、日本ディープラーニング協会を設立し、理事長に就任しました。 これまで、人工知能（仮説推論、機械学習）、自然言語処理、社会ネットワーク分析、ソーシャルメディア、ウェブマイニングの研究を行ってきました。現在は、ディープラーニングの研究に注力して研究を進めています。 [業績] 東京大学大学院工学系研究
Deep Visual-Semantic Alignments for Generating Image Descriptions
Deep Visual-Semantic Alignments for Generating Image Descriptions We present a model that generates natural language descriptions of images and their regions. Our approach leverages datasets of images and their sentence descriptions to learn about the inter-modal correspondences between language and visual data. Our alignment model is based on a novel combination of Convolutional Neural Networks o
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.nature.com/articles/nature20101.epdf?author_access_token=ImTXBI8aWbYxYQ51Plys8NRgN0jAjWel9jnR3ZoTv0MggmpDmwljGswxVdeocYSurJ3hxupzWuRNeGvvXnoO8o4jTJcnAyhGuZzXJ1GEaD-Z7E6X_a9R-xqJ9TfJWBqz
GitHub - karaage0703/TextGenerator: マルコフ連鎖を使った文章自動生成プログラム＋はてなブログ投稿スクリプト