日本語学術論文の即時オープンアクセス実現に向けて | Jxiv, JSTプレプリントサーバ
##article.authors## 横山, 詔一 国立国語研究所，研究系 石川, 慎一郎 神戸大学大学教育推進機構／国際文化学研究科／数理・データサイエンスセンター 井田, 浩之 城西大学，経営学部 相澤, 正夫 国立国語研究所，研究系 DOI: https://doi.org/10.51094/jxiv.720 キーワード: オープンアクセス、 オープンサイエンス、 日本語学術論文、 権利保持戦略 抄録 内閣府より，2025 年度以降の新規に公募する競争的研究費について，研究成果の即時オープンアクセス（OA）義務化の方針が示されている。それを前提に，本稿では，とくに日本語学術論文のOAをめぐる現状を整理し，日本語学術論文の執筆者がとるべき対応や留意点について考察を行う。本稿は7つの節からなる。まず，第1節では問題の背景を示し，第2節では関連する論考や資料を紹介する。次に，第3節では即
Transformers as Support Vector Machines
Since its inception in "Attention Is All You Need", transformer architecture has led to revolutionary advancements in NLP. The attention layer within the transformer admits a sequence of input tokens $X$ and makes them interact through pairwise similarities computed as softmax$(XQK^\top X^\top)$, where $(K,Q)$ are the trainable key-query parameters. In this work, we establish a formal equivalence
GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス
Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold
Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold Abstract Synthesizing visual content that meets users' needs often requires flexible and precise controllability of the pose, shape, expression, and layout of the generated objects. Existing approaches gain controllability of generative adversarial networks (GANs) via manually annotated training data or a prior 3D
BERTのAttentionは何を見ているのか？
3つの要点 ✔️BERTのAttention機構の分析手法の提案 ✔️Attentin機構は全体的には区切り文字や[CLS]、[SEP]を見ている ✔️特定のAttention機構では「動詞とその目的語」、「名詞と修飾語」、「前置詞とその目的語」などの簡単な文法関係から、照応関係などの複雑な文法関係も獲得している 前書き 現在の自然言語処理ではTransformer以降、Attention機構を用いたモデルが流行となっています。その中でも最近はBERTなどの巨大な事前学習済みのモデルが大きな成功を収めています。 それらモデルが何を学習しているのかを分析する取り組みは行われてきましたが、モデルの出力自体や隠れ層でのベクトル表現に焦点を当てた分析手法が中心でした。 この論文では、Attention機構が何を見ているのかに焦点を当てたモデルの分析手法が提案されており、BERTのAttention
Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界 - エクサウィザーズ Engineer Blog
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
「ChatGPTで論文を読む手間が99％減った」と科学者、研究室ではAIがどのように活用されているのか？
将来的に全職業の80％がAIの影響を受けるとの研究結果が示されているほか、すでにイラストレーターやゲーム開発者がAIに仕事や仕事のやりがいを奪われたと訴えており、今後はより専門性の高い分野でもAIの活用が重要なスキルになってくると予想されます。ウィスコンシン大学マディソン校の教授らが、OpenAIの対話型AI・ChatGPTを使った材料工学の研究で大きな成果を上げたことを報告しました。 ChatGPT makes materials research much more efficient https://engineering.wisc.edu/news/chatgpt-makes-materials-research-much-more-efficient/ 「AIは、非常に複雑で時間のかかるタスクをどんどん支援できるようになってきています」と語るのは、ウィスコンシン大学マディソン校の
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
【AI最新論文】2022年に読むべき「機械学習/ディープラーニングの最新論文」30選 - Qiita
＜目次＞ はじめに 第1回：コンピュータビジョン編 第2回：自然言語処理編 第3回：強化学習編 第4回：実務応用編 次回予告 1. はじめに GAN（敵対的生成ネットワーク）講座 現場で使える XAI（Explainable AI）講座 現場で使える自然言語処理実践講座 ディープラーニング最新論文対策講座 スキルアップAIでは、上記の4講座を始めとして、現在、そしてこれから注目されるであろう最先端の機械学習/ディープラーニング技術に関する講座を開講しております。このような講座を開講していく中で、スキルアップAIの講師陣が注目している最先端技術をぜひ知りたいというお声を多くいただきました。 そこで、自動機械学習（AutoML）を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が
「我々はあほなのだろうか？」人工知能の研究で知られる松尾豊先生が書いた「なぜ私たちはいつも締め切りに追われるのか」という論文が普通に面白かった
三宅香帆 @m3_myk 「なぜ私たちはいつも締め切りに追われるのか」というド直球タイトルの論文を見つけたのだが普通に面白かった……。まず論文のサマリーが「今回もまた締め切りぎりぎりになる。なぜできないのだろうか？我々はあほなのだろうか？」 ymatsuo.com/papers/neru.pdf pic.twitter.com/1M4cY4No3y 三宅香帆 @m3_myk いやこれ読むとやはり副業作家は夜型にならざるを得ないのでは！？と思いつつ「追い込まれなくても集中力を上げるために自分なりの方策を編み出していくことは、研究者が健康で文化的な最低限度(日本国憲法)の生活を送る上で、欠くことのできないスキルではないだろうか」と書いててハイ…って頷いた。
ファインマン物理学方程式を機械学習で発見する：AI Feynman
3つの要点 ✔️ 問題を単純で、変数の少ないものに変換する事を繰り返して解く ✔️ ニューラルネットワークによって関数同定問題を改善 ✔️ 既存のソフトウェアを上回る予測精度を達成 AI Feynman: a Physics-Inspired Method for Symbolic Regression written by Silviu-Marian Udrescu (MIT), Max Tegmark (MIT) (Submitted on 27 May 2019 (v1), last revised 15 Apr 2020 (this version, v2)) Comments: Published on arxiv. Subjects: Computational Physics (physics.comp-ph); Artificial Intelligence (cs.AI)
【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】 - カイヤン雑記帳
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 本記事はIQ1 Advent Calendar 2019（主催者 id:chakku000 ）における12月9日の記事です． 参考：IQ1 Advent Calendar 2018 2018/12/11の拙著記事「IQが1のデータ分析：respects いつも何度でも尋ねられること」 おことわり 今回は，ベイズ推論の特異学習理論（Watanabe理論，W理論）についての記事です．IQ1なので数学的に厳密な書き方でないどころか数式が登場しませんのでご了承ください． また，IQ1なために各論文を肯定的に読んでいます（理論が中心の紹介ですが一部の数値実験についても）．クリティカルリーディング要素はありません．申し訳ありません． よりおことわりらしいおことわりはIQ1AdCの雰囲気をぶち壊すので折り畳みます． IQ1AdCそのもの
情報工学 CG分野の業績事情
http://dlit.hatenablog.com/entry/2018/10/10/080521 https://anond.hatelabo.jp/20181010122823 私もこの流れに賛同したので続きます。私は博士課程の学生なので、多少間違いがあるかもしれませんが、大筋は合ってると期待します。身バレしない程度にざっくりとした纏めにとどめますが、誤りがあった場合の修正については諸氏にお願いしたい。他の研究者の諸事情を聞くのは面白いですね。 はじめにCG分野の研究は、大雑把に分けると オフライン／リアルタイム レンダリング 流体／弾性体 シミュレーション モーション 形状解析および形状処理画像処理というようなモノになると思います。各分野を横断する様な複合的な研究も多いのですが、大雑把にというところでお許しください。最も著名な研究者は現在はドワンゴリサーチを主幹しておられる西田先生
論文紹介 Understanding Batch Normalization - じんべえざめのノート
今回は、NIPS2018に投稿されたUnderstanding Batch Normalizationという論文を読んだので、紹介していきたいと思います。この論文は、なぜバッチ正規化（Batch Normalization）が学習に効果的なのかを実証的なアプローチで検証した論文です。 この記事は、ニューラルネットワークの基礎（全結合層や畳み込み層）を理解している方を対象にしています。また、可能な限りバッチ正規化を知らない方でも理解できるようにしています。この記事を読み終わるころには、「なぜバッチ正規化が学習に効果的なのか」が分かるようになっています。 ニューラルネットの基礎は以下の記事で紹介しています。 ニューラルネットワーク入門 KelpNetでCNN この記事は論文を要約したものに説明を加えたものとなっています。記事内で１人称で語られている文章については、多くが論文の主張となっています
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI 激動の年！2022年の人工知能10大トレンドと必読論文
Papers with Code - The latest in Machine Learning
Are Deep Neural Networks Dramatically Overfitted
Private Presentation
Private Presentation
CVPR2018のPointCloudのCNN論文とSPLATNet
