大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
7万人以上のITエンジニアの調査結果、好きな言語は「Rust」、DBは「PostgreSQL」、開発環境はVSCodeを抑えて「Neovim」がトップに。Stack Overflow 2022 Developer Survey
7万人以上のITエンジニアの調査結果、好きな言語は「Rust」、DBは「PostgreSQL」、開発環境はVSCodeを抑えて「Neovim」がトップに。Stack Overflow 2022 Developer Survey 世界でもっとも大きなITエンジニアのコミュニティサイトの1つである「Stack Overflow」などを運営するStack Overflowは、約7万3000人のITエンジニアにアンケートを行った結果をまとめた「2022 Developer Survey」を発表しました。 The results are in! Our annual developer survey is here with insights from over 73,000 developers. From the most loved and loathed programming langua
YuMMy @ マネーフォワード on Twitter: "簡潔に重要なポイントがまとまっていて参考になった。 論文の読み方 / How to survey https://t.co/uBTdMF1uA4 https://t.co/Y0KsxewQRQ"
簡潔に重要なポイントがまとまっていて参考になった。 論文の読み方 / How to survey https://t.co/uBTdMF1uA4 https://t.co/Y0KsxewQRQ
Stack Overflowが約9万人のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはMySQLを抜いてPostgreSQLが1位に。Stack Overflow 2023 Developer Survey
Stack Overflowが約9万人のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはMySQLを抜いてPostgreSQLが1位に。Stack Overflow 2023 Developer Survey 代表的なITエンジニアのコミュニティサイトの1つである「Stack Overflow」などを運営するStack Overflowは、約9万人のITエンジニアにアンケートを行った結果をまとめた「2023 Developer Survey」を発表しました。 The 2023 Developer Survey is here! We asked, and over 90,000 developers answered, sharing their top programming languages and tools they admire and d
第四報 2024年能登半島地震の緊急調査報告（海岸の隆起調査）｜災害と緊急調査｜産総研 地質調査総合センター / Geological Survey of Japan, AIST
活断層・火山研究部門 宍倉正展・行谷佑一 株式会社環境地質 越後智雄 1月8日に能登半島北西部の海岸で行った2024年能登半島地震に伴う海岸の地殻変動調査の結果を報告する。調査は国土地理院（2024）による測地観測データの解析によって最大4 m程度の隆起が報告されている領域内の石川県輪島市門前町 鹿磯（かいそ）周辺で実施した（図1）。まず鹿磯漁港では防潮堤壁面に固着したカキやカンザシゴカイ類などの生物が隆起によって離水した様子を観察した（写真1）。地震前のおおよその海面位置を示す固着生物の上限高度について、光波測距儀を用いて地震後の海面（2024年1月8日12:03の時間海面で、ほぼ平均海面の高度と一致）からの高度を複数地点で計測したところ、3.8〜3.9 mであり、同地点ですでに石山ほか（2024）が報告している値とほぼ同じである。 鹿磯漁港より北側では写真2に見られるように波食棚と呼ば
Large Language Models (LLMs) have emerged as powerful tools in the field of Natural Language Processing (NLP) and have recently gained significant attention in the domain of Recommendation Systems (RS). These models, trained on massive amounts of data using self-supervised learning, have demonstrated remarkable success in learning universal representations and have the potential to enhance various
開発者7万人に聞いたソフトウェア開発の今をまとめた「Stack Overflow Developer Survey 2022」
プログラミング技術に関するナレッジコミュニティのStack Overflowが2022年6月22日に、180カ国にいる7万3000人以上の開発者を対象に実施した調査「Stack Overflow Developer Survey 2022」の結果を発表しました。 Stack Overflow Developer Survey 2022 https://survey.stackoverflow.co/2022/ 今回の調査に参加した開発者の内訳はこんな感じ。トップ10のうち首位はアメリカで、インド・ドイツ・イギリス・カナダ・フランス・ブラジル・ポーランド・オランダ・スペインがその後に続きました。なお、日本からの回答者は333人で、回答者全体における割合は0.46％でした。 ◆プログラミング言語 以下は、使っているプログラミング言語のランキングで、クリックすると拡大することができます。首位の座
2021 Design Tools Survey
The Design Tools Survey is back! We always appreciate the enthusiastic support and response from the community. Enjoy the results! As always, the raw data is free and available to all. We hope you enjoy analyzing the data as much as we do. See how the design industry continues to shift in the remote world, and be sure to check out several new sections about research tools! Sign up for the newslett
In May 2022 over 70,000 developers told us how they learn and level up, which tools they’re using, and what they want. Read the overview → Methodology → The questions we ask in our annual survey help us improve the Stack Overflow community and the platform that serves them. The challenge and opportunity for us is to continue expanding and improving our ability to help all developers and to make th
nlp-survey
BERT後の自然言語処理についてのサーベイ
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
大規模言語モデル（LLM）を搭載した「LLMエージェント」は、自律的な目標達成や動的な環境適応能力により、人工知能の新たなフロンティアを切り開いています 。本発表では、この急速に進化するLLMエージェントの全貌を、最新の包括的サーベイ論文「Large Language Model Agent: A Su…
Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey
Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey 代表的なITエンジニアのコミュニティサイトの1つである「Stack Overflow」などを運営するStack Overflowは、約6万5000人のITエンジニアにアンケートを行った結果をまとめた「2024 Developer Survey」を発表しました。 The results of the 2024 Annual Developer Survey are in! Over 65,000 developers shared with us their favorite tools and tech, how AI has changed their
6万5000人以上の開発者に「好きな言語」「好きなOS」「好きな開発環境」「好きなAI」を聞いた年次調査「2024 Stack Overflow Developer Survey」の結果が公開される
開発者のためのコミュニティ「Stack Overflow」が実施した年次調査「2024 Stack Overflow Developer Survey」の結果が公開されました。6万5000人を超える開発者が、コーディングやAI、使用および学習したいと考えるテクノロジーやツール、職場での体験などについて回答しています。 2024 Stack Overflow Developer Survey https://survey.stackoverflow.co/2024/ まず、回答者の最終学歴は以下の通りで、41％が学士号を、25.6％が修士号を取得しています。Stack Overflowは「開発者の66％が学士または修士の学位を持っているが、学校でコードを学んだ開発者は49％に過ぎない」とも指摘しています。 コードを学習するために最も優先する選択肢を問うた項目では、「その他のオンラインリソース
Rustの開発チームは毎年末にRustユーザのサーベイを行っています。このサーベイは開発者のバックグラウンドから普段使っているツールまで幅広く問うもので、コミュニティの中心がどこにあるのか理解するのに大変役立ちます。特に、周りにRustaceanがいない方にとっては「こういうのってみんなどうしてるの？」という疑問はよく発生するでしょう。そういうときにサーベイの結果はコミュニティのトレンドを追う一助になります。 2021年は2021/12/08から2021/12/22の期間にサーベイが行われました。そこで実施されるアンケートは、英語の他、中国語（簡体字、繁体字）、フランス語、ドイツ語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語に翻訳されました。 例年なら詳細なレポートが提出されるのですが、今年は比較的簡素なもののみであったため、大きな注目は浴びませんでした。その代わりにサーベイの
API Tokens: A Tedious Survey Author Name Thomas Ptacek @tqbf @tqbf Image by Annie Ruygt We’re Fly.io. This post isn’t about Fly.io, but you have to hear about us anyways, because my blog, my rules. Our users ship us Docker containers and we transmute them into Firecracker microvms, which we host on our own hardware around the world. With a working Dockerfile, getting up and running will take you l
Leveraging LLMs for Unsupervised Dense Retriever Ranking (SIGIR 2024)
Large Language Models (LLMs) showcase impressive capabilities but encounter challenges like hallucination, outdated knowledge, and non-transparent, untraceable reasoning processes. Retrieval-Augmented Generation (RAG) has emerged as a promising solution by incorporating knowledge from external databases. This enhances the accuracy and credibility of the generation, particularly for knowledge-inten
Pretrained Foundation Models (PFMs) are regarded as the foundation for various downstream tasks with different data modalities. A PFM (e.g., BERT, ChatGPT, and GPT-4) is trained on large-scale data which provides a reasonable parameter initialization for a wide range of downstream applications. BERT learns bidirectional encoder representations from Transformers, which are trained on large datasets
「日本で働くプロダクトマネージャー大規模調査レポート 2022 by pmconf」を公開しました #pmconf_survey｜pmconf / プロダクトマネージャーカンファレンス
ご協力くださった677名の皆様、本当にありがとうございました😌 本日、その結果レポートを公開いたします💁♀️ぜひご覧になってみてください。 レポートイメージレポートダウンロード📊以下から、誰でもダウンロードいただけます。 https://drive.google.com/file/d/1dJP8rHxA1zx1QrR9lKpXT06amil1fLWv/view?usp=sharing ※2022/11/02 rev.2 を公開しました（いくつかの画像の抜けを修正しました） ※2022/11/07 rev.3 を公開しました（いくつかの誤記や誤字を修正しました） プロダクトマネジメントのコミュニティ発展のための利用を主な目的として、プロダクト関連のコミュニティの有志や、企業の同僚間などでのディスカッションのためのリソースの一つとして取り扱ってもらうことを1番の動機としてレポートを公開
Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural langu
Transformer model architectures have garnered immense interest lately due to their effectiveness across a range of domains like language, vision and reinforcement learning. In the field of natural language processing for example, Transformers have become an indispensable staple in the modern deep learning stack. Recently, a dizzying number of "X-former" models have been proposed - Reformer, Linfor
In May 2021 over 80,000 developers told us how they learn and level up, which tools they’re using, and what they want. Read the overview → Methodology → The questions we ask in our annual survey will help us improve the Stack Overflow community and the platform that serves them. This year, for example, we observed a significant evolution in the way developers educate themselves. For the rising coh
2,660 members of the Ruby on Rails community from 102 countries kindly contributed their thoughts on tools, frameworks, and workflows in their day to day development lives. From these responses we hope to get an understanding of where Rails stands as a framework in 2022. Some of these questions have been asked since our original survey over a decade ago, and show how the community has evolved over
This paper provides a survey of the emerging area of Large Language Models (LLMs) for Software Engineering (SE). It also sets out open research challenges for the application of LLMs to technical problems faced by software engineers. LLMs' emergent properties bring novelty and creativity with applications right across the spectrum of Software Engineering activities including coding, design, requir
Transformer is a deep neural network that employs a self-attention mechanism to comprehend the contextual relationships within sequential data. Unlike conventional neural networks or updated versions of Recurrent Neural Networks (RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in handling long dependencies between input sequence elements and enable parallel processing. As a r
In May 2023 over 90,000 developers responded to our annual survey about how they learn and level up, which tools they're using, and which ones they want. Read the overview → Methodology → Welcome to the 2023 Developer Survey! For 13 years, we've delivered industry-leading insights regarding the developer community. This is the voice of the developer. Analysts, IT leaders, reporters, and other deve
Accurate and consistent evaluation is crucial for decision-making across numerous fields, yet it remains a challenging task due to inherent subjectivity, variability, and scale. Large Language Models (LLMs) have achieved remarkable success across diverse domains, leading to the emergence of "LLM-as-a-Judge," where LLMs are employed as evaluators for complex tasks. With their ability to process div
Alice Merrick 9 March 2021 Thank you for the amazing response! In 2020, we had another great turnout with 9,648 responses, about as many as 2019. Thank you for putting in the time to provide the community with these insights on your experiences using Go! New modular survey design You may notice some questions have smaller sample sizes (“n=”) than others. That’s because some questions were shown to
はじめに こんにちは。フロントエンド開発センター(UIT) 岡崎です。 UITでは毎年、フロントエンド周辺のツールに関する社内向けアンケート『UIT Front-end Tooling Survey』を行っています。Ashley Nolanさんが実施しているFront-end Tooling Surveyをベースにアレンジしたものです。2018年から実施して今回で3回目、2020年の結果を2019年と比較する形で紹介します。
令和6年（2024年）能登半島地震の関連情報｜災害と緊急調査｜産総研 地質調査総合センター / Geological Survey of Japan, AIST
2024年9月20日 更新 2024年1月3日 開設 令和6年1月1日16時10分に石川県能登地方でマグニチュード（M）7.6（気象庁暫定値）の「令和6年能登半島地震」が発生しました。発震機構は北西―南東方向に圧縮軸を持つ逆断層型で、この地域では一般的なタイプです。今回の地震では、石川県の志賀町で震度7を観測するとともに、沿岸域では津波も観測され、広い範囲で被害が生じました。 能登半島北東部では、2020年12月ごろから活発な群発地震が続いており、2021年9月16日（M5.1）、2022年6月19日（M5.4）、2023年5月5日（M6.5）にも局所的な被害を起こす地震が発生していました。今回の地震はこれらの地震の規模をはるかに上回る大地震でした。 関連する産総研の地質情報はこちら 第十二報 震源域近傍の地震計アレイを用いた2024年能登半島地震の破壊過程の推定 [2024年9月20日]
2019 Design Tools Survey
Sign up for the newsletter Join 70k+ other subscribers and get updates on next year's survey! You'll also get the latest articles directly in your inbox.
2,049 members of the Rails community from 92 countries kindly contributed their thoughts on tools, frameworks, and workflows in their day to day development lives. From these responses we hope to get an understanding of where Rails stands as a framework in 2020. Some of these questions have been asked since our original survey over a decade ago, and show how the community has evolved over the last
2. 書誌情報 n 書誌名: A Unifying Review of Deep and Shallow Anomaly Detection n ver1: 2020/9/24(arxiv) n 筆頭著者: Lukas Ruff n 代表的な論⽂: n Deep One-Class Classification(ICML 2018) n Image Anomaly Detection with Generative Adversarial Networks (ECML 2018) n Deep Semi-Supervised Anomaly Detection(ICLR 2020) n 概要: n 異常検知における問題設定や異常データの分類を⾏う n 統⼀的視点からshallowな⼿法とdeepな⼿法の関係をつなげる n 有名な⼿法に関してベンチマークデータセットをもとに経験的評価をする
【翻訳】Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2025/2/4 に出た "Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG"(Agentic RAGの調査) v3 を訳したものです。 原文はこちら 概要 大規模言語モデル(LLM)は、人間のようなテキスト生成と自然言語理解を可能にすることで、人工知能(AI)を革新しました。しかし、静的な訓練データに依存しているため、動的で実時間のクエリに応答する能力が限られ、出力が時代遅れや不正確になる可能性があります。RAG は、この問題の解決策として登場し、LLM に
Greetings Rustaceans! Another year has passed, and with it comes another annual Rust survey analysis! The survey was conducted in December 2021. We’d like to thank everyone who participated in this year’s survey, with a special shout-out to those who helped translate the survey from English into other languages. Without further ado, let’s dive into the analysis! A Global Community The Rust communi
In May 2024, over 65,000 developers responded to our annual survey about coding, the technologies and tools they use and want to learn, AI, and developer experience at work. Check out the results and see what's new for Stack Overflow users.
Few willing to change lifestyle to save the planet, climate survey finds
People generally saw themselves as much more committed to the environment than others in their local community, or any institution. Photograph: Emanuele Cremaschi/Getty Images People generally saw themselves as much more committed to the environment than others in their local community, or any institution. Photograph: Emanuele Cremaschi/Getty Images
Deep Learning has revolutionized the fields of computer vision, natural language understanding, speech recognition, information retrieval and more. However, with the progressive improvements in deep learning models, their number of parameters, latency, resources required to train, etc. have all have increased significantly. Consequently, it has become important to pay attention to these footprint
Transformer, an attention-based encoder-decoder model, has already revolutionized the field of natural language processing (NLP). Inspired by such significant achievements, some pioneering works have recently been done on employing Transformer-liked architectures in the computer vision (CV) field, which have demonstrated their effectiveness on three fundamental CV tasks (classification, detection,
はじめに こんにちは。フロントエンド開発センター(UIT) Front-end Dev. 9チームの鴻巣です。普段はLINEスキマニおよびLINE Creators Marketのフロントエンド開発を担当しています。 UITでは社内のフロントエンドエンジニアのトレンドや周辺ツールの利用状況を調査するため、毎年社内に向けてアンケート「UIT Survey」を実施しています。Ashley Nolanさんが実施しているFront-end Tooling Surveyをベースに2018年からはじまり、今回で5回目の実施となりました。11月に実施した2022年のアンケート結果を紹介します。 概要 ・対象: 海外拠点を含むLINEのフロントエンドエンジニア（回答者は日本、韓国、ベトナム、タイの組織に所属） ・7割程度の回答者が日本を拠点とするエンジニア ・質問および回答の言語: 英語 ・回答期間: 2
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
A Survey on Large Language Models for Recommendation
Stack Overflow Developer Survey 2022
データでわかるRustの開発者達 〜Rust Survey 2021の深堀 | gihyo.jp
API Tokens: A Tedious Survey
BERT-to-GPT Catch Up Survey
Retrieval-Augmented Generation for Large Language Models: A Survey
A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT
A Survey of Large Language Models
Efficient Transformers: A Survey
Stack Overflow Developer Survey 2021
2022 Ruby on Rails Community Survey Results
Large Language Models for Software Engineering: Survey and Open Problems
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
Stack Overflow Developer Survey 2023
A Survey on LLM-as-a-Judge
Go Developer Survey 2020 Results - The Go Programming Language
UIT Front-end Tooling Survey 2020
2020 Ruby on Rails Community Survey Results
Anomaly detection survey
Rust Survey 2021 Results | Rust Blog
2024 Stack Overflow Developer Survey
Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better
A Survey of Visual Transformers
UIT Survey 2022 実施レポート