大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回はメドピアで本番運用をしているアプリケーションの1つであるやくばと for Clinicにて、Ruby 3.2からRuby 3.3にアップデートを行った際のパフォーマンスの変化を計測しました。 Ruby 3.3ではYJITの大幅な改善が含まれているので、これによるアプリケーションへの影響を確認していきます。 www.ruby-lang.org gihyo.jp 前提 本記事に記載されたデータは以下の条件で計測をしています。 Rails: 7.1.3.4 YJIT有効化時のオプションは特に付与していない状態(Dockerfileから環境変数を与えて有効化) 3.2.4(+YJIT)から3.3.1(+YJIT)へのアップデート 有効化前後の1週間を比較 パフォーマンスの変化 やくばと for Clinicではモノレポのアプリケ
For the last 40 years, BM25 has served as the standard for search engines. It is a simple yet powerful algorithm that has been used by many search engines, including Google, Bing, and Yahoo. Though it seemed that the advent of vector search would diminish its influence, it did so only partially. The current state-of-the-art approach to retrieval nowadays tries to incorporate BM25 along with embedd
Transformers高速化ライブラリvLLMのAsyncLLMEngineを利用した非同期高速文章生成 - 端の知識の備忘録
概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました！これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がしないので遠い道のりです……。 www.kaggle.com このコンペについて、近い内に同様のコンペが開催予定なこともあり上位解法があまり出ていない状態なので、どのような手法が良かったのかまだわかっていないのですが、とりあえず公開されている情報を元にすると、 LLMとしてはほぼほぼ全員が数学問題に特化したLLMであるDeepseek-Math-7Bを利用している LLMが出力したPythonコードを実行するインタープリターを実装することで、LLMのハルシネーションによる計算ミスを防ぐパイプラインが有力であった LLMの出力を比較的高い
画像生成AIや大規模言語モデルなどの計算処理にグラフィックボードを用いる場合、「GPUの処理性能」のほかに「VRAMの容量」も重視されます。グラフィックボードにVRAMを増設することは基本的に不可能なのですが、新たにハードウェアメーカーのPanmnesiaがグラフィックボードへのメモリ外付け増設を可能にするシステム「CXL-GPU」を開発しました。 CXL-GPU (PDFファイル)https://panmnesia.com/uploads/panmnesia-CXL-GPU.pdf GPUs can now use PCIe-attached memory or SSDs to boost VRAM capacity —Panmnesia's CXL IP claims double-digit nanosecond latency | Tom's Hardware https://ww
前回「VAXELN」の記事を書いたから、というわけではないのだが、ひょんなところで名前が出て話題になっていたので、そのあたりを交えて今回は「RT-11」を紹介したい。 ⇒連載記事「リアルタイムOS列伝」バックナンバー 数年ごとに話題になるUNIXの“/usr”ディレクトリの語源 ひょんなところでというのは、LinuxというかUNIXの“/usr”ディレクトリは何に由来しているのかという話である。これ、数年ごとに話題になるのだが、最近だとBytebytegoの2024年6月12日のPostで再び話題になった。 ここでは/usrが“UNIX System Resources”の略（“UNIX Shared Resources”や“UNIX Services and Routines”の説もある）という話になっており（確かに、UNIXのSystem Resourcesといわれても無理がないのが現
レポート 「Lunar Lake」Deep Diveレポート - 【Part 2】Memory、GPU、NPUについて 前回はP-CoreとE-Coreの話に終始してしまったので、今回はもう少し広範な話をしたい。 謎のMemory Side Cache Photo01は基調講演のスライドから切り出して、ついでに複数のスライドの情報を重ね合わせたものである。上側がCompute Tileであるが、向かって右端にP-Core×4+12MB L3 Cache、その下にIPU(Image Processing Unit:通常ならISPと呼ばれるが、要するにカメラ入力に対応した画像処理エンジン)、右にNoCが入り、そのNoCの上にMedia EngineとMemory Side Cache、NOCの下にE-Core×4+4MB L2 CacheとDisplay Engine、その左がNPUとなり、一
This post could’ve been titled “Nostr vs ATProto”, but that really isn’t what I wanted to do here. While I will be comparing and contrasting them a lot, and that’s kind of even the point of writing this, I didn’t want to really pit the two against each other at all, and especially not with the title. I also want to try avoiding commenting on the differences between the communities that have formed
Floppy disks fell out of fashion in the 1990s as more efficient storage solutions were invented It's taken until 2024, but Japan has finally said goodbye to floppy disks. Up until last month, people were still asked to submit documents to the government using the outdated storage devices, with more than 1,000 regulations requiring their use. But these rules have now finally been scrapped, said Dig
Properly Testing Concurrent Data Structures Jul 5, 2024 There’s a fascinating Rust library, loom, which can be used to thoroughly test lock-free data structures. I always wanted to learn how it works. I still do! But recently I accidentally implemented a small toy which, I think, contains some of the loom’s ideas, and it seems worthwhile to write about that. The goal here isn’t to teach you what y
The sad state of property-based testing libraries Posted on Jul 2, 2024 Property-based testing is a rare example of academic research that has made it to the mainstream in less than 30 years. Under the slogan “don’t write tests, generate them” property-based testing has gained support from a diverse group of programming language communities. In fact, the Wikipedia page of the original property-bas
GitHub - mikaku/Fiwix: A UNIX-like kernel for the i386 architecture
Written in ANSI C language (Assembly used only in the needed parts). GRUB Multiboot Specification v1 compliant. Full 32bit protected mode non-preemptive kernel. For i386 processors and higher. Preemptive multitasking. POSIX-compliant (mostly). Process groups, sessions and job control. Interprocess communication with pipes, signals and UNIX domain sockets. UNIX System V IPC (semaphores, message que
Announcing wcurl: a curl wrapper to download files | Samuel Henrique (samueloph)
tl;dr Whenever you need to download files through the terminal and don't feel like using wget: wcurl example.com/filename.txt Manpage: https://manpages.debian.org/unstable/curl/wcurl.1.en.html Availability (comes installed with the curl package): Debian unstable - Since 2024-07-02 Debian testing - Coming up between the second and third week of July 2024. Debian 12/bookworm backports - As soon as t
Find Nice Games (Beta) -
本文にジャンプ ABOUT NEWSLETTER SITE POLICY CONTACT Apartment コロナ禍の都市封鎖で帰れない部屋を記憶から再現したゲーム… Night Circus サーカスの団員たちをクリックして音楽を奏でるリズムゲーム… Stranded 無人島に漂着した男がカモメの裁きを受ける奇妙な物語ゲーム… Green｜送你一片绿草地 ランダムな場所に現れる四つ葉のクローバーを探し出すゲーム… Sincerely, Me 世界各地の旅先から自分宛てにポストカードを送る物語ゲーム… Hammart 貧乏画家がフルーツを叩き潰して描いた絵を売りさばくゲーム… Fishstellations 魚たちを決められた場所に飛ばして星座をつくるパズルゲーム… Portal to the Cosmobeat 銀河一のダンサーを目指し踊るフリースタイルダンスゲーム … memory
2024年4月期アニメ感想
銀髪メイドとガールズバンドが渋滞していた24年4月期、意外と粒揃いだった。 Unnamed Memory、アストロノオトはまだ未消化。 HIGHSPEED Étoileフル3DCGのレースもの。レースシーンの見せ方がいまいちだからなのか主人公成長の描き方が下手なのか盛り上がらないまま終わってしまった。 素材は良いのに調理が残念パターン。3Dぽさを感じさせないキャラクタのモデリングは良いだけに勿体ない。 Lv2からチートだった元勇者候補のまったり異世界ライフ令和のくぎゅう枠。令和にくぎゅうとか正気かと思ったがくぎゅうは大正義だった。胸がキュンキュンお耳ピコピコ。 他の同棲キャラはハーレム要員かと思いきや、ルームシェア相手みたいな扱い。 THE NEW GATE安定の男性ボーカルOP＋低予算＝残念枠。FateとSAOの影響を受けすぎていて大丈夫かと心配してしまう。二期は無い…よな。 アイドルマ
Version 1.91 is now available! Read about the new features and fixes from June. June 2024 (version 1.91) Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the June 2024 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some of the key highlights include: Preview: Incoming/Outgoing changes graph -
How to think in writing
The reason I've spent so long establishing this rather obvious point [that writing helps you refine your thinking] is that it leads to another that many people will find shocking. If writing down your ideas always makes them more precise and more complete, then no one who hasn't written about a topic has fully formed ideas about it. And someone who never writes has no fully formed ideas about anyt
エッセイ集を発売した竹中直人が、おすすめのドライブソングを紹介し、近況を語った。 竹中が出演したのは、J-WAVEで放送中の番組『POP OF THE WORLD』（ナビゲーター：ハリー杉山、ジェニー）の「YANASE MEMORY TUNES」。ゲストが思い出のナンバーを紹介するコーナーだ。ここでは6月29日（土）のオンエアをテキストで紹介する。 竹中直人が「たまらなく好き」と語る楽曲 俳優、映画監督、タレントなど、多岐にわたる活躍で知られる竹中がおすすめするドライブソングは、Vangelis『Love Theme』。映画『ブレードランナー』のサウンドトラック『ブレードランナー～ザ・ベリー・ベスト・オブ・ヴァンゲリス』に収録されている。 竹中：『ブレードランナー』は「SF映画」とよくいわれていますが、僕にとってはラブストーリーで、こんなに素敵なラブストーリーはないなと思う大好きな作品です
Initially, we named this guide “Tourist Attractions in Tokyo,” but we realized that the title did not do justice. Tokyo offers so many places to visit and things to do that even most long-time residents might not be able to experience them all. So, whether you plan to visit Tokyo as a tourist, for business, or to live there, we hope this guide to Tokyo’s attractions will come as handy. As an insid
Online PDP-8 Home Page
This site is for people who wish to learn about the PDP-8 minicomputer and for current PDP-8 users to get more information on these machines. The PDP-8 was a important early mini computer in the history of computing and many are still running today performing their original function. The PDP-8 was used for industrial control, controlling experiments, running businesses, word processing, and many o
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
Ruby 3.3(+YJIT)へのアップデートによるパフォーマンス変化の計測 - メドピア開発者ブログ
BM42: New Baseline for Hybrid Search - Qdrant
グラボのVRAMを外付け増設可能にする低遅延データ転送システムが開発される
「RT-11」はUNIXの“/usr”ディレクトリの語源なのか 歴史と機能から検証する
「Lunar Lake」Deep Diveレポート - 【Part 2】Memory、GPU、NPUについて
Nostr and ATProto - Shreyan Jain
Japan's government finally says goodbye to floppy disks
Properly Testing Concurrent Data Structures
The sad state of property-based testing libraries
Visual Studio Code June 2024
竹中直人が「圧倒的に大好き」と語る映画と、サウンドトラックは？ | J-WAVE NEWS
Top Places to Visit and the Best Things to Do in Tokyo