RAG From Scratch: Part 1 (Overview)
LLMs are a powerful new platform, but they are not always trained on data that is relevant for our tasks. This is where retrieval augmented generation (or RAG) comes in: RAG is a general methodology for connecting LLMs with external data sources such as private or recent data. It allows LLMs to use external data in generation of their output. This video series will build up an understanding of RAG
A Guide on 12 Tuning Strategies for Production-Ready RAG Applications
This article covers the following “hyperparameters” sorted by their relevant stage. In the ingestion stage of a RAG pipeline, you can achieve performance improvements by: Data cleaningChunkingEmbedding modelsMetadataMulti-indexingIndexing algorithmsAnd in the inferencing stage (retrieval and generation), you can tune: Query transformationsRetrieval parametersAdvanced retrieval strategiesRe-ranking
Llamaindex を用いた社内文書の ChatGPT QA ツールをチューニングする - GMOインターネットグループ グループ研究開発本部
D.M.です。Llamaindex で ChatGPT と連携した社内文書の QA ツールを構築した際にハマったことを書いていきます。 ChatGPT に追加でデータを与える課題へのアプローチ 今回やりたいこと つくったもの システム構成 ユースケース はじめに書いたソースコード Llamaindex 処理フロー Llamaindex チューニング課題 元ネタのテキストファイルをベクター検索のチャンクに収まるように意味の塊にする 課題１ ベクター検索の2番目のドキュメントが正解だったりする問題 課題２ 複数のドキュメントを読ませると間違える確率が上がる問題 課題３ 失敗している理由がよくわからない問題 課題４ ときおり英語で返してくる問題 課題５ OpenAI API がタイムアウトする問題 Tips１ ローカルファイルを小さくしたい Tips２ 回答をもっと厳密にしたい ChatGPT
LlamaIndex Talk (Snowflake BUILD 2023)
RETRIEVAL AUGMENTED GENERATION IN THE REAL WORLD
OpenAIの可能性：アグリゲーター x カオナシプラットフォーム Daily Memo - 4/4/2023｜Off Topic - オフトピック
今日のDaily MemoはOpenAIのプラットフォームとしての進化について話したいと思います。こちらはOff Topic Clubメンバーシップ向けに最近試験的に投稿している「Daily Memo」ではありますが、長文だったため記事として書かせていただいてます。気になる方は是非Off Topic Clubに参加してみてください！ はじめに先日OpenAIがChatGPTのプラグインを出した際に、OpenAIの可能性とプラットフォームとしての方向性が一気に変わった気がした。その可能性を理解するには、OpenAIがどのようにプラットフォームとして進化したのかを理解する必要がある。この記事では各フェーズを説明しながら、インターネット企業にとって重要なプラットフォーム戦略について解説していきます。 ちなみに以下戦略の話は個人的な考えであって、特にOpenAIの人と話している訳ではないです！ 各
Processingでゼロから学ぶプログラミング・ビジュアルアート - cocopon.me
この教材はビジュアルアートを題材に、プログラミングおよびその表現技法の基礎習得を目指すものです。 ビジュアルアートは実行結果が視覚的でわかりやすく、プログラミング未経験者・初学者でも直感的に楽しく学んでいけるのが特徴です。 多摩美術大学統合デザイン学科で開講するソフトウェアデザインの講義資料として作成していますが、プログラミング・ビジュアルアート入門者に向けて広くお使いいただけるよう配慮しています。
30分で完全理解するTransformerの世界
はじめに 初めまして。ZENKIGENデータサイエンスチームのはまなすです。正式な所属はDeNAデータ本部AI技術開発部なのですが[1]、業務委託という形で今年度から深層学習系の開発等に携わっています。 深層学習界隈では、2017年に衝撃的なタイトル（Attention Is All You Need）の論文が発表されてから早5年半、元出自の機械翻訳タスクを大きく越えて、Transformer関連の技術が様々な領域で用いられる汎用アーキテクチャとして目覚ましく発展し続けています。 今回はそんなTransformerが現時点までにどのように活用されてきたか、また、どのように工夫されてきたかをざっくりと俯瞰し、流れをおさらいする目的の記事になります。本記事の大枠は、2021年時点でのサーベイ論文である A Survey of Transformers に倣いつつ、適宜、2023年2月上旬現在ま
Kaggleで世界トップレベルになるための思考法。Grandmaster小野寺和樹の頭の中 - Findy Engineer Lab - ファインディエンジニアラボ
Kaggleとは、世界最大級の機械学習およびデータ分析のコンペティションです。コンペの主催企業や研究機関などがデータや分析のテーマを提供。その内容に基づいて世界中の参加者たちが機械学習モデルの精度を競います。 Kaggleにおけるランクの最高峰がGrandmasterであり、ゴールドメダル5枚とソロゴールドメダル（個人参加でのゴールドメダル）1枚がランク取得の条件となります。日本人でGrandmasterの称号を得ている数少ない方の一人が、NVIDIAの小野寺和樹（@0verfit）さんです。小野寺さんは「Kaggleに参加すること」を同社での仕事にしています。 どうすれば、スキルを向上させKaggleの上位ランクに入賞できるのでしょうか。今回は小野寺さんに、Kaggleに取り組むうえでどのような思考や行動をしているのかについてインタビューしました。 *…インタビューはオンラインで実施しま
Retrieval-based LM (RAG system) ざっくり理解する
自分用の整理・勉強会用として作成した解説資料です。内容の正確性については保証しかねますので必ず論文を参照してください。誤りや引用漏れ等がありましたら @catshun_ までご指摘いただけますと幸いです。
九鬼周造 「いき」の構造
［＃横組みで、ページの上部、左右中央に］ La pense doit remplir toute l'existence. MAINE DE BIRAN, Journal intime. ［＃改ページ、ページの左右中央に］ 序 この書は雑誌『思想』第九十二号および第九十三号（昭和五年一月号および二月号）所載の論文に修補を加えたものである。 生きた哲学は現実を理解し得るものでなくてはならぬ。我々は「いき」という現象のあることを知っている。しからばこの現象はいかなる構造をもっているか。「いき」とは畢竟（ひっきょう）わが民族に独自な「生き」かたの一つではあるまいか。現実をありのままに把握することが、また、味得さるべき体験を論理的に言表することが、この書の追う課題である。 昭和五年十月 ［＃改ページ、ページの左右中央に］ 目 次 一 序 説 二 「いき」の内包的構造 三 「いき」の外延的構造
高速で論文がバリバリ読める落合先生のフォーマットがいい感じだったのでメモ - 書架とラフレンツェ
(図書館学系の話題でもあるからちょっと悩んだけれど、文献読解全般に関する内容だからこちらへ) 既に日々論文をバリバリ読んでいるひとには今更な記事だろうけれど、分野ごとの違いもあって興味深かったのでざっくり記録する。 論文を大量に読む際に、頭から几帳面に読んでいると時間がどれほどあっても足りないし、後から「こんなことが書いてあった論文なんだったっけ？」という問題も発生してしまう。 研究者の皆様はMendeley などの文献管理ツールをを用いていることが多いかとは思うが、それでも論文の読み方そのものに工夫をすればインプット/アウトプットの効率が圧倒的によくなるので、やってみるにこしたことはない。 その工夫とは何かというと、論文を読むときに「特定の問いに集中して読む」というものだ。学術論文は分野ごとの違いはあれ、必ず特定の流れに従って構成されている。そこで要点のみに注目して読み、他の事項を捨てる
Best practices for prompt engineering with OpenAI API | OpenAI Help Center
💡 If you're just getting started with OpenAI API, we recommend reading the Introduction and Quickstart tutorials first. Due to the way the instruction-following models are trained or the data they are trained on, there are specific prompt formats that work particularly well and align better with the tasks at hand. Below we present a number of prompt formats we find work reliably well, but feel fr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/kazunori_279/status/1730045931876454686
【注目】AIスタートアップ、PKSHA Technologyの正体
Hiroshi Yamakawa on X: "AIアライメントの包括的なサーベイ： これはよいですね。 Ji, J. et al. AI Alignment: A Comprehensive Survey. arXiv [https://t.co/OCWmtJfVvE] (2023) https://t.co/FWq5wyM1zr… https://t.co/TCscIRIyXM"
Generative AI exists because of the transformer
Tome
AI Risks that Could Lead to Catastrophe | CAIS
aitreaty-press-release ja.pdf
【DL輪読会】LLMベースの自律型エージェントシステムのサーベイ | ドクセル
