Building and operating a pretty big storage system called S3
Building and operating a pretty big storage system called S3July 27, 2023 • 6277 words Today, I am publishing a guest post from Andy Warfield, VP and distinguished engineer over at S3. I asked him to write this based on the Keynote address he gave at USENIX FAST ‘23 that covers three distinct perspectives on scale that come along with building and operating a storage system the size of S3. In toda
イノベーションを後押しするのはシリコンバレー的文化で、それはとりあえず「スゲー！」と言っておくこと
個人開発ではあるが、なんとか公開にこぎつけたのはベルリンにあるシリコンバレー的文化があったことは紛れもない事実。そんな経験からアメリカのある特定の都市から革新的な IT 企業が次々に現れる理由にはそういったシリコンバレー的文化が後押ししているんだろうな、と感じた。 個人開発においては開発者のモチベーションだけが鍵になる。納期も約束もなくただその開発者が「やってみるか」と思ってやる開発においてはそのモチベーションだけが原動力になる。そしてそのモチベーションは本当にもろくて崩れやすい。 こんなの作っても意味ないわこれ公開しても誰もアクセスしねーわこんなしょぼいアプリを公開しても恥かくだけだといった思いはなんども開発者に押し寄せる。で、そういった思いが間違っていることはあまりなく、ほとんどの場合においてそれは正しい。 それでも何百万とある企画の中から０．０００１％のキラっと光る企画で諦めずに改善
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした要約結果をClaude3 Sonnet
RAGでの回答精度向上のためのテクニック集（応用編-A）
はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And
Picking a vector database: a comparison and guide for 2023
In an era where semantic search and retrieval-augmented generation (RAG) are redefining our online interactions, the backbone supporting these advancements is often overlooked: vector databases. If you're diving into applications like large language models, RAG, or any platform leveraging semantic search, you're in the right place. Picking a vector database can be hard. Scalability, latency, costs
Blog Writing for Developers
Blog Writing for Developers Published Jul 19, 2023 by in DevRel, Blogging at https://rmoff.net/2023/07/19/blog-writing-for-developers/ Writing is one of the most powerful forms of communication, and it’s useful in a multitude of roles and contexts. As a blog-writing, documentation-authoring, twitter-shitposting DevEx engineer I spend a lot of my time writing. Recently, someone paid me a very nice
LeetCode 150問を解いて起きた意外な変化
はじめに 年末に Twitter でこのツイートを見かけました。 もともとアルゴリズムの勉強に興味があり、一年ほど前に数ヶ月だけ AtCoder をやっていましたが、途中で挫折してしまった自分にとって、NeetCodeの勉強ロードマップは非常に魅力的に感じました。（転職意欲があったわけではないです） NeetCode のロードマップ そこで、このロードマップに従って LeetCode の問題を 150 問解くことを決意し、結果的におよそ1ヶ月半で全ての問題を解き切ることができました。 この過程で、様々なことを学ぶことができました。中には自分が予想していなかった学びも多くありましたので、同じくアルゴリズムに興味のあるエンジニアの方に役立てていただけるよう、記録として残しておきます。 ハードスキル 📗 データ構造への理解 頻出するデータ構造について、それぞれの長所/短所を理解し、主要な処理の
ID生成方法についてあれこれ
ID生成について聞かれることが多いので、独自の観点でまとめてみます。タイトルは適当です…。 DBはMySQL(InnoDB)を想定しています。あしからず。 ID生成を知りたいなら ID生成に関しては以下の記事がよくまとまっているので参考にしてみてください。値形式など詳しく書かれています。 ID生成大全 Facebook, Twitter, Instagram等がどうやってIDを生成しているのか まとめ ID生成方法 以下のID生成方法は、お手軽に採用しやすいもの順で列挙します。 DB採番/連番型 AUTO_INCREMENT DBのAUTO_INCREMENTで採番する方法。 Pros 数値型で扱える 普通は64ビットの整数型を採用することが多い 単調増加する連番ですので、ソート可能でかつインデックスの空間効率がよい 単調増加するので、キャパシティを予測しやすい 64ビットあればあまり気に
【LLM】Temperatureが大きいほど出力は多様！…なんで？ - Qiita
はじめに LLMでは、与えられたプロンプトからその次の単語の生成確率を求め、それを元にまた次の単語の生成確率を求めるといったステップを繰り返すことで、文章を生成（デコード）します。 しかし、品質の高い文章を生成するためには、ただただ確率の高い単語を繋げるだけでは不十分な場合も多々あり、様々なデコード手法が考えられてきました。 本記事ではこれらの背景をもとに、LLMにおける主なデコード手法についてまとめました。 またELYZA-7bを用いて実際に生成し、各手法の特徴について観察してみました。 なお本記事の作成にあたっては、主に以下のサイトを参考にいたしました。 （説明に用いた図も以下から引用しています） タイトルの内容が気になる方は一番最後の章までジャンプしてください。 Greedy Search (貪欲な探索) まずは最も単純なケースであるGreedy Searchについて紹介します。 G
How to generate text: using different decoding methods for language generation with Transformers
How to generate text: using different decoding methods for language generation with Transformers Note: Edited on July 2023 with up-to-date references and examples. Introduction In recent years, there has been an increasing interest in open-ended language generation thanks to the rise of large transformer-based language models trained on millions of webpages, including OpenAI's ChatGPT and Meta's L
テキスト生成における decoding テクニック: Greedy search, Beam search, Top-K, Top-p
テキスト生成における decoding テクニック: Greedy search, Beam search, Top-K, Top-p Transformer ベースの言語モデルが普及しているのは承知の通りだと思います。 中でも有名なのは BERT で、これは Transformer の Encoder のみを使う Autoencoding models と呼ばれるカテゴリのモデルです。入力の一部を隠してそれを復元するというタスクを大量に解かせることで事前学習を行うことになります。それゆえ、このタイプのモデルが最も向いているタスクは Token の分類（固有表現抽出等）や文章の分類など、入力の文章自体に興味がある場合です。 一方、Transformer の Decoder のみを使う Autoregressive models (GPT-2 など) や、 Encoder と Decoder
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
On the speed of ViTs and CNNs
Building RAG-based LLM Applications for Production
Breaking down GPU VRAM consumption
Augmented Object Intelligence with XR-Objects
LLM搭載型ARシステムがもたらす物理世界との新しいインタラクション | モリカトロンAIラボ
Augmented object intelligence with XR-Objects
研究の進め方 ランダムネスとの付き合い方について
OpenCLIP使用のご報告と今後の方針 (2023/8/17)
Introduction to Visual Question Answering: Datasets, Approaches and Evaluation