2000年以降の小説ランキング NewYork Timesが、数百人の小説家、学者、編集者、ジャーナリスト、評論家、出版社、詩人、翻訳家、書店員、図書館員、などあらゆるジャンルの著名人にアンケートを募り、21世紀のベスト小説100を作成。 ランキングの集計の仕方も面白く、 それぞれに「何がベストなのか？」の定義を聞いたり、 ランダムに2冊選び、各々にコメントを求めたりしたとのこと。 あのスティーブン・キングも選定者として参加。 www.nejimakiblog.com ・The 100 Best Books of the 21st Century (※下記リンクより全文読めます) www.nytimes.com 読んだことある・読んでいる途中の作品 掃除婦のための手引書 / ルシア・ベルリン(79位) 掃除婦のための手引き書 ――ルシア・ベルリン作品集 (講談社文庫 へ 11-1) 作者:
住み慣れた東京から福岡に移住してきて、2年が経ちました。まだ2年なので福岡のすべてが分かってるとは言い難いですが、2年経って改めて感じている福岡の魅力の数々を、ここで一気に放出したいと思います。 そもそもなぜ福岡に？本題に入る前に、前提となる自己紹介を少々。 私の生まれは大阪です。親の転勤で10歳の時に埼玉に移り住み、社会人になってから25年以上はほぼ東京です。というわけで私自身は福岡と無縁なのですが、妻が福岡出身というのが、福岡との唯一の縁になります。 移住のキッカケはコロナとリモートワークでした。ただ、結婚当初からいつか福岡に住みたいとは思ってて、福岡本社の会社に転職したこともありました。世の中的にリモートワークが許容されるようになり、思い切って夢を実現してみた感じです。 職業は経営者で、会社は2010年に創業し、オフィスは今も下北沢にあります。創業当初は杉並区の永福町に住んでいました
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
結論 個人で開発していたWEBサービスをOSSとして公開しました。 この背景や技術環境について書いていきます。 すべてのソースコードをGitHubに公開しています。 スターやレビューをしてくださると嬉しいです！ 公開したサービス: 上場企業ランキング 先日、オープンソースでWEBサービスを公開しました。 「上場企業ランキング」というサービスです。 その名の通り日本の上場企業を業界ごとに「給与」や「売上」順で閲覧することができるサービスです。 URL: https://company-ranking.net/ GitHub: https://github.com/yuki0920/company-ranking 私は2度の転職活動経験がありますが、企業を選ぶ際に知っておきたいことはいくつもありますよね。 「給与はどのくらいだろう」 「売上や利益はどの程度なのかな」 こういった情報は、求人ペー
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
はじめまして。損害保険ジャパン株式会社 DX推進部の眞方です。普段はリードエンジニアとして、新しいサービスのアーキテクチャ検討からローンチまでの作業や、新規技術を用いたアプリのプロトタイプ実装などを行なっています。 弊社では、LLM（Large Language Models）を活用したアプリケーションの開発を積極的に検討し、既に社内でいくつかのプロトタイプをローンチしています。 本記事では、その最も一般的？なユースケースの一つとも言えるRAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介させていただきます。実際の詳細な手法および結果については、別記事（実践編）で解説予定です。 はじめに RAGとは？ この記事を読まれている方の中にはご存知の方も多いでしょうが、RAGとはRetrieval A
Hacker Newsで自作のOSSを紹介したらRanking 1位になり一晩で+100 stars付いた - valid,invalid
自作のRuby gemをHacker Newsにて紹介したところ、一晩でGitHub repositoriesに100以上のstarsが付いて驚いた。また、リアルタイムでは見逃したのだがHacker News Rankingで数時間1位におり、20時間ほどトップページに載っていたらしい。2024-05-26現在は落ち着いて195pt。 投稿はこちら Show HN: PBT – A property-based testing library for Ruby | Hacker News。 2024-05-22のdaily rankingでは11位だった。 何について投稿したのか pbtという自作のテストツールで、property based testingを並列実行するというアイデアを実証したもの。このツールについてはRubyKaigi 2024で発表したので興味があればそちらの記事もご
「ChatGPT」「Copilot」「Gemini」「Claude」「Perplexity」の性能を日常的な会話で評価した結果が公開される
AIの精度向上に伴って、ChatGPTやCopilot、Geminiなど日常会話を違和感なくこなせるチャットAIが続々と登場しています。しかし、一般ユーザーからはどのチャットAIが高性能なのかは判断しにくいものです。そんな中、ウォール・ストリート・ジャーナルが5種のチャットAIを対象に「日常会話への応答性能を人間が評価するテスト」を実施し、テスト結果を公開しました。 The Great AI Chatbot Challenge: ChatGPT vs. Gemini vs. Copilot vs. Perplexity vs. Claude - WSJ https://www.wsj.com/tech/personal-tech/ai-chatbots-chatgpt-gemini-copilot-perplexity-claude-f9e40d26 AI企業やAI研究者が自身の開発したA
4TBが9千円台だって。バッファローの静音HDDは在庫があるうちに回収しておこう【Amazonセール】
こんにちは、CTOの森です。iimonは今回が初のアドベントカレンダー参加です！ 本記事はiimonアドベントカレンダー1日目の記事となります。 はじめに 検証した環境 MySQL/mecabのインストール 大量のデータを入れる 1レコードのINSERTにかかった時間 検索してみる 検索文字列が「出来事」の場合 インデックスなし N-gram(bi-gram) IN NATURAL LANGUAGE MODE IN BOOLEAN MODE MeCab IN NATURAL LANGUAGE MODE IN BOOLEAN MODE 検索文字列が「チューリングはロンドンのリッチモンドに住み」の場合 まとめ 参照したサイト 最後に はじめに 今回はMySQLで全文検索機能を使う際のパフォーマンスについて書こうと思います！ 全文検索をちゃんと使うのであればElasticsearchやSolrな
Manningから出版予定の『AI-Powered Search』（AIを活用した情報検索の意）を冬休み中に読んでいたら、その中で意味的知識グラフ（Semantic Knowledge Graph）と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。 AI-Powered Search（https://www.manning.com/books/ai-powered-search） 本記事の構成は以下のとおりです。 意味的知識グラフとは 意味的知識グラフを用いた関連語の計算 参考資料 意味的知識グラフとは 知識グラフと聞くと、固有表現認識や関係抽出、OpenIEを使って構築するグラフを思い浮かべる方もいると思うのですが、意味的知識
風俗客デビューするという友人へ送る
友人が風俗客デビューするとかしないとかって話になった ので、メールなりなんなり送ろうと思ったのだが 相当な長文になるので増田の方がよかんべと思ったので筆をとる 簡易まとめ世の中結論が先にある方が望ましい風潮にある。 なので、結論なんだが https://ranking-deli.jp/member/info/ まずは「駅ちか」に登録する。店探しはここから始めるのがいい。理由は色々あるし他の会員サイトも試すべきだけど最初は駅ちかからでいい。店選びはここから。 次に「店選び」についてだがこれは単純で 「家から近くて通いやすい店」これが鉄板。電車を数回乗り換える時点で論外と思っていい。 そして絶対外さない店を選ぶコツは 「在籍人数が多い店」迷ったら在籍嬢の多さで決める。これが基本。 次に風俗嬢選びだが 通える曜日と時間帯を調べるその時間帯に出勤がある相手の中で口コミがある相手を調べる（悪い口コミ
この記事は、 NTT Communications Advent Calendar 2023 22日目の記事です。 はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。普段は、クラウド・ハイブリッドクラウド・エッジデバイスなどを利用したAI/MLシステムに関する業務に従事しています。 本記事は、各クラウドベンダーのサーバレスにおけるプログラミング言語Rustについて調査・比較した結果を紹介します。 まず初めにサーバレスでRustを利用するメリットをエネルギー効率の観点から説明し、次に各クラウドベンダーの関連記事をピックアップします。 さらに、それぞれのクラウドでRustを使ったサーバレスアプリの代表的な作成方法を紹介して比較します。 Rustのエネルギー効率 Rustは、次の公式ページでも宣伝している通りパフォーマンスを強くアピールしています。 Rustは非常に高速でメモリ効率が高く
ジャンプルーキーの毎月1位だけがプラスで連載出来る権利、悪魔の所業 まず書き続けないと周知して貰えないし、1位にならないと連載出来ないから書き続ける。 はぁ？お前ちょっとは調べてから書いたら？直近半年の１位を調べる程度のことはやったらどうなんだ？ こんなん最初の３話ぐらいでバズるかどうかのクソゲーなんだって秒で分かると思うけど？ システムをそもそも理解してるか？ https://rookie.shonenjump.com/rensai_ranking/about より抜粋 ランキングは、エントリー作品の最新３話分の閲覧数の合計で決まります。最新話を投稿するとその月のランキングにエントリーすることができます これのせいで「最初の３話でクソウケたら勝ち」のクソゲーなんだよ。 マジでゴミだからこのシステム。 直近半年の１位の作品名および１位獲得時の「ランキング集計対象直近３話」2024年04月
子育てって、毎日大変ですよね。 新生児のころは授乳や寝かしつけが大変ですし、反抗期や思春期のお子さんを育てている方は、子どもとの接し方について悩みが多いことでしょう。 子どもとの関わりだけではなく、金銭面で困難を抱えるご家庭もあります。 今回は子育て中のパパ・ママ500人にアンケートを実施。 「子育てで大変なこと」や「子育ての大変さを軽減するための対処法」について聞きました。 【調査概要】 調査対象：子育て中の方 調査期間：2023年8月8日～17日 調査機関：自社調査 調査方法：インターネットによる任意回答 有効回答数：500人（女性400人／男性100人） 回答者の年代：20代 15.2％／30代 55.4％／40代 24.4％／50代以上 5.0％
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
Googleの検索アルゴリズムに関する内部文書が流出、Chromeのデータをページランク付けに利用するなどGoogleのウソが明らかに
Googleの社員がデータやAPI、モジュールの扱いに習熟するのに用いられているという、合計2500ページ超の内部文書「Google API Content Warehouse」が流出しました。これにより、Googleが検索ユーザーの情報やChromeのデータなどをどのようにして利用していたのかといった実態が明らかになりました。内容を精査したSEO(検索エンジン最適化)業界の関係者は、含まれている情報はほとんどが2024年3月時点のかなり新しいものであるとしています。 An Anonymous Source Shared Thousands of Leaked Google Search API Documents with Me; Everyone in SEO Should See Them - SparkToro https://sparktoro.com/blog/an-anony
11月頭に開催されたOpenAI初のデベロッパーカンファレンスDevDay。あのころは、まさかその後とんでもないドラマが待ち受けているなんて思ってませんでしたね…。 ドラマはさておき、DevDeayで発表された特定分野専門のChatGPTともいえる｢GPT｣。GPTストアから入手できるGPT。すでに多くの開発者が制作しており、続々と公開されています。 その中で使える（笑える）GPTをいくつかピックアップして、ランキング形式でまとめてみました。 10位：NOT HotdogImage: ChatGPT画像にあるものが、ホットドッグかそうではないかを見分けるだけのGPT。 ドラマ『シリコンバレー』で登場したアプリをそのままGPT化。ドラマのファンだった人は思わず笑ってしまいますが、ドラマを知らない人からしたらネタGPTにもならないのですが…。 9位：The Secret of Monkey I
‘Lavender’: The AI machine directing Israel’s bombing spree in Gaza
Smoke rises after Israeli airstrikes in Beit Lahia, in the northern Gaza Strip, December 28, 2023. (Yonatan Sindel/Flash90) In 2021, a book titled “The Human-Machine Team: How to Create Synergy Between Human and Artificial Intelligence That Will Revolutionize Our World” was released in English under the pen name “Brigadier General Y.S.” In it, the author — a man who we confirmed to be the current
2022年に泊まった温泉宿で｢部屋｣｢風呂｣｢食事｣が良かったおすすめ宿ランキングを発表する - 温泉ブログ 山と温泉のきろく
選んだ10軒の宿はすべて1人で宿泊可能な宿です 2017年から毎年、1年間に泊まった宿を振り返って「部屋」「風呂」「食事」というそれぞれの側面において「この宿はすばらしく良かった！」と印象に残っている宿をそれぞれ1位から３位まで紹介する、という記事を更新しています。 本稿はその2022年版です。 過去5回分の記事は下記になります。 食事部門だけ3軒に絞りきれず3位が2軒あり、全部で10軒の宿を紹介しています。 2019年、2020年、2021年に引き続いて2022年版で選んだ宿も、すべて1人で宿泊した宿でした。現時点でも、すべての宿が1人泊を受け入れており、10軒の宿の中で6軒は、休前日でも1人で宿泊可能な宿です。私自身もそうですが、土日休みの勤め人で、できれば土曜日に1人で泊まれる宿が知りたい……という方が多いのではないかと思いますので、各宿についていつなら1人で予約可能かを付記していま
「事故物件」に明確な定義はありませんが、一般的には「殺人や自殺などで人が亡くなった部屋」を指します。 入居に抵抗を感じる人が多い「心理的瑕疵物件」のひとつです。 事故物件は借り手がつきにくいため、家賃が安くなっていたり初期費用が不要になっていたりと、条件面で優遇されていることも多くなっています。 とはいえ、「部屋を借りるなら事故物件は避けたい」と考える方も多いでしょう。 今回は男女500人を対象にアンケートを実施。 「事故物件に住みたくない理由」や「事故物件でも住んでもいいと思える条件」について聞きました。 【調査概要】 調査対象：全国の男女 調査期間：2023年6月7日～8日 調査機関：自社調査 調査方法：インターネットによる任意回答 有効回答数：500人（女性341人／男性159人） 回答者の年代：10代 0.4％／20代 17.0％／30代 42.6％／40代 27.2％／50代 1
印南敦史の「毎日書評」年間ランキングTOP30｜2023年ライフハッカー読者に人気だった本は？ | ライフハッカー・ジャパン
4TBが9千円台だって。バッファローの静音HDDは在庫があるうちに回収しておこう【Amazonセール】
4TBが9千円台だって。バッファローの静音HDDは在庫があるうちに回収しておこう【Amazonセール】
はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And
Amazon Bedrock "Claude 2" と、ChatGPT "GPT-4" を比較してみる - Qiita
Amazon Bedrock "Claude 2" と、ChatGPT "GPT-4" を比較してみるAWSAIChatGPTGenerativeAIAmazonBedrock Amazon Bedrockとは? 2023/9/28にAWSが生成系AIのサービス「Amazon Bedrock」を正式リリース (GA) しました。 「Amazon Bedrock」は、様々な企業の基盤モデル(FM)を1つのAPIで利用できるようにするサービスです。 基盤モデルとは、大量のデータで事前訓練された大規模な機械学習モデルのことで、用途は幅広く、検索からコンテンツ作成、医薬品開発など、様々な分野で活用できます。 Amazon Bedrockは、この基盤モデルの利活用が容易にできるサービスとなっています。 ユーザーは、AIのスタートアップや著名な企業が開発した基盤モデルを簡単に試すことができ、また、自社
What We Learned from a Year of Building with LLMs (Part I)
Join the O'Reilly online learning platform. Get a free trial today and find answers on the fly, or master something new and useful. Learn more It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. The pace of improvements in LLMs, coupled with a parade of demos on social media, will fuel an estimated $200B
New to the world of web performance? Welcome! Here's everything you need to know to master website monitoring, analytics, and diagnostics. Learn how to deliver a fast, joyous experience to all your users. Business Success Making your pages faster isn't just for the web performance geeks in your organization. Site speed affects every business metric you care about – from bounce rate to conversions
Anthropic「Claude 3 Opus」がLLM評価指標「Chatbot Arena」で初めてOpenAI「GPT-4」のパフォーマンスを上回る快挙を達成
2024年3月に発表されたAnthropicの大規模言語モデル(LLM)「Claude 3」は、20万トークンまでのコンテキスト長に対応しているほか、わずか2つのプロンプトから量子アルゴリズムを設計可能との報告も挙がっています。今回、AI研究者が大規模言語モデルの相対的な能力を測定するために使用する「Chatbot Arena」において、Claude 3の上位モデル「Claude 3 Opus」がOpenAIの大規模言語モデル「GPT-4」の性能を初めて上回ったことが報告されました。 Anthropic's Claude 3 replaces OpenAI's GPT-4 as most popular user-rated LLM https://the-decoder.com/anthropics-claude-3-replaces-openais-gpt-4-as-most-popu
GoogleのチャットAI「Bard」は、2023年7月のアップデートで「AIとの会話内容を共有する機能」を追加しました。この会話共有機能を使用すると、Bardとの会話がGoogle検索にインデックスされてしまい、全世界に公開されてしまうことが明らかになっています。 Google accidentally leaking Bard AI chats into public search results https://www.fastcompany.com/90958811/google-was-accidentally-leaking-its-bard-ai-chats-into-public-search-results Google To Block Bard Public Shared Conversations From Google Search https://www.ser
RAGs powered by Google Search technology, Part 1 | Google Cloud Blog
When a large language model (LLM) doesn’t have enough information or has no contextual knowledge of a topic, it is more likely to hallucinate and provide inaccurate or false responses. Developers are increasingly excited about generative AI and Retrieval Augmented Generation (RAG) — an architecture pattern that combines LLMs with backend information retrieval from other information sources. This a
英国では機関リポジトリによるオープンアクセスが大隆盛！それを支えた大学図書館現場の実践 | JPCOARウェブマガジン
１．連載のはじめに 祝！ JPCOARウェブマガジン創刊！ ということで新創刊されたウェブマガジンにて国際動向を紹介する連載を受け持つことになりました、JPCOAR運営委員（国際担当）の佐藤翔です。普段は同志社大学で図書館司書課程の授業を担当する図書館情報学者であり、自称「日本で初めて機関リポジトリの研究で博士号をとった人間」として、時々中断をはさみつつ、機関リポジトリ関連の活動にも長く関わらせていただいています。2017年に終刊した「月刊DRF」でも連載を持たせていただいていたので、機関リポジトリ関連媒体での連載は6年ぶりのカムバックということに。さすがに世の顔ぶれも一新されていそう……と思ったらJPCOARの運営委員の皆さんは割と当時から馴染みの方々……。 本連載では毎回、佐藤が日々目にした中で「これはJPCOARや、日本の機関リポジトリ界隈の皆さんに紹介した方がいいかも」という国際的
AIライティングアシストとは？英語学習への効果やデメリット・最新の研究も紹介 - ポリグロットライフ | 言語まなび∞ラボ
はじめに 今回はAIライティングアシストの英語学習への効果やデメリットについて考えていきたいと思います。さらに、最新の研究も紹介していきます。AIライティングアシストを支えているのが自然言語処理であり、それを言語に最適化したツールとしてChatGPTやGrammalyが英語学習のツールとして注目されています。今回はそれらのAIライティングアシストの正しい使い方について考えていきたいと思います。 ↓↓英語学習動画を随時アップしています www.youtube.com 主な参考文献 「言語と身体性」 「はじめての認知言語学 」 「ゼロからわかる人口知能」 AIライティングアシスト AIライティングアシストとは 英語学習者(EFL)とAIライティングアシスト AIと第二言語習得研究 自然言語処理(NLP) 自然言語処理とは 自然言語処理の発展 脳内に入り込んだニューラルネットワーク ディープラー
検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogのスタンバイ2+1年の軌跡の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニック(無料掲載)と広告(有料掲載)という２種類の検索が存在します。 この2種類の検索ではそれぞれで異なる検索エンジンを使用しています。 オーガニック検索: Yahoo! ABYSSという検索プラットフォーム 広告検索: Elasticsearch このようになっている背景については、前述の記事に詳細が記載されていますので、興味がある方はそちらをご参照ください。これまで、この２種類の検索エンジンを運用してきましたが、それぞれ
React Router とは React Router のルートのマッチング React Router のドキュメントのRanking Routesのセクションを例として説明します。 以下の 5 つのパスパターンを取り得るアプリケーションがあるとして、/teams/newというパスが与えられたときに、どのパスパターンがマッチするでしょうか。 [ "/", "/teams", "/teams/:teamId", "/teams/:teamId/edit", "/teams/new", ]; React Router はここからさらにルートをランク付けし、最終的に/teams/newを最もマッチするルートとして採用します。 どのようにルートをランク付けするか ランク付けというのは、ルートがどれだけパスにマッチするかを評価することです。React Router は、ルートのパスパターンと与えら
日本語LLMの"1トークン"は何文字相当なのか?
TR:TL 最近、日本語のLLMが続々公開されているが、各LLMが何文字まで生成可能なのかを知りたい。 Rakudaのデータで各LLMのトークナイザーの「1トークンあたりの文字数」を調べた。 標準的な日本語特化のLLMでは2.0~2.6文字/トークン程度、一方で、GPT-4/3.50.96文字/トークン程度。 背景 最近、日本語でも使えるLLMが続々と公開されています。特に、GPT-3.5-turboやGPT-4は、8192トークンという大きい最大トークン長を誇っています。一方で、LINEのjapanese-large-lmなどの2023年時点で公開されている公開されている日本語LLMの多くは、2048トークンが最大トークン数になっている場合が多いです。額面上、LINEのLLMは、OpenAI GPT-3.5の1/4の長さのテキスしか生成できないように見えますが、それぞれのトークナイザーは
はじめまして。株式会社ナレッジセンスの門脇です。普段はエンジニア兼PMとして、「社内データに基づいて回答してくれる」チャットボットをエンタープライズ企業向けに提供しています（一応、200社以上に導入実績あり）。ここで開発しているチャットボットは、ChatGPTを始めとしたLLM（Large Language Models）を活用したサービスであり、その中でもRAG（Retrieval Augmented Generative）という仕組みをガッツリ利用しています。本記事では、RAG精度向上のための知見を共有していきます。 はじめに この記事は何 この記事は、LlamaIndexのAndrei氏による『A Cheat Sheet and Some Recipes For Building Advanced RAG』[1]という記事で紹介されている「RAGに関するチートシート」について、And
【表現の自由】白馬社の広報担当さん「コミュニティノートが貼り付けられる発信は信憑性が高いと思って間違いない。政府や企業に都合の悪い情報だから貼り付けられる」
コミュニティノート(以下CN)を作成しているのは同じXユーザーの有志です。CNは誰でも参加できますが、参加基準はあります。 https://communitynotes.twitter.com/guide/en/contributing/signing-up また、CNの公開は同じ回答傾向の人だけではなく反対の傾向の人の回答傾向も参考にするなど一定のアルゴリズムに従って行われ、できる限り偏った考えが含まれない工夫がされています。 https://communitynotes.twitter.com/guide/en/under-the-hood/ranking-notes また、CN公開後も賛同者より反対者の方が一定数多くなると公開停止になります。つまり、個人の意見ではあるけれど多くの賛同が得られた上で公開される公平性の高いコメントです。 公開が続くということは、そのCNに対する賛同者が多
楽天ふるさと納税返礼品ランキング 総合TOP15
驚くほどの海外産率 もうやめちまえよ 順位都道府県市町村返礼品産地1北海道別海町ホタテ北海道産2北海道白糠町いくらアメリカ産3岩手県花巻市牛タンアイルランド産・イギリス産他4福井県敦賀市カニカナダ産、アメリカ産、ロシア産、バレンツ海5北海道別海町いくら北海道産6福岡県飯塚市ハンバーグ国産表記なし、製造は市外に委託7福井県敦賀市ブラックタイガーインドネシア産 / ベトナム産 / タイ産 / ミャンマー産 / インド産8長野県須坂市シャインマスカット須坂市9福井県敦賀市カニロシア、カナダ、アメリカ（アラスカ）、ノルウェー（バレンツ海）産10北海道白糠町サーモンノルウェー産11北海道紋別市ホタテオホーツク産12宮城県気仙沼銀鮭チリ産13北海道別海町牛肉別海町14福岡県新宮町いちご福岡県内15静岡県 焼津市ネギトロキハダマグロ（台湾、韓国、その他）・メバチマグロ（台湾、韓国、その他） https:
Elasticsearch piped query language, ES|QL, now generally available — Elastic Search Labs
Elasticsearch piped query language, ES|QL, now generally available Today, we are pleased to announce the general availability of ES|QL (Elasticsearch Query Language), a dynamic language designed from the ground up to transform, enrich, and simplify data investigations. Powered by a new query engine, ES|QL delivers advanced search using simple and familiar query syntax with concurrent processing, e
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ニューヨークタイムズによる「21世紀のベスト本100冊」が発表。 - 世界のねじを巻くブログ
東京から福岡に移住して2年。福岡の魅力を4.5万字で徹底的に語る｜Tsutomu Sogitani
RAGの実装戦略まとめ - Qiita
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
個人で開発していた上場企業の情報サイトをOSSにした
RAGにおけるドキュメント検索精度向上について(概要編)
ライフハッカー・ジャパンの書評家が選ぶ、2023年の名著10選 | ライフハッカー・ジャパン
MySQLで全文検索機能を使う際のパフォーマンスについて調査してみた - iimon tech blog
意味的知識グラフとApache Solrを使った関連語検索の実装 - Ahogrammer
サーバレスにおけるRustについて - NTT Communications Engineers' Blog
こんな何も調べずに書いてるクソエアプに騙されてんじゃねえよカスSNS
【子育てで大変なことランキング】パパ＆ママ500人アンケート調査
Doing RAG? Vector search is *not* enough
思ったより全然使えそう。OpenAIが提供する｢有用GPT｣ランキング
【事故物件に住みたくない理由ランキング】男女500人アンケート調査
2023年もっとも売れたライフハックツールTOP10【文具編】 | ライフハッカー・ジャパン
RAGでの回答精度向上のためのテクニック集（応用編-B）
Web Performance Guide | SpeedCurve
GoogleのチャットAI「Bard」で会話内容を共有するとGoogle検索に表示されてしまうことが発覚
検索エンジンをVespaへ移行しています - Stanby Tech Blog
React Routerはルートをどうランク付けしているか
RAGでの回答精度向上のためのテクニック集（応用編-A）