大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
MySQL is certainly a powerful open source database management system, but even the most robust engine struggles when queries take an eternity to execute. For DBAs and developers, improving MySQL query performance is an ongoing goal. Efficient query performance is crucial for ensuring the smooth operation and optimal user experience of applications powered by MySQL databases. When businesses rely h
Difyを使ってノーコードでAIエージェントを作成する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により「もう、これでいいじゃん」という気持ちが抑えきれていません。 今回はそんなDifyを使って、「LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット」を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル（LLM）を活用したアプリ
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
ボタン一発でWindowsを必要最小限の構成に変更して軽快な動作を実現してくれるツール「Win Debloat Tools」レビュー
「Win Debloat Tools」は難しい設定を行わずともボタンを押すだけでWindowsから不要な機能を削除し、必要最小限の構成に変更して軽量化を実現してくれるツールです。実際に使ってどれくらい動作が改善されるのかを確かめてみました。 GitHub - LeDragoX/Win-Debloat-Tools: Re-imagining Windows like a minimal OS install, already debloated with minimal impact for most functionality. https://github.com/LeDragoX/Win-Debloat-Tools GitHubのページにアクセスし、「Download Latest Version」の項目にある「Main」をクリック。 zipファイルがダウンロードされるのでクリックして
regreSSHion: Remote Unauthenticated Code Execution Vulnerability in OpenSSH server | Qualys Security Blog
The Qualys Threat Research Unit (TRU) has discovered a Remote Unauthenticated Code Execution (RCE) vulnerability in OpenSSH’s server (sshd) in glibc-based Linux systems. CVE assigned to this vulnerability is CVE-2024-6387. The vulnerability, which is a signal handler race condition in OpenSSH’s server (sshd), allows unauthenticated remote code execution (RCE) as root on glibc-based Linux systems;
Terramateを使えばIaCは豊かになれるのか?
序論 先日LinkedInで面白そうなIaCツールを紹介してもらいました。 マネージドサービス版はまだクローズドベータで一般利用できませんでしたが、GitHubにCLI版がオープンソースとして公開されておりました。 一見、Terraformの実行を代行するTerragrunt[1]のようなラッパーツールかと思いましたが、Terramateは単なるラッパーツールではなくオーケストレーションツールとしてIaC開発を楽にしてくれるさまざまな機能が提供されていましたので、Terramateを使ったIaC開発について紹介いたします。 対象読者 複数のIaCツールの管理に苦労している人 (後述のハンズオンのため)Terraformの基礎知識がある人 Terramateについて 創業者のブログを見ると2022年5月にリリースされた比較的新しいGo製の開発ツールのようです。 ドキュメントではTerrama
Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に Microsoftは2024年7月2日、LLMが生成する出力の精度を向上させるために利用するRAG（検索拡張生成）の機能を拡張/強化した「GraphRAG」をGitHub上で公開した。 GraphRAG: New tool for complex data discovery now on GitHub -Microsoft Research Blog Welcome to GraphRAG RAG（Retrieval-Augmented Generation：検索拡張生成）は、ユーザーのクエリに基づいて特定の分野や組織の内部ナレッジベースの情報を検索し、その結果を参照してAIの回答に組み合わせる技術。モデルを再トレーニングすることなく、これらの情報を生成結果に即座に反映できる。 一方、通常のRAG
はじめに こんにちは、ken です。お仕事では Go をよく書きます。 最近、Go の公式パッケージであるgolang.org/x/toolsを眺めていたら、なにやら有用そうなパッケージを見つけたので今回はそれについて書こうと思います。 それはegというリファクタリングツールです。 eg とは eg は、例ベースで Go コードをリファクタリングするためのツールです。このツールを使用することで、特定のコードパターンを別のコードに置き換えることができ、効率的にリファクタリングが行えます。 先ほど貼った公式ドキュメントに詳しい説明があるかと思いきや The eg command performs example-based refactoring. For documentation, run the command, or see Help in golang.org/x/tools/ref
社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
こんにちは、羽山です。 みなさんは業務に LLM（生成AI）を活用していますか？ラクーングループでは生成系AI LT大会を開催するなど、積極的な利用を推し進めています。 そこで今回は私がその生成系AI LT大会で発表し、隙間時間で開発して、社内で幅広く利用されるに至った AIアシスタント「おっさんずナビ」を紹介します。 おっさんずナビは LLM + RAG（Retrieval-Augmented Generation）を利用した Slackボットで「ラクーンホールディングスの社風を教えてください」という質問に 社内事情を踏まえた回答 をしてくれます。 ファインチューニングを利用せず RAG のみで精度を高めているのと、ベクトルDBなどの外部リソースを必要としないのがポイントで、使い込まれた Slack ワークスペースさえあればアプリを起動するだけで 社内事情通のAIアシスタント ができあが
![社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/292dc217b044ae9f6c9ffa45c4ee8295851f9349/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2024%2F07%2Fossans_navi_thumb.png)
比較したいテキストやソースファイルをドラッグ&ドロップするだけで差分表示が可能なマージ機能搭載のMac用diffツール「JuxtaText」がリリースされています。詳細は以下から。 JuxtaTextはソースコードの差分やマージが可能なGitクライアント「JuxtaCode」を開発しているオーストラリア・メルボルンのYori Mihalakopoulosさんが新たに公開したMac用のDiffツールで、比較したい2つのテキストやソースファイルをドラッグ&ドロップするだけで差分を表示し、サイドバーから比較ファイルを素早く変更するこも可能です。 Compare and merge any text with this simple tool. Works intuitively with code, documents or any text-based content. JuxtaText –
言語は人間という存在を特徴付けるもののひとつですが、その機能については「思考のためのツール」なのか、「コミュニケーションのためのツール」なのかで議論があります。2024年6月19日に科学誌のNatureに掲載された論文で、研究者が「言語はコミュニケーションのためのツールである」と結論付けました。 Language is primarily a tool for communication rather than thought | Nature https://www.nature.com/articles/s41586-024-07522-w マサチューセッツ工科大学とカリフォルニア大学の研究者らは、言語の進化的起源について結論を出すことは難しいものの、現代人における言語の機能について考えることはできると主張。過去のさまざまな研究結果を参考にして、言語は「思考のためのツール」なのか、それ
こんにちは。プラットフォーム開発部兼財務データ企画部のshigeniiと申します。 普段はデータ基盤の運用保守、および、全社的なデータ活用やデータ駆動推進を担当しています。 今回は、財務に関する情報の収集からその可視化までの過程をシステム化することで、事業計画や予算策定のプロセス改善に結び付けた我々の取り組みについて、システム化に焦点を当てながら書き綴りたいと思います。 この記事がバックオフィス業務において、同じような課題を抱えている方に少しでもご参考になれば幸いです。 経緯 財務レポート可視化プロジェクト システム化にあたっての具体的な取り組み Before After システム化にあたっての課題 今回の対応 全体的なシステム構成 財務レポートを作るまでのながれ 説明1．各業務システムのデータを取得 説明2．マスタ情報の取得・作成 説明3．データの加工・突合機能 説明4．データに対するセ
本記事は マイグレーションウィーク 6日目の記事です。 💻🖥 5日目 ▶▶ 本記事 🖥💻 初めに ITの変遷と思想の変遷 新たな問題 作ってみた DARS 何と呼ぶ？？？ コードはこちら 機能紹介の前に 3つの機能 diff conf html バッチ編 課題 ユースケース 最後に 得られた副産物 人間は間違える 初めに こんにちは、上田です。 2024年5月にネットコムに入社したばかりで社内ネタを持ち合わせていないので、作ってみたシリーズに乗っかってみました。 また、今回のテーマはクラウドマイグレーションということなので、オンプレミスからクラウドへITリソースを移行するに伴って人間の考え方がどのように移り変わっていくのか、という観点も交えながら論じていこうと思います。 ITの変遷と思想の変遷 まず、オンプレミスからクラウドへなぜ移行するのかを考えてみます。 クラウドのメリットをい
【技術選定/OSS編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLMを実行する関数 or プロンプトテンプレートと評価を実行する関数を書いて description: Testing evaluations prompt: entry_function: toxic_example_prompts providers: - id: TURBO config: temperature: 0.7 - id: GEMINI_PRO config: temperature:
インボイス管理サービス「Bill One」の認証を内製認証基盤に置き換えて認証基盤のコストを削減した話 - Sansan Tech Blog
Bill One Engineering Unit 共通認証基盤チームの樋口です。 Bill Oneでは昨年までAuth0を認証基盤として利用してきましたが、認証基盤を内製化することでコストを大幅に削減しました。 この認証基盤は、昨年12月に無事リリースされ、Bill Oneの認証を支えています。 今回は認証基盤の内製化に至った経緯と設計、移行プロセスについて紹介します。 Bill Oneについて 認証基盤に関する課題 解決方法の検討 IDaaS（Identity as a Service）について 設計とシステム構成について 認証基盤の設計 システム構成 アカウントの移行について メールアドレス・パスワードでのログインを利用しているユーザーの移行 SSO（Single Sign-On）の移行 振り返りと今後 ドメイン変更による問い合わせの増加 内製化によって体験の改善がスムーズに Bil
時間の使い方が変わる。作業スピード＆パフォーマンス管理ツール4選【今日のライフハックツール】 | ライフハッカー・ジャパン
もう容量不足に怯えない。サンディスクのmicroSD 1.5TBは在庫があるうちに回収だ #Amazonセール
SummaryMost visual programming environments fail to get any usage. Why? They try to replace code syntax and business logic but developers never try to visualize that. Instead, developers visualize state transitions, memory layouts, or network requests. In my opinion, those working on visual programming would be more likely to succeed if they started with aspects of software that developers already
Introduction At the time of writing, HTTP/3 is supported by 30.4% of the top 10 million websites. This market penetration is astounding, but it seems like all of this progress has been possible almost exclusively by work on browsers, load balancers and CDN providers. What about the backend? How’s HTTP/3 doing there? The answer, sadly, is not as incredible. Because of this, I have been very interes
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
はじめに 最近、仮想通貨（暗号資産）の取引を始めてみたので、それにあたって確定申告に向けて仮想通貨の税金計算ツールを利用してみようと思いました。 そこで今回は、いくつかある仮想通貨の税金計算ツールのどれを使うのがもっとも適しているか、その特徴やサービス内容を比較してみます。 仮想通貨の税金計算ツールとは まず最初に、仮想通貨の税金計算ツールとは何か説明します。 仮想通貨の税金計算ツールは、損益計算ツールや収支計算ツールといった呼び方もされますが、簡単にいうと取引所の取引履歴やウォレットのトランザクションから仮想通貨の損益を計算してくれる支援ツールのことです。 仮想通貨取引は法定通貨を使った売買取引程度であれば自分で管理して計算することも難しくはありません。 ですが、仮想通貨同士の交換やステーキングなどといった仮想通貨特有の取引では、取引形態によって計算方法が異なるため損益計算が煩雑になりが
New Recovery Tool to help with CrowdStrike issue impacting Windows endpoints
The Microsoft Recovery Tool was updated 7/22/2024 as version 3.1. While fundamentally there are no functional changes to the tool, for the Recover from WinPE option, we have expanded the logging, reattempt logic, and error handling. For the Recover from safe mode for USB delivery, we’ve added in better user awareness cues for when to run the repair command. 7/23/2024: Microsoft notes that CrowdStr
Webサイト制作において面倒で時間のかかる作業を効率化したい方へ。 この記事は、CSSコードを手軽に生成できる便利ツールをまとめた最新版リストで、Web制作を快適、楽にしてくれるツール68個が揃っています。 以前CSS便利ツールを集めた厳選リストの公開が2021年。あれからおよそ3年のあいだに話題となったツールを中心に紹介しています。 日頃のワークフローに活用して、ストレスのないクリエイティブな制作ライフを実現しましょう。 Web制作の面倒におさらば、CSS時短ツール厳選リスト CSS pattern backgrounds ジグザグやサークル円などシンプルな幾何学模様をつかったCSSパターンをコピペで利用できるオンラインツール。 CSS Polka Dot Generator ポルカドット柄を作成、カスタマイズできるCSSツールで、影を設定するとよりレトロな印象に仕上がります。 CSS
What's coming next for ESLint - ESLint - Pluggable JavaScript Linter
When we released ESLint v9.0.0 in April, it was the first major release in 30 months and formally introduced the new configuration system. ESLint v9.0.0 also made some rule API changes to prepare the core for what’s coming next. After the release, we spent a lot of time creating compatibility utilities, a configuration migration tool, and a rule API transform utility to help the ecosystem move to
CSS Grid Generator
CSS Grid GeneratorCSS grid generator is a tool that helps developers create custom CSS grid layouts more easily. The generator allows users to specify the number of columns, rows, the gutter size. How to use CSS grid generator?1. Customize the number of columns, rows, and gaps to fit your needs.2. Click the square with + sign to add a new element to the grid.3. Resize the DIV using the handle in t
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
GitHub - h4l/json.bash: Command-line tool and bash library that creates JSON
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - linuxmint/timeshift: System restore tool for Linux. Creates filesystem snapshots using rsync+hardlinks, or BTRFS snapshots. Supports scheduled snapshots, multiple backup levels, and exclude filters. Snapshots can be restored while system is runni
Timeshift for Linux is an application that provides functionality similar to the System Restore feature in Windows and the Time Machine tool in Mac OS. Timeshift protects your system by taking incremental snapshots of the file system at regular intervals. These snapshots can be restored at a later date to undo all changes to the system. In RSYNC mode, snapshots are taken using rsync and hard-links
Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
米Turing Softwareが、iPhone／iPad／Apple Vision用PCエミュレーター「UTM SE: Retro PC emulator」を、App Storeにて配信開始している。 UTM SEクラシックなソフトウェアや古いゲームを実行できるPC エミュレータ。グラフィック用のVGA モードと、テキストのみのオペレーティングシステム用ターミナルモードの両方をサポートする。x86、PPC、RISC-Vアーキテクチャをエミュレートし、あらかじめ構築されたマシンの実行、またはスクラッチから独自のコンフィギュレーションを作成可能という。 オープンソースのプロセッサエミュレータ「QEMU」を使用。仮想マシン構築には、新規マシン作成またはUTMギャラリーからビルド済みパッケージをダウンロードして実行可能としているものの、そのまま動く感じではなく、かなり細かい設定変更が必要のようだ
Blueskyに「オススメユーザーをまとめて新規ユーザー招待リンクを作成する機能」や「リプライできるユーザーを後から制限する機能」などが追加される
2024年6月27日、複数の機能を追加したBlueskyのバージョン1.87が配信されました。このバージョンから、おすすめのユーザーを他人に紹介できる「スターターパック」や、投稿に返信できる人を後から制限する機能などが追加されました。 Introducing Bluesky Starter Packs - Bluesky https://bsky.social/about/blog/06-26-2024-starter-packs 📢 App Version 1.87 is rolling out now (1/4) Bluesky is all about building communities! Today we’re launching a tool to help you build yours: Starter Packs. Learn about them here: [i
IntroductionOn June 27, 2024, a small number of users globally may have noticed that 1.1.1.1 was unreachable or degraded. The root cause was a mix of BGP (Border Gateway Protocol) hijacking and a route leak. Cloudflare was an early adopter of Resource Public Key Infrastructure (RPKI) for route origin validation (ROV). With RPKI, IP prefix owners can store and share ownership information securely,
GraphRAG: New tool for complex data discovery now on GitHub
Download GraphRAG Download GraphRAG Accelerator Earlier this year, we introduced GraphRAG (opens in new tab), a graph-based approach to retrieval-augmented generation (RAG) that enables question-answering over private or previously unseen datasets. Today, we’re pleased to announce that GraphRAG is now available on GitHub (opens in new tab), offering more structured information retrieval and compre
シカゴ大学の研究チームが提供している、人間が描いた絵画に対し目に見えない改変を加えてAIによる学習から保護するためのツール「Glaze」について、スイスのオンラインセキュリティ研究者らのチームが「Glazeの保護は簡単に回避可能」と指摘する論文を発表しました。 [2406.12027] Adversarial Perturbations Cannot Reliably Protect Artists From Generative AI https://arxiv.org/abs/2406.12027 Glazing over security | SPY Lab https://spylab.ai/blog/glaze/ Why I attack https://nicholas.carlini.com/writing/2024/why-i-attack.html Tool preven
Cloudflare Zaraz adds support for server-side rendering of X and Instagram embeds
Cloudflare Zaraz adds support for server-side rendering of X and Instagram embeds07/10/2024 We are thrilled to announce Cloudflare Zaraz support of server-side rendering of embeds, featuring two Managed Components: X and Instagram. You can now use Cloudflare Zaraz to effortlessly embed posts from X or Instagram on your website in a performant, privacy-preserving, and secure way. Many traditional t
Today we wanted to share some important updates with the Mbed community: The Mbed platform and OS will reach end of life in July 2026, when the Mbed website will be archived and it will no longer be possible to build projects in our online tools The device software - Mbed OS - is open source and will remain publicly available, but is no longer actively maintained by Arm The Mbed TLS project is una
A Git story: Not so fun this time | Brachiosoft Blog
Linus Torvalds once wrote in a book that he created Linux just for fun, but it ended up sparking a revolution. Git, his second major creation, also an accidental revolution. It’s now a standard tool for software engineers, but its origin story wasn’t so much fun this time, at least for Linus. Linus doesn’t scale 1998 was a big year for Linux. Major companies like Sun, IBM, and Oracle started getti
If you ever tried to learn guitar, chances are you are familiar with guitar tablatures. It is a simple way to visualize music for guitar, using ASCII characters to represent strings and frets as an alternative to sheet music. For instance, here are the first four measures of the song "Smoke on the Water" by Deep Purple: e|-----------------|-----------------|-----------------|-----------------| B|-
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
Ultimate Guide to Improving MySQL Query Performance
Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に | gihyo.jp
【Go】公式ツール "eg" を使って効率的にGoのコードをリファクタリングする - Qiita
テキストやソースファイルの比較とマージ機能を備えた無料のMac用diffツール「JuxtaText」がリリース。
「言語は思考よりもコミュニケーションのためのツールである」と研究者が主張
事業計画を立てる上で必要なプロセスをシステム化し改善した話 - pixiv inside
AWSリソースの差分比較ツールを自作したのでご覧あれ - NRIネットコムBlog
We need visual programming. No, not like that.
gRPC Over HTTP/3
そのスキル本当に必要？デザイナーが伸び悩まないためにはじめたこと
確定申告に向けて仮想通貨の税金計算ツール4社を比べてみた | RE:ENGINES
Web制作の面倒におさらば、便利すぎるCSS時短ツールまとめ【2024年版】
iPhoneで使えるPCエミュレータ登場 昔のソフトやレトロゲームの実行に App Storeで公開
Cloudflare 1.1.1.1 incident on June 27, 2024
アーティストがAIによるスタイルのコピーを防ぐための無料ツール「Glaze」がクラックされて突破されたことが明らかに
Important update on Mbed - End of Life
Playing guitar tablatures in Rust