かなり新し目のフレームワークRAGプラットフォームアプリ RAGFlowとは？ RAGFlowは、深い文書理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンである。LLM（大規模言語モデル）を組み合わせることで、様々な複雑なフォーマットのデータから根拠のある引用に裏打ちされた、真実味のある質問応答機能を提供し、あらゆる規模のビジネスに合理化されたRAGワークフローを提供する。
オープンソースのRAGアプリ「RAGFlow」を試す
かなり新し目のフレームワークRAGプラットフォームアプリ RAGFlowとは？ RAGFlowは、深い文書理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンである。LLM（大規模言語モデル）を組み合わせることで、様々な複雑なフォーマットのデータから根拠のある引用に裏打ちされた、真実味のある質問応答機能を提供し、あらゆる規模のビジネスに合理化されたRAGワークフローを提供する。
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
ChatGPTで「学習指導要領何でも回答Bot」をつくってみた｜稲田友
前回「学校教育における全体アーキテクチャを描いてみた」がそれなりに好反応だったので、次はその中身の解説の予定でしたが、、、 行き当たりバッタリのnoteなので、今回は（も？）横道にそれちゃいます（でも必ず近いうちに書きます）。 ※タイトル読んで来て「早く学習指導要領何でも回答Bot触らせろや」という方はこちらに行っちゃってくださいー（でも戻ってきてねー） 学習指導要領を理解しなくちゃ前回の「学校教育における全体アーキテクチャを描いてみた」では20以上の国の文書等を読み込んで描いてみた、と書きました。 でも「学校教育」を考えるのであれば、前提となる「学習指導要領」を理解する必要もあるのでは？と。 でも、学習指導要領って総則解説ぐらいしか通しで見たことがなく、何かのタイミングでごくたまに「小4理科ってどんな力が求められているのだっけ？」みたいに見る程度。 学習指導要領って小学校編だけでも337
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama
イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 | DevelopersIO
AIに手足ができる！Zapier Natural Language Actions + LangChainがすごいので試してみた【LangChain・Zapier NLA・OpenAI】 はじめに 新規事業統括部Passregiチームの山本です。 3/16にLangChainのサイトで、Zapier Natural Language Actions（以下Zapier NLA）との連携についての記事がありました。 https://blog.langchain.dev/langchain-zapier-nla/ 今回は、このページを参考に、簡単な解説や考えたこと、実際に動かしてみた様子について記載しようと思います。 (補足) Zapierについて Zapierは世の中の多数あるサービス（GmailやSlackなど）の操作を自動化できるサービス（SaaS自動化サービス）です。設定はWeb画面でノ
LlamaIndexを使ってAWS CDKの記事200本以上でインデックスを作りOpenAIに質問してみた | DevelopersIO
OpenAIのAPIに対してLlamaIndexを使い特定の分野の記事を取り込むと正しい答えが返ってくるのか確認してみました。本記事ではAWS CDKを対象に調査しています。 はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回はタイトルの通り、LlamaIndexを使いOpenAIにAWS CDKに関する記事（DevelopersIOのもの)を200本以上でインデックスを作り、どのような返答が返ってくるのか試してみました。LlamaIndexとは、簡単な実装で個別のインデックスを作成しOpenAIのモデルに対して問い合わせできるインターフェースです。詳細は以下をご確認ください。 インデックスの対象となる記事 AWS CDKのタグが付いている記事で、2021年12月21日から2023年3月8日までの合計240本の記事を対象にします。こちらで1つのAWS CDKというジャンルに対し
GPTが出した回答の確からしさを見えるようにしてみる - Taste of Tech Topics
皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ
GPT-3を使って根拠付きで正確に質問応答してくれるシステムを作ってみる - Taste of Tech Topics
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はChatGPTが出て注目を浴びたり、BingにもChatGPTのように質問応答してくれるAIが搭載されるなど、OpenAIのGPTモデルが世の中を騒がせています。 私もChatGPT使ってみましたが、受け答え自体は人が書いていた文章と遜色なく、文章の自動生成もここまで来たか。。という感じでした。 そんなChatGPTの特徴の一つとして、回答には時々嘘が含まれるというものがあります。 ChatGPT自体は知識を持っているわけではないので、学習データにないことなどはそれっぽいけどでたらめな回答を返してしまいます。 ただし、最近追加されたBingのGPTでは、ChatGPTよりもはるかに正確な回答が返ってくるように感じます。 画面を見ると回答の根拠となっている詳細情報が出ています。 ここから推測する
ProviderタワーをRecoilに置き換える
ReactアプリケーションではProviderタワーがよく見られます。Providerタワーは、アプリの上の方で次のコードのように複数のProviderが積み重なっている状態のことです（一般的な呼称かどうかは知りません）。 const App: React.FC = () => { return ( <FooProvider> <BarProvider> <BazProvider> <MainContents /> </BazProvider> </BarProvider> </FooProvider> ); }; Providerは、コンテキストに対して値を供給する役割を担っており、コンポーネントツリー内でProviderより内側に配置されたコンポーネントからはそのコンテキストの値を参照することができます。コンテキストは、Reactにおいて外部ライブラリを使わずにステート管理（特にアプリ
モダンなSQLクライアントソフト「DBeaver」の紹介
公式の説明を引用すると下記のとおりです。（Google 翻訳） 開発者、SQL プログラマー、データベース管理者、アナリスト向けの無料のマルチプラットフォームデータベースツール。 JDBC ドライバーを備えたすべてのデータベースをサポートします（基本的には-ANY データベースを意味します）。 商用バージョンは、MongoDB、Cassandra、Couchbase、Redis、BigTable、DynamoDB などの非 JDBC データソースもサポートしています。商用バージョンでサポートされているすべてのデータベースのリストは、ここにあります。 ・メタデータエディタ、SQL エディタ、リッチデータエディタ、ERD、データのエクスポート/インポート/移行、SQL 実行プランなどの多くの機能を備えています。 ・Eclipse プラットフォームに基づいています。 ・プラグインアーキテクチャを
次世代SQLクライアントArctypeを触ってみる
どうも、株式会社プラハCEOの松原です 先日社内のエンジニアに「このSQLクライアントがイケてそう！」と教わったので早速Arctypeを触ってみました TL;DR クエリの補完が最高 チャートやダッシュボードを通して簡単に可視化できる 操作性に優れていて、見た目が綺麗 クエリやダッシュボードごとに権限管理できる プレースホルダーを使えば非開発者ともクエリを共有しやすい 説明しよう、Arctypeとは なんかイケてるSQLクライアントです セットアップ それぐらいしか分からないので、ひとまずDBを立ち上げて実際に使ってみようと思います。こちらのmysql-employeesを使わせていただきましょう docker run -d \ --name mysql-employees \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=college \ -v $PWD/
RemixでAWSサーバレス構成を手軽に作成できるGrunge Stackを試してみた | DevelopersIO
はじめに こんにちは、CX事業本部MAD事業部の森茂です。 先日リリースされたRemix Stacks、Remixチームが公開しているAWSを利用したサーバレス構成のGrunge Stackテンプレートがどのような構成になっているのかを調べるために早速デプロイまでの流れを試してみました。 Grunge Stack Grunge StackはAWSを利用したサーバレス構成のアプリケーションテンプレートです。サーバレスフレームワークとしてはArchitectを利用しています。データベースにはDynamoDBを利用し、アプリケーションはCloudFormationを利用してLambdaへデプロイされAPI Gatewayを介して公開されます。また開発用にローカル環境のサンドボックス環境も用意されているのでAWS環境へデプロイせずに動作を確認することが可能です。（サンドボックス環境のDynamoD
実践 Docker - ソフトウェアエンジニアの「Docker よくわからない」を終わりにする本
------------------------------------------------------ 2024 年 1 月更新 本書がきっかけで「なんとか Docker を使えるようになりたい」というプログラマの方向けの入門書を秀和システム様から出版させていただけることになりました 開発系エンジニアのためのDocker絵とき入門 https://www.amazon.co.jp/dp/4798071501 紙書籍と電子書籍、どちらもございます この書籍と執筆経験は、みなさまからの驚くほどの高評価があればこそ得られた機会でした いつも本当にありがとうございます 書籍化に際しまして、この場で次のとおり説明させていただきます 1️⃣ 本書 ( Zenn ) は有料化しません 2️⃣ 本書 ( Zenn ) は今後更新しません 3️⃣ 本書 ( Zenn ) と出版される絵とき入門の違い
いろんなサービスを勝手に連携させるオープンソースのタスク自動化ツール「Huginn」を使ってみた
さまざまなウェブサービスを連携して作業を自動化してくれるツールにはIFTTTやZapierなどさまざまなものが存在しています。その中でも、「Huginn」はオープンソースで開発されており、自分でサーバーを立てることでデータを傍受される心配なく利用できる自動化ツールとのことで、実際に使ってみて使い勝手を試してみました。 GitHub - huginn/huginn: Create agents that monitor and act on your behalf. Your agents are standing by! https://github.com/huginn/huginn Huginnのページによると、一番簡単なのはDockerを利用したセットアップとのこと。DockerがインストールされたPCのターミナルで「docker run -it -p 3000:3000 hugin
Dockerfile不要！Cloud Native BuildpacksでLaravelアプリケーションのコンテナイメージを作成する｜Laravel｜PHP｜開発ブログ｜株式会社Nextat（ネクスタット）
top > 開発ブログ > PHP > Laravel > Dockerfile不要！Cloud Native BuildpacksでLaravelアプリケーションのコンテナイメージを作成する こんにちは、ナカエです。 本日はCloud Native Buildpacksについての記事です。 Buildpacksは簡単に言えばDockerfileを書かずにアプリケーションのコードからコンテナイメージを作成できる仕組みです。元はPaaSで有名なHerokuで考案され、Cloud Foundryや他のPaaSでも利用されてきました。 Herokuにコードをデプロイするだけでアプリケーションが動くのは、裏でこのBuildpacksが活躍していたおかげなんですね。 HerokuとCloud Foundryで差異があった仕様を統一し、アプリケーションコードからOCIイメージを作成する仕様として標準化
【tfdevops】Terraformで作成したリソースをAmazon DevOps Guruで監視する。 | DevelopersIO
こんにちは！ AWS事業本部コンサルティング部のたかくに（@takakuni_）です。 今回は、Terraformで作成したリソースでも、Amazon DevOps Guruの監視対象にしたいと思います。 結論 tfdevopsはTerraformからCloudFormationへの変換ツールではない 発展途中のツールであるため今後に期待！ Amazon DevOps Guruとは ざっくりご説明すると、CloudWatch, Config, CloudTrail, X-Rayをデータソースに、機械学習を利用して異常な運用アクティビティを検知、是正方法をアドバイスするサービスです。 Amazon DevOps Guru for RDSは、拡張機能として、解決まで行うサービスとなっております。 AWS公式：Amazon DevOps Guru 弊社ブログ：【簡単導入】機械学習で運用を効率化！
SAM を使って CDK + Typescript で実装した Lambda をローカル環境で実行する | DevelopersIO
CDK Dayを観ていたところSAM を使った CDK のローカル環境でのテスト方法が紹介されていたのでドキュメントを読みながら実際に使ってみました。 CDK Day ではsam-beta-cdkと呼ばれていましたが、ドキュメントを確認したところ SAM CLI と記述があったのでプライベートプレビュー時からパブリックプレビューになった段階で名称が変更された可能性があります。記事を執筆した段階で日本語ドキュメントはまだ最新ではなかったため英語のドキュメントを参照しながら進めました。 また、AWS SAMを使ったCDKのローカル環境での利用は2022.02.4現在パブリックプレビュー中なので今後後方互換性の無い変更が加えられる可能性があることにご注意ください。 前準備 CDK をローカルでテストするには AWS CDK、パブリックプレビューバージョンの AWS SAM CLI, Docker
ProtobufでREST APIを快適に開発する方法のご紹介 - TIER IV Tech Blog
こんにちは、ティアフォーで認証認可基盤を開発している澤田です。 最近取り入れたProtobufで、素晴らしいREST APIの開発体験をしたのでご紹介します。 なお、ティアフォーではマイクロサービスを支える認証認可基盤を一緒に開発いただけるメンバーを募集しています。ご興味のある方は下記ページからご応募ください。 herp.careers 実現したかったこと マイクロサービス間連携のAPI開発において、以下の条件を満たすやり方を探していました。 スキーマを最初に定義してリクエストとレスポンスの型が自動で生成される ドキュメント（openapi.yaml）が生成される バリデーションが定義できて、その実装が自動で生成される 実現方法 Go言語で開発する場合はgo-swaggerでも実現できますが、本記事では、Protobufで実現できるgRPC Gatewayとprotoc-gen-valid
OSS未経験「なにから始めたらいいかわからない…」←これを一気に解決する神リポジトリ - Qiita
はじめに こんにちは。WEBエンジニアのmasakichiです。 OSSを始めたいと思いながらも「なにから始めたらいいかわからない…」と悩んでいませんか？ そんなOSS未経験者にGood First Issueというリポジトリをお勧めしたく記事にしました。 この記事で書いてあること この記事には以下の2つが書いてあります。 Good First Issueについて Good First Issueからコントリビュートするまでの流れ（経験談） Good First Issueとは OSSにコントリビュートしたことのない開発者でもすぐに始められる人気プロジェクトをピックアップしたキュレーションサイトです。 プロジェクトのリンク先はgithubリポジトリで管理されています。 リポジトリはこちら キュレーションサイトはこちら Good First Issueでは下記の基準を満たしたプロジェクトがピ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ControlNet導入&使い方解説 3D人形・実写画像等から姿勢を入力し画像生成 webUI(1111)用