ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
杜甫々 （「とほほのWWW入門」サイト管理者） 「とほほのWWW入門」というWeb関連の技術情報を掲載するサイトを運営しています．1996年9月に始めたので，もうそろそろ29年目に突入となります．HTML, CSS, JavaScriptを始め，Python, Rust, Goなどのプログラミング言語，React, Vue.js, Angularなどのフレームワーク，Docker, Kubernetes, OpenSSLなどのツール群，文字コード，正規表現，暗号化などの要素技術などなど，目につくIT関連情報を色々紹介してきました．途中サボっていた時期もありますが，ここ最近は1週間に1つはなんでもよいので記事を追加したり更新したりしています． ある講演会で，私が初めてコンピューターに触れたころの話から，サイト作りを始め，継続してきたことについて一通り語ったあと，来場者からの質問で「続けられる
コンテナランタイムの代表的な実装の1つである「containerd」の初のメジャーバージョンアップとなる「containerd 2.0」の開発が進んでいます。 今年（2024年）3月に最初のリリース候補版「v2.0.0-rc.0」が登場し、6月には「v2.0.0-rc.3」まで進捗しているため、数カ月以内には正式版が登場すると思われます。 containerdのこれまで もともとcontainerdはDockerコンテナの一部として実装され、2016年に独立したオープンソースプロジェクトとなりました。現在でもDockerのコンテナランタイムとして採用されています。 参考：Dockerエンジンのコアランタイムが「containerd」として分離、独立したオープンソースプロジェクトに。Docker、AWS、Google、IBM、マイクロソフトらが協力して開発推進へ 2017年3月にCloud
TL;DR 「最短でプロダクションで扱うため」のコンセプトはそのままに 入門 Docker がv2になりました 5年ぶりにのアップデートで、古くなった情報を消し最新の情報の追加をしてほぼ書き直しました。 現代でも残ってしまっているような古いプラクティスについても言及しているので、再読もオススメです。 概要 入門 Docker を5年ぶりにアップデートしました。 deprecatedな部分だけは綺麗にするかと思い、git cloneしたところ筆が乗りだいぶ様変わりしてv2になりました。 変更点 古くなってしまっている情報を修正したことがメインです。 特に以下3点です。 1. DockerfileのDSL 2. compose v2対応 3. Dockerfileのベストプラクティス 他にもいくつか。 現在でも使用されている非推奨な使い方への言及 古くなってしまっているが、現在でも使用されてい
ジャンプTOON Web アプリケーションの全体像〜採用技術と開発方針〜 | CyberAgent Developers Blog
目次 はじめに Next.js × GraphQL のサーバー間通信 Fastly でのコンテンツ配信とキャッシュ方針 vanilla-extract の採用とスタイリングシステム Chromatic による UI テスト / UI レビュー Datadog でのサービスモニタリング ジャンプTOON の CI/CD リリース戦略とブランチ運用の工夫 おわりに はじめに ジャンプTOON の Web 版（以降、ジャンプTOON Web）の開発を担当している2024年度新卒入社の鏑木 俊樹（かぶらき としき） @tosssssy_ です。 5 月にサービスを開始した「ジャンプTOON」は、オリジナル縦読みマンガ作品や人気作品のタテカラー版を連載する、ジャンプグループ発の新サービスです。 ジャンプTOON Web では Next.js App Router （v14.2）を採用して開発をしてお
社内でGrowiを立ち上げてみた - Qiita
はじめに 部署内で情報共有のためWikiを使うとよいのではないか、という話が出ました。最初はMicrosoft TeamsのWikiを使えばよくね？という話でしたが検索機能はないし、バックアップも取れないし、でとても実用にならんだろ、と、調べていくうちにGrowiがよさそうとなりました。 Qiitaでもお馴染みですね。 社内でdocker付きで用意されているUbuntu Serverに立ち上げれば、docker-composeでさくっと設定できるとたかを括っていたのですが、docker初心者にはいろいろと落とし穴が待っていたのでした。 proxyの罠 このGrowiは社内で利用するだけで社外からアクセスはしません。当然会社のproxyの内側に設置します。となると、Ubuntu Serverにツールをインストールするためにproxyを通さねばなりませんので、あれこれproxy設定が必要になり
独力でWebサービスを開発・構築できるフルスタックエンジニアへのロードマップ─幅広いスキルを「Udemy夏のビッグセール」で学ぶ！ - はてなニュース
Webで新規サービスを立ち上げる際に、UIからインフラ周りまで一人で面倒を見られるエンジニアは、少人数のスタートアップでなくとも非常に頼れる存在です。どんな課題に直面しても技術力で乗り越える、そんなスキルフルなエンジニアに憧れる方も多いでしょう。 この記事では、フロントエンドのプログラミング（JavaScript周辺）からサーバーサイド、インフラ、さらに開発手法まで、Web開発で必要になるさまざまなレイヤーのフルスタックなスキルの現在地と、関連するUdemyの講座を紹介します。 株式会社ヘンリーでVPoEを務める松木雅幸（@songmu）さんの執筆です。 フルスタックエンジニアに必要なスキル さまざまな講座でまとめて学習してみよう Udemyでは夏のビッグセールを開催中！ ※この記事は、株式会社ベネッセコーポレーションによるタイアップ広告です。記事末に、はてなブックマークした方にAmazo
はじめに 背景 やりたいこと Why MSW？ 導入手順 詰まったこと defaultのtimeout設定時間が短い CIで落ちた時の検証方法がわからない 認証後のストレージの状態が入ってこない 今後の展望 おわりに はじめに enechainでフロントエンドエンジニアをしている@Shunya078です！ 自分の所属するGXデスクでは『日本気候取引所 - Japan Climate Exchange』(以下JCEX)のサービス開発を行っており、その中でReactを使用したフロントエンドの開発を担当しています。 リグレッションテストは運用を考えると、設計から導入した後、どう管理していくかまで検討する点が多く存在します。 JCEXは去年の年末にリリースされたばかりのサービスで、まだブラウザまで含めたリグレッション相当になるテストレイヤーが導入できておらず、存在しませんでした。 今回は新たに自チ
週刊Railsウォッチ: Rails 7.2でメンテナンスポリシー更新、書籍『Ruby on Railsパフォーマンスアポクリファ』ほか（20240819）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。Railsガイドも先週7.2に更新完了しました↓。 #Railsガイド がRails 7.2に対応!!🆙✨ 🛤 Rails 7.2リリースノート 🛠 Dev Containerでの開発 🚀 本番環境のパフォーマンス改善 （最適化のトレードオフ、PumaやYJITの設定、負荷テストや測定項目の解説など） が新たに追加され、既存ガイドも大幅に改訂されました...!!📕💖https://t.co/1WexdNRvJ9 pic.twitter.com/JTiHShnj1r — Railsガイド 📕 (@RailsGuidesJP) August 16, 2024 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やX.comでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように
チーム開発でdocker composeを使っている場合、たまにメンバーの好みでアプリケーションをDockerで動かしたい人と、ホスト環境で動かしたい人に分かれます。@zaru 個人的にはアプリケーションはホスト環境で動かすほうがメリットが強いと思いますが、場合によりけりで絶対ではないとも考えています。 当然、チームの中で開発環境は統一したほうが良いのは良いですが、Dockerかホストか選択できてもいいかなということで今回はdocker composeで特定コンテナの起動をオプションにする方法を紹介します。 Docker Composeのprofileオプション やり方は非常にシンプルで、デフォルトで起動させない、つまり起動をオプションにしたいサービスに profiles キーを指定するだけです。 例として以下の compose.yml ファイルで説明します。 app と db 2つのサー
2024年9月12日紙版発売 株式会社ビープラウド 監修，altnight，石上晋，delhi09，鈴木たかのり，斎藤努 著 A5判／384ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-297-14401-2 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Amazon Kindle honto この本の概要 『WEB+DB PRESS』の人気連載が待望の書籍化です。Webシステム開発から機械学習・データ分析まで，現場で使えるPythonのノウハウが1冊にまとまっています。取り上げる話題は，環境構築，コード品質，テスト，構造化ログ，リリース管理，Django，Django REST framework，GraphQL，Fast API，Django ORM，データサイエンスプログラムの品質，データ分析レポー
When you're working with Docker containers, keeping track of what's happening inside them can be a real challenge. Containers are great for building and deploying applications, but they can also produce a lot of log data that needs to be monitored and analyzed. This is especially true when you have multiple containers running simultaneously, or when you're dealing with complex distributed systems.
G-gen の福井です。当記事では、Google が提供するマルチモーダル生成 AI モデル Geminiと、画像生成 AI モデル Imagen を使用して、アップロード画像から類似画像を生成する Web アプリを開発する手順をご紹介します。 はじめに 当記事の概要 実行イメージ 利用サービス・ライブラリ ソースコード Python のバージョン requirements.txt main.py ローカルでの動作確認 ローカル実行 ローカルで起動したアプリへ接続 Google Cloud へのデプロイ Cloud Run の使用 ディレクトリ構成 Dockerfile の作成 Cloud Run にデプロイ 動作確認 Cloud Run のアクセス元制御について はじめに 当記事の概要 当記事では、Google が提供するマルチモーダル生成 AI モデル Geminiと、画像生成 AI
こんにちは、ニケです。 今回は、私の想像よりもAITuberKitとDifyの連携に反響があったということで、これらを使用したAIキャラと会話を始めるまでの環境構築方法を解説していきたいと思います。 Dify連携機能実装したときは、「何か流行ってるし追加したらウケいいかな」くらいにしか思ってなかったのですが、今では私自身も開発する時の第一選択肢としてDifyを選びます そんなAITuberKitですが、コマンド4つで環境構築できるので興味ある方はぜひ試してみてください〜https://t.co/41moOfGM0j https://t.co/EojL5QsCX0 pic.twitter.com/FJnMCxZI60 — ニケちゃん@AIキャラ開発 (@tegnike) July 17, 2024 ※ 今回は以下のライブラリやサービスを使用するので、必要に応じて前準備しておいてください。 g
【EXCEL】シリアル通信あれこれ - Qiita
やること Qiitaでの記事で、EXCELでシリアル通信に関するものをまとめる。 検索結果 ここで、以下の検索をしたところ、59件ヒットした。(2024/08/11時点) 「シリアル通信 EXCEL」の検索結果 - Qiita また、以下の検索をしたところ、37件ヒットした。(2024/08/11時点) 「EXCEL RS-232C」の検索結果 - Qiita /* 上記との重複複数あります。 */ 以下、ざっくり６５つにまとめる。抜けや分け方が不適切であった場合など、何かあればご指摘を頂きたい。 ちなみに、自分は1番を使った機会が多かったが、情報入手性などから5番目をつかうのだろうか。 1.EasyComm を使用 /* 木下清美さん(ペンネーム木下隆さん)作成のEasyComm(VBAモジュール)を使用。 activecell-木下清美のホームページでの配布や、[絶版2007.3.30
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「継続は力なり」よりも「好きこそ物の上手なれ」｜情報処理学会・学会誌「情報処理」
コンテナランタイム「containerd 2.0」がまもなく登場。何が変わるのか？
Docker入門資料「入門 Docker」を5年ぶりにアップデートしました。 - y-ohgi's blog
Playwright+MSW でのリグレッションテスト事始 - enechain Tech Blog
docker composeで特定コンテナの起動をオプションにする
現場のPython──Webシステム開発から、機械学習・データ分析まで
Dozzle - Self-Hosted Docker Container Log Monitoring
GeminiとImagenで類似画像生成アプリを開発してみた - G-gen Tech Blog
AITuberKit × Dify で超簡単チャットボット構築｜ニケちゃん