ローカルLLMを使ってRAGシステムを組み最新の論文を追いやすくする試み
arXivには1日あたり全体では800件ほどの論文が投稿されます。Quantum Physicsカテゴリだけでも50~100件ほどです。これだけの量を自力で追うのは現実的ではないでしょう。そこで、投稿論文をLLMで要約してRAGのナレッジベースに蓄積し、全体の動向を把握しやすくするシステムを実験的に構築しました。正直前の記事と思いっきり内容が被っているのですが、1つ1つの論文を詳しく読むというよりも、全体の動向を把握することに重点を置いたシステムであるという点では違いがあります。 この記事のコードはGitHubで公開しています。 システム全体図 このシステムはDocker Compose上で動作させることを想定しています。主要なコンテナは3つ(RAGFlow, Ollama, Python worker)です。この他に補助的なコンテナ(ElasticSearchやMySQL)もいくつか動い
私が考えるLambda開発環境のベストプラクティス
概要 （この記事のアイコン、Lambdaっぽいの頑張って探した..！） 2020年にLambdaにコンテナイメージがサポートされて以来、Lambda開発をしたことがなかった。 AWS Lambda の新機能 – コンテナイメージのサポート 以前Lambdaを開発しているときは、適用するときにzip化が面倒だなとか、ローカルとクラウド上での動きが違うのでバグりやすいなとか、そのバグが適用しないと分からないので開発に時間がかかるなとか、色々と不便があったのを覚えている。 先日、画像圧縮処理で久々にLambdaを触り、その際コンテナイメージを使った快適なLambda開発環境を考えたので紹介する。言語はPythonだが他の言語でも同じ構成で大丈夫なはず。 結論 ディレクトリ構造
DockerでDjangoを動かしてみる - DjangoBrothers
Dockerを使ってDjangoプロジェクトを動かしてみたいと思います。 Dockerの概要・特徴 かなり簡単にですがまとめておきます。 Docker - Docker社が提供する、オープンソースのコンテナ型 仮想化ソフト 仮想化 - 実際のマシンを用意しなくても、仮想的にパソコンやサーバを作れる仕組み（パソコンやサーバーの中に、もう１つマシンを作るようなイメージ。Dockerはそれを「コンテナ型」で行う。） コンテナ - 隔離されたプログラム実行環境。コンテナには、稼働しているコンピュータとDockerがやりとりするための最低限の機能しか含まれていないため、とても軽量。 1アプリ＝1コンテナで構成するのが慣例 - データベースを使ったWebシステムを構築する場合は、「Webサーバーを担当するコンテナ」と「データベースを担当するコンテナ」の2つのコンテナを動かし、互いにやり取りして１つのシ
Re: 結局、Go言語をやめる理由はなかった件 - Hateburo: kazeburo hatenablog
すみません、ISUCONのアレに火がついてしまったので..。 Advent Calendarとはとくに関係がありません。 qiita.com qiita.com こちらの記事をみて、気になってしまったので interpolateParams の追加とMySQLチューニングをしてベンチマークを回してみました。 ベンチマークの環境が公開されているのは素晴らしいですね。 github.com 8vCPU/16GB Memのc5a.2xlargeなEC2のインスタンスを起動して、以下の手順にしたがってdockerとdocker-composeをインストールしました。OSはUbuntu 20.04を使いました。 docs.docker.com docs.docker.com 上記のbenchmarkのrepositoryをgit cloneし、compose build && compose upし
Dockerfileのベストプラクティスとセキュリティについて - エニグモ開発者ブログ
こんにちは、主に検索周りを担当しているエンジニアの伊藤です。 この記事は Enigmo Advent Calendar 2020 の 17 日目の記事です。 みなさんは適切なDockerfileを書けていますか？とりあえずイメージのビルドが出来ればいいやとなっていませんか？ 今回は自戒の意味も込めて、改めてDockefileのベストプラクティスについて触れつつ、 そもそもDockerfileを書かずにコンテナイメージをビルドする方法とコンテナセキュリティに関する内容についてまとめてみました。 Dockerfileのベストプラクティス イメージサイズは極力小さくしよう ビルドキャッシュを活用しよう Dockerfileに関する悩みどころ Dockerfileを書かないという選択肢 Buildpack Cloud Native Buildpacks CNBの仕組み デモ CNBのメリット セキ
仕事でPythonコンテナをデプロイする人向けのDockerfile (2): distroless編 | フューチャー技術ブログ
なお、distrolessのイメージは2種類（3通りの名前）がありますが、Python 3.5はバグ修正はせず、セキュリティ修正のみでサポート期限が2020/9/13というステータスなので、本エントリーでは3.7の方のみを扱います。 gcr.io/distroless/python3: Python 3.5.3 gcr.io/distroless/python3-debian9: Python 3.5.3(上のイメージと同一) gcr.io/distroless/python3-debian10: Python 3.7.3 一応サンプル等もありますが、どれも1ファイルで構成されたサンプルスクリプトばかりです。前回のsite-packagesにコピーする方法を軽く試したところうまく動かず、シェルもpipもensurepipもないため、ビルドイメージにすることもできません。いろいろ調べた結果、
Remote Development with VS Code を試してみた
TL;DR VSCode で container の中などでの開発をシームレスに実施できる拡張が発表された こういう機能は前から欲しかったので、ローカルで docker container 使って試した際のメモを残しておく まだ VSCode Insiders が必要な preview だけど、良い感じなので正式に取り込まれるのが楽しみ 最近は VSCode を使っていて、気に入ってもいる。 ただし docker で環境を用意することも多いので、container 内でプロセスを実行してそこでデバッグをしたいというときには不便な面もあった。 VSCode 入りの docker image をベースにして container で GUI アプリケーションを起動してそれを使えるようにする、みたいなのも試したことあるけど面倒だし key mapping がおかしかったりして結局使わなかった。 リ
GitHub - se7entyse7en/pydockenv: Python virtual environment, but backed by Docker!
I assume that everybody landing here knows the great advantages that virtual environment brings. The reason I've started this project is that Docker provides even better isolation from the underlying system, and brings the advantage of being really portable across different systems. In my personal experience sometimes it is difficult to replicate the same local virtual environment, and eventually
Pythonを使ったデータ分析に関する内容をJupyter Notebookにまとめ始めました - c-bata web
研究をかれこれ2年半ぐらい続けてきたので、研究をする中で必要になった機械学習の手法について調べたりコードを書いたりしてきたのですが、まだまだ触ったことのない機械学習の手法も多く、研究で必要になる手法以外の知識も付けたくなってきたので、勉強し始めました。 Sphinxにまとめるか悩んだのですが、「ひとまず簡単にスライドにできること」・「手元でもすぐにコードを実行できる」という理由でJupyter Notebookを使用しています。 もし誤りやタイポ等があれば、IssueやPRお待ちしております。 github.com 今のところ↓の2つについてまとめました。 Jupyter Notebook / Numpy / Pandas / matplotlib入門 決定木(Decision Tree) ノートブックの内容一覧 内容については今後何度も変更をすると思いますが、とりあえず今の予定としては下
Python 製負荷テストツール Locust を Docker コンテナで試す | cloudpack.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに 負荷試験ツールで個人的に好きなのは Siege ですが、負荷試験ツールの代名詞 JMeter の影に隠れてイマイチ存在感が薄いようです。やっぱり JMeter 一択なのかなと思っていた矢先に Locust という Python 製の負荷試験ツールがあることを以下のような記事で知りました。 Python製負荷試験ツールLocustで、分散負荷試験環境を準備する Docker + Google Container Engine でドカドカ負荷テスト 自分も百番煎じ位ですが boot2docker を使ってドカドカ Docker で Locust を試してみたいと思います。尚、オフィシャルサイトやドキュメントは下記の通りです。 locust.io Locust Documentation ちなみに Locust とはワ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DjangoとDockerで、オンライン実行環境を作る - naritoブログ
ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita
Ansibleを結構使ってみた/ansible-nikkei-2015