LLMにコードを「書かせて動かす」エージェントの作り方 — DockerサンドボックスでCSV分析を自律実行させるまで
7月22日、Towards Data Scienceが「Build an LLM Agent That Can Write and Run Code」と題した記事を公開した。LLM自身はコードを一切実行しない——この一見シンプルな設計原則が、コード実行エージェントのセキュリティと再現性を支えている。LLMはコードを「書く」だけで、「動かす」のはDockerコンテナ側だ。この分離をOpenAI Agents SDKで実装し、CSVの異常検知タスクを自律実行させるまでの手順が本記事では詳解されている。 7月22日、Towards Data Scienceが「Build an LLM Agent That Can Write and Run Code」と題した記事を公開した。LLM自身はコードを一切実行しない——この一見シンプルな設計原則が、コード実行エージェントのセキュリティと再現性を支えてい
GitHub Actions+Poetry+.env+pytest.ini+Dockerを使ってPytestのカバレージを表示させよう！ - Qiita
GitHub Actions+Poetry+.env+pytest.ini+Dockerを使ってPytestのカバレージを表示させよう！ 概要 GitHub Actions内でPytestが自動的に走るよう設定する方法について解説していきたいと思います 前提 フレームワークはDjango(Python) DBはMySQL docker-composeを使用(Django、MySQLのDockerfileは作成済み) secretsと.envファイルを使ってMySQLのパスワードやDjangoのホストを隠します Djangoのプロジェクトとアプリケーションを作成済み Poetryを設定済み DjangoとMySQLのDockerfileを作成してみたい方は以下の記事を参考にして作ってください Poetryについて知りたい方は以下の記事を参考にしてください はじめに GitHubにソースを上げ
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
Pythonでコードを書いてAWSやKubernetesのシステム構成図を出力できる「Diagrams」
システムの構成を社内で共有したり外部に説明したりする際に、システム構成図を作成した経験のあるエンジニアは多いはず。ダイアグラム作成ソフト「Diagrams」を使うと、AnsibleやSubiquityといった「Infrastructure as Code(IaC)」に関連するサービスのように、プログラミング言語のPythonでコードを書くことで、クラウドやオンプレミスの構成図を描くことができます。 Diagrams · Diagram as Code https://diagrams.mingrammer.com/ まずはDiagramsの動作に必要なパッケージをインストールします。今回Diagramsのインストールに利用するのはUbuntu 18.04です。 sudo apt install -y python3 python3-pip graphviz 続いてDiagramsをインスト
DockerでPython 3.8用のpsutilをインストールしてみた - Qiita
動機 ことの始まりはとある先輩からのオーダー。。。 「最新のpyhon3系で動かしているlambdaのメモリ容量取得するようなコードかいてよ。」 よっしわかったよ。 クソ野郎やってやろうじゃないかと意気込んでLambdaの最新のpython3系のランタイムをみたら、、、 python3.8.....になってた。えっ、、、いつのまに3.8に。。。。 ということでpyrhon3.8かつamazonlinux2(Lambdaの実行環境がamazonlinuxとのことなので)で インストールした外部ライブラリが必要になった。。。 Dockerファイル さくっとPython外部ライブラリを準備したかったのでDocker使いました。 Docker for Macです。 python3.8をインストールするために作成したDockerファイルは下記の通り FROM amazonlinux:2 RUN yu
Windows HomeにDockerを入れてPythonで簡易ウェブサーバーを動かす - Qiita
はじめに Dockerを勉強しようと思い、Windows10 HOME環境（←重要）でDocker InstallからDockerコンテナー内でPythonで簡易ウェブサーバーを動かすところまでやったのでまとめておく。 手順は抜け漏れがあるかもなので、何かうまくいかないところがあったらコメント貰えると嬉しいです。 Windows OSにおけるDocker Docker使うにあたりWindows10 ProとHomeで違うところ Dockerコンテナー内で簡易ウェブサーバーを動かす手順 Dockerのインストール Virtual Boxで動いているVMのなかを覗いてみる フォルダ・ファイルの構成を用意 Dockerファイルを記述する ウェブページを公開するpythonスクリプトを作成 Dockerイメージのビルド ビルドしたDockerイメージを実行 Dockerコンテナー内で動いているウェ
Python3の実行環境をDockerで用意する - Qiita
FROM centos/python-36-centos7:latest USER root RUN yum -y install java-1.8.0-openjdk RUN pip install flask pandas tabula-py uwsgi WORKDIR /src ENV PYTHONUNBUFFERED=1 FROM centos/python-36-centos7:latest Docker Hubのこのイメージをベースに使う USER root rootになる RUN yum -y install java-1.8.0-openjdk tabula-pyに必要なJavaをインストール RUN pip install flask pandas tabula-py uwsgi 必要なモジュールをインストール(flask,uwsgiは現時点では必要なし。後々利用) WO
Docker-composeでDjango開発環境構築+Nginx+uWSGI+MariaDB（macOS編） - Qiita
Docker for mac のインストール Dockerの公式サイトからDocker for macをダウンロードしてインストールします。 Dockerにサインインする必要がありますので、こちらからアカウントを作成します。 https://hub.docker.com/ Docker for mac を起動するとIDとパスワードを求められるので、先ほど作成したアカウントでログインします。 Dockerのコマンドを使う際にはDocker for macを起動して、サインインしておく必要があります。 参考：https://docs.docker.com/docker-for-mac/ Docker-composeで環境の構築 DockerはNginx、CentOS、MariaDB（MySQL）などのそれぞれのコンテナを立ち上げてコンテナ同士の接続をするという作業が必要です。これらの構成を記述
Mac で docker-compose コマンドがエラーで動かない ( pyenv とか python とか言ってくる ) #docker - Qiita
$ docker-compose --version Traceback (most recent call last): File "/Users/yumainaura/.pyenv/versions/3.7.3/bin/docker-compose", line 5, in <module> from compose.cli.main import main File "/Users/yumainaura/.pyenv/versions/3.7.3/lib/python3.7/site-packages/compose/cli/main.py", line 17, in <module> import docker File "/Users/yumainaura/.pyenv/versions/3.7.3/lib/python3.7/site-packages/docker/__ini
Pythonローカル開発環境構築テンプレート【Flask/Django/Jupyter with Docker + VSCode】 - Qiita
概要 ローカル環境を構築することには、それなりのコストを伴います。もちろんここで多少苦労したほうがよいという意見はすごく分かります。が、それで気持ちが削がれてしまうのももったいないと思う次第です。 そこで、Flask/Django/JupyterNotebook向けの Python開発環境構築を3コマンドで完了 させられるようなテンプレートを作成しました。(cdを除く) 前提条件 MacOSであること gitおよびmakeコマンドが有効であること(デフォルトで有効なはず) ※condaがインストールされている場合は、pipとのバッティングが発生し中途で失敗する可能性があります。 ローカル構築イメージ Dockerコンテナ上でアプリを動かすことになります。よく分かっていなくても、Dockerコンテナを使って開発していると言うことができます。 bind mountによってホストPCからコンテナ
[初心者向け]言われるままにFargate初めて触ったので、忘れないための記録 | DevelopersIO
こんにちは、平野です。 先日、部内の進捗報告のSlack部屋で 15分制限に引っかかりそうなのでLambda → Fargateへの変更作業 という文言を見かけました。 先日GlueのPython shellを使ってLambdaの15分の壁を越えようとした記事を書きましたが、 15分の壁を越えろ！GlueのPython shellでVPC Lambdaもどきの長時間ジョブを動かしてみた Fargateでも同じようなことができるのか、と思い、早速試してみようとしました。 （が、今回の記事ではそこまで達成できてません！） しかし、Fargateのこと何も知らないマンだったので、まずどこから触ったらいいのかまったく不明でした。 Fargateの入門記事を調べても、既存のECS環境からFargateへの移行記事などが多く Fargateがある時代にECSデビューする私にとってはツライものがありまし
![[初心者向け]言われるままにFargate初めて触ったので、忘れないための記録 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b6f361f3ee8728c6842ae104992fa3df666e5032/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-fargate.png)
自動化と時短を目的にCircleCIで暫定のCICD環境を作成した記録 | DevelopersIO
CircleCIにて暫定のCI/CDを行った際の設定過程です。常時実行が不要なbuildとdeployに対してManual Approvalを挟むことでリソース浪費防止を試みました。 はじめに 手作業によるbuild・deployのヒューマンエラー防止として自動化を検討する際に、ぶつかる壁として考えられるものに 手順をCI/CDに落とし込めるか 処理時間が肥大化しないか CI/CD設定作成が困難ではないか の3点があります。 今回、それらの課題を抑えつつも「既に出来上がっている手順を大きくは崩さない」前提でCircleCIの設定へ落とし込みをしてみました。 前提 本運用にて用いるプラットフォームの選定が完了していないものの、プラットフォームを変える選択肢有りでとりあえず自動化を済ませたいという目論見があります。既にCircleCI上でpytestの実行だけは行っており、その延長としてCI/
IntelliJ + Docker + Pythonの環境構築 - Qiita
はじめに Macbookを買い換えたのでPythonの開発環境を作り直すことになるのですが、ローカルに直接Pythonをインストールすると、ついうっかりglobalにパッケージをインストールしてしまったり、venvを使っていても環境を作り直したいときに一手間が面倒だったり、ということが嫌だったのでDockerを使って構築することにしました。 IntelliJにPluginインストール IntelliJにDocker Pluginが入っていない場合は Preferences > Pluginsからインストールします。 Pythonプロジェクトの作成 次にIntelliJを立ち上げてPythonプロジェクトを作成します。 Dockerの必要なイメージはこの後作るので、ここではとりあえず適当なProject SDKを選んでおきます。（ここではPython2.7(venv)になっています） それ以
プログラミング言語勉強用の環境を Visual Studio Code + Docker で手に入れてみる - かずきのBlog@hatena
Visual Studio Code を入れます。 azure.microsoft.com Visual Studio のリモート開発の拡張機能を入れます。 marketplace.visualstudio.com そして docker を入れます。 www.docker.com Windows の人は入れたら設定からドライブ共有をオンにしておきましょう。 Python 3 の環境が欲しい 適当なフォルダーを Visual Studio Code で開きます。 F1 や Ctrl + Shift + P あたりでコマンドパレットを出して Remote Add あたりで検索すると Remote Containers: Add Development Container Configuration Files... という項目が出てきます。 どんな開発環境が欲しいのかリストが出てくるので Py
Docker環境をECSにデプロイ - Qiita
はじめに これまでは Vagrant + VirtualBox で作った仮想環境上で、Dockerコンテナを動かしていましたが、これがどのようにAmazon Elastic Container Service (ECS) にデプロイされるかの手順が良く分かっていませんでした。 そこで、簡単なWebアプリケーションコンテナをECSにデプロイして、AWS上で動作確認するところまでをやってみようと思います。 目次 Docker イメージを用意 ローカルでのDockerイメージの動作確認 AWS CLIをインストール ECRにPUSHする為のIAMユーザを作成 AWS CLIに認証情報を設定 キーペアの作成 ECRにリポジトリを作成 ECRの該当リポジトリにPUSH ECSのタスク定義を作成 ECSのクラスターを作成 ECSのタスクを実行 動作確認 Docker イメージを用意 今回はAWS上での
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Docker】3分でjupyterLab(python)環境を作る！ - Qiita
データサイエンスのためのPython入門①〜DockerでJupyter Labを使う〜 - 米国データサイエンティストのブログ
docker-pyを使ってpythonでコンテナを操作する方法 - Qiita