【全2回】AWS Lambda x FastAPIによるPythonモダンAPI開発のすゝめ 1 - RAKSUL TechBlog
はじめに この記事を読んで得られること 対象読者 あまり説明しないこと 前提とするバージョン 参考となるレポジトリ 1. 開発環境の構築で使用したツール AWS Lambdaのコンテナサポートを採用 Poetry利用時に開発と本番環境の適切な管理でLambdaデプロイ問題を解決 Poetry利用時に起きた問題 Dockerfileを分けてデプロイできない問題を回避 Mutagen Composeを採用 Dockerの同期遅い問題 Mutagen Composeを利用 2. 開発で活用したPythonライブラリ パッケージ管理 Poetry Ryeも検討したものの採用せず ベースのライブラリ FastAPI Mangum Powertools for AWS Lambda リンター・フォーマッター Ruff Mypy 型アノテーション自動生成ツールの活用 Black テスト Pytest p
「Google Colab」で「LLaMA-Factory」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. LLaMA-Factory「LLaMA-Factory」は、WebUIによる簡単操作でLLMを学習できるLLMファインチューニングフレームワークです。 サポートするモデルは、次のとおりです。 サポートする学習法は、次のとおりです。 サポートするデータセットは、次のとおりです。 事前学習データセット ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Wikipedia (en) ・Wikipedia (zh) ・Pile (en) ・SkyPile (zh) ・The Stack (en) ・StarCoder (en) SFTデータセット ・Stanford
The /llms.txt file – llms-txt
A proposal to standardise on using an /llms.txt file to provide information to help LLMs use a website at inference time. Background Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety. Converting complex HTML pages with navigation, ads, and JavaScript into LLM-friendly plain text is
本番稼働を意識したECS Fargateを用いたFastAPIの環境構築（ALB、SSM、BlueGreenデプロイ） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 0. 背景 ECS Fargateは、2018年に東京リージョンでの提供街開始され、サーバーやクラスターを管理することなくコンテナを実行することができる、いわゆるサーバーレスの実行環境です。Fargateの特徴の詳細はこの記事では述べませんが、使ってみたい技術ではあるものの、コンテナにログインしてデバッグするなどができず、本番環境での利用は躊躇してきました。コンテナに入ることができないというのはセキュリティ面ではメリットであるものの、本番で再現したバグのデバッグなどは直接入ってデバッグしたいという思いは出てくるものです。きちんとテストし
fastapiのスレッド周り動作確認
❯❯🐨❯❯ sw_vers ProductName: macOS ProductVersion: 12.2.1 BuildVersion: 21D62 ❯❯🐨❯❯ poetry -V Poetry version 1.1.12 ❯❯🐨❯❯ poetry run python -V Python 3.9.4 ~/Codes/fastapi_experiment ❯❯🐨❯❯ poetry show anyio 3.6.2 High level compatibility layer for multiple asynchronous event loop ... attrs 22.1.0 Classes Without Boilerplate click 8.1.3 Composable command line interface toolkit fastapi 0.87.0 Fas
【RVC v2モデル対応版】日本人のためのRVC WebUIの使い方：AIボイスチェンジャー | 子供プログラマー
【今後の開発に関して】（2024年12月24日） Google Colaboratory版のRVC WebUIのチュートリアルコードのご利用いただき、ありがとうございました。 今後の開発は、クラウドGPUサービスの1つであるRunPodで継続していきます。 今後もクラウドサービス上でRVC WebUIを使いたい方は、以下の記事ページを参照ください。 チュートリアル記事： 【RunPod編】RVC WebUIをはじめよう – AIボイスチェンジャー（一覧） 現在利用できるノートブック（2024年12月24日時点） ・オリジナル版RVC v1モデル対応RVC WebUI ・オリジナル版RVC v2モデル対応RVC WebUI ・ddPn08版RVC v1モデル対応RVC WebUI ・ddPn08版RVC v2モデル対応RVC WebUI 【動画で解説】RVC v2モデル対応版：オリジナル版
Docker/docker-composeのインストール Dockerのインストールはこちらを参考にしてください。 プロジェクトの作成 まず、任意のディレクトリを作成し、その中に以下の３つのファイルを作成します。 Dockerfile.llama Dockerfile docker-compose.yml Dockerfile.llama # ビルドステージ ARG CUDA_IMAGE="12.5.0-devel-ubuntu22.04" FROM nvidia/cuda:${CUDA_IMAGE} # 外部からのアクセスを許可するために、ホストを0.0.0.0に設定する必要がある ENV HOST 0.0.0.0 # 必要なパッケージのインストールと OpenCL の設定 RUN apt-get update && apt-get upgrade -y \ && apt-get ins
Beginnings I'm old enough to remember when Vagrant looked like a promised land where every development environment would look the same. Differences between language versions, as well as some unusual OS version differences, resulted in a few days of unproductive debugging of your development environment. I've had similar excitement when I started my first Docker Swarm (who uses that these days?!) -
Before jumping into Celery. Let's start with the most straightforward tool to help us understand background tasks. FastAPI already has a BackgroundTasks class that can help us implement simple background tasks. Let's create a virtual environment to isolate our project requirements. python -m venv env Now, all we need is FastAPI and a web server e.g. Uvicorn or Hypercorn. Before installing these le
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Colab で LLaMA-Factory を試す｜npaka
ローカルLLMでGraphRAGを実装して「クリスマスキャロル」を分析してみた - Sun wood AI labs.2
Switching from Docker to Podman
Background Tasks in FastAPI