2026年3月24日、LLMプロキシライブラリ LiteLLM の PyPI パッケージが侵害されました。 攻撃者は PyPI のメンテナアカウント（krrishdholakia）を乗っ取り、クレデンシャル窃取・Kubernetes 対象のラテラル・永続化マルウェアを含むバージョン 1.82.7 および 1.82.8 を公開しました。 本記事では公開情報をもとに、事象の概要を記録します。また、対応指針を示します。 免責 本記事の目的は事態の把握と対応の促進であり、違法行為への加担・助長を意図するものではありません。 ペイロードの動作は手法の理解に必要な範囲で要約して記載しています。 記述の一部には不正確な情報が含まれている可能性があります。 速報性を優先していますので、ご了承ください。 TL;DR - 対応指針 pip show litellm によりインストール済バージョンを確認してくだ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 株式会社ベーシック 川上です。 昨年12月にAnthropicからMCPが発表され、現在さまざまなMCPサーバーが公開されています。個人でも自由にMCPサーバーを公開することができ、VisualStudio公式でまとめられていたり、AIBaseで公開されていたりします。そんな中、公式ドキュメントでMCPサーバーを利用した「混乱した副官問題」についてセキュリティベストプラクティスが書かれており、MCPサーバーを利用した際のセキュリティ対策について気になったのでまとめようと思います。 MCPの通信プロトコル MCPサーバーがクライ
GitHub - getagentseal/codeburn: See where your AI coding tokens go. Interactive TUI dashboard for Claude Code, Codex, and Cursor cost observability.
See where your AI coding tokens go. By task type, tool, model, MCP server, and project. Supports Claude Code, Codex (OpenAI), Cursor, cursor-agent, OpenCode, Pi, OMP (Oh My Pi), and GitHub Copilot with a provider plugin system. Tracks one-shot success rate per activity type so you can see where the AI nails it first try vs. burns tokens on edit/test/fix retries. Interactive TUI dashboard with grad
GitHub - BerriAI/litellm: Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VL
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
> April 15, 2026 by Zetaphor updated April 18, 2026 Friends Don't Let Friends Use Ollama Ollama gained traction by being the first easy llama.cpp wrapper, then spent years dodging attribution, misleading users, and pivoting to cloud, all while riding VC money earned on someone else's engine. Here's the full history, and why the alternatives are better. Ollama is the most popular way to run local L
Bedrockを無敵にするツールを発見しました。 その名も「 LiteLLM 」 LiteLLMとは 公式サイト：https://github.com/BerriAI/litellm LiteLLMは 様々な生成AIのAPIを一つのAPIインターフェイスで呼び出せるようにするツール です。 使い方は大きく2つあります。 LiteLLM python SDK OpenAI proxy Server 対応している生成AI APIはこちら 無敵①：LiteLLM python SDKで様々なAPIを一つのインターフェイスで呼ぶ まずはLiteLLM python SDKを解説します。
Security Update: Suspected Supply Chain Incident | liteLLM
Status: Active investigation Last updated: March 27, 2026 Update (March 30): A new clean version of LiteLLM is now available (v1.83.0). This was released by our new CI/CD v2 pipeline which added isolated environments, stronger security gates, and safer release separation for LiteLLM. Update (March 27): Review Townhall updates, including explanation of the incident, what we've done, and what comes
https://github.com/BerriAI/litellm Call 100+ LLMs using the OpenAI Input/Output Format Translate inputs to provider's completion, embedding, and image_generation endpoints Consistent output, text responses will always be available at ['choices'][0]['message']['content'] Retry/fallback logic across multiple deployments (e.g. Azure/OpenAI) - Router Track spend & set budgets per project LiteLLM Prox
Multi-Provider Generative AI Gateway on AWSでLiteLLM Proxy ServerをECSにデプロイしてみた | DevelopersIO
ECSへのデプロイ Amazon ECS Deployment に沿って、ECSへのデプロイを試してみます。 まずは、環境変数を指定します。 今回デフォルト(.env.template)から変えた値は、以下の変数です。 LITELLM_VERSION: デプロイするLiteLLMのバージョン。今回は現時点で最新のstableを指定 参考: LiteLLMのバージョン一覧 TERRAFORM_S3_BUCKET_NAME: tfstateを格納するS3バケット名を指定。存在しないバケット名を指定した場合は作成されます。 DESIRED_CAPACITY、MIN_CAPACITY、MAX_CAPACITY、ECS_VCPUS、RDS_INSTANCE_CLASS: 今回は検証目的なので、可用性等は考慮せず、リソースサイズを小さく設定 今回利用した.envファイル # LITELLM_VERSI
ClineからLiteLLM Proxyを通してAmazon Bedrockを利用する | DevelopersIO
大阪オフィスの小倉です。 以下のAmazon Web Services ブログをみて、LiteLLM Proxyの存在を知りました。 開発生産性向上とガバナンスの両立を目指した、Cline with Amazon Bedrock と LiteLLM 活用のコツ | Amazon Web Services ブログ 調べてみると、すでに活用されている方の記事も結構あり、大変便利そうだったので自分でざっと試した内容を紹介しようと思います。 LiteLLMとは GitHub - BerriAI/litellm: Python SDK, Proxy Server (LLM Gateway) to call 100+ LLM APIs in OpenAI format - [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker,
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
Langfuseのセットアップ Langfuseとは Langfuseは、LLMアプリケーションの開発・運用を支援するオープンソースプラットフォームです。主な機能は以下の通りです： 計測: LLM呼び出しのトレース、速度計測、コスト計測 管理: プロンプトのバージョン管理とデプロイ 評価: LLMを活用した評価、ユーザーフィードバックの収集 テスト: データセットを用いたベンチマーク実施 今回は主にトレース機能を利用して、AIとの通信内容を記録・分析します。 インストール手順 公式GitHubリポジトリの手順に従ってセットアップを行います： # Clone repository git clone https://github.com/langfuse/langfuse.git cd langfuse # Run server and database docker compose up
![[Docker] LiteLLM + Langfuse をローカルにDockerで立ち上げる](https://cdn-ak-scissors.b.st-hatena.com/image/square/d15f39b8d5c1b4022f54deaa200376636d61250e/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--MfpKX1VD--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BDocker%25255D%252520LiteLLM%252520%25252B%252520Langfuse%252520%2525E3%252582%252592%2525E3%252583%2525AD%2525E3%252583%2525BC%2525E3%252582%2525AB%2525E3%252583%2525AB%2525E3%252581%2525ABDocker%2525E3%252581%2525A7%2525E7%2525AB%25258B%2525E3%252581%2525A1%2525E4%2525B8%25258A%2525E3%252581%252592%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E8%252596%2525AC%2525E7%2525BC%2525B6%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EvQUxtNXd1MVY0WmE2OW5hUVJ1QTJhZWJEVlJsRVE1dVVBWkdvQVZOQUtkeUtlUT1zOTYtYw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png%3F_a%3DBACAGSGT)
GitHub - langroid/langroid: Harness LLMs with Multi-Agent Programming
This is just a teaser; there's much more, like function-calling/tools, Multi-Agent Collaboration, Structured Information Extraction, DocChatAgent (RAG), SQLChatAgent, non-OpenAI local/remote LLMs, etc. Scroll down or see docs for more. See the Langroid Quick-Start Colab that builds up to a 2-agent information-extraction example using the OpenAI ChatCompletion API. See also this version that uses t
2025年は新しいAI/LLM技術の流行が生まれては消えてを繰り返した1年でした。業界全体で様々なAIのセキュリティ対応が進められてきました。2026年もAIの利活用はさらに拡大し、新しい技術の登場とともにセキュリティ対策が求められるでしょう。本記事では、2025年の主要なトピックを振り返り、2026年のAI Security現場で想定される業界全体の課題を具体的なアクションアイテムに落とし込み、AIを安全に利用・提供するためのセキュリティ対策をまとめます。 → English version 2025年の振り返り 2025年のAI Security活動では、新たに登場するAI技術の導入と並行してセキュリティ対策を進めてきました。2025年初期はベストプラクティスが少なかったものの、現在では以下のような網羅的なガイドラインが整備され、認知も進んでいます。 OWASP Top 10 Ris
litellm/cookbook/proxy-server/readme.md at main · BerriAI/litellm
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2026年3月24日の LiteLLM 侵害の概要と対応指針
MCPにおけるセキュリティリスク - Qiita
Friends Don't Let Friends Use Ollama | Sleeping Robots
Bedrockが無敵になれるツール"LiteLLM" - Qiita
LiteLLM - Getting Started | liteLLM
[Docker] LiteLLM + Langfuse をローカルにDockerで立ち上げる
2026年のAI Securityの挑戦 | hi120ki