OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
LLMによるコード補完の登場 (2021年) GitHub Copilotの登場 我々がよく知るLLMによる支援はまず GitHub Copilot から始まりました。これはGPT-3 (OpenAI Codex, 現在のCodexと名前が同じで本当にややこしい) をベースとしたコード補完システムで、タイピングをしていると自動的にその行の続きを予測してくれるものです autocompleteとの違い それ以前にもIntelliSenseのようなautocompleteがありましたし、より進歩したn-gramなどを用いたものはありましたが、LLMをベースとしたものはTabnine (Tabnineは初期はn-gramモデル) やCopilotからとなります チャットベースのコードアシストの時代 (2022-2023年) ChatGPTの登場 ChatGPT以降、チャットによる対話形式でコード
tl;drJSON Schema で指定したフォーマットで出力を制御可能になったよ cURL / Python / JavaScript のそれぞれで試してみたよ 具体的な実用例があったのでそれも動かしてみたよ 使う上での tips や今後どんな機能が追加されるかまとめたよ 公開されたブログの流れに準拠しつつ、意図がズレない範囲で翻訳、解説、コードの実行をしていきます。チュートリアルになっているので、よかったら手を動かして試してみてください。 Ollama が structured outputs をサポート。JSON Schema で定義したフォーマットに LLM の出力を制御するすることが可能になりました。Ollama の Python と JavaScript のそれぞれのライブラリにおいてもサポートするよう更新。 ブログでは structured outputs のユースケースとし
GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. 2slides - An MCP server that provides tools to convert content into slides/PPT/presentation or generate slides/PPT/presentation with user intention. ActionKit by Paragon - Connect to 130+ SaaS inte
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。 本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
I left OpenAI three weeks ago. I had joined the company back in May 2024. I wanted to share my reflections because there's a lot of smoke and noise around what OpenAI is doing, but not a lot of first-hand accounts of what the culture of working there actually feels like. Nabeel Qureshi has an amazing post called Reflections on Palantir, where he ruminates on what made Palantir special. I wanted to
LayerX のバクラク事業部の AI・機械学習部で機械学習エンジニアをしている島越（@nt_4o54）です。こちらはLayerX AI Agent ブログリレー 31 日目の記事です。 昨日は松村 (@yu__ya4)による「Langfuse の Experiment Runner SDK を利用した AI エージェント機能の性能評価と実験管理」でした。 無事にこのブログリレーも日付換算で一ヶ月を突破しました。過去のブログ記事も知見が溢れているので、是非ご覧ください！ はじめに LLM 以前の機械学習システムにおけるパーソナライゼーション LLM を用いたシステムにおけるパーソナライゼーション In-Context Learning (ICL): Prompt による動的適応 Prompt の自動最適化 その他の最適化手法 DSPy による Prompt 最適化実践 データセット 推論の
LLM Servingを支える技術
ワシントン大学/Kotoba Technologiesの釜堀です。専門は機械学習システムで、LLMなどの推論を効率化する技術を研究・開発しています。 現代のLLMは莫大な計算・メモリを要するため、LLMを使ったサービスを提供する際には推論の効率性が非常に重要です。この分野はここ数年活発に研究されていて、vLLMやSGLangなど非常に高性能なOSSも出てきています。LLMのservingは、コンピュータサイエンスの知見を総動員させて最適化されている奥深い世界ですが、一方で中身を理解するには多くの前提知識が必要です。 そこでこの記事ではTransformerモデルを中心に、LLMのserving system（多数のクライアントにLLM推論を提供するシステム）でどのようなテクニックが使われているのかについて体系的に解説していきます。 構成としては、LLM servingで最も重要な概念である
型安全かつシンプルなAgentフレームワーク「PydanticAI」の実装を解剖する - ABEJA Tech Blog
はじめに こちらはABEJAアドベントカレンダー2024 12日目の記事です。 こんにちは、ABEJAでデータサイエンティストをしている坂元です。最近はLLMでアプローチしようとしていたことがよくよく検証してみるとLLMでは難しいことが分かり急遽CVのあらゆるモデルとレガシーな画像処理をこれでもかというくらい詰め込んだパイプラインを実装することになった案件を経験して、LLMでは難しそうなことをLLM以外のアプローチでこなせるだけの引き出しとスキルはDSとしてやはり身に付けておくべきだなと思うなどしています（LLMにやらせようとしていることは大抵難しいことなので切り替えはそこそこ大変）。 とはいうものの、Agentの普及によってより複雑かつ高度な推論も出来るようになってきています。弊社の社内外のプロジェクト状況を見ていても最近では単純なRAG案件は減りつつあり、計画からアクションの実行、結果
LangGraph を用いた LLM エージェント、Plan-and-Execute Agents の実装解説 - Algomatic Tech Blog
はじめに こんにちは。Algomatic LLM STUDIO 機械学習エンジニアの宮脇（@catshun_）です。 Wang+’23 - A Survey on Large Language Model Based Autonomous Agents ChatGPT が発表されてからおよそ 1 年が経ち、AutoGPT, BabyAGI, HuggingGPT, Generative Agents, ChatDev, Mind2Web, Voyager, MetaGPT, Self-Recovery Prompting, OpenCodeInterpreter, AutoAgents などなど、大規模言語モデル (LLM) の抱負な知識および高度な推論能力を活用した LLM エージェント (AIエージェント) が発表されています。 直近ではコード生成からデバッグ、デプロイまで自律的に行う
What We Learned from a Year of Building with LLMs (Part I)
It’s an exciting time to build with large language models (LLMs). Over the past year, LLMs have become “good enough” for real-world applications. The pace of improvements in LLMs, coupled with a parade of demos on social media, will fuel an estimated $200B investment in AI by 2025. LLMs are also broadly accessible, allowing everyone, not just ML engineers and scientists, to build intelligence into
Pythonで始めるリランカー実装：mixedbread-ai、Alibaba-NLP、OpenAI GPTを比べてみた - RAKUS Developers Blog | ラクス エンジニアブログ
mixedbread-ai/ Alibaba-NLP / OpenAI GPTによるリランキング【実装サンプル付き】 はじめに RAGをはじめとする現代の情報検索システムでは、「リランカー（Reranker）」と呼ばれる仕組みが使われることがあります。 検索候補を単にキーワードマッチやベクトル検索でピックアップするだけでなく、さらに高精度なモデル(＝リランカー)で再スコアリング（再ランキング）することで、ユーザーが本当に求めている情報を上位に表示できます。 本記事では、筆者が実際に業務中の検証作業で利用した次の3つのモデル: mixedbread-ai/mxbai-rerank-v2 Alibaba-NLP/gte-multilingual OpenAIのGPT（Chatモデルをリランカーとして活用） を題材に、特徴や実装例を紹介します。 mixedbread-ai/ Alibaba-NL
31st December 2024 A lot has happened in the world of Large Language Models over the course of 2024. Here’s a review of things we figured out about the field in the past twelve months, plus my attempt at identifying key themes and pivotal moments. This is a sequel to my review of 2023. In this article: The GPT-4 barrier was comprehensively broken Some of those GPT-4 models run on my laptop LLM pri
Lambda Durable Functions で Human-in-the-Loop なAIエージェントを実装する！ - Taste of Tech Topics
1.はじめに こんにちはデータ分析エンジニアの木介です。 今回は2025年12月にAWSより発表された Lambda Durable Functions を使って Human-in-the-Loop なAgentの構成を紹介します。 Lambda Durable Functions を使うと、複数ステップの処理を 最大1年間 継続できます。 また、承認待ちのように処理を進められない間はLambdaの実行を一度止めた状態で待機でき、その間は実行時間として扱われません。 そのため、Human-in-the-Loop のように「数時間〜数日待つ」ワークフローでも、サーバレスのまま実装しやすくなります。 aws.amazon.com 以下のような人間の承認が必要となるようなAgentを、 Lambda Durable Functions によりサーバレス構成で実現しています。 Human-in-t
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.1.16 【最新版の情報は以下で紹介】 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント v0.1 ではlangchainパッケー
I've used many content formats over the years, and while I love Markdown, I run into its limitations daily when I work on larger documentation projects. In this issue, you'll look at Markdown and explore why it might not be the best fit for technical content, and what else might work instead. Markdown Lacks the Structure You Need Markdown is everywhere. It's human-readable, approachable, and has j
There are many different ways to build with LLMs, including training models from scratch, fine-tuning open-source models, or using hosted APIs. The stack we’re showing here is based on in-context learning, which is the design pattern we’ve seen the majority of developers start with (and is only possible now with foundation models). The next section gives a brief explanation of this pattern; experi
Patterns for Building LLM-based Systems & Products [ llm engineering production 🔥 ] · 66 min read Discussions on HackerNews, Twitter, and LinkedIn “There is a large class of problems that are easy to imagine and build demos for, but extremely hard to make products out of. For example, self-driving: It’s easy to demo a car self-driving around a block, but making it into a product takes a decade.”
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? まえがき 「ここ数年でバズったAI技術や、最近勢いのある生成系AI技術をキャッチアップしたい」 最近のLLMブームにより、一般の人も簡単にAI技術を使いこなせるようになりました。 特に、もともとAIに明るくなくても、エンジニアなら実装までできるので、インパクトのあるプロダクトを作ることが可能になりました。 「これまでモデル開発をしてきたデータサイエンティスト・AIエンジニアの立場が危ぶまれている気がする」 そんな危機感から、一通り、まずは知る・使えるようになることを目指してこの記事を書くことにしました。 前半パート: 使ってみる編（全員
以下の記事が面白かったので、簡単にまとめました。 ・Introducing Structured Outputs in the API 1. Structured Outputs昨年のDevDayで、「JSONモード」を導入しました。これは、OpenAIのモデルを使用して信頼性の高いアプリを構築しようとしている開発者にとって便利な構成要素です。「JSONモード」は、有効なJSON出力を生成するためのモデルの信頼性を向上させますが、モデルの応答が特定のスキーマに準拠することを保証するものではありません。本日、APIに「Structured Outputs」を導入します。これは、モデルによって生成された出力が、開発者が提供するJSONスキーマと完全に一致するように設計された新機能です。 複雑なJSONスキーマのフォローの評価では、「Structured Outputs」を備えた新しいモデル「g
Pydantic AI
Pydantic AI: Python Agent Framework for GenAI Pydantic AI: Python Agent Framework for GenAI Pydantic AI Installation: Setup and Requirements Pydantic AI Support: Slack Channels & GitHub Pydantic AI Error Handling & Troubleshooting Pydantic AI Gateway Documentation Pydantic Evals Pydantic Graph Integrations Related Packages Examples API Reference Project GenAI Agent Framework, the Pydantic way Pyda
概要 本書では、OpenAIによるAIサービスを利用するためのOpenAI API、オープンソースのLLMアプリ開発ライブラリLangChain を使って、LLM（大規模言語モデル）を活用したRAG（検索拡張生成）アプリケーション、そしてAIエージェントシステムを開発するための実践的な知識を基礎からわかりやすく解説します。 OpenAI のチャットAPI、プロンプトエンジニアリング、LangChainの基礎知識 について解説したあと、RAGの実践的手法や評価のハンズオンを行います。今後の生成AIシステム開発で重要となるAIエージェント開発はLangGraphを使って行い、さらにAIエージェントのデザインパターンと、パターン別のAIエージェントハンズオンまで解説します。 OpenAIのAPIとフレームワークLangChainを学ぶことで、LLMの性質を活かしたサービスや業務システムを構築する
[Revised] You Don’t Need to Spend $100/mo on Claude Code: Your Guide to Local Coding Models
[Edit 1] This article has been edited after initial release for clarity. Both the tl;dr and the end section have added information. [Edit 2] This hypothesis was actually wrong and thank you to everyone who commented! Here’s a full explanation of where I went wrong. I want to address this mistake as I realize it might have a meaningful impact on someone's financial position. I’m not editing the act
![[Revised] You Don’t Need to Spend $100/mo on Claude Code: Your Guide to Local Coding Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb5a0a1bad79efe630f681954cb77f2ea1dc7dec/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fsubstackcdn.com%2Fimage%2Ffetch%2F%24s_%21fARn%21%2Cw_1200%2Ch_600%2Cc_fill%2Cf_jpg%2Cq_auto%3Agood%2Cfl_progressive%3Asteep%2Cg_auto%2Fhttps%253A%252F%252Fsubstack-post-media.s3.amazonaws.com%252Fpublic%252Fimages%252Fb194c53f-7b2b-4f74-942b-5cf1c59b32aa_1920x1080.jpeg)
Deep Research再現実装をDeep Research以上に詳しく検証してみた - AKARI Tech Blog
はじめに こんばんは！ 今週のAKARI Tech Blogは、DX Solution 事業本部 Dev の許が担当いたします。 先日OpenAIが「Deep Research」を公開し、その驚異的な文献調査能力が話題となりましたね！ 皆様使っていますでしょうか。 これまでひいこら言いながらインターネット検索していた時代と比べると、「Deep Research お願いします！」で、それなりの分析レポートが出てくることに隔世の感を感じますね。 これだけ性能の良いものが出てきた以上、仕組みが気になるところ。できることなら、自分たちでも再現実装してみたい！ しかし例によってOpenAIは実装をオープンにはしてくれない……。 そこで登場するのが、Deep ResearchのOSS再現プロジェクトたち！ まずは Deep ResearchにOpenな再現実装について聞いてみましょうか。 ChatGP
LangChain Interrupt Day 1 参加レポート！メール対応エージェントを中心としたハンズオンが中心の一日に - Generative Agents Tech Blog
日本時間2025年5月14日から15日にかけて、サンフランシスコにてAIエージェント開発に特化したテックイベント「LangChain Interrupt」が開催中されています。 ジェネラティブエージェンツはLangChainアンバサダーとして本イベントに現地参加しています。 interrupt.langchain.com 本記事では、現地参加して得られたDay 1の模様をダイジェストでお届けします。Day 1は、メールエージェントを題材に、LangChainエコシステムの各コンポーネント（LangGraph, LangSmithなど）を駆使して、アイデアから本番稼働可能なエージェントを構築していく過程を体験する、ハンズオン中心の一日となりました。 本日のハンズオンは、公開されている次のリポジトリの内容にのっとったものとなっています。ぜひリポジトリとあわせて記事をご覧ください。 github
The Andrej Karpathy episode. Andrej explains why reinforcement learning is terrible (but everything else is much worse), why model collapse prevents LLMs from learning the way humans do, why AGI will just blend into the previous ~2.5 centuries of 2% GDP growth, why self driving took so long to crack, and what he sees as the future of education. Watch on YouTube; listen on Apple Podcasts or Spotify
Blog
Hachi: An (Image) Search engine Only the dead have seen the end of war .. George Santayana For quite some time now, i have been working on and off on a fully self-hosted search engine, in hope to make it easier to search across Personal data in an end to end manner. Even as individuals, we are hoarding and generating more and more data with no end in sight. Such "personal" data is being stored fro
Using skills to accelerate OSS maintenance | OpenAI Developers
Keep workflows in the repo In these repos, we use skills to capture repository-specific workflows. A skill is a small package of operational knowledge: a SKILL.md manifest, plus optional scripts/, references/, and assets/. The Codex customization docs describe why this works well: skills are a good fit for repeatable workflows because they can carry richer instructions, scripts, and references wit
Eliciting Reasoning in Language Models with Cognitive Tools Brown Ebouky IBM Research - Zurich ETH Zurich Brown.Ebouky@ibm.com Andrea Bartezzaghi IBM Research - Zurich abt@zurich.ibm.com Mattia Rigotti IBM Research - Zurich mrg@zurich.ibm.com Abstract The recent advent of reasoning models like OpenAI’s o1 was met with excited spec- ulation by the AI community about the mechanisms underlying these
Version 1.108 is now available! Read about the new features and fixes from December. Release date: August 7, 2025 Update 1.103.1: The update adds GPT-5 prompt improvements, support for GPT-5 mini, and addresses these issues. Update 1.103.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the July 2025 rele
Update 1.94.1: The update addresses this security issue. Update 1.94.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the September 2024 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some of the key highlights include: Find in Explorer - Quickly find file
Transformer models: an introduction and catalog — 2023 Edition January 16, 2023 52 minute read This post is now an ArXiV paper that you can print and cite. Update 05/2023 Another pretty large update after 4 months. I was invited to submit the article to a journal, so I decided to enlist some help from some LinkedIn colleages and completely revamp it. First off, we added a whole lot of new models,
TLDR: We are introducing a new tool_calls attribute on AIMessage. More and more LLM providers are exposing API’s for reliable tool calling. The goal with the new attribute is to provide a standard interface for interacting with tool invocations. This is fully backwards compatible and is supported on all models that have native tool-calling support. In order to access these latest features you will
OpenRouter経由でGPTを使うほうが、OpenAIから直接使うよりも安い現実【2025年1月現在】｜伊志嶺(LLMで業務改善する人)
OpenRouter経由でGPTを使うほうが、OpenAIから直接使うよりも安い現実【2025年1月現在】 Open Routerは複数のAIモデルにアクセスできる統一インターフェースを提供する革新的なプラットフォームです。 GPT, Claude, Geminiはもちろん、最近話題のDeepSeek V3などにも同じPythonコードで利用できます。 以下のような感じです。 # どのモデルを使う場合でも、クライアントの宣言方法は同じ client = openai.OpenAI(api_key="OPEN_ROUTER_API_KEY", base_url="https://openrouter.ai/api/v1") # GPTのテスト response = client.chat.completions.create( model="google/gemini-flash-1.5",
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・langchain 0.3.0 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 3. LangChain のモジュール「LangChain」は、言語モデル アプリケーションの構築に使用できる多くのモジュールを提供します。モジュールを組み合わせて
prompty.ai
Prompty is a markdown file format for LLM prompts — define model config, inputs, tools, and templates in YAML frontmatter, then execute across Python and TypeScript. A .prompty file pairs YAML frontmatter with a markdown prompt body in a single, portable asset. Define your model, inputs, tools, and template — then execute it from Python, TypeScript, or VS Code with one command. Model configuration
Deconstructing prompt-based meta-tool architecture and context injection patterns for AI engineering - Claude’s Agent Skills system represents a sophisticated prompt-based meta-tool architecture that extends LLM capabilities through specialized instruction injection. Unlike traditional function calling or code execution, skills operate through prompt expansion and context modification to modify ho
Context Engineering - Short-Term Memory Management with Sessions from OpenAI Agents SDK
Prerequisites Before running this cookbook, you must set up the following accounts and complete a few setup actions. These prerequisites are essential to interact with the APIs used in this project. Step0: OpenAI Account and OPENAI_API_KEY Purpose: You need an OpenAI account to access language models and use the Agents SDK featured in this cookbook. Action: Sign up for an OpenAI account if you don
門脇（@satoru_kadowaki）です。2026年2月の「Python Monthly Topics」は、Python向けAIエージェントフレームワーク「Pydantic AI」について紹介します。 はじめに LLM（大規模言語モデル）をアプリケーションに組み込む開発が一般的になりつつあります。LLMからの出力は、基本的には「ただの文字列」ですが、LLMのAPIから構造化されたデータを取得する手段も充実してきています。主要なAIプロバイダーでは、以下のようにJSONスキーマ（JSON Schema）に沿った出力を保証する機能も提供されており、構造化された結果を得ることも比較的正確にできるようになってきました。 ［OpenAI］OpenAI Developers: Structured model outputs ［Anthropic］Claude API Docs: Structur
An AI-native software engineer is one who deeply integrates AI into their daily workflow, treating it as a partner to amplify their abilities. This requires a fundamental mindset shift. Instead of thinking “AI might replace me” an AI-native engineer asks for every task: “Could AI help me do this faster, better, or differently?”. The mindset is optimistic and proactive - you see AI as a multiplier
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Coding Agentについてのまとめ (2026年1月)
Ollama で structured outputs （構造化出力）を試す｜ぬこぬこ
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
Reflections on OpenAI
AI Agent時代における「使えば使うほど賢くなるAI機能」の開発 - LayerX エンジニアブログ
Things we learned about LLMs in 2024
LangChain v0.1 クイックスタートガイド - Python版｜npaka
Issue 45 - Markdown is Holding You Back
Emerging Architectures for LLM Applications | Andreessen Horowitz
Patterns for Building LLM-based Systems & Products
無料で学ぶ！生成AIとバズった技術まとめ（LLM、LangChain、Dify、SAM2、Stable Diffusion、RVCなど） - Qiita
OpenAI API の Structured Outputs の使い方｜npaka
LangChainとLangGraphによるRAG・AIエージェント［実践］入門 | 技術評論社
Andrej Karpathy — AGI is still a decade away
Eliciting Reasoning in Language Models with Cognitive Tools
July 2025 (version 1.103)
September 2024 (version 1.94)
Transformer models: an introduction and catalog — 2023 Edition
Tool Calling with LangChain
LangChain v0.3 クイックスタートガイド - Python版｜npaka
Claude Agent Skills: A First Principles Deep Dive
PythonでLLMアプリ開発を型安全に扱う ― Pydantic AI入門 | gihyo.jp
The AI-Native Software Engineer