GPT-5 の新パラメータとツール｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・GPT-5 New Params and Tools - OpenAI Cookbook 1. verbosity1-1. 概要「verbosity」は、出力トークン数を調節できます。 ・low : 簡潔なUX、簡潔な文章 ・medium (デフォルト) : バランスの取れた詳細 ・high : 詳細な情報。監査、教育、引き継ぎに最適 1-2. verbosityの効果の確認プロンプトを一定に保ったまま、「verbosity」を変更することで、効果を確認できます。 response = client.responses.create( model="gpt-5", input="人生、宇宙、そして万物に関する究極の問いに対する答えは何でしょうか?", text={ "verbosity": "low" } ) print(response
こんにちは、NTTドコモR&D戦略部の門間です。 この記事では、vLLMのコードを追いつつその中身の動きに迫りたいと思います。 最近、業務やプライベートでLLM関連のいろいろを触っていますが、 OSSのコードリーディングを通じてLLMの推論処理への理解を深めたいというモチベーションです。 🤖 vLLMって? 📚 前提知識 Attention Is All You Need Paged Attention Continuous Batching 📦 vLLMの開発用インストール (Pythonコード開発のみ) Wheelのインストール リポジトリのクローン 起動確認 Pythonコードの改変 デバッガを使ったOSSのコードリーディングのススメ 🧩 vLLMのソフトウェアアーキテクチャ オンライン推論 : FastAPIサーバの立ち上げとEngineClientの生成 1. Engin
Weird Lexical Syntax
I just learned 42 programming languages this month to build a new syntax highlighter for llamafile. I feel like I'm up to my eyeballs in programming languages right now. Now that it's halloween, I thought I'd share some of the spookiest most surprising syntax I've seen. The languages I decided to support are Ada, Assembly, BASIC, C, C#, C++, COBOL, CSS, D, FORTH, FORTRAN, Go, Haskell, HTML, Java,
Tier 4 Support § Support for these targets is entirely experimental. If this target is provided by LLVM, LLVM may have the target as an experimental target, which means that you need to use Zig-provided binaries for the target to be available, or build LLVM from source with special configure flags. zig targets will display the target if it is available. This target may be considered deprecated by
A new JavaScript backend was merged into GHC on November 30th, 2022! This means that the next release of GHC will be able to emit code that runs in web browsers without requiring any extra tools, enabling Haskell for both front-end and back-end web applications. In this post, we, the GHC DevX team at IOG, describe the challenges we faced bringing GHCJS to GHC, how we overcame those challenges, and
Everything Is Broken: Shipping rust-minidump at Mozilla – Part 1 – Mozilla Hacks - the Web developer blog
Everything Is Broken: Shipping rust-minidump at Mozilla – Part 1 For the last year I’ve been leading the development of rust-minidump, a pure-Rust replacement for the minidump-processing half of google-breakpad. Well actually in some sense I finished that work, because Mozilla already deployed it as the crash processing backend for Firefox 6 months ago, it runs in half the time, and seems to be mo
Tier 4 Support § Support for these targets is entirely experimental. If this target is provided by LLVM, LLVM may have the target as an experimental target, which means that you need to use Zig-provided binaries for the target to be available, or build LLVM from source with special configure flags. zig targets will display the target if it is available. This target may be considered deprecated by
Neovim 0.11 was just released. As in previous installments in this series, let’s talk a bit about some of the big highlights! As always, the full list of changes can be found in the release notes (use :h news to read inside of Neovim). Table of Contents Breaking Changes LSP Simpler LSP setup and configuration Builtin auto-completion Improved hover documentation Putting it all together Diagnostics
Update 1.60.1: The update addresses these issues. Update 1.60.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the August 2021 release of Visual Studio Code. There are many updates in this version that we hope you will like, some of the key highlights include: Automatic language detection - Programming l
go command - cmd/go - Go Packages
Go is a tool for managing Go source code. Usage: go <command> [arguments] The commands are: bug start a bug report build compile packages and dependencies clean remove object files and cached files doc show documentation for package or symbol env print Go environment information fix apply fixes suggested by static checkers fmt gofmt (reformat) package sources generate generate Go files by processi
Godot 4.0 sets sail: All aboard for new horizons – Godot Engine
After 3+ years of breaking and rebuilding from the ground up, a complete core overhaul and a full engine rewrite, through 17 alphas, 17 betas and 6 release candidates, we’re thrilled to say: Welcome to the start of Godot 4! Time to reach new heights together. We’re extremely excited but most of all, we’re humbled by the experience. We believe that this project is one of the most incredible example
1台の DGX Spark で速く推論したい。大量に推論したいというよりは、レスポンスが速く返ってきてほしいので、レイテンシ重視で高速に推論したい。 llama.cpp, vLLM, TensorRT-LLM なども試したが、設定を頑張らなくても速いのは sglang のような気がした。 なんと、公式のブログに DGX Spark 用の設定が書いてある。Spark 用のイメージも公開されている。 ここに掲載されているものとほとんど同じだが、少しだけオプションをいじったのを使ってみた。 mkdir -p ~/workspace/tiktoken_encodings wget -O ~/workspace/tiktoken_encodings/o200k_base.tiktoken "https://openaipublic.blob.core.windows.net/encodings/o2
GitHub - langroid/langroid: Harness LLMs with Multi-Agent Programming
This is just a teaser; there's much more, like function-calling/tools, Multi-Agent Collaboration, Structured Information Extraction, DocChatAgent (RAG), SQLChatAgent, non-OpenAI local/remote LLMs, etc. Scroll down or see docs for more. See the Langroid Quick-Start Colab that builds up to a 2-agent information-extraction example using the OpenAI ChatCompletion API. See also this version that uses t
New! (May 23, '25) If you prefer Python, check out the companion post Tiny Agents in Python. Over the past few weeks, I've been diving into MCP (Model Context Protocol) to understand what the hype around it was all about. My TL;DR is that it's fairly simple, but still quite powerful: MCP is a standard API to expose sets of Tools that can be hooked to LLMs. It is fairly simple to extend an Inferenc
文字起こしAI Whisperモデルの更なる活用形 ～ 「負の遺産」とならないために | IIJ Engineers Blog
フロントエンド部分はPHP、バックエンドはPythonで構成していますが、これとは別にジョブスケジューリングにはSlurm Workload Managerを活用しています。 SlurmはGPU排他制御で必要になってくるもので、これによりそれぞれ実行された履歴はジョブとして管理することができる点がうれしいポイントです。 内部で動作するモデルはOpenAI/Whisperです。Whisperがリリースされたときは大変な盛り上がりを見せてたなぁというのをいまだ覚えてまして、このモデルに私もかじりついて一生懸命内部構造を調べてたりしたなーと。 今やすっかりクローズなイメージが固定してしまったOpenAIですが、当時はその境目の時代ということもあり、DALL-E2で使われてたCLIPや書き起こしモデルWhisperはオープンモデルとして、かの有名なGPT-3や画像生成モデル本体であるDALL-E2
Case Study — Using a JavaScript component inside a Haskell application | The Haskell Programming Language's blog
Mateusz Goślinowski January 08, 2025 [GHC] #javascript #case-study GHC since version 9.8 allows us to create callbacks from JS to Haskell code, which enables us to create full-fledged browser apps. This article shows how to use the JS backend with foreign component libraries. repository: https://github.com/Swordlash/halogen-blog ghc used: javascript-unknown-ghcjs-ghc-9.12.1 (ghcup) Preface Any use
OpenAPI Generator CLI を使ってみた RESTful な API を記述するためのフォーマットとして、OpenAPI というモノがある。以前は Swagger と呼ばれていて、Swagger 2.0 をベースに拡張・改称されたのが OpenAPI らしい。特に OpenAPI だから、Swagger だからという違いはないみたいで、名称は気にしなくて良さそう。 OpenAPI は YAML ないしは JSON 形式で API 仕様書を記述するのだが、それを HTML 化するツールとして Swagger UI というモノがある。 そして今回試すのは、YAML や JSON で書いた仕様書を基に、色々なプログラミング言語でのコードを自動生成してくれるツールである、OpenAPI Generator CLI である。 OpenAPITools/openapi-generato
GitHub - ComfyUI-Workflow/awesome-comfyui: A collection of awesome custom nodes for ComfyUI
ComfyUI-Gemini_Flash_2.0_Exp (⭐+172): A ComfyUI custom node that integrates Google's Gemini Flash 2.0 Experimental model, enabling multimodal analysis of text, images, video frames, and audio directly within ComfyUI workflows. ComfyUI-ACE_Plus (⭐+115): Custom nodes for various visual generation and editing tasks using ACE_Plus FFT Model. ComfyUI-Manager (⭐+113): ComfyUI-Manager itself is also a cu
Node.js
Notable Changes Experimental command-line argument parser API Adds util.parseArgs helper for higher level command-line argument parsing. Contributed by Benjamin Coe, John Gee, Darcy Clarke, Joe Sepi, Kevin Gibbons, Aaron Casanova, Jessica Nahulan, and Jordan Harband - #42675 Experimental ESM Loader Hooks API Node.js ESM Loader hooks now support multiple custom loaders, and composition is achieved
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
📖 vLLMのコードを読んでみよう - ENGINEERING BLOG ドコモ開発者ブログ
0.8.0 Release Notes ⚡ The Zig Programming Language
JavaScript backend merged into GHC | IOG Engineering
0.10.0 Release Notes ⚡ The Zig Programming Language
What's New in Neovim 0.11 | g.p. anders
August 2021 (version 1.60)
DGX Spark で高速(低レイテンシ)に gpt-oss-120b を推論
Tiny Agents: an MCP-powered agent in 50 lines of code
OpenAPI Generator CLI を使ってみた - Neo's World