
ワシントン大学/Kotoba Technologiesの釜堀です。専門は機械学習システムで、LLMなどの推論を効率化する技術を研究・開発しています。 現代のLLMは莫大な計算・メモリを要するため、LLMを使ったサービスを提供する際には推論の効率性が非常に重要です。この分野はここ数年活発に研究されていて、vLLMやSGLangなど非常に高性能なOSSも出てきています。LLMのservingは、コンピュータサイエンスの知見を総動員させて最適化されている奥深い世界ですが、一方で中身を理解するには多くの前提知識が必要です。 そこでこの記事ではTransformerモデルを中心に、LLMのserving system(多数のクライアントにLLM推論を提供するシステム)でどのようなテクニックが使われているのかについて体系的に解説していきます。 構成としては、LLM servingで最も重要な概念である
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 地方公共団体情報システムの標準化に関連して、ガバメントクラウドへの移行が本格的になってきています。 自治体はオンプレミスの庁舎やデータセンターから CSP 環境へ接続して、ベンダーとの調整も多く発生していると思いますが、パブリッククラウドはオンプレミスとは異なる調整が求められるし、分からないことも多く、困っている自治体職員も多いはずです。 そこで、AWS の話に限定されますが、ガバメントクラウドに環境の構築でベンダーと調整していくに当たり、持っておくと役に立つのではないかと自分が思った AWS のネットワークやガバナンスなどの知識につい
This is a beginner’s guide to hacking into Turso DB (formerly known as Limbo), the SQLite rewrite in Rust. In this short post, I will explore how to get familiar with Turso’s codebase, tooling, and tests (hereafter mentioned as just Turso). Disclosure: I work in the same organization where Turso is being developed. However, I am not a contributor (yet) and most of my work is on the Turso Server. I
DeNA 社様で AI コーディングの社内勉強会の講師をやってきました。 最近、フリーランスでこのような仕事を依頼されていることがあり、余裕があるときに請けています。AI コーディングの講師は 3 回目です。4 回目の予約も入っています。 この記事では、AI を使ったプログラミングの講師として受講者に伝えたかったことや、他の方が講師をするときに何を考えるべきか?を一応書き出して、まとめておきたいと思います。 ノウハウを秘匿しておいても自分の食い扶持にもなりそうではあるんですが、それ以上に AI コーディングが一般化してほしいと願っています。 事前準備 事前に作例のリポジトリは用意しておきます。が、これを意図的に使わないようにしています。 なぜなら、これをフォークしてしまうと、AI は既存実装を「チラ見」してしまいます。結果ゼロからプロンプティングして組み立てているという体験を損ねてしまいま
【Kiroだけじゃなかった!AWSがAIインフラ続々リリースして凄すぎたので緊急整理🔥】AWSがAIエージェント開発の「実験→本番」への難題を解決!AgentCoreで誰でも本格的なAIエージェントを動かせる時代に突入AWSAIKiroAgentCore 昨日のAWS Summit NYC 2025のキーノート見てて、「これは大きな転換点になるな」って感じたので、整理してシェアしたいと思います。 正直、今までAIエージェントって「デモでは動くけど本番環境では...」みたいなケースが多かったじゃないですか。でも、Amazon Bedrock AgentCoreの発表を見て、ついに実用レベルに到達したなと。 なんでそう思ったのか、順番に説明していきますね。 🤖 Amazon Bedrock AgentCore:AIエージェント実用化の決定版 1. なぜ今までAIエージェントは「デモ止まり」
2025年7月17日に Amazon ECS の新機能「Amazon ECS Blue/Green Deployment(Blue/Green デプロイ)」がリリースされた🎉 AWS Lambda 関数を使ったライフサイクルフック・ベイク時間・テストトラフィック・Amazon ECS Service Connect サポートなどなど,便利な仕組みもあるけど,今回はシンプルに ALB (Application Load Balancer) を使って Blue/Green デプロイを試してみた. aws.amazon.com 今までは AWS CodeDeploy を使った Blue/Green デプロイを使うことができたけど,ドキュメントを読むと既に We recommend that you use the Amazon ECS blue/green deployment. と書かれてい
Leapcell: サーバーレスWebホスティングの最高峰 Rust Web フレームワークの詳細比較分析 序章 ウェブ開発の動的な環境において、Rust はそのメモリ安全性、高性能、並行処理能力により注目を集める強力な言語として浮上しています。Rust エコシステムが拡大を続ける中、さまざまな Web フレームワークが登場し、それぞれ独自の機能とトレードオフを誇っています。この詳細な分析では、人気のある Rust Web フレームワークを比較し、そのアーキテクチャ、性能特性、エコシステムのサポートについて検討します。 Actix Web 概要 Actix Web は、Actix アクターフレームワークを基盤とした高性能で柔軟な Rust Web フレームワークで、非同期操作を効率的に処理できます。シンプルな Web アプリケーションから複雑な高トラフィックの API まで、幅広い用途に優
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 前回の記事「Amazon Lex を使ってみる (星座占いVoiceBotの作成)」で、Lexの基本的な使い方を学習した。 今回は、ユーザの入力に応じて、LexからLamdba経由でBedrockのLLMを呼んで、動的な回答を作成するボットを作成する。 また、自分としては初めて、AWSのAI付きIDE「Kiro」を使ってVibe Coding的な感じで作業した。生成されたコードの精査ができておらず(そのため掲載は自粛)、この記事では、アーキテクチャの概要と、Kiroを使った開発の雰囲気に関してをまとめたい。 2. やった
MacBookで無料AI。「ローカルLLM」がいい感じに進化してます2025.07.21 08:0044,980 かみやまたくみ ローカルLLMとは、ざっくり言ってしまうと「無料で公開されている大規模言語モデル」のことで、自分のPCにダウンロード・専用ソフトで読み込んで使います。ChatGPTのように会話できますし、API利用(対応アプリや自分で作ったプログラムからAIを呼び出して使う)も可能です。 ChatGPTといった主流のAIはサブスクリプションサービス、API利用は従量課金制となっているので、対極に位置するAIだと言えます。 そんなローカルLLMですが、これまでは一部の通な人が使うものって感じでした。一時期話題になったDeepSeekのように非常に性能がいいものも登場していますが、動かすのにとても性能のいいマシンが必要です。ChatGPTに数年課金してもまだそっちのほうが安いという
[ User (ウェブブラウザ) ] │ ▲ ▼ │ [ CloudFront (CDN: index.html, JS) ] │ ▲ ▼ │ [ S3 (静的ホスティング + インプットファイル格納) ] │ ▲ ▼ │ [ API Gateway (POSTリクエスト受信) ] │ ▲ ▼ │ [ Lambda Function ] ├─ S3からインプットファイルを取得 ├─ 内容をBedrockのモデルに渡す └─ Bedrockの応答を受け取り、ユーザーに返す │ ▲ ▼ │ [ Amazon Bedrock (Claude Instant) ] 構築順序 1. API Gateway と Lambda の作成 ユーザーからのリクエストを処理するために、Lambda 関数を作成し、API Gateway(HTTP API)と統合します。 Lambda では、S3 からファイルを取
はじめに みなさん、Kiroってますか? KiroはAWSから突然リリースされた、VS Codeを模したIDEです。 Kiroがリリースされて数週間経ってしまい、完全に出遅れてしまったのですが、使ってみた方のご意見を整理すると以下のような内容になる...という理解です(追加のご意見大募集)。 Builder IDでログインするとAmazon Q Developerの許可が必要になるので、実態はAmazon Q Developerやないか。 今までになかった要件定義~設計部分をAIが代替してくれるのはかなり面白い。 要件定義~設計部分をKiroを用いる、というのはよさそうだが、それを用いた実装をさせるには実装速度がかなり遅い。 ということは、Kiroに要件定義~設計部分を任せ、その内容を元に別AIツールを用いて実装させると塩梅がいいのでは??と考え、その組み合わせを試してみました。 ※そんな
7月16日、FirefoxがWebGPUを正式に搭載することが発表された。この記事では、Windows版Firefox 141でWebGPUを正式リリースする計画と実装状況、さらなる課題について詳しく紹介されている。 7月16日、FirefoxがWebGPUを正式に搭載することが発表された。この記事では、Windows版Firefox 141でWebGPUを正式リリースする計画と実装状況、さらなる課題について詳しく紹介されている。 以下に、その内容を紹介する。 WebGPUがもたらすもの WebGPUはブラウザからGPUを直接扱うための最新インターフェースであり、ゲームやデータ可視化、ローカル計算の上限を引き上げると期待されている。Chromeでは2023年に実装済みで、Safari 26でも今秋に対応予定だ。FirefoxはNightly版で全プラットフォームに提供してきたが、安定版とし
はじめに 認証や認可の実現方法は、システム開発における頻出の関心事の一つかと思います。そんな中、JSON Web Token(JWT)/OAuth2.0/Open ID Connect(OIDC)という言葉もよく耳にするところです。 しかし、「JWTって結局どう使うの?」「OAuth2.0やOIDCってJWTとどう関係するの?」「OAuth2.0とOIDCの違いって何?」という疑問を持つ方も多いのではないでしょうか。 また、JWTに「署名」や「検証」といったキーワードが絡んでくると、途端にハードルが上がったように感じるものです。 これらのキーワードについては既に沢山の記事が公開されていますが、本記事では以下に焦点を当てて解説していこうと思います。 JWT/OAuth2.0/OIDCの関係性を明らかにする OAuth2.0/OIDCより先にJWTを理解することで混乱を防ぐ JWTをシステム開
みなさん、XやTelegramやLinkedInの2FAをメールアドレスにしていませんか? 実は、これだと意味がありません。パスワードがバレてしまった場合、容易に突破されてしまいます。 実際、わたしの友人何人かは、この脆弱性を突かれてアカウントを乗っ取られています。 本記事では、そのメカニズムと対策を図を交えて解説します。 アカウント乗っ取りの流れ まず前提として、フィッシングに引っかかったなどでSNSのパスワードが流出したとします。 パスワードを入手したハッカーは、以下の手順でアカウントを乗っ取ることができます。 パスワードを使って「メールアドレス変更」する 新しいメールアドレスでアカウント認証する 新しいメールアドレスに認証コードが届き、アカウントへログインできる はい、そうです。多くのSNSではメールアドレス変更を先に行うことで2FAを突破できるんです。 なぜこれが起きるのか? 多く
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AIによるコーディング支援が当たり前となった現代、開発の現場では新たなパラダイムシフトが起きています。CursorやGitHub Copilotといったツールが「Vibe Coding」と呼ばれる、対話形式で直感的に開発を進めるスタイルを普及させました。しかし、その手軽さの一方で、生成されたコードの品質や保守性に課題を感じる開発者も少なくありません。 そんな中、巨大テック企業Amazonが満を持して新たなAI統合開発環境(IDE)、「Kiro」を発表しました。Kiroが提唱するのは、スペック駆動開発(Spec-Driven D
Welcome to LWN.net The following subscription-only content has been made available to you by an LWN subscriber. Thousands of subscribers depend on LWN for the best news from the Linux and free software communities. If you enjoy this article, please consider subscribing to LWN. Thank you for visiting LWN.net! The interfaces between C and Rust in the kernel have grown over time; any non-trivial Rust
After years of innovation and community collaboration, we’re ending support for Clear Linux OS. Effective immediately, Intel will no longer provide security patches, updates, or maintenance for Clear Linux OS, and the Clear Linux OS GitHub repository will be archived in read-only mode. So, if you’re currently using Clear Linux OS, we strongly recommend planning your migration to another actively m
新機能「ChatGPT agent」 vs. AIエージェント「Manus」──どっちが強い? Manus公式が自ら比較検証 「ChatGPTの新しいエージェント、知ってる?」──AIエージェント「Manus」を開発するシンガポールのManus AIは7月18日、公式Xアカウント(@ManusAI_JP)でこう投稿した。米OpenAIが同日に発表した、ChatGPTの新機能「ChatGPT agent」を受けての投稿。Manus AIは、manusとChatGPT agentの出力結果を比較し、Manusの性能の高さをアピールしている。 ChatGPT agentは、仮想コンピュータによってAIがさまざまなタスクを代行する、いわゆる“AIエージェント”と呼ばれる機能。OpenAIがこれまでリリースした「deep research」と「Operator」の技術を、ChatGPTと組み合わせた
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く