Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。 4BでもGPT-4oを越えているという話もありますが、確かに単純な用途ではGPT-4oの代わりにしてもいいなと場面も割とありそうな出力です。さすがにちょっと込み入ったものだと4oだけど。 1.7Bなど小さいモデルも既存のモデルより使えるものになっていて、ローカルLLMの世界を変えそう。 解説動画も撮りました。 週間ニュースのまとめはじめました。 サイズとしては0.6B, 1.7B, 4B, 8B, 14B, 32Bと、MoEモデルの30B-A3B, 235B-A22Bです。 30B-A3Bが賢いというベンチマークだけど、コーディング用途だと14Bや32Bのほうがいいかも。MacならMLXで30B-A3Bは めちゃ速くていいけど。という感じでどのサイズにも
Last updated: Apr 2, 2026 (added Gemma 4 in section 23) It has been seven years since the original GPT architecture was developed. At first glance, looking back at GPT-2 (2019) and forward to DeepSeek V3 and Llama 4 (2024-2025), one might be surprised at how structurally similar these models still are. Sure, positional embeddings have evolved from absolute to rotational (RoPE), Multi-Head Attentio
Google I/O の発表まとめ
tl;dr Google I/O 2025 でたくさんのサービスや機能が発表されたよ イベントに合わせて公開されたものはすべてひと通りまとめたよ 発表だけでまだ使うことのできないサービスも多いよ（アメリカ限定も多い） しばらく追記していくよ これはなに？ Google I/O 2025 の発表をまとめたもの。開発者向けに限らず、よくばって発表内容をおおよそ網羅した（書きかけのため予定）ので、気になるところだけ読んでください。発表内容が豪勢で、悲しいかな、徹夜をしてしまったので、せっかくなのでみなさんの時短になれば＆自分の覚え書きとしてまとめています。少しでも参考になれば幸いです。 こちらに今回の発表に関わる全 27 記事が一覧になっており、それらの中から押さえておくべき記事をかいつまんで簡潔にまとめます。 発表動画（Keynote）について 計約三時間の実況中継。場所はマウンテンビューの
Top AI Stories of 2024! Agents Rise, Prices Fall, Models Shrink, Video Takes Off, Acquisitions Morph
Dear friends, Is AI progressing rapidly? Yes! But while the progress of underlying AI technology has indeed sped up over the past 2 years, the fastest acceleration is in applications. Consider this: GPT-4 was released March 2023. Since then, models have become much faster, cheaper, sometimes smaller, more multimodal, and better at reasoning, and many more open weight versions are available — so pr
Overview We have been seeing amazing progress in generative AI and LLM recently. Thanks to the open-source efforts like LLaMA, Alpaca, Vicuna and Dolly, we start to see an exciting future of building our own open source language models and personal AI assistant. These models are usually big and compute-heavy. To build a chat service, we will need a large cluster to run an inference server, while c
Weird Lexical Syntax
I just learned 42 programming languages this month to build a new syntax highlighter for llamafile. I feel like I'm up to my eyeballs in programming languages right now. Now that it's halloween, I thought I'd share some of the spookiest most surprising syntax I've seen. The languages I decided to support are Ada, Assembly, BASIC, C, C#, C++, COBOL, CSS, D, FORTH, FORTRAN, Go, Haskell, HTML, Java,
tl;dr Google の Gemma シリーズの最新版 Gemma 3 が発表されたよ 1B / 4B / 12B / 27B の事前学習済み / 指示学習モデルがあるよ マルチモーダル対応、ロングコンテキスト、多言語対応、数学やコーディングタスクで性能が向上したよ Shield Gemma 2 というテキストと画像の両方を入力できる有害コンテンツ検出モデルもあるよ transformers / Ollama で動かしてみたよ Gemma 3 とは 上記の記事に沿ってまとめていきます。 初見の方でも Gemma 3 という名前から察することのできるように、Gemma / Gemma 2 からの系譜な訳ですが、Google のオープンウェイトモデルの最新版が今回発表された Gemma 3 です。Gemma 2 まではマルチモーダルモデルといえば PaliGemma という別のモデルが存在
Running Google Gemma 4 Locally With LM Studio’s New Headless CLI & Claude Code
Why run models locally?Cloud AI APIs are great until they are not. Rate limits, usage costs, privacy concerns, and network latency all add up. For quick tasks like code review, drafting, or testing prompts, a local model that runs entirely on your hardware has real advantages: zero API costs, no data leaving your machine, and consistent availability. Google’s Gemma 4 is interesting for local use b
Introducing Apple’s On-Device and Server Foundation Models
At the 2024 , we introduced Apple Intelligence, a personal intelligence system integrated deeply into iOS 18, iPadOS 18, and macOS Sequoia. Apple Intelligence is comprised of multiple highly-capable generative models that are specialized for our users’ everyday tasks, and can adapt on the fly for their current activity. The foundation models built into Apple Intelligence have been fine-tuned for u
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? まえがき 「ここ数年でバズったAI技術や、最近勢いのある生成系AI技術をキャッチアップしたい」 最近のLLMブームにより、一般の人も簡単にAI技術を使いこなせるようになりました。 特に、もともとAIに明るくなくても、エンジニアなら実装までできるので、インパクトのあるプロダクトを作ることが可能になりました。 「これまでモデル開発をしてきたデータサイエンティスト・AIエンジニアの立場が危ぶまれている気がする」 そんな危機感から、一通り、まずは知る・使えるようになることを目指してこの記事を書くことにしました。 前半パート: 使ってみる編（全員
From GPT-2 to gpt-oss: Analyzing the Architectural Advances
OpenAI just released their new open-weight LLMs this week: gpt-oss-120b and gpt-oss-20b, their first open-weight models since GPT-2 in 2019. And yes, thanks to some clever optimizations, they can run locally (but more about this later). This is the first time since GPT-2 that OpenAI has shared a large, fully open-weight model. Earlier GPT models showed how the transformer architecture scales. The
Real-world gen AI use cases from the world's leading organizations | Google Cloud Blog
AI is here, AI is everywhere: Top companies, governments, researchers, and startups are already enhancing their work with Google's AI solutions. Published April 12, 2024; last updated October 9, 2025. Automotive & Logistics Business & Professional Services Financial Services Healthcare & Life Sciences Hospitality & Travel Manufacturing, Industrial & Electronics Media, Marketing & Gaming Public Sec
GitHub - diff-usion/Awesome-Diffusion-Models: A collection of resources and papers on Diffusion Models
DiffEnc: Variational Diffusion with a Learned Encoder Beatrix M. G. Nielsen, Anders Christensen, Andrea Dittadi, Ole Winther arXiv 2023. [Paper] 30 Oct 2023 Upgrading VAE Training With Unlimited Data Plans Provided by Diffusion Models Tim Z. Xiao, Johannes Zenn, Robert Bamler arXiv 2023. [Paper] 30 Oct 2023 Successfully Applying Lottery Ticket Hypothesis to Diffusion Model Chao Jiang, Bo Hui, Boha
Web search · Ollama Blog
Web search September 24, 2025 A new web search API is now available in Ollama. Ollama provides a generous free tier of web searches for individuals to use, and higher rate limits are available via Ollama’s cloud. This web search capability can augment models with the latest information from the web to reduce hallucinations and improve accuracy. Web search is provided as a REST API with deeper tool
GitHub - huggingface/candle: Minimalist ML framework for Rust
These online demos run entirely in your browser: yolo: pose estimation and object recognition. whisper: speech recognition. LLaMA2: text generation. T5: text generation. Phi-1.5, and Phi-2: text generation. Segment Anything Model: Image segmentation. BLIP: image captioning. We also provide some command line based examples using state of the art models: LLaMA v1, v2, and v3: general LLM, includes t
はじめに 今回の記事では、2025年の 12月中旬に発表されていた「FunctionGemma」を、LM Studio を使ったローカルLLM で扱ってみます。 ●FunctionGemma: New Gemma model for function calling https://blog.google/technology/developers/functiongemma/ FunctionGemma に関する簡単な補足と今回試すメインの内容 FunctionGemma は、以前出ていた軽量モデルの「Gemma 3 270M」をベースに、「function calling（ツール呼び出し、関数呼び出し）」に特化して fine-tune されたモデルのようです。 今回試すメインの内容 今回の記事のメインの内容は、FunctionGemma の特長となる「function calling」
WebLLM | Home
Overview We have been seeing amazing progress in generative AI and LLM recently. Thanks to the open-source efforts like LLaMA, Alpaca, Vicuna and Dolly, we start to see an exciting future of building our own open source language models and personal AI assistant. These models are usually big and compute-heavy. To build a chat service, we will need a large cluster to run an inference server, while c
Databricksイベント Databricksセミナー・ハンズオンまとめページ Databricks Data + AI Summit 2024バーチャルセッションのご紹介 Databricks年次イベント「DATA + AI WORLD TOUR JAPAN 2022」のご案内 DATA + AIサミット2022のご案内 Data + AIサミットで何が起こるのか：オープンソース、テクニカルキーノートなどなど！ Data + AIサミット2021で発表されたDatabricksの新機能 Data + AIサミットで発表された重要ニューストップ10 Data & AI Summit 2022におけるDatabricksレイクハウスプラットフォーム発表の振り返り Data & AIサミットにおけるDatabricks SQLのハイライト JEDAI勉強会 第2回: エンドツーエンド・レコ
Gemini API Additional Terms of Service | Google AI for Developers
Terms of service Available regions Additional usage polices Gemini About Docs API reference Pricing Imagen About Docs Pricing Veo About Docs Pricing Gemma About Docs Gemmaverse Build with Gemini Gemini API Google AI Studio Customize Gemma open models Gemma open models Multi-framework with Keras Fine-tune in Colab Run on-device Google AI Edge Gemini Nano on Android Chrome built-in web APIs Build re
As everyone is well aware, the world is still going nuts trying to develop more, newer and better AI tools. Mostly by throwing absurd amounts of money at the problem. Many of those billions go towards building cheap or free services that operate at a significant loss. The tech giants that run them all are hoping to attract as many users as possible, so that they can capture the market, and become
G-gen の杉村です。Google Cloud（旧称 GCP）の認定資格である Generative AI Leader 資格の試験対策情報を紹介します。 基本的な情報 Generative AI Leader とは 難易度 出題傾向 試験対策 生成 AI の基礎 生成 AI と基盤モデル データタイプ 学習方法 生成 AI ソリューションのレイヤー エージェント エージェントとは 種類 ユースケース ツール 推論ループ Google Cloud の生成 AI サービス Vertex AI Vertex AI とは Model Garden Model Registry Vertex AI Search Vertex AI Pipelines Gemini Gemini と関連サービス Gemini を使った開発 Gemini 系プロダクト Gemini Enterprise（旧称 Go
You could have designed state of the art positional encoding
Gall's Law A complex system that works is invariably found to have evolved from a simple system that worked John Gall This post walks you through the step-by-step discovery of state-of-the-art positional encoding in transformer models. We will achieve this by iteratively improving our approach to encoding position, arriving at Rotary Postional Encoding (RoPE) used in the latest LLama 3.2 release a
Gemma 3 の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Introducing Gemma 3: The most capable model you can run on a single GPU or TPU 1. はじめに本日 (2025年3月12日)、「Gemma 3」を発表します。これは、「Gemini 2.0」と同じ研究と技術を基に構築された、軽量で最先端のオープンモデルのコレクションです。これらはこれまでで最も先進的で、ポータブルかつ責任を持って開発されたオープンモデルです。スマートフォンやノートパソコンからワークステーションまで、あらゆるデバイス上で直接高速に動作するように設計されており、開発者が必要な場所でAIアプリケーションを作成するのをサポートします。「Gemma 3」は、1B、4B、12B、27Bといったさまざまなサイズが用意されており、ハードウェアや性能のニーズに最適
","eos_token":"","pad_token":"","unk_token":"","use_default_system_prompt":false},"chat_template_jinja":"{%- macro format_parameters(properties, required) -%}\n {%- set standard_keys = ['description', 'type', 'properties', 'required', 'nullable'] -%}\n {%- set ns = namespace(found_first=false) -%}\n {%- for key, value in properties | dictsort -%}\n {%- if key not in standard_keys -%}\n {%- if ns.f
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
Flaxを使用したRecurrentGemma2Bグリフィンモデルのファインチューニングチュートリアル(Kaggle、GoogleColabノート付) - Sun wood AI labs.2
こんにちは！今回は、Flaxを使用して2Bグリフィンモデルをシンプルな翻訳タスクにファインチューニングする方法を学びます。グリフィンモデルは強力な言語モデルで、ファインチューニングによって特定のタスクに適応させることができます。 初心者の方にも分かりやすいよう、コードの説明を丁寧に行いながら、ステップバイステップでチュートリアルを進めていきます。それでは、早速始めていきましょう！ セットアップ まずは必要なライブラリをインストールし、環境を整えていきます。 !pip list --format=freeze > requirements.kaggle.txt !pip list pip listコマンドでインストール済みのライブラリを一覧表示し、requirements.kaggle.txtファイルに出力しています。これは現在の環境を再現するために必要な情報です。 次に、Recurrent
Your Company Needs Small Language Models | Towards Data Science
"Bigger is always better" – this principle is deeply rooted in the AI world. Every month, larger models are created, with more and more parameters. Companies are even building $10 billion AI data centers for them. But is it the only direction to go? At NeurIPS 2024, Ilya Sutskever, one of OpenAI’s co-founders, shared an idea: "Pre-training as we know it will unquestionably end". It seems the era o
New! (May 23, '25) If you prefer Python, check out the companion post Tiny Agents in Python. Over the past few weeks, I've been diving into MCP (Model Context Protocol) to understand what the hype around it was all about. My TL;DR is that it's fairly simple, but still quite powerful: MCP is a standard API to expose sets of Tools that can be hooked to LLMs. It is fairly simple to extend an Inferenc
LocalでLLMを試すのにOllamaが人気です。Spring AIにはOllama用のChat Clientが用意されていますが、OllamaにはOpenAI API互換APIも用意されているので、OpenAIへの切り替えも想定して、OpenAI用のChat Clientを使ってOllamaにアクセスしてみます。 Warning Spring AIのOpenAI Clientは1.0.0-M1時点で、Ollama含む多くの互換APIプロバイダーが実装していないAPIを使用しています。 こちらのコミットで使用するAPIが修正されたため、本記事ではSpring AI 1.0.0-SNAPSHOTを使用しています。 目次 OllamaのインストールOllamaの起動Gemmaモデルを使用Llama3モデルの使用Spring AIでOllamaにアクセス Ollamaのインストール brew
Olmo 3: Charting a path through the model flow to lead open-source AI | Ai2
Olmo 3: Charting a path through the model flow to lead open-source AI Update 12/12: Announcing Olmo 3.1 Since the initial release of the Olmo 3 model flow, the team has been busy improving the reasoning and instruction-following capabilities of our models. The result is two new 32B checkpoints, our most performant to date: Olmo 3.1 Think 32B, the result of extending our best reinforcement learning
Ollama's new engine for multimodal models May 15, 2025 Ollama now supports multimodal models via Ollama’s new engine, starting with new vision multimodal models: Meta Llama 4 Google Gemma 3 Qwen 2.5 VL Mistral Small 3.1 and more vision models. General Multimodal Understanding & Reasoning Llama 4 Scout ollama run llama4:scout (Note: this is a 109 billion parameter, mixture-of-experts model.) Exampl
Mistral NeMo | Mistral AI
Mistral NeMoMistral NeMo: our new best small model. A state-of-the-art 12B model with 128k context length, built in collaboration with NVIDIA, and released under the Apache 2.0 license. Today, we are excited to release Mistral NeMo, a 12B model built in collaboration with NVIDIA. Mistral NeMo offers a large context window of up to 128k tokens. Its reasoning, world knowledge, and coding accuracy ar
FlexAttention: The Flexibility of PyTorch with the Performance of FlashAttention – PyTorch
Blog FlexAttention: The Flexibility of PyTorch with the Performance of FlashAttention In theory, Attention is All You Need. In practice, however, we also need optimized attention implementations like FlashAttention. Although these fused attention implementations have substantially improved performance and enabled long contexts, this efficiency has come with a loss of flexibility. You can no longer
Today we are excited to share Granite 4.0 Nano, our smallest models yet, released as part of IBM's Granite 4.0 model family. Designed for the edge and on-device applications, these models demonstrate excellent performance for their size and represent IBM's continued commitment to develop powerful, useful, models that don't require hundreds of billions of parameters to get the job done. Like all Gr
GitHub - ComfyUI-Workflow/awesome-comfyui: A collection of awesome custom nodes for ComfyUI
ComfyUI-Gemini_Flash_2.0_Exp (⭐+172): A ComfyUI custom node that integrates Google's Gemini Flash 2.0 Experimental model, enabling multimodal analysis of text, images, video frames, and audio directly within ComfyUI workflows. ComfyUI-ACE_Plus (⭐+115): Custom nodes for various visual generation and editing tasks using ACE_Plus FFT Model. ComfyUI-Manager (⭐+113): ComfyUI-Manager itself is also a cu
Announcing Gemma 3n preview: powerful, efficient, mobile-first AI- Google Developers Blog
Announcing Gemma 3n preview: powerful, efficient, mobile-first AI Following the exciting launches of Gemma 3 and Gemma 3 QAT, our family of state-of-the-art open models capable of running on a single cloud or desktop accelerator, we're pushing our vision for accessible AI even further. Gemma 3 delivered powerful capabilities for developers, and we're now extending that vision to highly capable, re
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Qwen3はローカルLLMの世界を変えたかも - きしだのHatena
The Big LLM Architecture Comparison
WebLLM | Home
Google の Gemma 3 を解説して試してみる
無料で学ぶ！生成AIとバズった技術まとめ（LLM、LangChain、Dify、SAM2、Stable Diffusion、RVCなど） - Qiita
ローカルLLM： FunctionGemma ＋ LM Studio の Tool Use を Node.js で試す - Qiita
Databricks記事のまとめページ(その1) - Qiita
Building a personal, private AI computer on a budget - ewintr.nl
Generative AI Leader試験対策マニュアル - G-gen Tech Blog
google/functiongemma-270m-it · Hugging Face
Tiny Agents: an MCP-powered agent in 50 lines of code
OllamaをOpenAI互換サーバーとして使用し、Spring AIからアクセスする - IK.AM
Ollama's new engine for multimodal models · Ollama Blog
Granite 4.0 Nano: Just how small can you go?