GPT・Llama・Grokなどさまざまな大規模言語モデルのアーキテクチャを図示した「LLM Architecture Gallery」
OpenAIのGPTシリーズやxAIのGrok、MetaのLlamaなどさまざまな大規模言語モデルが存在しますが、これらの構造を図示した「LLM Architecture Gallery」がオンラインで公開されています。 LLM Architecture Gallery | Sebastian Raschka, PhD https://sebastianraschka.com/llm-architecture-gallery/ The Big LLM Architecture Comparison https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison AI研究者兼エンジニアであるセバスチャン・ラシュカ氏は、OpenAIが2019年に発表したGPT-2と2025年に発表されたDeepSeek V
GPT-OSS Swallow
更新履歴2026-02-20: 初期バージョン（v0.1）を公開。性能20BモデルGPT-OSS Swallow 20B RLの性能を以下のLLMと比較しました。評価には大規模言語モデル評価フレームワークであるswallow-evaluation-instructを用いました。なお、この評価結果はSwallow LLM Leaderboard v2でもご覧いただけます（その他のLLMを比較に追加できます）。 Gemma 3 27B IT（非推論型ではあるが規模がやや大きいモデル）Qwen3-14B（規模が近い推論型モデル、深い推論はon）gpt-oss-20b（継続学習元、深い推論のレベルはmedium）gpt-oss-120b（規模がワンランク大きいモデル、深い推論のレベルはmedium）GPT-OSS Swallow 20Bの日本語タスクでの性能GPT-OSS Swallow 20Bの
GPT-1 から GPT-5.2 まで: LLM の特殊トークン徹底解説【2025年12月最新】
エンジニアの又川です。 皆さんは LLM (大規模言語モデル) の 「特殊トークン」 をご存知でしょうか？ ChatGPT や Claude などを使っていると意識することは少ないかもしれませんが、実はモデルの内部では 「ここからユーザの発話だよ」「ここで思考を始めるよ」 といった制御情報を伝えるための特別なトークンが使われています。 この記事では、 GPT-1 や BERT、GPT-2 といった黎明期の Transformer モデルから始まり、 T5 のようなテキスト補完から脱却した Transformer モデル、 GPT-3 のような初期の LLM、 InstructGPT のような指示追従型 LLM、 GPT-3.5 Turbo のようなチャット機能付き LLM、 GPT-4 のようなマルチモーダル LLM、そして GPT-5.2 のような思考機能付き LLM (Reasonin
GPT-5超え？最強の無料ローカルAI「Kimi K2 Thinking」、中国から登場 - すまほん!!
Moonshot AIは11月5日、オープンソースの推論特化型LLM「Kimi K2 Thinking」を公開しました。 K2 Thinkingは特定の推論・エージェント系ベンチでGPT-5やClaude 4.5 Sonnet (Thinking)と同等、または上回る性能を記録しており、オープンソース分野で大きな注目を集めています。 このモデルは総パラメータ1兆規模のMoEアーキテクチャを採用し、推論時には32Bのパラメータが用いられます。 また、コンテキストウィンドウは256Kで、INT4量子化により推論速度とメモリ効率の向上が図られています。 最大の特徴は、人間の介入なしで200～300回の連続ツール呼び出しを実行し、複雑な作業を一貫して維持できること。長尺思考とツールの多段呼び出しの組み合わせで長い推論が得意となっているようです。 また、本モデルはオープンソースのため、Hugging
Qwen3、GLM、GPT-ossなどクソデカ言語モデルを試したところGLM-4.5-Airがお気に入り - きしだのHatena
Mac Studioを借りたのでいろいろクソデカ言語モデルを試したところ、GLM-4.5-Airがいいなとなってます。 試したモデルこちら。 モデル パラメータ数 アクティブ thinking 画像 時期 URL GPT-oss 120B 120B 5B o x 2025/8 OpenAI hf link Qwen3 235B-A22B-2507-thinking 235B 22B o x 2025/8 Alibaba hf link Qwen3-VL 235B-A22B-thinking 235B 22B o o 2025/9 Alibaba hf link Qwen3-Next-80B 80B 3B o x 2025/9 alibaba hf link Qwen3 Coder 480B 480B 35B x x 2025/7 alibaba hf link Qwen3 Coder 30
OpenAI GPT-OSS 20Bモデルのファインチューニング完全ガイド
🚀 はじめに このチュートリアルでは、OpenAIの最新モデルGPT-OSS 20BをGoogle Colab L4 GPU（22GB VRAM）でファインチューニングする方法を解説します。UnslothライブラリとLoRAを使用することで、効率的にモデルを訓練できます。 <div class="align-center"> <a href="https://unsloth.ai/"><img src="https://github.com/unslothai/unsloth/raw/main/images/unsloth new logo.png" width="115"></a> <a href="https://discord.gg/unsloth"><img src="https://github.com/unslothai/unsloth/raw/main/images/Dis
gpt-5 leaked system prompt
gistfile1.txt �t�˪� p�#̪� You are ChatGPT, a large language model based on the GPT-5 model and trained by OpenAI. Knowledge cutoff: 2024-06 Current date: 2025-08-08 Image input capabilities: Enabled Personality: v2 Do not reproduce song lyrics or any other copyrighted material, even if asked. You're an insightful, encouraging assistant who combines meticulous clarity with genuine enthusiasm and ge
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【西川和久の不定期コラム】 これは事件だ。“賢い家庭内LLMの夢”を叶える「gpt-oss-120b」、動かし方を教えます