TransformerをRWKVに変換する手法について
TransformerをRWKVに変換する技術めも そもそもRWKVって何？ RWKV（Receptance Weighted Key Value）は、BlinkDL氏を中心とした約9,000人+のコミュニティメンバーで研究・開発されているオープンソースのLLMアーキテクチャです。現在の最新版は「RWKV-7 "Goose"」で、伝統的にアーキテクチャのメジャー更新ごとに鳥の名前が付けられています。 自分は、v4からメンバーに入りました。 従来のTransformerとの違い 一般的なTransformerの処理フローはこのようになっていまして Transformerのアテンション機構では、Query（Q）、Key（K）、Value（V）を使ってソフトマックスを計算します： \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{
AGENTS.md の概要｜npaka
コーディングエージェントのためのオープンフォーマット「AGENTS.md」についてまとめました。 1. AGENTS.md「AGENTS.md」は、コーディングエージェントを効率的に利用するための、シンプルでオープンなフォーマットです。2万以上のオープンソースプロジェクトで採用されています。 「AGENTS.md」は、コーディングエージェント向けの「README」のようなものです。 ・README.md クイックスタート、プロジェクトの説明、貢献ガイドラインなど、人間のためのファイルです。 ・AGENTS.md コーディングエージェントに必要な、ビルド手順、テスト、規約など、README では分かりにくくなったり、人間の貢献者には関係のない、詳細なコンテキストを追加することで、人間のためのファイルを補完します。 意図的に「AGENTS.md」分離したのは、以下の理由からです。 ・エージェン
d-Matrix、HBM4の10倍高速で10倍省エネな3D積層チップ「Raptor」を発表：AI推論のボトルネックを打破できるか？ | XenoSpectrum
AIスタートアップd-Matrixが、AI推論ワークロードの「メモリ・ウォール」問題を抜本的に解決しうる次世代チップアーキテクチャ「Raptor」を発表した。同社は、この技術が次世代高帯域幅メモリ（HBM）の「HBM4」と比較しても桁違いの性能目標を掲げており、これによってAIハードウェアの進化を加速させることが可能と謳っている。果たしてこれはどのような技術なのだろうか？ メモリが律速するAI推論の現実 生成AIの進化が指数関数的な様相を呈する中、我々はAIコンピューティングにおける深刻なボトルネックに直面している。それは演算性能、すなわちFLOPsの不足ではない。問題の本質は「メモリ」にある。1994年に提唱された「メモリ・ウォール」という概念は、プロセッサの性能向上ペースにメモリ帯域幅の進化が追いつかないという、古くて新しい課題を指し示す。この30年来の課題が、巨大化するAIモデルによ
AIの軽量化・省電力を実現する生成AI再構成技術を開発し、富士通の大規模言語モデル「Takane」を強化
PRESS RELEASE AIの軽量化・省電力を実現する生成AI再構成技術を開発し、富士通の大規模言語モデル「Takane」を強化 当社は、AIサービス「Fujitsu Kozuchi」のコア技術として、大規模言語モデル（以下、LLM）の軽量化・省電力を実現するAI軽量化技術である生成AI再構成技術（以下、本技術）を開発し、当社のLLM「Takane」を強化することに成功しました。本技術は、AIの思考の基となる各ニューロン間の結合に割り当てられる重みを極限まで圧縮する世界最高精度の量子化技術（注1）と、軽量化と元のAIモデルを超える精度を両立させた世界初（注2）の特化型AI蒸留技術（注3）の2つのコア技術からなります。本技術のうち量子化技術を「Takane」に適用することで、1ビット量子化（メモリ消費量最大94%削減）で、量子化前と比較して世界最高（注4）の精度維持率である89%と、量子
GitHub、自然言語でGitHub Actionsワークフローを記述可能にする試み。生成AIで自然言語をYaml形式にコンパイル
GitHub、自然言語でGitHub Actionsワークフローを記述可能にする試み。生成AIで自然言語をYaml形式にコンパイル GitHubの研究部門であるGitHub Nextは、自然言語でGitHub Actionsのワークフローを記述できるようにする試験的な実装「Agentic Workflow」を発表しました。 1/ New from Next: Agentic Workflows, a research demonstrator exploring natural-language programming for GitHub Actions. It’s a concrete manifestation of what we’re calling “Continuous AI,” focusing on repo-level automation in plain Engli
探索的テスト補助用テストケースの自動生成 ー 使用したLLMプロンプトもご紹介 - SmartHR Tech Blog
探索的テスト補助用テストケースの自動生成 ー 使用したLLMプロンプトもご紹介 勤怠管理機能チームでQAエンジニアをしているringoです。 勤怠管理機能の開発では、1つの大きな単位での機能を複数のProduct Backlog Item(以下、PBI)に分割し、リリース前に「フィーチャーテスト」という、機能全体の探索的テストを行なうフェーズを設けています。ここで言う探索的テストは、テスト実行者が機能を実際に操作しながら、事前に定義されていない観点や課題を能動的に発見していくテスト手法を指しています。 今回は、このフィーチャーテストのフェーズにおいて、Clineを用いて探索的テストの補助となるテストケースを生成する取り組みについてご紹介します。 勤怠管理機能チームの状況と開発プロセス 勤怠管理機能チームで行なっているフィーチャーテストは、1つの大きな単位での機能(フィーチャー)全体に対して
決済大手のStripeがステーブルコインでの決済に特化したブロックチェーン「Tempo」を発表、手数料の安い支払い手段としてステーブルコインを利用できる未来を目指す
決済大手のStripeと仮想通貨関連投資企業のParadigmが新たなブロックチェーン「Tempo」を発表しました。Tempoはステーブルコインを用いた決済に焦点を当てて開発されており低コストかつ高速で信頼できる決済を提供するとアピールされています。 Tempo: The Blockchain Designed for Payments https://tempo.xyz/ Introducing Tempo, the payments-first blockchain https://tempo.xyz/launch-announcement ステーブルコインは「1ドル＝1ステーブルコイン」といったように法定通貨と同じ価値を保つように設計された仮想通貨で、決済手段や送金手段としての利用が広がりつつあります。日本でも日本円と連動するステーブルコイン「JPYC」を2025年秋に金融庁が承認す
AIも不確実だけど、人間はもっと不確実だ
Claude Code is All You Need Anthropicへ新たにジョインした方が、「周りの従業員がコーディング以外の分野でも幅広く Claude Code (cc) を活用しているのを見て驚いた」と投稿しているのを先日目にしました。具体的な話は上記のスレッドを見てもらえればと思いますが、journal、todo、ideasなどさまざまな情報をMarkdownでローカルに保存した上で、彼は $HOME でccを実行して、これらのファイルを参照させたり編集させたりしながら多くの作業を行っているのだそうです。 ccはCoding Agentではありますが、背後にいるのは汎用的な生成AIであることを考えると、めちゃくちゃ突飛なことを言っているわけではないと思いますし、昨今似たことをされている方は国内でもよく見かけます。Web UIでAIとチャットするのに比べると、テキストファイル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
github-mcp-server/docs/installation-guides/install-gemini-cli.md at main · github/github-mcp-server
富士通、LLMの軽量化技術を発表 1ビット量子化でも約9割の精度を維持 3倍に高速化も（ITmedia NEWS） - Yahoo!ニュース
Niantic Spatial SDKがMeta Quest 3に対応 パススルーとVPSを組み合わせた空間コンピューティング体験が制作可能に
TCL「RayNeo Air 4」にBang & Olufsenチューニング搭載へ。視覚×音響で進化するAR体験
