ローカルLLMの小説生成能力を評価する：中規模モデル編｜Kohya S.
中規模モデルクラス、恋愛小説部門の評価です。 はじめに近年、ローカル環境で動作する比較的小規模なLLM（Large Language Model）の性能が向上しています。本記事では、パラメータ数20～30B程度のローカルLLM（量子化を行うと24GB VRAM程度で動作するもの）を中心に、それらのLLMの小説生成能力を、より大規模なクラウド型LLMを用いて評価する試みについて報告します。 なお、試行回数は生成、評価とも1回のみ、プロンプトや生成設定なども練れていませんので、参考程度にお読みください。またこの記事には一部Claude 3.5 Sonnetに書いてもらった部分があります。 （追加）以下の記事で生成された各小説をすぐに読めるよう公開しました。 評価手法の検討評価の課題小説の評価には通常、人間による読解と評価が必要です。しかし、これには以下のような課題があります： 評価に多大な時間
DeepSeekはどのようにしてOpenAIの3％のコストでo1を超えたのか？
中国のAI企業・DeepSeekが2025年1月にリリースしたオープンソースモデル「DeepSeek R1」はAI業界に衝撃をもたらし、そのインパクトは株式市場をも揺るがしています。特に注目されているR1のコストパフォーマンスについて、IT系ニュースサイトのVentureBeatが掘り下げました。 DeepSeek-R1’s bold bet on reinforcement learning: How it outpaced OpenAI at 3% of the cost | VentureBeat https://venturebeat.com/ai/deepseek-r1s-bold-bet-on-reinforcement-learning-how-it-outpaced-openai-at-3-of-the-cost/ R1の特徴はその運用コストの安さで、OpenAIのo1のコ
サイバーエージェントが「DeepSeek-R1」の派生モデルをベースに日本語で追加学習したモデルを公開
日本の大手IT企業であるサイバーエージェントが2025年1月27日、AI開発企業のDeepSeekがリリースしたオープンソースの推論モデル「DeepSeek R1」の蒸留モデルをベースに、日本語データで追加学習を行った大規模言語モデルを公開しました。 【モデル公開のお知らせ】 DeepSeek-R1-Distill-Qwen-14B/32Bをベースに日本語データで追加学習を行ったLLMを公開いたしました。今後もモデル公開や産学連携を通じて国内の自然言語処理技術の発展に貢献してまいります。 https://t.co/Oi0l2ITzhh— サイバーエージェント 広報＆IR (@CyberAgent_PR) January 27, 2025 cyberagent/DeepSeek-R1-Distill-Qwen-32B-Japanese · Hugging Face https://huggi
ChatGPT超えの中国AI「DeepSeek-R1」の衝撃
中国のAIスタートアップ「DeepSeek」は2025年1月20日、数学的推論やコーディング能力でOpenAIの最新モデル「o1」と同等性能を持つ大規模言語モデル「DeepSeek-R1」を公開した。 使用・複製・改変・再配布を自由に許可する寛容なMITライセンス下でのオープンソース提供および従来比95〜97%のコスト減となるAPI価格が特徴で、AI業界に激震が起きている。 強化学習を重視、コールドスタート問題にも対応 論文によると、DeepSeek-R1の特筆すべき点は、強化学習（RL：Reinforcement Learning）を駆使し、従来の教師あり学習（SFT：Supervised Fine-Tuning）に頼らず、自律的に思考連鎖（CoT：Chain-of-Thought）を学習する点だ。このアプローチにより、モデルは複雑な問題を解決するための思考の連鎖を探索し、自己検証や振り
DeepSeek-R1の論文読んだ？【勉強になるよ】
本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対
テキストや画像から高精度な3Dアセットを作り出すAIシステム「Hunyuan3D 2.0」をTencentがオープンソースで公開
中国の大手IT企業であるTencentが、単一の画像やテキストのプロンプトから高精度の3Dアセットを生成するAIシステム「Hunyuan3D 2.0」を発表しました。「Hunyuan3D 2.0」のソースコードは、AIプラットフォームのHugging Faceでオープンソースとして公開されています。 I am truly honored to announce that our 3D open source project has entered its 2.0 version, presenting revolutionary effects that rival those of commercial products. https://t.co/YM3GVb9BQM https://t.co/IexQULxv2U pic.twitter.com/8kJAgyCac2— Hunyuan
VAEって結局何者なの？
はじめに 今回は、満を持してVAE（Variational Auto Encoder）をちゃんと理解していこうと思います。 VAEに関しては、だいたい知っていますが、MusicGenという音楽生成AIを理解しようと思った時に、関連してRVQ-GANが出てきたので、再勉強をしています。 今後、下記の流れで記事を書いていく予定です。 VAE（今回） ↓ VQ-VAE ↓ RQ-VAE,RVQ-GAN ↓ MusicGen 今回は、流れの最初であり、現在でも非常に重要な概念であるVAEに関して記事を書きます。 VAEは、Stable Diffusionの中でも中核として使われていたりと、比較的古い概念でありながら、まだまだ活躍が期待できる汎用ネットワークです。 本記事が、みなさまの理解の手助けになれば、これほど嬉しいことはございません。 参考文献 VAEの論文です。 ゼロから作るDeep Lea
数十億パラメータの巨大AI、“たった1つのパラメータ”を削除するだけで完全崩壊。Appleなどが研究報告（生成AIクローズアップ） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、大規模言語モデル（LLM）の数十億のパラメータの中でたった1つのパラメータを削除するだけで、モデルのテキスト生成能力が完全に崩壊することを発見した論文「The Super Weight in Large Language Models」に注目します。 研究チームは、このパラメータを「スーパーウェイト」と名付けました。70億のパラメータを持つMetaのLlama-7Bモデルでは、このスーパーウェイトをゼロにするだけで、モデルのテキスト生成能力が完全に失われ、ゼロショッ
「計算機アプリ作って」→AI「あいよ」 20万個以上のアプリが開発される
sponsored いまゲーミングノートを選ぶなら“薄軽”が必須条件、Ryzen AI 9とRTX 4060搭載の最新「ROG Zephyrus G16」 sponsored CORSAIR「iCUE LINK TITAN RX RGB」をチェック iCUE LINKで面倒な取り付けやRGB設定が超簡単、冷却性能もバッチリ高いCPUクーラーが3万円強！ sponsored ASUSの新ケース「TUF Gaming GT502 Horizon」にCore Ultra 9 285Kを採用 あれもこれもASUS！ 新ピラーレスケースも渋カッコいいBTOPCのコダワリを聞く sponsored 基調講演には総務省 CISOの山内智生氏が登壇、サイバー空間をめぐる脅威動向や政策を紹介 ランサム感染の実体験からMDR導入事例までが語られた「Canon Security Days 2024」 spons
OpenAIが新モデル「o1-preview」の思考内容を出力させようとしたユーザーに警告
複雑な推論を行えるOpenAIのモデル「o1-preview」では「思考の連鎖(chain of thought)」プロセスを挟むことで推論の精度を高めています。思考の連鎖プロセスの中身は非公開ですが、ユーザーの中には何とかして中身を出力させようとする人もいます。OpenAIがそうしたユーザーに対し警告を行っていることが明らかになりました。 Ban warnings fly as users dare to probe the “thoughts” of OpenAI’s latest model | Ars Technica https://arstechnica.com/information-technology/2024/09/openai-threatens-bans-for-probing-new-ai-models-reasoning-process/ OpenAIは2024
15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー | DevelopersIO
15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー Googleが提供する無料の機械学習の集中講座はご存知でしょうか? 機械学習に関する幅広いテーマを座学・動画・実験・コーディングといった様々なアプローチで15時間で学べます。しかも無料です。 このコンテンツはもともとは2018年に公開されたものであり、多くのエンジニアに活用されました。 とはいえ、2017年のTransformerの論文、大規模言語モデルの発展、2022年のChatGPTリリースなど、AIは急速に発展し、より広い職種に身近なものになっています。 この流れを受けて、入門講座は2024年8月に大幅に刷新されました。 ※冒頭で登場するResearch DirectorのPeter NorvigはAIの世界的な教科書"Artificial Intelligence: A Mode
生成AIに「夢」を見せる→“過学習”を防ぐ 「人間が夢（合成データ）を見る理由も同じか？」 米研究者が21年に提唱
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。通常は新規性の高い、AI領域の科学論文を解説しているが、ここでは番外編として“ちょっと昔”に発表された個性的な科学論文を取り上げる。 X： ＠shiropen2 夢を見る目的は何なのか。従来の理論では、夢は記憶の固定化や情報の整理に役立つと考えられているが、夢を見る理由やメカニズムについてはいまだ十分に解明されていない。一方、夢と最も関連の深い睡眠段階を抑制すると、哺乳類の学習能力が低下することは以前から知られている。 研究者らは機械学習の概念を用いてこの問題にアプローチし、夢の役割について新しい視点を提示した。具体的には、夢が現実の経験を少し変形させたバージョンを提供することで、脳が特定のパターンに過度に適応するのを防いでいるというも
Sakana AI、複数の画像を扱える“日本語視覚言語モデル”公開 非英語圏での先駆けに
AIスタートアップのSakana AI（東京都港区）は8月2日、複数の画像について日本語で質疑応答できるAIモデル「Llama-3-EvoVLM-JP-v2」を発表した。このモデルは、同社が提案する生成AIの開発手法「進化的モデルマージ」で開発した視覚言語モデル（VLM）。作成したAIモデルなどはHugging Faceで公開中。 「Llama-3-EvoVLM-JP-v2」の特徴は、複数の画像を扱えること、日本語で応答できることだ。例えばこのAIモデルに、2枚の犬の画像を見せて「それぞれを簡単に説明してください」と質問すると、犬種や身に着けている装飾品など、質問に対する回答を日本語で返してくれる。米Metaが公開しているAIモデル「Llama-3」をベースにしており、同社が過去に公開したAIモデルよりも性能が向上しているという。 これまでも、画像に対する説明や質疑応答のできるVLMが多く
生成AIが“AI生成コンテンツ”を学習し続けるとどうなる？→「モデル崩壊」が起こる 英国チームが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 英オックスフォード大学や英ケンブリッジ大学などに所属する研究者らが発表した論文「AI models collapse when trained on recursively generated data」は、AIモデルが自己生成したデータで繰り返し学習すると、モデルの性能が低下していく「モデル崩壊」という現象を発見した研究報告である。 研究チームは、大規模言語モデル（LLM）、変分オートエンコーダー（VAE）、ガウス混合モデル（GMM）など、幅広い生成AIモデルを対象に実験を行った。その結果、AIモデルが生成したデータを次世代のモデルの学習に
3Dモデル用のメッシュを人間のアーティストが作成したように構築できる「MeshAnything」
2024年7月2日にMetaが発表したテキストから3Dモデルを生成できる「3D Gen」やOpenAIの「Shap-E」などの3Dモデルを簡単に生成できるAIがあったり、映像や写真から再構成された3Dモデルが配布されていたりと、さまざまな3Dモデルを簡単に手に入れることができます。一方で、手作業で作成された3Dモデルとは異なり、機械生成したものは3Dモデルを各アプリで運用するための「メッシュ」が大幅に劣ります。シンガポールの南洋理工大学や上海AIラボなどの研究者らが共同で作成した「MeshAnything」というソフトは、あらゆる3D表現に人間のアーティストが作成した3Dモデルに匹敵するメッシュを追加することができます。 (PDFファイル)MeshAnything: Artist-Created Mesh Generation with Autoregressive Transformer
AIが作る3Dモデルの完成度が上がってきた 毎回異なるモンスターが生成されるゲームも実現か (1/4)
2023年後半、3Dモデルのサービスの登場が相次ぎましたが、品質的にはまだまだという印象でした。しかしここにきて、使いものになる可能性が見える段階に入り始めています。中国系のAIスタートアップTripo AIの「Tripo」です。2024年5月にStable DiffusionのStability AIと共同開発した「Tripo SR」を発表。この技術を組み込んで、生成する3Dモデルの品質を引き上げてきているようです。3D技術を知らないゲーマーが自由に3Dを生成する時代を夢見ているようです。 3D生成サービスに新たな技術革新 2023年後半から今年頭にかけて、Luma AIの「Genie」、Common Sense Machinesの「Cube」、Meshyの「Meshy 2」など、一斉に3D生成サービスが開始したのは大きな要因がありました。2023年5月に、自由に使える3Dモデルの学習デ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新たな3Dモデル生成AI「Hunyuan3D」をローカルで動作させてみた ～形状はいい感じに【Blender ウォッチング】
これが公衆浴場！？『犬神家の一族』のモデルにもなった重要文化財の浴場「片倉館」はロマンあふれる最高の浴場
約1,000万枚からなるAIモデル開発用画像データ、AI Picassoが無償公開／著作権に配慮、キャプション付きで
OpenAI、軽量・安価な新モデル「GTP-4o mini」 「桁違いに安い」
