生成AI（人工知能）を含む最新のAI研究動向を知るため、世界中の研究者やエンジニアが参照しているのが、論文速報サイト「arXiv（アーカイブ）」である。米OpenAI（オープンAI）や米Google（グーグル）などAI開発を主導するIT企業の多くが、研究成果をarXivに競って投稿している。 そんなarXivの投稿論文から、2024年4月（1日～30日）にSNSのX（旧Twitter）で多く言及されたAI分野の注目論文を紹介する。調査には米Meltwater（メルトウォーター）のSNS分析ツールを利用した。対象はXの全世界のオリジナル投稿、コメント、再投稿、引用投稿である。調査は、日経BPが2024年1月に新設したAI・データラボの活動の一環として実施した。 「GPT2」に再び脚光？スケーリング則の論文 最初に取り上げるのが、大規模言語モデル（LLM）のスケーリング則に関する論文「Phys
謎の高性能AIモデル「gpt2-chatbot」がChatbot Arenaに登場、GPT-4.5かGPT-5なのではないかと話題に
ユーザーがログインせずに様々な言語モデルとチャットしてその出力を評価することができるウェブサイト「LMSYS.org」のChatbot Arenaで、「GPT-4.5」あるいは「GPT-5」と思われるモデルがテストされているのではないかと話題になっています。 GPT-2? https://rentry.co/GPT2 GPT-4.5 or GPT-5 being tested on LMSYS? | Hacker News https://news.ycombinator.com/item?id=40199715 プロンプトエンジニアであるdesuAnon氏によると、LMSYS.orgで利用可能になったモデルの一つである「gpt2-chatbot」は従来のGPT-4モデルやClaude 3 Opusが解決できないレベルの問題に対応し、英語だけではなく日本語の処理能力も高く、アスキーアートの
2019年に公開されるやいなや「危険すぎる」と話題になったOpenAIの「GPT-2」を、ゼロから作成したレポートが公開されました。作成にかかった時間は、1時間14ドル(約2200円)のクラウドコンピューティングサービスで1時間半だったため、総コストは約20ドル(約3100円)に収まっています。 Reproducing GPT-2 (124M) in llm.c in 90 minutes for $20 · karpathy/llm.c · Discussion #481 · GitHub https://github.com/karpathy/llm.c/discussions/481 # Reproduce GPT-2 (124M) in llm.c in 90 minutes for $20 ✨ The GPT-2 (124M) is the smallest model in t
生成AIブームの火付け役となった「ChatGPT」を提供する米OpenAIは、2023年3月に高性能な大規模言語モデル（LLM）「GPT-4」を提供して以来、次の高性能モデルについて沈黙を守り続けている。そんな中、LLMを比較できるWebサービス上にOpenAIのものらしき謎の高性能なLLMが現れた。同社のサム・アルトマンCEOも言及しており、OpenAIが関連している可能性も少なくなさそうだ。 米カリフォルニア大学バークレー校の研究室が運営するプロジェクト「LMSYS Org」（The Large Model Systems Organization：大規模モデルシステム機関）で公開しているWebサービス「Chatbot Arena」の中に、「gpt2-chatbot」というモデルが突如現れ、4月29日深夜（日本時間、以下同様）から話題になり始めている。 記事執筆時点の30日午後5時現在
AI対戦アリーナで無双していた謎の覆面チャットボット「gpt2-chatbot」がOpenAIの新モデルだった可能性が急浮上
チャットボットの能力をバトル形式で比較評価する「Chatbot Arena」というサイトに登場するやいなや、GPT-4などの強豪モデルを次々と打ち負かして話題となっていたAIの正体が、OpenAIの新モデルである可能性が高いことが判明しました。 gpt2-chatbot confirmed as OpenAI https://simonwillison.net/2024/May/8/gpt2-chatbot-confirmed-as-openai/ Mystery chatbot is likely a new OpenAI product https://www.axios.com/2024/05/02/mystery-chatbot-openai-gpt2 Is this mystery chatbot really GPT-4.5 in disguise? Here's how to
OpenAIが4月1日、6年ぶりにオープンなAIモデルを提供する計画を発表した。2019年にリリースされた「GPT-2」以来、初めての「オープンウェイトモデル」として登場する予定だ。具体的な性能やリリース時期については詳細を明らかにしていないが、「高度な推論能力」を備えているとされ、時期的には2025年夏までにリリースされる可能性が高い。 オープンウェイトモデルとは、開発者がモデルの訓練済みパラメーター（重み）にアクセスし、自身の目的に応じて利用・改良できる形式のモデルのこと。完全なオープンソースモデルとは異なり、基盤となるコードやデータは公開されない。 OpenAIのサム・アルトマンCEOはSNS（X）で、「長年検討してきたが、他の優先事項が先行していた。今こそ重要な時期だと感じている」と述べるとともに、今回の取り組みがAIコミュニティとの協力を強化し、透明性とアクセス性を向上させること
はじめに ABEJAでデータサイエンティストをしている真鍋です。 アドベントカレンダーぶりの登場になります。 今回も生成AI、特にLLM (大規模言語モデル) 系のネタです。 LLMが登場して久しく、業務でLLMを使うのが当然の方も多くなっているのではないかと思います。裏では、私のようなデータサイエンティストやエンジニアが、APIを通じてGPT等の言語モデルを利用する場合も一定あるのではないでしょうか。 一方で、ただAPIを叩くだけではわからない部分も多いため、実際に作ってみようじゃないか、というのが、今回の記事の趣旨です。 とはいえ、実際の大規模言語モデルは、GPUを何台も用意するレベルで、がっつりリソースを使うことになるので、さすがに厳しいので、簡単に小規模言語モデル (GPT-2) を作成してみよう、というのが本記事の趣旨です。 LLMとは？ LLMの基礎知識 LLMの原理的な話は、
A ChatGPT clone, in 3000 bytes of C, backed by GPT-2 by Nicholas Carlini 2023-04-02 This program is a dependency-free implementation of GPT-2. It loads the weight matrix and BPE file out of the original TensorFlow files, tokenizes the input with a simple byte-pair encoder, implements a basic linear algebra package with matrix math operations, defines the transformer architecture, performs transfor
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AI業界は「GPT2」で騒然、RAGは実用化へ新手法が続々
OpenAIの共同設立者が「GPT-2」をわずか90分の時間と3100円の費用で再現するレポートを公開
謎の生成AI「gpt2」登場で騒然 次世代のGPT？ アルトマンCEOも言及
OpenAI、6年ぶりにオープンAIモデル提供へ 「GPT-2」以来
【手順付き】初心に立ち返ってGPT-2を学習してみる - ABEJA Tech Blog
A ChatGPT clone, in 3000 bytes of C, backed by GPT-2