はてなブックマーク

AIインフラ投資はやはり必須か、Grok3が物語る現実 中国DeepSeekが「600万ドル」という低コストでR1モデルを開発したとされる報道は、AI業界に大きな衝撃を与えた。これまで必須とされてきた大規模なAI開発インフラが本当に必要なのかという疑念を増大させたためだ。 しかし、イーロン・マスク氏率いるxAIがこのほど発表した最新の「Grok3」モデルが物語るのは、現時点ではやはり大規模なAIインフラは、優位性を確立するために必要であるということだ。 Grok3は、非推論モデルでありながら、推論モデルであるDeepSeek R1に迫る性能を発揮、さらにGrok3をベースとする推論モデルGrok3（Think）は、OpenAIのo3をも上回るパフォーマンスを示す。 まず、このGrok3がどのような環境で開発されたのかを詳しく見ていきたい。 同モデルが開発されたのは、xAIが米メンフィスに建

大規模言語モデル開発の課題：トークン利用における非効率性 AI研究コミュニティは、大規模言語モデル（LLM）の新たな改善方法を模索し続けている。 特に注目される課題の1つとして、既存LLMが依拠するトークンベースアーキテクチャにおける非効率性が挙げられる。 そもそも、LLMの文脈における「トークン」とは、事前に定義されたバイト（データの最小単位）の組み合わせのことを指す。LLMは、入力テキストをこのトークンに分解して処理する。これにより、計算リソースを効率的に使用することが可能となるのだ。 例えば「intelligence」という単語を考えてみたい。コンピュータ上では、この単語は「i」「n」「t」「e」「l」「l」「i」「g」「e」「n」「c」「e」という12個の文字（バイト）として保存されている。しかし、LLMはこの単語全体を「intelligence」という1つのトークンとして扱うこと

さらに進む、AIモデルの小型高性能化 AIモデルの高性能化と小型化の流れが加速している。メタが2024年7月にリリースしたLlama 3.1 405B（4,050億パラメータ）と、その5カ月後にリリースされたLlama 3.3 70B（700億パラメータ）の性能を比較すると、その進化の速さが見て取れる。 Llama 3.1 405Bは基本的な言語理解力を測るMMLU Chatテストで88.6%のスコアを記録したが、パラメータ数が約6分の1のLlama 3.3 70Bも86.0%とほぼ同等の性能を示したのだ。 さらに、指示への追従性を測るIFEvalでは、Llama 3.3 70Bが92.1%とLlama 3.1 405Bの88.6%を上回る結果となった。プログラミングコードの生成能力を測るHumanEvalでも、Llama 3.3 70Bは88.4%と、Llama 3.1 405Bの89.

動画生成AI市場、高まる既存プレイヤーへの圧力 動画生成AI市場の競争が新たな段階に突入した。これまでRunwayやPika、Lumaなどプレイヤー数は限定的だったが、ここにきてオープンソースモデルの参入が相次いでおり競争が一層激化している。これを受け先行プレイヤーは、単なる動画生成にとどまらず、動画編集に関わる実用的な機能の搭載など、差別化を模索する動きを活発化している状況だ。 たとえばRunwayは2024年11月、最新モデル「Gen-3 Alpha Turbo」に高度なカメラコントロール機能を追加したことを発表した。この機能により、3次元空間内でのズームインやズームアウト、パン操作などが可能となり、実際の撮影現場のような臨場感のある映像生成を実現。さらに、カメラの移動方向や動きの強さを細かく設定するなどのカスタマイズにも対応している。 3次元のカメラワークを可能にする新機能（Runw

既存RAGの課題、ハルシネーションやコンテキスト理解不足など 企業における生成AI活用では、情報の正確性が特に重視される。そのため、生成AIを利用する場合、検索拡張生成（RAG）の導入が一般的となっている。RAGとは、生成AIに外部データベースを接続することで、より正確な回答を生成する手法。RAGは特に文書要約やシンプルなクエリへの回答で優れたパフォーマンスを発揮するといわれている。 しかし、既存のRAGシステムには、いくつかの課題が存在する。課題は大きく4つに分類される。 第1の課題は、RAGだけでは情報の正確性が担保できないことだ。たとえば、営業担当者が商談の売上を問い合わせた場合、チャットログやメール、CRMなど、複数のデータソースが参照対象に含まれる。この場合、CRMが最も信頼できる情報源となるはずだが、RAGシステムは、自律的にそのことを判断できないため、古いメールから誤った情報

AIの機械学習エンジニアリングスキルを測定するMLEベンチマークの登場 AIによる自動化は、さまざまな領域へと拡大の一途をたどっている。その波は、単純作業だけでなく、高度な専門性を要する分野にまで及び始めている。現在、注目を集めているのが機械学習エンジニアリングだ。 OpenAIが2024年10月、AIシステムによる機械学習エンジニアリングの能力を測定する新しいベンチマーク「MLE-bench」を発表。この研究により、AIが高度な専門領域でも一定の成果を上げられる可能性が明らかになった。 このベンチマークは、機械学習コンテストのプラットフォームとして知られるKaggleの実世界データサイエンスコンペティション75件を活用し、AIシステムの能力を包括的に評価するもの。Kaggleとは、企業や研究機関が抱える実際のデータ分析の課題を、世界中のデータサイエンティストが競って解決するプラットフォー

OpenAIが発表した実験的フレームワーク「スワーム」とは？ テック大手によるAIエージェントをめぐる動きが活況の様相だ。NVIDIAのジェンスン・フアンCEOは、今後数年以内に同社の社員数を現在の3万2,000人から5万人に拡大しつつ、1億人に相当するAIエージェントを導入する計画を明らかにした。 AIエージェントとは、単なるチャットボットではなく、自律的にタスクを実行するAIシステムで、すでに一部の業界でディスラプションを起こしている。主要AI企業もエージェント関連技術の開発に多くのリソースを投入しており、AIエージェントシステムのアップデートサイクルも加速している。 最近の動きで特に注目されるのが、OpenAIが発表した実験的フレームワーク「スワーム（Swarm）。AIエージェントのネットワークを調整する新たな枠組みとなり、AIによる自動化の取り組みをさらに前進させるものとして関心を

グーグルNotebookLM、AIコミュニティで大きな注目、ビジネス版も年内リリースへ さまざまなマルチモーダルAIが登場する中、グーグルのAIツール「NotebookLM」がAIコミュニティで大きな話題となっている。NotebookLMは、PDFやグーグルドキュメント、スライド、ウェブサイトなど、多様な形式のコンテンツをアップロードし、Gemini 1.5を基盤とするチャットボットと対話できるクラウドベースのAIワークスペース。ユーザー数は既に数百万人規模に達し、8万以上の組織が導入したとされる。この急速な普及を受け、グーグルは年内にも企業向けの有償版「NotebookLM Business」をリリースする計画だ。 NotebookLMが注目される理由の1つは、最近導入された「Audio Overviews（音声の概要）」機能。この機能を使えば、アップロードした情報ソースをもとに、人工音

パリで行われた、2024年パラリンピック。ファッションの都での開催だったからでもないだろうが、今回から障がいを持つ選手が着脱しやすいよう配慮したアダプティブウェアの採用が一段と増えたようだ。パラリンピックは世界最大規模の障がい者スポーツの祭典でありながら、意外にも選手によっては障がいのためにオフィシャルユニフォームなどが着られないケースが今まであったという。 アダプティブウェアは障がい者や高齢者のニーズに合わせ、特別にデザインされた服だ。障がい者運動の高まりから、機能性に加え、ファッション性も問われるようになった。服とその着用者の気持ちには大きな関連性があるからだ。 アダプティブウェア市場の2031年までの年平均成長率は8.2％。急速に発展するテクノロジーの導入で、アダプティブウェアは着用者にとって、より意味があるものになってきている。ニッチ市場とばかり考えられてきたアダプティブウェアに、

ガートナー、Capgeminiも注目、エージェントAIに関する最新予測 AI分野における焦点は、単一の「大規模言語モデル（LLM）」から、複数のモデルによる「エージェントAI（Agentic AI）」にシフトしつつある。ガートナーの最新予測によると、2024年時点で1％未満に過ぎないエージェントAIの企業向けソフトウェアアプリケーションへの組み込み率は、2028年までに33％に達する見込みだ。これにより、日々の業務における意思決定の15％が自律的に遂行される可能性があるという。 エージェントAIとは、人間の監視を最小限に抑えながら、自律的に動作し、自己改善を図り、複雑な環境下での意思決定を効果的に行えるAIシステムを指す。セールスフォースによれば、AIの発展は3つの波に分類できる。第1波は予測AI、第2波は生成AI、そして現在、第3波としてエージェントAIの時代が到来しているという。 Ca

AIと生産性、企業におけるソフトウェア開発、最新調査概要 生成AIが労働生産性に与える影響について、具体的なデータが明らかになった。マイクロソフト、アクセンチュア、そして匿名の大手電機メーカーにおいて実施された大規模な無作為化比較実験の結果、AIを活用した開発者支援ツール「GitHub Copilot」の導入により、ソフトウェア開発者の生産性が26.08%向上したことが判明した。 調査は、プリンストン大学、MIT、マイクロソフト、ペンシルベニア大学ウォートン校の研究者らによって実施された。対象となったのは、4867人（3社合計）のソフトウェア開発者だ。GitHub Copilotは、GitHubとOpenAIとの協業で開発されたAIベースのコーディングアシスタントで、インテリジェントなコード補完を提案する機能を持つ。開発者が書いているコードやコメントの文脈を分析し、関連するコードスニペット

グーグルが注目するプロンプトエンジニアリング技術 同じ大規模言語モデル（LLM）でも、プロンプトの精度によってアウトプットの内容や精度は大きく変わる。プロンプトエンジニアリングの重要性が注目されている所以だ。プロンプトエンジニアリングの最新技術として関心を集めているのが、10億ドル規模の評価額を持つAIスタートアップCharacter.aiが開発し、その後グーグルに買収された「Prompt Poet」だ。 Prompt Poetは、LLMの応答を最適化するための高度なプロンプト作成を、ユーザーフレンドリーな低コードテンプレートシステムで簡素化するツール。Character.aiは、LLMに性格を吹き込み、任意のキャラクターを演じさせるプラットフォームを開発してきた。これに伴い、同社は日々数十億のプロンプトを構築する必要があった。効率的に高精度のプロンプトを大量に作成するために生まれたのが、

8月、ドイツの車メーカー「BMW」が、ヒューマノイド「Figure 02」を使って、自動車製造現場での実証実験を成功させたと発表した。公開された動画には人間のシルエットをしたロボットが製造ラインで滑らかに指を動かし、器用に金属部品をはめている姿が映っていた。このロボットは複雑な部品をミリ単位の精度で、自律的に配置することができるという。 世界的にヒト型ロボット、いわゆるヒューマノイドロボットの開発が加速している。アメリカの有名企業も投資を行っており、今後市場がさらに拡大すると見込まれているのだ。その中で、ヒューマノイドロボットが労働者の代わりになることが期待されている。 日本では人手不足による倒産が過去最多を記録した。ヒューマノイドロボットが社会、経済の救世主となるのかもしれない。 「Figure 02」がBMWの工場で実証実験を行った（BMWホームページより） 会話や画像から作業を読み取

動画生成AI分野で、新興スタートアップが次々と登場し、既存の企業に対する競争圧力が高まっている。中でも高い関心が集まっているのが、大手半導体メーカーのNVIDIA、グーグル、メタの元社員によって設立されたスタートアップ「Hedra」と、元マイクロソフトエンジニアのガウラブ・ミスラ氏が創業したスタートアップ「Captions」だ。 この分野は、OpenAIのSora、Pika、Runway、Lumaなど複数のプレイヤーがひしめき合う激戦状態だが、HedraやCaptionsの参入で競争はさらに激化することが見込まれている。 現在、特に注目度の高いこの2社に焦点を当てて、それぞれがどのような強み・特徴を持っているのかを探ってみたい。 自然なリップシンクができるAIアバターで人気「Hedra」 AIアバターを簡単に作成できるHedra hedra公式サイトより シードラウンドでは1,000万ドル

最新ベンチマーク、「Hallucination Index」 1年ほど前まで、大規模言語モデル（LLM）は、いわゆるクローズドソースモデル、特にGPT-4が圧倒的な性能を誇っており、さまざまなベンチマーク／リーダーボードにおいて、トップを独占する状態が続いていた。 しかし現在、その状況は大きく変わりつつある。競合クローズドソースモデルの追い上げに加え、オープンソースモデルの躍進により、多極化が進んでいるのだ。開発者やユーザーにとってGPT-4以外の選択肢が大幅に増えたことを意味しており、AIアプリケーションの最適化や低コスト化が一層進む可能性が高まっている。 この状況を如実に示すベンチマークの1つがAIスタートアップGalileoの「Hallucination Index」の最新版だ。Galileoは22の主要な大規模言語モデルを対象に、不正確な情報を生成する傾向（ハルシネーション）を評価

GPT-4レベルのモデルをカスタマイズ可能に、メタのLlama3.1 405Bモデルがもたらす変革 生成AI市場において、これまでOpenAIのGPT-4、AnthropicのClaude、グーグルのGeminiなど、いわゆるクローズドソースモデルが圧倒的な精度を誇っており、オープンソースモデルは精度面で後塵を拝する状況が続いていた。 メタが2024年7月23日に発表したLlama3.1により、この状況が大きく変わろうとしている。Llama3.1は、3つのサイズ（パラメータ数）からなるモデルファミリー。最小かつ最速が80億パラメータのLlama3.1 8Bモデル、中型が700億パラメータのLlama3.1 70B、最大となるのが4,050億パラメータのLlama3.1 405Bモデルだ。トレーニングには、1万6,000台のNVIDIA・H100が使用されたという。 この中で特に注目されるの

製造業界における労働力不足と生産性向上の課題に対して、ロボットによる機械化だけでなくAIを組み合わせるアプローチが徐々に増加中だ。GrayMatterという米国のスタートアップが開発した「物理ベースAI」を搭載したロボットはその1つ。人間の仕事を奪うと恐れられてきたAIは今、どこまで進化してきているだろうか。 注目のテクノロジー、物理ベースAI搭載ロボット AIを搭載したロボット開発の、米国のスタートアップGrayMatterが4,500万ドル（約71億円）のシリーズBラウンドの資金調達に成功し、これによって総資本は7,000万ドルになった。同社は「物理ベースAI」を搭載したロボットを開発しており、この資金を基に開発を加速させる計画だ。 ロボティックオートメーションはすでに市場で活用されている技術で、例えばApple社でも様々な組立ラインで利用している。このロボティックオートメーションに「

撮影しなくても動画を生成 一つまた新しい動画編集ソフトが誕生した。その名も「Augie Studio」。以前は「Aug X Labs」という名前で知られ、2年間のベータテストを経て、6月17日に正式リリースとなった。「映像制作の新時代をリードする」というキャッチコピーを掲げ、誰でも簡単にプロの動画クリエイターが作ったような映像を作れるとして注目を集めている。 ターゲットはSNS広告担当者や企業のマーケターなどの動画コンテンツを任された担当者たち。アメリカの動画マーケティング会社「Wyzowl」の報告書によれば、マーケティング担当者の87%が、動画が売上に直接的にプラスの影響があったと回答していて、2016年以降で過去最高になったそうだ。 そのためほとんどの企業が動画をマーケティングや広告・営業ツールの一つとして捉えている。そして、いわゆる“バズる動画”をより簡単に作れる方法を模索しているの

自動化の波は法務の世界にも押し寄せている。 情報サービス大手のトムソン・ロイターがこのほど法務特化型生成AIプラットフォーム「CoCounsel」を発表した。法務、メディア、税務、会計、輸出入管理、FTA、コンプライアンス管理業務に強い同社が、最新情報と革新的なテクノロジーをリンクさせたプラットフォームに注目が集まっている。 CoCounselの生みの親Casetext トムソン・ロイターは昨年8月、カナダの法務AIスタートアップCasetextを買収し、傘下におさめている。 昨年10周年を迎えたCasetextは、2013年にロースクール出身の創設者が実際の訴訟に関わる業務に携わる中で、情報へのアクセスの悪さに疑問を抱いたのが始まりとされている。 「家から1マイル以内の特定の料理が食べられるタイレストランは数分で検索できるのに、クライアントのためにたった一つの判例を探すのに毎晩朝4時まで

OpenAIがエンタープライズ機能を拡張、その詳細 企業における生成AIの活用をさらに進めるには、AIモデルの精度向上に加え、セキュリティ、プライバシー、コスト管理などの要素も必須だ。当初から法人をターゲットとしてきたAnthropicやCohereが存在感を示す中、OpenAIも企業向けの取り組みを加速し、シェア拡大を狙う。 OpenAIは2024年4月、GPT-4 Turboなどの大規模言語モデル（LLM）を活用したエンタープライズ向け機能の拡張を発表した。具体的には、セキュリティや管理機能の強化、コスト管理の効率化などを実現する新しい機能となる。API経由で同社のLLMを利用する企業をさらに増やす計画だ。 セキュリティ面では、マイクロソフトのAzureクラウドサービスとOpenAI間の直接通信を可能にする「Private Link」を導入。これにより、APIを介して送信される顧客デー

マイクロソフトとG42が4月16日に調印。左からG42取締役に就任したマイクロソフトのブラッド・スミス副会長兼社長、G42のタフヌーン・ビン・ザイド会長、G42のペン・シャオCEO（出典：G42公式サイトhttps://www.g42.ai/resources/news） 米マイクロソフトは4月、UAE（アラブ首長国連邦）の首都アブダビを拠点とするAI企業、G42（Group 42 Holding）に15億ドル（約2,300億円）を投資すると発表した。両社はすでに協業関係にあったが、今回の多額の投資を機に、マイクロソフトがG42の少数株主となり、取締役を送り込む。G42の側は今後、マイクロソフトのAzureクラウドサービス上で、AIアプリケーションとサービスを実行することになる。 これは一見、投資と業務提携の深化という、よくあるビジネス事案だが、実際には米国、UAE両政府がこの案件に強く関

アップルも注目する小型LLM ChatGPT、特にGPT-4が登場して以来、大規模言語モデル（LLM）の性能向上において、パラメータ数を増やすアプローチが主流となってきた。しかし最近では、パフォーマンスを維持しつつ、パラメータ数を減らす、小型モデルの開発が活発化している。この大規模言語モデルの小型化において、水面下で動いているのがアップルだ。 アップルは2023年12月、「LLM in a flash」という論文を発表。この研究では、iPhoneやMacBookといったメモリ制約のあるデバイスでLLMを動作させる手法が提案されている。具体的には、モデルの一部をDRAMに、残りをフラッシュメモリに分散して格納し、必要に応じてDRAMとフラッシュメモリ間でモデルの重みを動的に入れ替えるというアプローチ。これにより、メモリ使用量を大幅に減らしつつ、推論の遅延を最小限に抑えることができるという。特

AmazonがこのほどAIスタートアップのAnthropicへ27億5,00万ドル追加出資し、同社への投資を完了したと発表。合計40億ドル（約6,063億円）の投資は、Amazon史上最大の社外投資と報じられた。Microsoftが抱えるOpenAIのライバルであるAnthropicへの投資でAmazonが目指すBedrockの強化に注目が集まっている。 AIをめぐるテック企業の競争激化 改めて言うまでもなく、Amazonの巨額投資は近年ますます激化している生成AI競争を勝ち抜く狙いがある。世界のAIレースは現在、OpenAIとパートナーシップを提携したMicrosoftが業界の圧倒的勝者だと見られている。 MicrosoftはOpenAIに対して2019年に10億ドル、2021年に2回目の出資（額は不明）をし、2023年1月にはさらに100億ドルの投資をしたと報じられている。その後、10

NVIDIAに対抗するAIスタートアップGroqとは？ NVIDIAが驚異的な決算を記録する中、シリコンバレーで密かに注目を集めているスタートアップがある。大規模言語モデル（LLM）の推論に特化したAIチップ「言語処理ユニット（LPU）」を開発するGroqだ。 VentureBeat（2024年2月23日）の報道によると、Groqは「年末までに、（同社のAIチップが）LLMスタートアップの主要インフラとして広く使用されることになるだろう」と予測されており、NVIDIAが圧倒的なシェアを占める市場で一石を投じる構えを見せている。 Groqの創業者でCEOを務めるジョナサン・ロス氏は、CNNのインタビューで同社のオーディオチャットインターフェースを披露し、「スピード記録を打ち破る」と自信を見せた。実際、Groqのチャットアプリのデモ版では、ユーザーが選択した「Llama」や「Mistral」モ