サイバーエージェントは7月26日、米Metaの最新AIモデル「Llama 3.1 70B」を使った新たな大規模言語モデル(LLM)を公開した。Llama 3.1 70Bをベースに、日本語データを追加学習させたもので、Hugging Face上で公開している。ライセンスはMetaの「Llama 3.1 Community License」に基づいており、商用利用可能だが、利用規約などに同意が必要となる。 「Llama 3.1」シリーズはMetaが24日(現地時間)に公開した最新LLM。15兆トークンを超えるデータでトレーニングしたとしており、複数のベンチマークで米OpenAIのLLM「GPT-4o」や米AnthropicのLLM「Claude 3.5 Sonnet」より優れているという。
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X: @shiropen2 英オックスフォード大学や英ケンブリッジ大学などに所属する研究者らが発表した論文「AI models collapse when trained on recursively generated data」は、AIモデルが自己生成したデータで繰り返し学習すると、モデルの性能が低下していく「モデル崩壊」という現象を発見した研究報告である。 研究チームは、大規模言語モデル(LLM)、変分オートエンコーダー(VAE)、ガウス混合モデル(GMM)など、幅広い生成AIモデルを対象に実験を行った。その結果、AIモデルが生成したデータを次世代のモデルの学習に
Googleの持株会社である米Alphabetは7月23日(現地時間)、第2四半期(4月~6月)の決算を発表した。Alphabet全体の売上高は、前年同期比14%増の847億4200万ドル、純利益は29%増の236億1900万ドル(1株当たり純利益は1ドル89セント)だった。4四半期連続の2桁台の売上高増加となった。AI採用の検索とクラウドが大きく伸びた。 クラウド部門の売上高は初めて100億ドルを超え、営業利益も10億ドルを達成した。 スンダー・ピチャイCEOは業績発表後の電話会見で、クラウド向けのAIツールを「200万人以上の開発者が使っており、数十億ドルの収益を生み出している」と語った。同氏は投資家向け書簡で「AIのあらゆるレイヤーで革新を推進している」と語った。 売上高、1株当たり純利益ともにアナリスト予測(売上高は841億9000万ドル、1株当たり純利益は1ドル84セント)を上回
米Metaは7月24日(現地時間)、“オープンソースの”LLMの最新版「Llama 3.1」を発表した。最大モデルは4050億(405B)のパラメータを持ち、米NVIDIAの1万6000個以上の「H100」でトレーニングした。Llama 3の70Bモデルと8Bモデルもアップグレードされる。 4月にリリースした「Llama 3」同様に、ほぼすべての主要クラウドサービス(AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake)で利用可能になる。 15兆トークンを超えるトレーニングデータでトレーニングしたとしているが、データの出所は明示していない。 405Bモデルは、長文テキストの要約、多言語会話エージェント、コーディングアシスタント、将来のAI言語モデルのト
近年の大規模言語モデル(LLM)の出現は、自然言語処理(NLP)においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
Upgrade for image upload, smarter AI, and more Pro Search.
“AI検索”サービス「Perplexity」(パープレキシティ)がスゴい。 Perplexityは、質問に対してテキストで答えてくれる、チャットbot型生成AIだ。ChatGPTと似ているが、検索に特化しており、「Webの最新情報をベースに検索できる」点が異なる。 例えば、7月4日時点で東京都知事選(7月7日投開票)の最新状況を聞くと、こんなふうに答えてくれる。
AIにとって微分可能性が必須条件でなくなりつつある意味 2024.07.04 Updated by Ryo Shimizu on July 4, 2024, 12:26 pm JST かなり長い間、本欄でも「AI(人工知能)」と書くときに、注釈として「AI(人工ニューラルネットワーク)」と書く必要があった。 というのも、AIという言葉が指す意味は範囲がとても広く、解釈次第ではただの電卓や辞書、IMEまでもがAIと呼べてしまうからだ。 だから、「AI」という言葉を多用する人を見た時、それは「新しいインチキ(Atarashii Inchiki)」であると考えた方が良いというジョークを言ったものである。 ここ5年で、事態は一気に変化した。今やニューラルネットワークでないものを「AI」と呼ぶのは憚られる。まあそれでもニューラルネット以前の古いシステムをいまだに「AI」と呼ぶようなIT(インチキ)企
東京都知事候補である安野たかひろ氏の運営事務所(以下、安野たかひろ事務所)は6月28日、YouTubeで公開しているAITuber「AI安野たかひろ」(AIあんの)の仕組みを解説する記事を公開した。AIあんのでは、特定のデータベースにある固有の知識をLLM(大規模言語モデル)に学習させる手法「RAG」(検索拡張生成)を活用していることなどを明かした。 安野氏は23日ごろから、自身の政策を学習させたAITuberによるYouTube Liveを始めていた。AITuberとは、生成AI技術を活用してライブ配信を行う人のこと。安野氏は、自身の声色や容姿を模したアバターを使ったAITuberを使い、ユーザーがチャットに投稿した質問や意見に24時間全自動で回答する配信を行っている。 安野たかひろ事務所の技術チームは28日、AIあんのの技術解説記事をnoteで公開。Unityによるレンダリングなどを中
オープンソースAI(Open Source AI)とは、オープンソースの状態にあるAIシステムのことである。これはある意味で自明なのではあるが、「オープンソースの定義」(OSD)を管理している米国の非営利団体Open Source Initiative(OSI)では、2023年からわざわざ新たに「オープンソースAIの定義」(OSAID: Open Source AI Definition)の策定を開始している。2024年の8月頃には定義のRC版が公開される見込みであるが、本稿ではこの新たな定義が何故必要になり、その定義がどのような機能するものであるかということに対し、主に佐渡が視点から時系列的に簡単に紹介していく。これによって日本国内においてOSAIDが認知され、AI開発コミュニティにおいて自由かつ透明性が確保されたシステムの必要性への理解が深まる一助となることを期待する。 OSIにおける
生成AIを使った実験を重ねるにつれて、クリエイティブ分野での限界が明確に理解されるようになってきた。AIとアーティストたちの力関係を変えようとする取り組みもいくつか始まっている。 by Melissa Heikkilä2024.06.30 190 8 この記事の3つのポイント AIとアーティストとの関係性はこの2年間で変化しつつある 独創的で面白いものを生み出すのは難しく、補強ツールとして使うのが最適 権利侵害を防ぐ技術やツールも開発が進み、不安を和らげている summarized by Claude 3 この記事は米国版ニュースレターを一部再編集したものです。 人工知能(AI)のジョークはありきたりだ。グーグル・ディープマインド(Google DeepMind)の研究チームがプロのコメディアン20人に依頼し、一般的なAI言語モデルを使ってジョークやコメディパフォーマンスの台本を書いてもら
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/6/8 今は大規模言語モデル(LLM)を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
Microsoft は Windows ノートパソコンに新しい Copilot キーを搭載する Copilot+ PC シリーズを発表しましたが、現在このキーは Copilot のプログレッシブウェブアプリ(PWA)を起動させるためのキーに変更されています。 これまで Windows に組み込みの機能として備わっていた Copilot は、現在では Microsoft Edge ブラウザを経由した PWA として処理されるため、ただ単に新しいウィンドウでウェブアプリが起動するだけになります。 この変更により、以前までのように Windows に統合されているわけではなく単に PWA を呼び出すようになっているため、Copilot を使用して Windows の設定を変更したりアプリの操作などのコマンドを実行することができなくなりました。 また、この変更にともない Win + C で Cop
昨今の生成AIの進化は著しく、もはやスマートフォンやPCに載っているOSにAIを統合することは、これからの必然といえる。実際、既にGoogleやMicrosoftは先行して取り組んでいる。後れを取るAppleが、WWDC24でどのようにAIをOSに統合するのか注目が集まっていた。 →Apple、生成AI「Apple Intelligence」発表 オンデバイス処理でSiriも大幅進化、ChatGPTとも連携 今回は基調講演の後、初の試みとして米国のインターネットパーソナリティー「iJustine」がAppleの重役2人にApple Intelligenceについてあれこれ聞く「In Conversation with Craig Federighi and John Giannandrea」というプレス向けのセッションが用意された。AppleのAI戦略担当で上級副社長(写真中央)は「可能な
Open WebUIを使ってみました。 https://openwebui.com/ 当初は「Ollama WebUI」という名前だったようですが、今はOpen WebUIという名前に変わっています。Ollama専用じゃなくなったということでしょう。OpenAIに対応済みです。 早速使ってみました。もちろんBedrockで。 6/11 続編を書きました。 環境構築 Dockerですんなり構築です。Bedrockに対応はしてないので、「LiteLLM」を使って対応させます。 環境変数でこのあたりを指定 Ollamaを無効化 LiteLLMのエンドポイントをOpenAIのエンドポイントとして登録 APIキーを登録(LiteLLMとの通信には不要ですが、未指定だとOpen WebUIが正しく動作しませんでした) services: open-webui: image: ghcr.io/open-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く