イーロン・マスク氏のxAI、LLM「Grok-1」をオープンに
イーロン・マスク氏が昨年7月に立ち上げたAI企業xAIは3月17日（日曜日）、同社のLLM「Grok-1」の基本モデルの重みとアーキテクチャをリリースすると発表した。GitHubで、Apache 2ライセンスで配布されている。 Grok-1は、同社が昨年11月に発表したチャットbot「Grok」のベースとなるLLM。マスク氏がオーナーである米Xの「Xプレミアムプラス」のユーザーは、Grokと会話できている。 xAIは「3140億パラメータのMixture-of-Experts（MoE）」モデルと説明しているが、トレーニングデータについては「特定のタスク用に微調整されていない大量のテキストデータ」としか開示していない。ちなみに、Grok-1と競合する米OpenAIの「GPT-3」のパラメータ数は約1750億で、「GPT-4」については公表されていない。 マスク氏は2月、OpenAIを“契約違
MicrosoftのCopilotから無料で「GPT-4 Turbo」にアクセスできるように
2024年3月11日、すべての無料版CopilotユーザーがOpenAIの「GPT-4 Turbo」にアクセスできるようになったことが、Microsoftの広報担当責任者から発表されました。 Microsoft has added the GPT-4 Turbo LLM to the free version of Copilot - Neowin https://www.neowin.net/news/microsoft-has-added-the-gpt-4-turbo-llm-to-the-free-version-of-copilot/ Microsoft quietly upgraded Copilot's free version to GPT-4 Turbo. Here's why it matters | ZDNET https://www.zdnet.com/articl
国産LLMが抱える“開発コスト”の課題 海外勢に安さで勝てるか、ELYZA代表の危機感
東大発のAIスタートアップ企業ELYZA（東京都文京区）は3月12日、「GPT-3.5やGeminiに匹敵する」という日本語特化型の大規模言語モデル（LLM）を発表した。同社の曾根岡侑也代表は「今回のニュースは日本国内の状況を踏まえると本当に喜ばしいこと」と語った。一方、国内でのLLM開発ビジネスにおいて“資金面”が大きな課題になっているともこぼした。 今回発表したLLM「ELYZA-japanese-Llama-2-70b」は700億パラメータを持ち、日本語処理能力で米OpenAI製のGPT-4や、米Google製のGemini 1.0に匹敵する処理能力を有すると同社は強調する。曾根岡代表は「グローバルなプレイヤーが日本語処理の性能でリードしている中で、何か一矢報いよう（として到達した）」と話す。 新モデルの対話形式のデモンストレーションサイトを公開しており、誰でも試すことができる。また
高木浩光＠自宅の日記 - 速報：Claude 3に判例評釈を自動生成させてみた（Coinhive事件最高裁判決の巻）
■ 速報：Claude 3に判例評釈を自動生成させてみた（Coinhive事件最高裁判決の巻） 一昨日の「Claude 3に例の「読了目安2時間」記事を解説させてみた」の感触からすると、これだけLLMが長文の意味内容を「理解」するようになったとなると、もはや、書評や論文紹介、判例批評など、定形的なスタイルを持つ学術記事は、LLMによって自動生成が可能なんではないか？と思えてくる。 というわけでやってみた。土地勘のあるところで、Coinhive事件最高裁判例（刑集第76巻1号1頁）でやってみよう。しかし、さすがに、ただ最高裁の判決文を投入するだけでは、通り一遍の内容のない判例評釈になってしまうことが予想される。そこで、実在する一審の解説と二審の解説（私が書いたやつ）を読ませて、それを踏まえた最高裁判決の評釈を生成させてみる。これはうまくいくに違いない。たぶん。いや、どうかな。 さて結果は……
GPT-4を上回る性能で画像と文章を同時に処理できる日本語対応マルチモーダルAI「Claude 3」がリリースされる
元OpenAIエンジニアによって設立されたAIスタートアップのAnthropicが、大規模言語モデルの「Claude 3」を発表しました。 Introducing the next generation of Claude \ Anthropic https://www.anthropic.com/news/claude-3-family 以前のモデルである「Claude 2」は日本語に対応しており、AIの日本語能力を計測するベンチマークの「Rakuda」でOpenAIのGPT-3.5を上回るスコアをマークしています。今回リリースされたClaude 3も複数言語対応で、GPT-4を上回る性能を持つとのこと。 Claude 3のモデルは安価でコスト効率に優れる「Haiku」、コストと性能をバランスさせた「Sonnet」、そして高価なものの高性能な「Opus」という3つのバリアントに分かれてい
Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
Microsoftの研究チームがモデルのウェイトを「-1」「0」「1」の3つの値のみにすることで大規模言語モデルの計算コストを激減させることに成功したと発表しました。 [2402.17764] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits https://arxiv.org/abs/2402.17764 従来のモデルであれば入力に対して「0.2961」などのウェイトをかけ算してから足し引きする必要がありましたが、「-1」「0」「1」の3値のみであればかけ算が不要になり、全ての計算を足し算で行えるようになります。 そのため、同じ性能を出すのに必要なコストが通常の大規模言語モデルに対して激減するとのこと。なお、それぞれのパラメーターが「-1」「0」「1」という3つの値を取るためlog[2](3)の値より「1.
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
日本語能力に優れた商用利用可能な大規模言語モデル「Swallow」が公開される
東京工業大学(東工大)と産業技術総合研究所(産総研)の研究チームが日本語に強い大規模言語モデル「Swallow」を公開しました。LLAMA 2 Community Licenseで提供されており、月間アクティブユーザーが7億人未満の場合は商用利用も可能となっています。 Swallow https://tokyotech-llm.github.io/swallow-llama 日本語に強い大規模言語モデル「Swallow」を公開 英語が得意な大規模言語モデルに日本語を教える | 東工大ニュース | 東京工業大学 https://www.titech.ac.jp/news/2023/068089 東工大と産総研の研究チームは、英語での言語理解や対話能力の高い大規模言語モデルであるMeta社のLlama 2をベースに日本語能力を拡張したとのこと。Llama 2は日本語にも対応していますが、Lla
大規模言語モデルへの入力プロンプトを意味を保ったまま高度に圧縮する技術「LLMLingua」をMicrosoftが開発
近年はさまざまな大規模言語モデルが台頭し、入力するプロンプトを工夫することで高精度な回答を得る方法も数多く生み出されています。しかし、入力プロンプトがあまりにも長くなりすぎると、チャットウィンドウの上限を超えてしまったり、APIのコストが増大してしまったりするデメリットも生じます。そこでMicrosoft Researchの研究チームは、意味を保ったまま入力プロンプトを圧縮する新たな技術「LLMLingua」を開発しました。 LLMLingua | Designing a Language for LLMs via Prompt Compression https://llmlingua.com/ LLMLingua - Microsoft Research https://www.microsoft.com/en-us/research/project/llmlingua/ LLMLin
Google、医療特化の大規模言語モデル「MedLM」の提供開始
米Googleは12月13日（現地時間）、医療業界向けの新しい大規模言語モデル（LLM）、「MedLM」を発表した。このLLMは医療関連の膨大なデータセットでトレーニングされており、医療研究、医療診断、医療文書作成など、多様な医療用途に使用できるとしている。まずは米国で、Google CloudのAI統合プラットフォームである「Vertex AI」を介して提供を開始した。 MedLMは、「PaLM 2」をベースにしており、医療文書の理解と生成に特化した複雑なタスク向けの大容量モデルと、医療データの分析と予測に特化した、タスク間のスケーリングに適した中程度のサイズで微調整が可能なモデルが用意されている。 向こう数カ月中に、GeminiベースのモデルをMedLMスイートに導入する計画だ。 米医療サービス大手のHCA Healthcareは、医師がハンズフリーデバイスで患者との会話から正確でタイ
電撃発表、グーグルが｢全力開発｣した生成AI｢Gemini｣の全貌…ChatGPT超えするか
｢生成AIイヤー｣とも言える2023年も終わりに近づいてきたが、ここにきてグーグルがさらに新しい技術を投入すると発表した。 グーグルは12月7日（日本時間）、生成AI向けの新しい大規模言語モデル｢Gemini（ジェミニ）｣を発表した。 自社のチャットAI｢Bard｣はもちろん、｢Pixel 8 Pro｣をはじめとしたAndroidスマートフォンへの組み込みも進める。 グーグルのスンダー・ピチャイCEOはリリースの中で、Geminiをこう表現する。 ｢賢いソフトウェアというよりも、より便利で直感的な、相談できる専門家または仲間のように感じられるようになる｣ グーグルが本気で取り組んだGeminiとは、どんな存在なのだろうか。
Bard が高性能なモデルにアップデート
生成 AI を身近に体験いただける Bard の最大の利点のひとつは、ユーザーのニーズに合わせた回答を提供できることです。たとえば、旅行の計画を作成してもらったり、メールの文章を作成してもらったり、子供たちに科学の問題を説明するのを手伝ってもらったりすることができます。さらに、今回のアップデートにより、アイデアをより簡単に実現できるように、Bard の回答のカスタマイズが更に向上しました。本日より、Bard の高性能なモデルを公開します。これまで英語で提供してきた機能をより多くの言語や国に拡大するほか、より役立つ回答を提供できるよう、Bard を Google のアプリやサービスと統合します（英語のみ対応）。また、「Google で検索」機能を改善し、回答をダブルチェックできるようにしました。 複数機能を多言語・多地域で Google は責任を持って Bard の開発を続けており、これまで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ローカルLLM のリリース年表｜npaka
ローカルLLM on iOS の現状まとめ | ドクセル
Generative AI for Beginners
Generative AI for Developer - Promptのチカラ
ELYZA、コード生成と補完に特化した70億パラメータの日本語LLMを公開
NTTが大規模言語モデル「tsuzumi」、軽量＆日本語に強い――商用化は24年3月予定
ChatGPTの10ヶ月と開発トレンドの現在地
【西川和久の不定期コラム】 340億パラメータのLLMは手元のPCで動く？Metaの「Code Llama 34B」を試してみた！
