速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
ChatGPT - LLMシステム開発大全
私の今まで経験してきた全てのLLMノウハウを詰め込んだ、LLMシステムの開発ガイドです。 初めてLLMシステムを開発したいと思った時でも、精度改善や運用に行き詰った時でも、何かしら役に立つと思います。 現在200ページ超。 今後も随時更新していきます。 2023/7/28 体裁修正、余計…
［速報］ChatGPTを組み込んだ「Microsoft 365 Copilot」は月額30ドルの追加料金で提供。マイクロソフトが発表。Inspire 2023
［速報］ChatGPTを組み込んだ「Microsoft 365 Copilot」は月額30ドルの追加料金で提供。マイクロソフトが発表。Inspire 2023 マイクロソフトは、日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、Microsoft 365にChatGPTベースのAI機能を組み込んだ「Microsoft 365 Copilot」を1ユーザー当たり月額30ドルの追加料金で提供することを発表しました。 2023年3月に行われたMicrosoft 365 Copilot発表時の様子。左はModern Work & Business Applications担当CVP Jared Spataro氏 Microsoft 365に自動生成機能などを追加 Microsoft 365 Copilotは、Outlookによる過
無料で商用可、ChatGPT（3.5）に匹敵する生成AI「Llama 2」 Metaが発表、Microsoftと優先連携
米Metaは7月18日（現地時間）、大規模言語モデル「Llama 2」を発表した。利用は無料で商用利用も可能としている。最大サイズの700億パラメーターモデルは「ChatGPT（の3月1日版）と互角」（同社）という。 ダウンロードには、Metaが用意するフォームから名前とメールアドレス、国、組織名を入れ、利用規約に同意した旨を送信する。Metaが受理すると専用URLが送られてくるため、同社がGitHubで公開しているダウンロード用のスクリプトと合わせるとLlama 2の各モデルをダウンロードできるようになる。 モデルサイズは70億、130億、700億パラメーターの3種類があり、それぞれベースモデルとチャット向けに追加学習（ファインチューニング）したモデルを用意する。いずれも4096トークン（おおよそ単語数の意）まで文脈を読める。 性能は、Llama-2-70b-chat（700億のチャット
Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表
LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［速報］マイクロソフト、「Copilot Studio」発表。Copilotのカスタマイズ、プラグイン開発、ワークフローの設定など、Copilot用ローコード開発ツール。Ignite 2023
Microsoft 365 Copilot 初期設定方法が公開されたので確認してみた（展開前にアクセス権限管理を再考する）
［速報］WindowsにチャットAIを搭載「Windows Copilot」発表、サイドバーから利用可能。6月にプレビュー版が登場予定。Build 2023
英文チェッカー「Ginger」、学習不要でネイティブ級のフレーズが書ける機能