東大松尾研、日英対応の大規模言語モデル公開 100億パラメータ、精度は「国内オープンソース最高水準」
東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。 【修正履歴：2023年8月18日午後9時 当初、モデルの公開形式をオープンソースと記載していましたが、ソースコードが公開されていないなどオープンソースの定義に沿わないと思われる部分があるため記述を改めました。なお、引用部分についてはそのままにしています】 日本語だけでなく英語のデータセットも学習に用いることで学習データ量を拡張し、言語間の知識転移を行うことで日本語の精度を高めたのが特徴。 事前学習には、代表的な英語のデータセット「The Pile」と日本語のデータセット「Japanese-mC4」を使用。事後学習には、Alp
無料で商用可、ChatGPT（3.5）に匹敵する生成AI「Llama 2」 Metaが発表、Microsoftと優先連携
米Metaは7月18日（現地時間）、大規模言語モデル「Llama 2」を発表した。利用は無料で商用利用も可能としている。最大サイズの700億パラメーターモデルは「ChatGPT（の3月1日版）と互角」（同社）という。 ダウンロードには、Metaが用意するフォームから名前とメールアドレス、国、組織名を入れ、利用規約に同意した旨を送信する。Metaが受理すると専用URLが送られてくるため、同社がGitHubで公開しているダウンロード用のスクリプトと合わせるとLlama 2の各モデルをダウンロードできるようになる。 モデルサイズは70億、130億、700億パラメーターの3種類があり、それぞれベースモデルとチャット向けに追加学習（ファインチューニング）したモデルを用意する。いずれも4096トークン（おおよそ単語数の意）まで文脈を読める。 性能は、Llama-2-70b-chat（700億のチャット
著作権に詳しい福井弁護士はChatGPTをどう見る？
――AIと著作権について詳しい福井健策弁護士のもとには、最近、生成AIに関する相談件数が増えているのではないでしょうか。また生成AIは一般企業にどんな影響を与えるでしょうか。 福井健策弁護士（以下、福井） 増えていますね。作品を持つ権利者、AI開発者、それに一般企業からも、生成AIの著作権問題についてどう考え、どう付き合ったらいいかというご相談が増えています。いわばコンテンツホルダー、開発者、ユーザーのすべてからご相談が寄せられるという状況です。 福井 健策（ふくい けんさく）氏。弁護士（日本・ニューヨーク州）／日本大学芸術学部・神戸大学大学院・iUほか 客員教授。1991年 東京大学法学部卒。1993年 弁護士登録（第二東京弁護士会）。米国コロンビア大学法学修士課程修了（セゾン文化財団スカラシップ）、シンガポール国立大学リサーチスカラーなど経て、現在、骨董通り法律事務所 代表パートナー。
和製生成AIをサイバーエージェントが作る理由。“無償公開の狙い”をAI開発チームに聞く
サイバーエージェントが突如、オープンソースとして無償公開した大規模言語モデル（LLM）｢OpenCALM（オープンカーム）｣が話題を呼んでいる。 国内の大手IT企業が、研究、商用など目的を問わず使用できる大規模言語モデルを公開するのは非常に珍しい試みだからだ。 今、国内の生成AI業界では、日本を軸にした新たな動きが活発化している。 サイバーエージェントと同日の5月17日にrinna社からも独自のLLMがオープンソースで登場したり、22日には東京工業大学と富士通などが2023年度中にスーパーコンピューター｢富岳｣を使い、和製生成AIを開発すると公表した。 なぜサイバーエージェントがLLMを作り、オープンソース化したのか。その狙いをAI事業本部の開発チームに聞いた。 —— 5月17日の発表を見て、少なからず｢なぜサイバーエージェントからLLMを？｣と考えた人もいそうです。大規模言語モデルを自社
サイバーエージェントが公開した大規模言語モデルの実力を試す
5月16日、サイバーエージェントが商用利用可能な7B（68億パラメータ）の大規模言語モデルOpenCalm7Bを公開した。OpenCalm7Bは、日本語版Wikipediaと日本語版コモンクロールを学習したとされている。ライセンスはCC-BY-SA 4.0だ。 早速その実力を試してみた。 まずOpenCalm7Bを動かすには、TransformerをインストールしたPCで、VRAMは最低14GBくらいは必要となる。今回、筆者はV100を4基搭載したさくらインターネットの高火力サーバを利用した。 (ldm310) ubuntu@ubuntu:~$ python Python 3.10.4 (main, Mar 31 2022, 08:41:55) [GCC 7.5.0] on linux Type "help", "copyright", "credits" or "license" for
【連載①】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMのビジネス利用に関して注意すべき点、その中でも使用許諾条件についてまとめました。 はじめに 本連載で扱うLLMサービスのイメージと想定する対象者 連載内容（予定） LLMの使用許諾条件について ①プラットフォーマーが提供するサービスの利用条件（主にサービス提供者・ユーザーの方向け） サービスの商用利用の可否 利用条件（制限事項） ②ソースコードが公開されたモデルのライセンス（主にプラットフォーマーの方向け） モデル等の主な使用条件 ライセンス情報の確認方
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
