LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
オープンソース大規模言語モデルまとめ、メタのLlama 2が「超重要になる」ワケ
オープンソースのLLM（大規模言語モデル）がこれまでにないほど大きな注目を集めている。OpenAIのGPTモデルなどクローズドな大規模言語モデルが圧倒的なシェアを有する状況だが、それらに匹敵するオープンソースのLLMの開発が進んでいる。メタの「Llama 2（ラマツー）」を筆頭に、日本でもそれをベースにした日本語LLM「ELYZA-japanese-Llama-2-13b」が公開された。直近ではメタに対抗して、Databricksも「DBRX」をリリース。オープンソースLLMとは何か、クローズドモデルに比べてどのような利点があるのか。オープンソースLLMが注目される理由を探ってみたい（追記：最新のLlama 3（ラマスリー）については別記事を参照のこと）。 オープンソースのLLMが注目される理由 2023年はChatGPTを筆頭にコンシューマー向けの生成アプリケーションが広く普及した年とな
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
大規模言語モデルが「幻覚」を引き起こすリスクを客観的に検証できるオープンソースの評価モデルをVectaraがリリース
AIが入力された内容に対して、いかにもそれっぽいように見えるいい加減な内容を出力してしまう現象を「幻覚」と呼びます。AI企業のVectaraが、オープンソースの幻覚評価モデル(HEM)を発表しました。 Measuring Hallucinations in RAG Systems - Vectara https://vectara.com/measuring-hallucinations-in-rag-systems/ 大規模言語モデルは質問に対して的確に答えることもあれば、時として学習データに含まれたいい加減な情報を出力することがあります。大規模言語モデルはあくまでも統計的に言葉を出力しているだけで、出力している内容の意味を理解しているわけではないので、何を言っているのかさっぱり分からないような回答を返してしまう可能性があり、「ユーザーの質問内容に対して、完全にありもしない内容をでっち上
大規模言語モデルは、絵文字の分散表現をどう見るか - YANS2023ブース展示｜セコン / @hotchpotch
くふうカンパニーの舘野(@hotchpotch)です。先日行われたYANS2023にスポンサー企業として参加し、ブースで「大規模言語モデルは絵文字の分散表現をどう見るか」という展示を行いました。 Webブラウザー上で、絵文字の分散表現(特徴量)を使ってインタラクティブにぐりぐり動かしながら、色々な視点から絵文字を見ることができます。 🎨Emoji Embedding Projector🌐 https://emoji-emb.netlify.app/ 🔼 こちらのURLから、ブラウザで絵文字の分散表現を視覚的に弄れます スマートフォンでも横表示にすれば操作できますが、PC ブラウザでの閲覧がおすすめです 🤗 楽しみ方絵文字アイコンをクリックすると、その絵文字の類似 Top-100 が表示されます。 左下の PCA タブでは、主成分の上位1-10が表示され、そのうち3つを使い3D空間に
LINE、日本語の大規模言語モデル公開 オープンソースで 商用利用もOK
LINEは8月14日、日本語に特化した大規模言語モデル（LLM）「japanese-large-lm」を発表した。オープンソース（OSS）として公開し、商用利用も可能（Apache License 2.0）としている。 公開したLLMは、36億パラメーターと17億パラメーターの2つ。両モデルともHuggingFace Hubからアクセスできる。Web由来のテキストから大規模かつ高品質なデータ構築を行うため、OSSライブラリ「HojiChar」を使ったフィルタリング処理を実施。モデルの訓練には、LINE独自の大規模日本語Webコーパス（最終学習は約650GBのコーパスで実施）を利用したという。 LINEは独自LLM「HyperCLOVA」の開発を長年手掛けているが、今回のモデルは別の開発ライン（LINEのMassive LM開発ユニット）にて構築したもの。同チームでは、指示文に対して適切な出
東大松尾研、日英対応の大規模言語モデル公開 100億パラメータ、精度は「国内オープンソース最高水準」
東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。 【修正履歴：2023年8月18日午後9時 当初、モデルの公開形式をオープンソースと記載していましたが、ソースコードが公開されていないなどオープンソースの定義に沿わないと思われる部分があるため記述を改めました。なお、引用部分についてはそのままにしています】 日本語だけでなく英語のデータセットも学習に用いることで学習データ量を拡張し、言語間の知識転移を行うことで日本語の精度を高めたのが特徴。 事前学習には、代表的な英語のデータセット「The Pile」と日本語のデータセット「Japanese-mC4」を使用。事後学習には、Alp
無料で商用可、ChatGPT（3.5）に匹敵する生成AI「Llama 2」 Metaが発表、Microsoftと優先連携
米Metaは7月18日（現地時間）、大規模言語モデル「Llama 2」を発表した。利用は無料で商用利用も可能としている。最大サイズの700億パラメーターモデルは「ChatGPT（の3月1日版）と互角」（同社）という。 ダウンロードには、Metaが用意するフォームから名前とメールアドレス、国、組織名を入れ、利用規約に同意した旨を送信する。Metaが受理すると専用URLが送られてくるため、同社がGitHubで公開しているダウンロード用のスクリプトと合わせるとLlama 2の各モデルをダウンロードできるようになる。 モデルサイズは70億、130億、700億パラメーターの3種類があり、それぞれベースモデルとチャット向けに追加学習（ファインチューニング）したモデルを用意する。いずれも4096トークン（おおよそ単語数の意）まで文脈を読める。 性能は、Llama-2-70b-chat（700億のチャット
著作権に詳しい福井弁護士はChatGPTをどう見る？
――AIと著作権について詳しい福井健策弁護士のもとには、最近、生成AIに関する相談件数が増えているのではないでしょうか。また生成AIは一般企業にどんな影響を与えるでしょうか。 福井健策弁護士（以下、福井） 増えていますね。作品を持つ権利者、AI開発者、それに一般企業からも、生成AIの著作権問題についてどう考え、どう付き合ったらいいかというご相談が増えています。いわばコンテンツホルダー、開発者、ユーザーのすべてからご相談が寄せられるという状況です。 福井 健策（ふくい けんさく）氏。弁護士（日本・ニューヨーク州）／日本大学芸術学部・神戸大学大学院・iUほか 客員教授。1991年 東京大学法学部卒。1993年 弁護士登録（第二東京弁護士会）。米国コロンビア大学法学修士課程修了（セゾン文化財団スカラシップ）、シンガポール国立大学リサーチスカラーなど経て、現在、骨董通り法律事務所 代表パートナー。
和製生成AIをサイバーエージェントが作る理由。“無償公開の狙い”をAI開発チームに聞く
サイバーエージェントが突如、オープンソースとして無償公開した大規模言語モデル（LLM）｢OpenCALM（オープンカーム）｣が話題を呼んでいる。 国内の大手IT企業が、研究、商用など目的を問わず使用できる大規模言語モデルを公開するのは非常に珍しい試みだからだ。 今、国内の生成AI業界では、日本を軸にした新たな動きが活発化している。 サイバーエージェントと同日の5月17日にrinna社からも独自のLLMがオープンソースで登場したり、22日には東京工業大学と富士通などが2023年度中にスーパーコンピューター｢富岳｣を使い、和製生成AIを開発すると公表した。 なぜサイバーエージェントがLLMを作り、オープンソース化したのか。その狙いをAI事業本部の開発チームに聞いた。 —— 5月17日の発表を見て、少なからず｢なぜサイバーエージェントからLLMを？｣と考えた人もいそうです。大規模言語モデルを自社
サイバーエージェントが公開した大規模言語モデルの実力を試す
5月16日、サイバーエージェントが商用利用可能な7B（68億パラメータ）の大規模言語モデルOpenCalm7Bを公開した。OpenCalm7Bは、日本語版Wikipediaと日本語版コモンクロールを学習したとされている。ライセンスはCC-BY-SA 4.0だ。 早速その実力を試してみた。 まずOpenCalm7Bを動かすには、TransformerをインストールしたPCで、VRAMは最低14GBくらいは必要となる。今回、筆者はV100を4基搭載したさくらインターネットの高火力サーバを利用した。 (ldm310) ubuntu@ubuntu:~$ python Python 3.10.4 (main, Mar 31 2022, 08:41:55) [GCC 7.5.0] on linux Type "help", "copyright", "credits" or "license" for
【連載①】大規模言語モデル（LLM）のビジネス利用に関して注意すべき点-LLMの使用許諾条件- - Platinum Data Blog by BrainPad ブレインパッド
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMのビジネス利用に関して注意すべき点、その中でも使用許諾条件についてまとめました。 はじめに 本連載で扱うLLMサービスのイメージと想定する対象者 連載内容（予定） LLMの使用許諾条件について ①プラットフォーマーが提供するサービスの利用条件（主にサービス提供者・ユーザーの方向け） サービスの商用利用の可否 利用条件（制限事項） ②ソースコードが公開されたモデルのライセンス（主にプラットフォーマーの方向け） モデル等の主な使用条件 ライセンス情報の確認方
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【西川和久の不定期コラム】 日本語にも対応したLLM「Cohere Command R(+)」の実力は？
Stability AI Japanが公開した30億パラメーターの日本語向けLLMを動かしてみた【生成AIストリーム】
【西川和久の不定期コラム】 340億パラメータのLLMは手元のPCで動く？Metaの「Code Llama 34B」を試してみた！
自宅PCでもAIはここまで動く！ VRAM 16GBのGeForceで動かす「画像で会話」の大規模言語モデル【イニシャルB【特別編】】[Sponsored]![自宅PCでもAIはここまで動く！ VRAM 16GBのGeForceで動かす「画像で会話」の大規模言語モデル【イニシャルB【特別編】】[Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e323ee4afd275297632465d779bdf8c7a6df3897/height=288;version=1;width=512/https%3A%2F%2Finternet.watch.impress.co.jp%2Fimg%2Fiw%2Flist%2F1527%2F680%2F001.jpg)
