むちゃくちゃに面白い&悲惨な図だな……(https://t.co/35IJLjtfXX) (どの政党のマニフェストでも「自民党」とラベルをつけると支持率が10ポイント上がる。共産党の「安保廃止」ですら、自民党の政策ということにする… https://t.co/jX99y71lm9
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。 大先生もまだ試してないというので番組内で一緒に試してみた。 もちろんドスパラ製Memeplexマシン(A6000x2)を使用。 >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1") Downloading (…)lve/main/config.json: 100%|██████████████████| 626/626 [00:00<00:00, 56.2kB/s] [2023
こちらの記事では、Stable DiffusionでおなじみのStablity AIが送るLLM「Stable LM」について、概要や導入方法、実際に触ってみた感想をまとめています。 弊社のエンジニアによると、Stable LMはChatGPT等より規制が少ないとのこと。例えば、 エロ系の質問 悪用の可能性がある情報(例:ハッキング、爆弾の作り方、等) その他、アングラ系やグレーな質問 にも、答えてくれる可能性が高いそうです! ChatGPTやGemini等のLLMを使っていると、Google検索で知れるような少しグレーな内容でも「その質問には答えられません」ってなりますよね? どうやら、StableLMではそういったことが少ないらしいんです。 ということで当記事では、「エロい質問がいけるかもしれないLLM版Stable Diffusion」についてさまざまな検証を行います。噂の真相を確か
ポイント Japanese Stable LM 2 1.6B(JSLM2 1.6B)は16億パラメータで学習した日本語の小型言語モデルです。 JSLM2 1.6Bのモデルサイズを16億パラメータという少量にすることによって、利用するために必要なハードウェアを小規模に抑えることが可能であり、より多くの開発者が生成AIのエコシステムに参加できるようにします。 ベースモデルとしてJapanese Stable LM 2 Base 1.6Bと、指示応答学習(Instruction tuning)済みのJapanese Stable LM 2 Instruct 1.6Bを提供します。両モデルともStability AI メンバーシップで商用利用が可能です。また、どちらのモデルもHugging Faceからダウンロードすることができます。 Japanese Stable LM 2 Base 1.6B
エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは?人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール:中島聡(なかじま・さとし) ブロガー/起業家/ソフトウェア・エンジニア、工学修士(早稲田大学)/MBA(ワシントン大学)。NTT通信研究所/マイクロソフト日本法人/マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
トップ セミナー・お知らせ お知らせの記事一覧 国産LLM初、AIエージェントとして使える「KARAKURI LM 8x7B Instruct v0.1」を一般公開 ~6月20日・21日開催の AWS Summit 2024 で初披露~ カスタマーサポートDXを推進するカラクリ株式会社(東京都中央区:代表取締役CEO 小田志門、以下カラクリ)は、6月20日に国産LLMの中で初めて※1Function callingとRAGに対応した「KARAKURI LM 8x7B Instruct v0.1」を公開いたします。本対応により、「KARAKURI LM 8x7B Instruct v0.1」は様々なアプリケーションを人間に代わって操作するAIエージェント※2としての活用が可能です。そのため生成AIをビジネス実装をする際に、従来の国産モデルであれば必要だった「業界・企業特有のタスクのプログラミ
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
LM Studio is an easy to use desktop app for experimenting with local and open-source Large Language Models (LLMs). The LM Studio cross platform desktop app allows you to download and run any ggml-compatible model from Hugging Face, and provides a simple yet powerful model configuration and inferencing UI. The app leverages your GPU when possible.
Stability AI Japan は、オープンな日本語大規模言語モデルの中で最高性能*のものを含む「Japanese Stable LM Beta (JSLM Beta)」シリーズをリリースしました。 各モデルは Llama-2 をベースとしており、追加の学習を行うことで日本語の能力や日本に関する知識等を追加し、日本における用途に特化させています。特に、最大サイズの指示応答言語モデルである JSLM Beta 70B は、700億パラメータの商用利用可能な日本語言語モデルです。2023年11月現在、我々の知る限りでは最大規模のオープンな日本語特化言語モデルとなります。 *注:性能の評価方法は後述 "A cute robot wearing a kimono writes calligraphy with one single brush" — Stable Diffusion XL (
米OpenAIの生成AI「GPT-4」を上回る性能をうたうAI「Xwin-LM」が、AIモデル共有サイト「Hugging Face」に公開されている。言語モデルのベンチマークサイト「AlpacaEval」でGPT-4を追い抜き1位を獲得したとしている。 開発者名は明記されていないが、GitHub上の履歴を参照すると中国科学院や清華大学の博士課程の研究者らが開発したようだ。 Xwin-LMは米Metaが公開したAI「Llama2」をベースにしており、教師ありファインチューニング、報酬モデル、リジェクトサンプリング、強化学習などを使って調整したものという。パラメータ数はLlama2と同じく70億、130億、700億の3つのモデルを用意。中でも最大である700億の「Xwin-LM-70B-V0.1」は、AlpacaEvalの評価基準である「Text-Davinci-003」(GPT-3のモデルの
はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し
NotebookLM NotebookLMはGoogleが提供している生成AIを活用したサービスです。なんと(2024年10月現在は)無料で使えます。 NotebookLMは、Googleの生成AI Geminiのロングコンテキスト(多くの量のプロンプトを扱うことができるという意味)の特徴を活かした、文章の要約やQA対応が得意です。文章は、直接プロンプトに入れている(と思われる)ので、単なるRAGとは違う(と思われ)ます。 RAGとロングコンテキストのどっちが良いのかというのは、色々議論があるようです。例えばLost in the Middle: How Language Models Use Long Contextsという論文では「ロングコンテキストの真ん中の情報は失われるよ」みたいなことが書いてありますがRetrieval Augmented Generation or Long-C
文章生成AIの研究開発が急速に進んでおり、無料で使える大規模言語モデル(LLM)も数多く公開されています。しかし、LLMの動作を実際に試すには高性能なハードウェアや複雑な環境構築が必要なことが多いため、最初から諦めている人も多いはず。無料で公開されている「LM Studio」を使えば、一般的な性能のPCでもコマンド不要で気軽にLLMの動作させられるとのことなので、実際にLM Studioを使ってLLMを使う手順を確かめてみました。 LM Studio - Discover, download, and run local LLMs https://lmstudio.ai/ ◆LM Studioのインストール LM StudioはWindows版とmacOS版が存在するほか、Linux向けのベータ版も存在します。Windowsで使う場合の必要条件は「AVX2に対応したCPU」のみ。近年販売さ
こんにちは!ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構(以下「NEDO」)が公募した「ポスト5G情報通信システム基盤強化研究開発事業/ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC(Generative AI Accelerator Challenge)と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点(執筆時)では存在していません。 GENIACの計算資源提供の
「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。 今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 GPTQを利用するため、「auto-gptq 」もインストールしています。 # パッケージのインストール !pip install t
「Google Colab」でLINEの「japanese-large-lm」を試したので、まとめました。 1. japanese-large-lm「japanese-large-lm」は、「LINE」が開発した36億パラメータの日本語LLMです。 2. japanese-large-lmのモデル「japanese-large-lm」では、次の3種類のモデルが提供されています。 ・line-corporation/japanese-large-lm-3.6b : ベースモデル ・line-corporation/japanese-large-lm-3.6b-instruction-sft : 指示モデル ・line-corporation/japanese-large-lm-1.7b : ベースモデル 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabの
本記事中で紹介しているユーザスクリプト「どこでもCopilot」。ChromeビルトインのLLMで、任意のフォーム上で文章の続きをサジェスト。外部通信なし、無料で動作こんにちは、カラクリR&Dの吉田です。今回は、10本ノック「番外編」ということで、Google Chrome の最新版に先日(2024年8月22日)組み込まれたローカルLLMの話をします。 本記事の概要2024年8月22日に公開された Google Chrome の「バージョン128」にローカルLLM として Gemini Nano が組み込まれました。このLLMは、フロントエンド JavaScript から手軽に呼び出し可能で、ローカルLLMなので外部への通信は発生しません。しかも無料です。 本記事では、このLLMを体験する方法を記します。また、このLLMを応用して、任意のフォーム上で入力した文章の続きをリアルタイムで補完し
日本語大規模言語モデル「Japanese Stable LM 3B-4E1T」「Japanese Stable LM Gamma 7B」を公開しました Stability AI Japan は日本語向け大規模言語モデル「Japanese Stable LM 3B-4E1T」及び「Japanese Stable LM Gamma 7B」を公開しました。前者は約30億パラメータ、後者は約70億パラメータのモデルであり、日本語タスクを用いた性能評価において、同等サイズのモデルで最高水準の性能を発揮しています。モデルはすべて商用利用可能な Apache 2.0 ライセンスにて公開しています。 今回公開したモデルは以下の通りです。 30億パラメータの汎用言語モデル: Japanese Stable LM 3B-4E1T Base 30億パラメータの指示応答言語モデル: Japanese Stable
この Xwin-LM-13B-V0.1 モデル、13B(130億パラメーター)でありながらAlpacaEval ベンチマークにおいてなんとGPT-4に僅差で勝利している。対ChatGPT戦に至っては圧勝である。 しかもこのモデル、GPTQで量子化したTheBloke/Xwin-LM-13B-V0.1-GPTQ であれば7.26 GBである。 ついに家庭用ゲーミングPCでGPT-4が動く時代が来たのだ。 今を未来と呼ばずしてなんと呼ぶ。 というわけで、ローカルの Text generation web UI で Xwin-LM-13B をロードして色々推論して遊んでみます。 2. WebUI での実行今回はmainブランチのモデルを使用しています。 4ビット、アクトオーダー、グループサイズ128g。 VRAM使用量は64Gよりさらに少ないが、精度は若干落ちる。 Model タブの Downl
はじめに 前回の記事で Xwin-LM-70B-V0.1 と Llama-2-70B の出力結果の比較しました。今回は Open Interpreter のバックエンドとして Xwin-LM-70B-V0.1 を使ってみます。 私の PC のスペック[1] i7 13700K 3090 24GB DDR5 128GB 準備 llama-cpp-python を CUDA を有効にしてインストールする。 sudo apt install -y build-essential cmake python3 python3-pip python-is-python3 \ && CUDA_PATH=/usr/local/cuda FORCE_CMAKE=1 CMAKE_ARGS='-DLLAMA_CUBLAS=on' \ pip install llama-cpp-python --force-re
目次 LMのフロントエンド横断組織 フロント会とは? 弊社のフロントエンド開発状況 具体的な取組内容を一部ご紹介 さいごに LMのフロントエンド横断組織 はじめまして、フロントエンド横断組織に所属している鵜木(うのき)です。 今回はプロダクトや開発グループを横断して活動をしている、フロントエンド横断組織、通称フロント会のことをご紹介したいと思います。 フロント会とは? 弊社では「モチベーションクラウド」を中心としたSaaSプロダクト群を自社で開発・運用しています。これらのプロダクト群や開発グループを横断して、フロントエンド技術の向上に取り組んでいる組織のことを、弊社では「フロント会」と呼んでいます。以下の画像が組織構造のイメージです。 ※画像内のプロダクト・グループ・職種の数は適当です 組織構造イメージ 上記の通り、弊社の開発組織はプロダクトごとの事業部制組織となっています。基本的には*1
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く