Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能｜shi3z
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
ありがとうございます！ 実は私本人がそのモデルの構築に関わっているのですが、詳細はまだ言えない状況です...。 来年3月の言語処理学会年次大会(NLP2023)での続報をお待ちください！このモデルに関する論文が公開される予定です（一応それを待ってからこの記事にも掲載します）。 （私が書いたものではありませんが、現段階で公開できる情報をまとめた記事があります: https://note.com/utokyo_itc/n/nb18b2a753f23 ）
ChatGPT APIの使い方 実際にChatGPT APIを使ってみましょう。 openai-pythonのインストール 今回はOpenAIのPython用ライブラリであるopenai-pythonを使います。pipを用いて、openai-pythonをインストールしましょう。 pip install openai APIリクエスト ChatCompletion.createで対話を生成できます。たとえば、以下のようなコードになります。 import openai openai.api_key = "sk-..." # APIキー completion = openai.ChatCompletion.create( model="gpt-3.5-turbo", messages=[{"role": "user", "content": "こんにちは！"}] ) print(complet
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話PythonAWS自然言語処理機械学習個人開発 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをもとに教師データを蓄積する処理も作りました。 デモ（ぼかしMAX） とてもわかりにくいですが、好みであろう作品がPOSTされているSlackの画面です。各メッセージについている「興味あり！」「別に…」ボタンを押すとLambdaが起動し、DynamoDBに新たな教師データとして保存されます。 なぜ作ったのか DLsiteが好き、以上。 ・・・ もう少し真面目に書くと、 会社でテキストデータに触れることが多いの
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Metaや米HuggingFaceなどに所属する研究者らが発表した論文「GAIA: a benchmark for General AI Assistants」は、難しいタスクではなく、人間にとって簡単なタスクを達成する大規模言語モデル（LLM）を評価するためのベンチマークを提案している。この研究は、人間が日常で当たり前に実行してほしいタスクを正確にこなすLLM構築を目指すためのテスト集である。 現在のベンチマークは、人間にとってより困難なタスクを求めており、LLMには数学や法律などの複雑なタスクや、一貫性のある本を書くなどの複雑な課題が
OpenAIがリリースした高精度な音声認識モデル”Whisper”を使って、オンライン会議の音声を書き起こししてみた | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村です。 2022/09/22の夕方ごろ、OpenAIが音声認識ですごいものを出したらしいというニュースが社内のSlackをにぎわせていました。 個人的には、いくら認識が凄いって言っても、実際日本語は微妙なんじゃないかな…？と思っていたのですが… ですが… … … … おお！？(上記はGitHubにあるWER: Word Error Rateのグラフです) これは！？ これは結構良さげな数値を出している！？(たぶん) ってことで元音声屋さんとしては、これは試すしかない！ということで動かしてみました！(投稿は翌日になってしまいましたが…) なお、本記事では論文内容の詳細などには触れませんのでご了承ください。(後日できたらがんばります) いますぐ使いたい人向け 今すぐ使いたい方は、Hugging Faceでブラウザから書き起こしを試
Stable Diffusion 2-1 - a Hugging Face Space by stabilityai
Discover amazing ML apps made by the community
rinna/japanese-hubert-base","children":[],"isValid":true,"title":"rinna/japanese-hubert-base"},{"id":"overview","label":"Overview","children":[],"isValid":true,"title":"Overview"},{"id":"how-to-use-the-model","label":"How to use the model","children":[],"isValid":true,"title":"How to use the model"},{"id":"how-to-cite","label":"How to cite","children":[],"isValid":true,"title":"How to cite"},{"id"
cyberagent (CyberAgent)
Text Generation • Updated Nov 2, 2023 • 7.49k • 27
大規模言語モデルの出力スピードを最大24倍に高めるライブラリ「vLLM」が登場、メモリ効率を高める新たな仕組み「PagedAttention」とは？
大規模言語モデルを利用する際には、モデルそのものだけでなく、モデルを扱うためのライブラリが必要になってきます。多くの場合Transformersというライブラリが使用されていますが、「PagedAttention」という仕組みを導入した新たなライブラリ「vLLM」を利用することでスループットを最大24倍に向上できることが大規模言語モデルの研究チームによって発表されました。 vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention https://vllm.ai/ 大規模言語モデルを操作するためのライブラリにはHugging FaceのTransformers(HF)や実稼働環境向けのText Generation Inference(TGI)が存在しています。今回登場したvLLMはこの一角に加わった形。 以下の図は、NVIDIA
ChatGPTの対抗馬としてオープンソースの対話型AIチャット「HuggingChat」をHuggingFaceがリリース
現地時間の2023年4月25日に機械学習アプリケーション構築ツールを手がけるHuggingFaceが、OpenAIが開発する対話型AIチャット「ChatGPT」のライバルとなる対話型AIチャットの「HuggingChat」を立ち上げたことを発表しました。HuggingChatはクローズドソースのChatGPTと異なり、オープンソースでの開発が行われています。 HuggingChat https://huggingface.co/chat/ Hugging Face launches open-source version of ChatGPT in bid to challenge dominance of closed-source models | VentureBeat https://venturebeat.com/ai/hugging-face-launches-open-sou
Image to text models output a text from a given image. Image captioning or optical character recognition can be considered as the most common applications of image to text. Use Cases Image Captioning Image Captioning is the process of generating textual description of an image. This can help the visually impaired people to understand what's happening in their surroundings. Optical Character Recogn
OpenAI Whisper - llamafile Whisperfile is a high-performance implementation of OpenAI's Whisper created by Mozilla Ocho as part of the llamafile project, based on the whisper.cpp software written by Georgi Gerganov, et al. Model creator: OpenAI Original models: openai/whisper-release Origin of quantized weights: ggerganov/whisper.cpp The model is packaged into executable weights, which we call whi
【PyTorch】BERTの使い方 - 日本語pre-trained modelsをfine tuningして分類問題を解く - Qiita
【PyTorch】BERTの使い方 - 日本語pre-trained modelsをfine tuningして分類問題を解くPython自然言語処理機械学習PyTorchbert はじめに 自然言語処理の様々なタスクでSOTAを更新しているBERTですが、Google本家がGithubで公開しているものはTensorflowをベースに実装されています。 PyTorch使いの人はPyTorch版を使いたいところですが、PyTorch版は作っていないのでHuggingFaceが作ったやつを使ってね、ただし我々は開発に関与していないので詳しいことは彼らに訊いてね！とQAに書かれています。 HuggingFace製のBERTですが、2019年12月までは日本語のpre-trained modelsがありませんでした。 そのため、英語では気軽に試せたのですが、日本語ではpre-trained mod
Discover amazing ML apps made by the community
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
LLMs are known to be large, and running or training them in consumer hardware is a huge challenge for users and accessibility. Our LLM.int8 blogpost showed how the techniques in the LLM.int8 paper were integrated in transformers using the bitsandbytes library. As we strive to make models even more accessible to anyone, we decided to collaborate with bitsandbytes again to allow users to run models
\\n以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。\\n[SEP]\\n指示:\\n日本で一番広い湖は？\\n[SEP]\\n応答:\\n"}]},"cardExists":true,"config":{"architectures":["GPT2LMHeadModel"],"model_type":"gpt2","tokenizer_config":{"bos_token":"","cls_token":"[CLS]","eos_token":"","mask_token":"[MASK]","pad_token":"[PAD]","sep_token":"[SEP]","unk_token":""}},"createdAt":"2023-04-13T22:46:07.000Z","discussionsDisabled":false,"downloads":1
Introducing StarCoder StarCoder and StarCoderBase are Large Language Models for Code (Code LLMs) trained on permissively licensed data from GitHub, including from 80+ programming languages, Git commits, GitHub issues, and Jupyter notebooks. Similar to LLaMA, we trained a ~15B parameter model for 1 trillion tokens. We fine-tuned StarCoderBase model for 35B Python tokens, resulting in a new model th
「Huggingface Transformers」の使い方をまとめました。 ・Python 3.6 ・PyTorch 1.6 ・Huggingface Transformers 3.1.0 1. Huggingface Transformers「Huggingface ransformers」（🤗Transformers）は、「自然言語理解」と「自然言語生成」の最先端の汎用アーキテクチャ（BERT、GPT-2など）と何千もの事前学習済みモデルを提供するライブラリです。 ・Huggingface Transformersのドキュメント 2. Transformer「Transformer」は、2017年にGoogleが発表した深層学習モデルで、2021年現在、自然言語処理に利用する深層学習モデルのデファクトスタンダードになっています。 「Transformer」は、過去に自然言語処理分野
GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Discover amazing ML apps made by the community
huggingfaceのTrainerクラスを使えばFineTuningの学習コードがスッキリ書けてめちゃくちゃ便利です - Qiita
はじめに huggingfaceのTrainerクラスはhuggingfaceで提供されるモデルの事前学習のときに使うものだと思ってて、下流タスクを学習させるとき（Fine Tuning）は普通に学習のコードを実装してたんですが、下流タスクを学習させるときもTrainerクラスは使えて、めちゃくちゃ便利でした。 ただTrainerクラスのinitやTrainingArgumentsの引数はたくさんあるしよくわからん、という人のために、TrainerクラスのFine Tuning時の使い方を実装を通してまとめてみようと思います。 今回は自然言語処理のタスクとしてlivedoorニュースコーパスのタイトル文のカテゴリー分類問題をFine Tuningの例題として扱おうと思いますが、ViTのFine Tuningとかでも同様かと思います。 基本的にはhuggingfaceのTrainerクラスの
Please Note! This model is NOT the 19.2M images Characters Model on TrinArt, but an improved version of the original Trin-sama Twitter bot model. This model is intended to retain the original SD's aesthetics as much as possible while nudging the model to anime/manga style. Other TrinArt models can be found at: https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion https://hu
この記事では、Stable Diffusion WebUI（AUTOMATIC1111版・Forge版）のモデルの使い方について紹介します。 Stable DiffusionとはStable Diffusionは、無料で使える画像生成AIです。テキストを打ち込むと、それに応じた画像が生成されるしくみです。人物や動物、風景など、さまざまな画像を生成できます。 例えば、「サングラスをかけた猫」と入力するとそのような画像が生成されます。生成する画像のスタイルも多様でイラストや写真、水彩画やアニメ調など、自分の好きなテーマでAIに生成してもらうことができます。 Stable Diffusion Web UI（AUTOMATIC1111版・Forge版）とはStable Diffusion Web UIは、（AUTOMATIC1111）ブラウザを通じて手軽に画像生成を行える無料のWEBアプリケーショ
GitHub - huggingface/safetensors: Simple, safe way to store and distribute tensors
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
SageMakerで自作のHuggingFaceモデルをデプロイして、記事要約をさせてみる - NIFTY engineering
はじめに N1! Machine Learning Product Engineerの中村です。 普段はニュースサイトやアプリのバックエンド開発を担当し、その他機械学習をプロダクトに実装することを目的としたスペシャリスト（ニフティにはN1!というスペシャリスト制度があります）としても活動しています。 https://recruit.nifty.co.jp/interview/nakamura.htm 本記事では、現在検証中である自然言語処理のためのHuggingFaceモデルをSageMakerにデプロイする手順を説明します。 SageMakerを使用することで、インスタンスタイプ変更やスケーリング、Lambdaなどと組み合わせたWebAPI化も可能なため、機械学習プロダクトの開発が楽に行えます。 注意 この記事ではSageMakerへのデプロイを目的としているため、自然言語処理モデルの具
AWS と Hugging Face は生成 AI をより利用しやすくコスト効率良くするため協力を拡大します | Amazon Web Services
Amazon Web Services ブログ AWS と Hugging Face は生成 AI をより利用しやすくコスト効率良くするため協力を拡大します AWS と Hugging Face は、生成 AI に不可欠である大規模な事前学習済みモデルの学習と推論を加速するためより協力していくことを発表します。生成 AI の用途は幅広く、文書の要約、質問への回答、コードの生成、画像の生成、エッセイや記事の作成など、さまざまなタスクを実行できます。この発表は、AWS and Hugging Face collaborate to make generative AI more accessible and cost efficient で行われ本記事は日本語訳をした記事です。 AWS は生成 AI の活用に向けて長い間イノベーションを継続してきました。Amazon は AI を使用して Al
Note: the performance scores shown in the table below have been updated to account for the new methodology introduced in November 2023, which added new benchmarks. More details in this post. Demo You can easily try the 13B Llama 2 Model in this Space or in the playground embedded below: To learn more about how this demo works, read on below about how to run inference on Llama 2 models. Inference I
A Gentle Introduction to 8-bit Matrix Multiplication for transformers at scale using transformers, accelerate and bitsandbytes
The 3 models are BLOOM-176B, T5-11B and T5-3B. Hugging Face transformers integration nuances Next let's discuss the specifics of the Hugging Face transformers integration. Let's look at the usage and the common culprit you may encounter while trying to set things up. Usage The module responsible for the whole magic described in this blog post is called Linear8bitLt and you can easily import it fro
Falcon is a new family of state-of-the-art language models created by the Technology Innovation Institute in Abu Dhabi, and released under the Apache 2.0 license. Notably, Falcon-40B is the first “truly open” model with capabilities rivaling many current closed-source models. This is fantastic news for practitioners, enthusiasts, and industry, as it opens the door for many exciting use cases. Note
1. PyTorchでのファインチューニング「TF」で始まらない「Huggingface Transformers」のモデルクラスはPyTorchモジュールです。推論と最適化の両方でPyTorchのモデルと同じように利用できます。 テキスト分類のデータセットでモデルをファインチューニングする一般的なタスクを考えてみます。from_pretrained()を用いてモデルをインスタンス化すると、指定されたモデルの「モデルの構成」と「事前学習した重み」が、モデルの初期化に使用されます。このライブラリには，指定された事前学習済みモデルに含まれていない場合には、ランダムにインスタンス化される重みを持つタスク固有の「最終層」または「ヘッド」も多数含まれています。例えば、BertForSequenceClassification.from_pretrained('bert-base-uncased',
Agents and tools
What is an agent? Large Language Models (LLMs) trained to perform causal language modeling can tackle a wide range of tasks, but they often struggle with basic tasks like logic, calculation, and search. When prompted in domains in which they do not perform well, they often fail to generate the answer we expect them to. One approach to overcome this weakness is to create an agent. An agent is a sys
1723998831 +0000\ncommitter system 1723998831 +0000\n\nUpdate README.md"}}},"entries":[{"type":"directory","oid":"8fcd9e92f5995cddc77bcee675bfe8488e08fbb4","size":0,"path":"onnx","lastCommit":{"id":"6a860077d20f3822d62060cd772610e21ccc6322","title":"v0.2","date":"2024-08-17T22:29:49.000Z"}},{"type":"file","oid":"a6344aac8c09253b3b630fb776ae94478aa0275b","size":1519,"path":".gitattributes","lastCom
runtime error failed to create containerd task: failed to create shim task: context deadline exceeded: unknown Container logs:
","eos_token":"<|endoftext|>","unk_token":"<|endoftext|>"}},"createdAt":"2023-05-05T00:48:02.000Z","discussionsDisabled":false,"downloads":47824,"downloadsAllTime":1549340,"id":"mosaicml/mpt-7b","isLikedByUser":false,"isWatchedByUser":false,"inference":"explicit-opt-out","lastModified":"2024-03-05T20:23:57.000Z","likes":1154,"pipeline_tag":"text-generation","library_name":"transformers","libraries
FLUX.1 [schnell] is a 12 billion parameter rectified flow transformer capable of generating images from text descriptions. For more information, please read our blog post. Key Features Cutting-edge output quality and competitive prompt following, matching the performance of closed source alternatives. Trained using latent adversarial diffusion distillation, FLUX.1 [schnell] can generate high-quali
OpenAIを追うジェネレーティブAI市場の注目株。グーグルもジェネレーティブAIスタートアップに多額の投資 | AMP[アンプ] - ビジネスインスピレーションメディア
最近ニュースでも頻繁に取り上げられているChatGPT。AI革命との呼び声も高く、日本語での自然な会話応答にも注目が集まっている。こうしたジェネレーティブAI市場が活発化している今、ChatGPTの後継も続々と登場してくるとの予測だ。 話題騒然、高性能のChatGPT 話題のChatGPTは、チャットボットの中でも特に性能が高いとして話題になっている。アメリカでの報道でも「Haiku（俳句）を詠み、イタリア語で冗談を言う」と称されるほど、英語に限らない言語能力が高い。日本でもその自然な会話体と充実した内容が、これまでになかったチャットボットとして注目を浴びている。 実際に会話をしているようなコミュニケーション性能があり、質問への回答も流暢だ。こちらの問いかけにきちんと向き合っているかのような錯覚を覚え、これまでのチャットボットにありがちだった「一方的な知識（回答）を投げかけている」印象が非
![OpenAIを追うジェネレーティブAI市場の注目株。グーグルもジェネレーティブAIスタートアップに多額の投資 | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/87b38dd920787a95fe8438228182a4455dbdb36d/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2023%2F06%2F0618_OpenAI_1.png)
～国産モデルの中で最高性能を獲得～ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、アマゾン ウェブ サービス ジャパン合同会社（以下、AWSジャパン）の「AWS LLM 開発支援プログラム」を活用して開発した700億パラメーターの大規模言語モデル（以下、LLM）「KARAKURI LM」を2024年1月29日に一般公開いたしました。本モデルは2024年1月26日に、LLMのベンチマークテスト「Japanese MT-Bench」で性能評価を実施し、国産LLMモデルとして最高性能（※）の評価が採点されております。 ※ 「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。2024年1月26日に性能評価した結果、国産モデルとして最高点の評価を得ました。ベンチマークテストとは、定めら
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フリーで使える日本語の主な大規模言語モデル（LLM）まとめ
ChatGPT APIとWhisper APIで議事録文字起こしアプリを作り、Hugging Face Spacesで公開する | gihyo.jp
人だと正解率92％なのに、GPT-4だと15％になる新型テスト集「GAIA」 米Metaなどが開発
rinna/japanese-hubert-base · Hugging Face
ディスク容量整理のTips｜研究のためのPython開発環境
What is Image-to-Text? - Hugging Face
Mozilla/whisperfile · Hugging Face
MTEB Leaderboard - a Hugging Face Space by mteb
inu-ai/dolly-japanese-gpt-1b · Hugging Face
「自然言語処理の未来」HuggingFace 主席サイエンティストが語る NLP の最新トレンド
StarCoder: A State-of-the-Art LLM for Code
Huggingface Transformers 入門 (1) - 事始め｜npaka
Whisper - a Hugging Face Space by openai
naclbit/trinart_stable_diffusion_v2 · Hugging Face
【Stable Diffusion Web UI】モデルの入れ方・使い方(Checkpoint)
Llama 2 is here - get it on Hugging Face
The Falcon has landed in the Hugging Face ecosystem
Huggingface Transformers 入門 (4) - 訓練とファインチューニング｜npaka
HuggingFaceTB/SmolLM-360M-Instruct at main
Stablelm Jp Alpha - a Hugging Face Space by leemeng
mosaicml/mpt-7b · Hugging Face
black-forest-labs/FLUX.1-schnell · Hugging Face
カラクリ、700億パラメーターLLM「KARAKURI LM」を一般公開 | KARAKURI
mirai0.nk.awe.jp
ndlsearch.ndl.go.jp
pocket.shonenmagazine.com
dl.ndl.go.jp
qiita.com/shota0616
kana9.ue.bulog.jp