これからLLM開発を始める方へ 〜軽量な特化モデル開発の課題とコスト〜 - Stockmark Tech Blog
ストックマーク株式会社にて技術広報とウェブエンジニアを勤めている安藤です。 当社は生成AIをフルスクラッチで開発している企業ということもあり、LLMの開発についてのご質問をいただく機会が増えてきました。 そこで今回、LLMの新規開発・性能研究なども行っている当社のリサーチチーム 広田さんにストックマークに寄せられるよくある質問についての一つである、比較的軽量な特化モデルの開発についてインタビューしました。本記事では対談形式でその内容についてお届けします。 よろしくお願いします はい、よろしくお願いします 広田 航 (Wataru Hirota) ストックマーク リサーチチーム ユニットリーダー ストックマーク株式会社にて自然言語処理の研究開発に従事。 2020年大阪大学情報科学研究科修了、修士 (情報科学)。 その後米国に渡り、Megagon Labs で会話エンジンと Entity Ma
グーグルは次のAI戦争への一歩を踏み出した…AIが自分で学習データを作る時代に | Business Insider Japan
グーグルのAI研究者、デイビッド・シルバー氏（右）。REUTERS最近はAI（人工知能）に関する研究論文が非常に多く、目立つのは難しい状況だ。しかし、ここ数日で、テクノロジー業界全体で大きな議論を巻き起こした論文がある。 「これは過去2年間で読んだAIに関する最も刺激的な内容だ」と、スタートアップ企業の創業者であるスハイル・ドーシ（Suhail Doshi）氏は週末にXに投稿した。アンスロピック（Anthropic）の共同創業者であるジャック・クラーク（Jack Clark）氏は4月21日のニュースレター「Import AI」でこの論文を紹介した。このニュースレターは、数千人の業界研究者に読まれている。 ChatGPTはまだグーグルの成長を減速させてはいない。しかし、AIエージェントの登場でウェブの未来は変わるかもしれない | Business Insider Japan グーグル（Goo
GitHub - huggingface/setfit: Efficient few-shot learning with Sentence Transformers
SetFit is an efficient and prompt-free framework for few-shot fine-tuning of Sentence Transformers. It achieves high accuracy with little labeled data - for instance, with only 8 labeled examples per class on the Customer Reviews sentiment dataset, SetFit is competitive with fine-tuning RoBERTa Large on the full training set of 3k examples 🤯! Compared to other few-shot learning methods, SetFit ha
Googleがファインチューニングしやすいビジュアル言語モデル「PaliGemma 2」をリリース
Googleが2024年12月5日に、オープンかつ軽量な言語モデル「Gemma 2」をベースに視覚機能を追加したビジュアル言語モデルの「PaliGemma 2」を発表しました。 Introducing PaliGemma 2: Powerful Vision-Language Models, Simple Fine-Tuning - Google Developers Blog https://developers.googleblog.com/en/introducing-paligemma-2-powerful-vision-language-models-simple-fine-tuning/ Welcome PaliGemma 2 – New vision language models by Google https://huggingface.co/blog/paligemma
GPU Shortage, Affordable Robodog, Humanizing Large Language Models, and more
Dear friends, An increasing variety of large language models (LLMs) are open source, or close to it. The proliferation of models with relatively permissive licenses gives developers more options for building applications. Here are some different ways to build applications based on LLMs, in increasing order of cost/complexity: Prompting. Giving a pretrained LLM instructions lets you build a prototy
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
BERT with SentencePiece で日本語専用の pre-trained モデルを学習し、それを基にタスクを解く - クックパッド開発者ブログ
研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近は、社内の業務サポートを目的として、レシピを機械学習モデルで分類して Redshift に書き込む日次バッチを開発・デプロイしたりしてました。 ここ数ヶ月で読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Focal Loss for Dense Object Detection Exponential expressivity in deep neural networks through transient chaos 本記事では、BERT というモデルをクックパッドのレ
Tutorial: Fine-tuning BERT for Sentiment Analysis - by Skim AI
Tutorial: Fine tuning BERT for Sentiment Analysis Originally published by Skim AI's Machine Learning Researcher, Chris Tran. A - Introduction¶ In recent years the NLP community has seen many breakthoughs in Natural Language Processing, especially the shift to transfer learning. Models like ELMo, fast.ai's ULMFiT, Transformer and OpenAI's GPT have allowed researchers to achieves state-of-the-art re
BERT Fine-Tuning Tutorial with PyTorch · Chris McCormick
BERT Fine-Tuning Tutorial with PyTorch 22 Jul 2019 By Chris McCormick and Nick Ryan Revised on 3/20/20 - Switched to tokenizer.encode_plus and added validation loss. See Revision History at the end for details. In this tutorial I’ll show you how to use BERT with the huggingface PyTorch library to quickly and efficiently fine-tune a model to get near state of the art performance in sentence classif
Fine-tune a pretrained model
There are significant benefits to using a pretrained model. It reduces computation costs, your carbon footprint, and allows you to use state-of-the-art models without having to train one from scratch. 🤗 Transformers provides access to thousands of pretrained models for a wide range of tasks. When you use a pretrained model, you train it on a dataset specific to your task. This is known as fine-tu
【自然言語処理】 あなたのBERTに対するfine-tuningはなぜ失敗するのか 【論文紹介】
本記事ではOn the Stability of Fine-tuning BERT: Misconceptions, Explanations, and Strong Baselinesという論文を紹介します。 この論文ではBERTのfine-tuningが安定しにくいという問題に対して、単純で良い結果が得られる方法を提案しています。 またBERTのfine-tuningが安定しにくいという問題を細かく分析しており、参考になったのでそのあたりについてもまとめます。 本記事を読むことでBERTを自分の問題でfine-tuningするときの施策を立てやすくなるかと思います。 目次 本記事で掲載する図や表は紹介する論文から引用しています。 紹介する論文で提案する方法でBERTをfine-tuningすることで、Figure 1のように学習が安定し、かつ平均的にも高い評価尺度が得られるようになりま
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI Shift
こんにちは AIチームの戸田です 近年、自然言語処理タスクにおいて、BERTを始めとするTransformerをベースとした事前学習モデルを感情分類や質問応答などの下流のタスクでfine-tuningする手法が一般的になっています huggingfaceのTransformersなど、事前学習モデルを簡単に使うことのできるライブラリもありますが、Kaggleなどのコンペティションで上位に入るには素のモデルのままでは難しく、ヘッダや損失関数などの工夫などが必要です 本記事では私がKaggleのコンペティションに参加して得た、事前学習モデルのfine-tuningのTipsを共有させていただきます 書きたい内容が多くなってしまったので、今回は学習の効率化について、次回精度改善について、と２回に分けて書かせていただきます 事前準備 学習データとして、先日終了したKaggleのコンペティション、C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - yizhongw/self-instruct: Aligning pretrained language models with instruction data generated by themselves.
LlamaIndex and Deep Lake for Financial Statement Analysis
11. OpenAI and Llama Index - Financial News Analysis
LlamaIndex - LlamaIndex
OpenAI Whisper + GPT-3: Summarizing YouTube Videos
OpenAI and the road to text-guided image generation: DALL·E, CLIP, GLIDE, DALL·E 2 (unCLIP)
https://huggingface.co/docs/transformers/custom_datasets
pytorch, transformersを使ったBERTのfine-tuningの方法 - 🍊miyamonz🍊
