はてなブックマーク

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、プロンプトエンジニアリングをテーマに、1カ月ほど前に発表されたレビュー論文と関連論文を紹介します。 目次 今回のテーマ なぜプロンプトエンジニアリングが必要か？ プロンプトエンジニアリング：基礎編 抑えておきたい考え方 明確に、正確に ハルシネーションスノーボール (Hallucination snowball) 1.1 ユーザーの要求を明確化するタイプ 1.2 LLMの知識を引き出すタイプ 2.1 直列型：推論ミスを減らすタイプ 2.2 並列型：出力の堅牢さを高めるタ

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、生成AI・基盤モデルのマルチモーダリティをテーマに4つの論文をご紹介します。 目次 今回のテーマ 論文1: Multimodal Foundation Models: From Specialists to General-Purpose Assistants 選定理由 論文概要 マルチモーダル基盤モデルの分類 マルチモーダル基盤モデルの流れと今後の展望 レビュー会FB 関連論文 論文2: Tracking Anything in High Quality 選定理由 論

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 本記事から週に1回程度の頻度で、社内で実施している生成AI・LLMに関する論文レビュー会の内容をピックアップのうえ配信していきますので、ぜひご期待ください。 今回は、LLMの学習や推論の効率化・高速化に関する4つの技術論文をご紹介させていただきます。 目次 LLM論文レビュー会とは 今回のテーマ A Survey of Quantization Methods for Efficient Neural Network Inference 選定理由 論文概要 量子化の基本的な手

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 現在は、週に1回程度の頻度で、社内で実施している生成AI・LLMに関する論文レビュー会の内容をピックアップのうえ配信しています。 今回は、LLMの性能改善に関連して、4つの論文をご紹介させていただきます。 論文選定基準 From Pretraining Data to Language Models to Downstream Tasks:Tracking the Trails of Political Biases Leading to Unfair NLP Models

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドでは、LLM研究プロジェクトの活動の一環として、技術やビジネス実装に関するブログ記事の執筆を積極的に行っています。これまでに執筆されたブログ記事は約40本となり、SNSなどでの注目度も大変高くなっています。本ブログ記事では、これまでにLLM研究プロジェクトで執筆されたブログ記事をカテゴリー別でまとめ、ご紹介いたします。 こんにちは。広報の長谷川です。 ブレインパッドでは、LLM（Large Language Models、大規模言語モデル）およびGenerative AI（生成AI）に関する知見を深め、これらの技術の社会実装に向けた取り組みや企業への支援を強化するため、研究プロジェクトを立ち上げ、推進しています。 詳しくはこちら ・LLM/Generative AIに関する研

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 技術やビジネスのナレッジ共有が文化として根付いているブレインパッドでは、日々、勉強会や講演会等が開催されています。今回は、社内で取り組んでいる因果分析勉強会をご紹介します！ 記事の挨拶 こんにちは、アナリティクスコンサルティングユニットの羅（ろ）です。今回は社内で取り組んでいる因果分析勉強会についてご紹介いたします。因果分析はマーケティング施策の効果検証や新薬の治験など、効果の有無を知るための統計的手法として広く用いられています。 はじめに 開催目的と動機 ◦実務上で因果分析を効果的に活用するためには、必要なツールやコードを整備することが重要です。データ分析のための前処理や機械学習モデルの実装、因果関係の可視化ツールなど、適切なリソースを整えることで、案件において因果分析を使用するハードル

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 5月16日から毎日更新を続けてきたLLM特集も、本ブログで第1弾が一区切りとなります。 最後を飾るブログでは、知りたいことを質問すると社内データから関連する内容を検索し、質問に対してよしなに回答をしてくれるSlack BotおよびWebアプリをChatGPT APIを使って作成したので、その内容をご紹介します。 こんにちは、アナリティクスサービス部の田中です。 社内には有益な情報が多くありますが、データ量が増えるにつれて調べたい情報に正確にアクセスすることが難しくなり

このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 5月16日から毎日更新を続けてきたLLM特集も、本ブログで第1弾が一区切…

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回、日本語LLMである「OpenCALM-7B」と日本語データセット「JGLUE」のポジネガ分析のデータセット（MARC-ja）を利用し、「ポジネガ分析」に特化したファインチューニングを実施したので、ご紹介します。 はじめに こんにちは。アナリティスクスサービス部の中山です。 この記事では、「株式会社サイバーエージェント」*1が開発した商用利用可能なライセンスの日本語LLMである「OpenCALM-7B」に対して、「ヤフー株式会社」が公開している日本語データセット「

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 最近、オープンソースかつ商用利用可能なLLMを日本語に対応させるファインチューニングが注目を集めている中、商用利用可能な日本語データセットを用いてMPT-7Bをファインチューニングしてみました。 はじめに こんにちは、アナリティクスサービス部の内田です。 最近、オープンソースかつ商用利用可能なLLMを日本語に対応させるファインチューニングが注目を集めています。上記のようなLLMを使用すれば、ChatGPTやそのAPIとは異なり、オンプレ環境やクラウド環境で実行する場合

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、Retrieval Augmented Generationを使用して、ユーザーからの質問に対して外部データを基に回答を生成させてみたので、その方法をご紹介します。 こんにちは、アナリティクスサービス部の秋本です。 LLMを用いてサービスやアプリを作成する場合、プロンプトに収まらない程の長い文章や独自のデータを教えたくなる事があるかと思います。また、それらは一定の頻度で整備・更新されます。その都度トレーニング済みモデルを調整するのは手間がかかります。 本

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、ChatGPTなどで好ましい応答を得られるように、人間からAIモデルの応答に働きかける、ヒューマンフィードバックというプロセスを支援する「Transformer Reinforcement Learning（TRL）」という強化学習ライブラリを紹介します。 こんにちは。アナリティクスサービス部の橋本です。 ChatGPTの学習プロセスとして取り入れられているRLHF（Reinforcement Learning from Human Feedback、人間のフ

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMを制御する方法のうちNVIDIAが開発しているOSSライブラリーのNemo Guardrailsを中心にLLMのガードレール適用方法をご紹介します。 問題意識 NeMo Guardrailsとは NeMo Guardrailsを用いる価値 アーキテクチャ 基本機能 config.ymlに記述すべきこと ユースケース1. 特定の話題以外は回答しない ユースケース2. 不適切な出力をしないかを確認する 参照資料 こんにちは、アナリティクスサービス部の辻です。

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、自律型AIエージェントに実際人間が解くような比較的複雑なタスクを与えた場合にどのような挙動を示すのかを確認するため、「Auto-GPT」に2値分類タスクを与えてみたのでその挙動をご紹介します。 はじめに はじめまして。アナリティクスサービス部の後藤、AIソリューションサービス部の林です。 ChatGPTが2022年11月30日に公開されて以降、ChatGPTを利用したサービスが多く開発・公開され非常に盛り上がりのある領域となっています。 その中でChatGPT

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、生成AIの中でも、テキスト、画像、動画、3Dデータ、オーディオデータ、モーションなど多岐にわたるマルチモーダル系のタスクについて、全2回の連載でご紹介します。 こんにちは、アナリティクスサービス部の八登です。 昨今話題をさらっている生成AIですが、ChatGPTのようなテキストベースのタスクだけでなく、マルチモーダル系のタスクにも大きな関心が集まっています。 ここでマルチモーダルとは、AIが同時に複数の形式を扱うことができる、ということを指します。 モー

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、さまざまなLLMにどういった特徴や違いがあるのかを検証するための、GUIで複数のLLMをお試し利用できるツールを作成したのでご紹介します。 こんにちは、アナリティクスサービス部の髙橋です。 ChatGPTが登場して以降、さまざまな大規模言語モデル（LLM）が発表されていますね。 使う側としては楽しみな反面、業務で使うとなるとそれぞれのモデルにどういった特徴、違いがあるのかを検証していく必要があるのかな、と感じています。 そこで今回は、いくつかの大規模言語モデル

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、自律型AIエージェントの機能や動作についての説明とあわせて、AIエージェントをいくつかご紹介します。 こんにちは。アナリティクスサービス部の江本です。 昨年2022年11月末にChatGPTがリリースされてから半年もたたずして、自律型AIエージェントが続々とリリースされ大きな話題を呼びました。 今では様々な自律型AIエージェントが存在しており、その多くはウェブブラウザを通して簡単に試すことができるようになっています。 本記事では、自律型AIエージェントの機能や

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMをお手元のPCで扱ってみたい方々に知っていただきたい、2023年2月にリリースされたLLMの処理を行うための生成エンジン「FlexGen」を解説します。 FlexGenとは FlexGenのメカニズム 1. GPU、CPUメモリ、そしてディスクを利用した分散処理 (オフローディング) 2. LLMの重み、キー、バリューを4ビット整数に圧縮する処理 (量子化) 3. 従来の処理手法と異なるジグザグ処理 FlexGenと他生成エンジンのベンチマーク比較 まと

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、Google から提供されているLLMやGenerative AIサービスのうち、直近にリリースされた各サービスの紹介と、それらの基盤となっている新しいモデルの一つ「PaLM2」をFine-Tuningする方法を紹介します。 こんにちは。アナリティクスサービス部の安田です。昨今、LLMやGenerative AIが大きな注目を集めていますが、Google からもそれらを利用するためのさまざまな機能・サービスが提供されています。今回は直近リリースされた各サービス

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、議論を活性化する質問をLLM技術によって生成できないかと考え、『この分野は素人なのですが…Bot』を開発した内容を、ご紹介します。 こんにちは、アナリティクスサービス部の藤田です。 ブレインパッドでは、有志による社内勉強会がとても活発で、ほぼ毎日何かしらの勉強会が開かれています。社内勉強会では、参加者による質問が重要な役割を果たします。質問によって、質問者は理解を深めることができ、他の参加者や発表者にとっても新しい視点を得ることができます。しかし、参加者が多い

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、Google Colaboratory を使って、チャットAI「ChatRWKV」の利用方法、ファインチューニング手法を紹介する他、ファインチューニング済みモデルとベースモデルの挙動の比較結果もご紹介します。 はじめに ChatRWKVの活用手順 RWKVのファインチューニング ファインチューニング済みのモデルの実行 終わりに 参考文献 はじめに こんにちは。ブレインパッドの丸山です。 最近、GPTなどのTransformerベースの生成系AIが注目を集

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、ChatGPTとLLMを使って、プログラミングの知識なしでデータ分析（前処理、可視化、学習、検証）を行えるツールアプリケーションを構築してみたので、その内容をご紹介します。 こんにちは、私たちはアナリティクスサービス部の田中、林です。今回はLangChainとChatGPTを使ったアプリケーションを作成してみたのでその内容について説明します。データ分析を進めたい、進めないといけない人たちが、プログラミングの知識なしでデータ分析（前処理、可視化、学習、検証

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMを制御するためのアプローチについてご紹介します。 問題意識 LLMが抱えるリスク LLMの振る舞いを制御するための技術 モデルを調整するアプローチ プロンプトエンジニアリング ファインチューニング アライメント モデルの前後を管理するアプローチ データクリーニング モデル監視 出力フィルタリング こんにちは、アナリティクスサービス部の辻です。 今回はLLM(Large Language Model、大規模言語モデル)の振る舞いを制御するためのアプローチに

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHFとは、一体何者なのかをご紹介します！ こんにちは。アナリティクスサービス部の橋本です。 今回は、ChatGPTなど高性能な会話型AIの学習プロセスとして採用されているRLHF（Reinforcement Learning from Human Feedback、人間からのフィードバックを用いた強化学習）とは一体何者なのかをご紹介させていただきます。 ChatGPTなどの会話型AIが、どんな学

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、大規模言語モデルのデータセットのソース、収集方法、その信頼性と倫理性、そしてデータのクリーニングと前処理についての詳細を解説します。 近年に公開された大規模言語モデルの年表 *1 こんにちは、アナリティクスサービス部の金です。 今回の話題は、ビジネスや研究における大規模言語モデル（Large Language Models、略してLLM）の根幹を成すデータセットです。データセットの内容と構成は、大規模言語モデルの振る舞いに大きく影響を与えます。 この記事

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、効率的にLLMのような事前学習済みモデルを再学習する手法(PEFT)についてご紹介します。 問題意識 ビジネスで利用する際に乗り越えるべき壁 PEFTとは何か？ PEFTのコンセプト分類 トークン追加型 Prefix Tuning P Tuning Prompt Tuning Adapter型 Adapter LoRA型 LoRA Ada LoRA まとめ 参考文献 こんにちは、アナリティクスサービス部の辻です。 今回は、LLMを効率的に再学習する手法として今後

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、LLMのビジネス利用に関して注意すべき点、その中でも使用許諾条件についてまとめました。 はじめに 本連載で扱うLLMサービスのイメージと想定する対象者 連載内容（予定） LLMの使用許諾条件について ①プラットフォーマーが提供するサービスの利用条件（主にサービス提供者・ユーザーの方向け） サービスの商用利用の可否 利用条件（制限事項） ②ソースコードが公開されたモデルのライセンス（主にプラットフォーマーの方向け） モデル等の主な使用条件 ライセンス情報の確認方