最近のLLMの学習法 (SFT・RLHF・RAG) をまとめました。 1. 教師ありファインチューニング (SFT : Supervised Fine-Tuning) 2. 人間のフィードバックからの強化学習 (RLHF : Reinforcement Learning from Human Feedback)
ポーター・ロビンソンに問う 、音楽制作におけるAI活用とクリエイティブについて2023.05.12 20:007,438 Jun Fukunaga いま、何かと話題のChatGPTや、Stable DiffusionやMidjourneyといった画像生成AI。 このような生成型AI(ジェネレーティブAI)は、次のクリエイティブの可能性を拡大させる存在としての期待も寄せられていますが、一方で「人間のクリエイティブな仕事を奪うかもしれない」という懸念の声も少なくありません。 しかしながらクリエイティブの歴史を振り返ってみると、その可能性が大きく拡大した時期にはなんらかの革新的なテクノロジーが導入されてきたこともまた事実。 音楽の分野でも、OpenAIの大規模言語モデル、GPT-4を搭載したAI音楽制作アプリが登場するなど、AI活用が拡大していく兆しが見えつつありますが、クリエイターたちはAIテ
ポーター・ロビンソンに問う 、音楽制作におけるAI活用とクリエイティブについて2023.05.12 20:007,438 Jun Fukunaga いま、何かと話題のChatGPTや、Stable DiffusionやMidjourneyといった画像生成AI。 このような生成型AI(ジェネレーティブAI)は、次のクリエイティブの可能性を拡大させる存在としての期待も寄せられていますが、一方で「人間のクリエイティブな仕事を奪うかもしれない」という懸念の声も少なくありません。 しかしながらクリエイティブの歴史を振り返ってみると、その可能性が大きく拡大した時期にはなんらかの革新的なテクノロジーが導入されてきたこともまた事実。 音楽の分野でも、OpenAIの大規模言語モデル、GPT-4を搭載したAI音楽制作アプリが登場するなど、AI活用が拡大していく兆しが見えつつありますが、クリエイターたちはAIテ
MetaがLLaMA、LLaMA2と公開したことで、どんどん加速しているように見えるLLMに関する研究ですが、LLMに関するOpen Challengesの一つとも考えられている様々なモダリティの取り込みに関する研究で、Video-LLaMAを読んでみました。 arxiv.org github.com Video-LLaMAで出来ること GitHubのREADMEにある図を見ると分かりやすいです。 例えば、下の図では、Video-LLaMAに「何が聞こえるかを述べて」と尋ねると、「足音と家の中で犬が吠えている」と回答してます。また、「サングラスはかけているか?」に対してもYesと回答していて、動画の視覚的な内容と聴覚的な内容に対して、正しく回答を生成できています。 他にも、動画の時系列な認識が出来ている例として「船はどちらの方向に動いているのか」に対して、正しい方向を回答できています。 V
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く