2023年12月時点で英語圏で人気のある大規模言語モデルとトレンド
１．2023年12月時点で英語圏で人気のある大規模言語モデルとトレンドまとめ ・chatGPTのようにAIが人間に迫るレベルで言葉を扱う事を可能した技術を大規模言語モデル(LLM:Large language Models)と言う ・英語圏で最近良く見かける事がある人気の高い大規模言語モデルの直近のトレンドや方向性について2023年末時点での状況をまとめた ・アメリカ外モデルの増加、マージモデルの台頭、用途別モデルへの細分化、System2を見据えたディープラーニングが目についたトレンド ２．最新の大規模言語モデルや見えてきた方向性に関するまとめ chatGPTのようにAIが人間に迫るレベルで言葉を扱う事を可能した技術を大規模言語モデル(LLM:Large language Models)と言います。本記事では英語圏で最近良く見かける事がある人気の高い大規模言語モデルや直近の開発傾向につい
GoogleはAI開発競争における防壁を持っていません！OpenAIもです！
１．GoogleはAI開発競争における防壁を持っていません！OpenAIもです！まとめ ・Google社内から流出したとされる文章がGoogleはOpen Sourceの取り組みからもっと学ぶべきという趣旨を主張していた ・Googleが巨費をかけた大規模モデルで苦戦していることを100ドルと130億パラメータと数週間で実現しているとの事 ・イラスト生成AIで起こったカスタマイズしたモデルの流行は大規模言語モデル界隈でも起こっていく可能性はあるかもしれない ２．AI開発競争における競争優位性とは？ 以下、www.semianalysis.comより「Google “We Have No Moat, And Neither Does OpenAI”」の意訳です。私はhardmaruさんのTwitterで知りましたが、Google社内文章の流出とされています。一部報道によれば執筆者の方も既に特
BardとGPT:検索エンジン時代からAI検索時代への変化を情報発信視点で考える
１．BardとGPT:検索エンジン時代からAI検索時代への変化を情報発信視点で考えるまとめ ・Microsoftの検索エンジンBingにAIが組み込まれるとの報道とほぼ同時期にGoogleも対話型人工知能LaMDAをベースにしたBardを組み込む発表があった ・従来の検索エンジンは事実に関する答えを得る事ができたがAI検索機能は複雑な情報や複数の視点をわかりやすい形に抽出する機能を持つという ・情報収集の視点からはバラ色の未来だが情報発信の在り方についても大きな影響を及ぼす可能性があり、その影響についてはまだ十分に見えてこない ２．GoogleのBardの発表 以下、blog.googleより「An important next step on our AI journey」の意訳です。元記事は2023年2月6日、Sundar Pichaiさんによる投稿です。 2年後にはGoogle検索を
DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能
１．DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能まとめ ・DreamBoothは少数の画像から新しい概念をタグとして学ばせる事が可能 ・textual inversionと同等だが全体を最適化するためにより強力でメモリ喰い ・DreamBoothの省メモリ実装は推論だけなら6GB程度のメモリで動作可能 ２．DreamBoothとは？ アイキャッチ画像はstable diffusionのDreamBoothによる生成で8K版の風の谷のナウシカと肩にポケモンをのせた風の谷のナウシカ。 風の谷のナウシカは生成が難しいキャラクターの一つです。厳密にはスタジオジブリ作品ではない、ギリシャ神話の登場人物や現実に存在する地名等と名称がかぶるケースがある、インターネットがなかった時代の作品なので最近の作品に比べると英語圏での知名度が低い、等々が原因
DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事
１．DALL-E2やStable Diffusion等の拡散モデルの動作原理と説明がつかない事まとめ ・拡散モデルは画像に加えたノイズを除去して元画像を復元する事を学習をする ・学習済モデルは純粋なノイズから画像を復元できるようになりこれが画像生成 ・学習時のノイズはガウスノイズの必要があると思われていたがそうではなかった ２．拡散モデルの動作原理とは？ 以下、twitterのTom Goldstein(@tomgoldsteincs)さんの拡散モデルの動作原理に関する投稿の意訳です。昨日の調査をしている際に見つけた一連のtweetでわかりやすくとても興味深い解説でした。 アイキャッチ画像はstable diffusion #DALLEや#StableDiffusionのような拡散モデルは画像生成の最先端ですが、それらがどのようにして動作しているかの理解はまだ始まったばかりです。このスレッ
組成の一般化能力の測定(1/3)
１．組成の一般化能力の測定(1/3)まとめ ・人間は新しい単語の意味を学習し、それを他の文脈に適用することができる ・機械学習ではこのスキルは「組成の一般化(compositional generalization)」と呼ぶ ・しかし「組成の一般化」を体系的に計測する手段は従来存在しなかった ２．compositional generalizationとは？ 以下、ai.googleblog.comより「Measuring Compositional Generalization」の意訳です。元記事の投稿は2020年3月6日、Marc van Zeeさんによる投稿です。AIが「要素(atoms)」とそれを組み合わせた様々な「複合物(compounds)」を認識できるかというお話です。そこから連想した原子っぽい画像を選んだアイキャッチ画像のクレジットはPhoto by Raphaël Bis
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
