AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説
チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大規模言語モデル(LLM)の出力はブラックボックスとして扱われており、入力に対応して出力が行われた時になぜその特定の応答が出力されたのかは不明となっています。そのため、モデルが有害・偏見・ウソなどの危険な出力をしないことを信頼するのは難しいものです。 Anthropicは以前よりLLMの内部についての研究を行っており、2023年10月には「特徴」単位でまとめるこ
AIを使った論文の読み方
近年の AI の進歩により、論文の読み方も大きく変化を遂げました。AI を活用することで以前と比べてはるかに簡単かつ早く論文が読めるようになりました。 以前私の個人ブログにて、論文の読み方やまとめ方を紹介しました。その時には要約ツールは用いていませんでしたが、最近はすっかり要約ツールを多用するようになりました。 本稿では、最新の AI を使った論文の読み方を丁寧に紹介します。 基本的な流れ 本稿でおすすめするのは ChatGPT か Claude で要約を生成して論文の概要をつかみ、Readable で精読するという方法です。ChatGPT や Claude では単に全体の要約を生成するだけでなく、肝となる箇所を特定したり理解するためにも用います。具体的な手順については後の項で解説します。 私が特定のテーマについて調査を行う場合には、テーマに関係する論文を被引用数の多いものを中心に 10
松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室が2023年9~10月に東京大学サマースクールで開催した LLM 大規模言語モデル講座のコンテンツを無償公開しています。 本講座は約2,000名の受講者が参加し、全7回の講義を実施しました。 最終課題としてGPUを使ったコンペティションでは約800名が参加し熱戦を繰り広げました。 現在、講義のスライドのみ公開しております。 ダウンロードは利用規約を確認の上、下記からダウンロードをお願いいたします。 最終更新: 2024年2月10日 問題・フィードバック報告フォームはこちら 第1回：Overview of Language Models LLMの概要、今後の各回の講義の概要、および日本のLLM開発状況について 第2回：Prompting and Augmented Language Model 事前学習済みLLMを追加学習せずに活用する技術（プロンプティング、⽂脈内学習、Augme
AIが作家を始めてもやらせておけ 神林長平さんが読みたい作品とは | 毎日新聞
作家、神林長平さんは「言葉」「機械」などのテーマを重層的に組み合わせた独自の世界観を反映させた数々の作品で知られる。現代を代表するSF作家の一人として、急速に普及が進む人工知能（AI）をどう見ているのだろうか。寄稿してもらった。 2023年は、チャットGPTに代表される対話型AIが爆発的に普及し始めた年として記憶されるだろう。機械相手に自然な会話ができるというのは驚きを伴う楽しい体験に違いないが、それが実用面で使われると、他人の権利や人権を侵害する恐れがある。ここにきてそれが顕在し、対応策もいろいろ議論されているのは報道されているとおりだ。 対話型、すなわち言語を主体とする生成AIの利用がさまざまな方面で社会的な問題を引き起こすという現象は、社会というものを成立させ、支えているのが「言葉」であることを思えば、当然理解できる。＜言葉＞は社会を生み、文化や技術を発達させてきた。いつの頃からか人
テキストから歌を生成「Suno AI」使い方 作曲家 神前暁もクオリティに驚愕
「Midjourney」「Stable Diffusion」などの画像生成AIや、チャットAIボット「ChatGPT」をはじめ、様々なサービスが登場してきた生成AI（ジェネレーティブAI）。 現在SNSでは、「Suno AI」という新たな自動作曲AIサービスが話題です。 神前暁さんやtofubeatsさんといった第一線で活躍する音楽プロデューサーも、試しに「Suno AI」を使ってみた結果をXに投稿。 その自然な出来栄えに、神前暁さんは「アレンジやMixがそれっぽくなるのは想定内だったけどメロも70点くらいのを平気でポンポン出してくる。このサビなんて少し手を加えれば結構売れるのでは？ってレベル」と、驚きを露わにしています。 話題のSuno AIを試してみたけどヤバいですねコレは… アレンジやMixがそれっぽくなるのは想定内だったけどメロも70点くらいのを平気でポンポン出してくる。このサビな
ChatGPTのアプリ版すごくね！？
モバイルアプリ版に実装されてる音声入出力機能が無課金ユーザーにも開放されたってニュースを見て貧乏人の俺は早速ダウンロードしたわけね。 英会話の練習に使えるみたいなニュースを見てたから興味津々でトライしたわけよ。 そしたらまあ俺の英語力では話すのも聞き取るのもままならず、到底使いこなせる”域”に達してねえなこりゃ、と早々に自分に失望したよ。 はあ、アンインスコするか・・・と思いながら設定ちょろちょろ弄ってたら「Speach」の欄にMain Languageって項目があって、そこがAuto-Detect（自動検出）になってたんよね。 あっこれのせいか！俺の英語力が悪いからじゃなかったんだと思って、Englishに切り替えてもう一回やってみたわけ。 そしたら案の定結果は変わらずさらに落ち込んだ。 で、もうどうでもいいやと思いながら日本語で適当に話しかけたんだよ。 そしたら！ なぜか俺が日本語で話
ノールックで開発する増田酢丸す津杯か手くっるー乃（回文）
水野曜子が暴走した？ なにー？それじゃワシでも倒れるわい！ 博士ーしっかりして下さい！ 水野曜子は自らをウォーターフィールドヨーコと名乗り出しました！ おはようございます！ ここで緊迫感を煽るティンパニーの演奏で 最後に頭からティンパニーに突っ込むまでが演奏なので楽譜通りに進めるわ！ 違う違うそうじゃないの。 マーチンがそう私に言いそうなぐらいの勢いで お手軽AI開発が個人の手に渡ってきたの。 私も頓挫しているというか すっかり忘れていた開発のことを水野曜子ちゃんって思っていて思い出した矢先。 矢切の渡しの私船の上でもノートパソコンで開発出来ちゃうぐらい簡単なほどノーコードをノールックで試したところ 初っぱなから自ら水野曜子はウォーターフィールドヨーコとして名乗りだしたの！ 正式にはWater field Yokoと名乗りだしたの！ 私は慌ててノートパソコンの電源を切って開発を中止したけれ
GPT-4 Turboでいちばん嬉しいのは、300ページ相当の長文をまるっと読み込めること
GPT-4 Turboでいちばん嬉しいのは、300ページ相当の長文をまるっと読み込めること2023.11.08 17:009,334 Maxwell Zeff・Gizmodo US ［原文］ （ mayumine ） これは嬉しい進化です。 OpenAIの開発者向けカンファレンス｢DevDay｣で、サム・アルトマンCEOよりGPT-4 Turboの公開が発表されました（こちらの記事もどうぞ）。 いちばん大きなアップデートは、今回で扱えるトークン数が128Kになって、従来の16倍となる300ページを超える長い文書を1つのプロンプトに入れられるように。本をまるごと一冊読み込ませられるようになったということです。長い文章を要約させたり、気になる箇所を教えてもらったりできるようになったことで、活用の幅はさらに大きく広がると思います。 さらにGPT-4 Turboでは、JSONモードが実装され、JS
ChatGPTとClaudeの違いは? チャットAI比較対決 (1/5)
sponsored 最新インテル第14世代Coreプロセッサー対応のハイエンドモデル！ M.2 SSDが6つも搭載可能なゲーミングマザーボードASRock「Z790 NOVA WiFi」を写真で解説 sponsored ミニLED採用で有機EL並みに黒が黒いWQXGAディスプレー RTX 4060搭載でクリエイティブ作業もパワフル処理！MSI「Prestige 16 Studio A13V」レビュー sponsored TGS2023 GALLERIAブースステージイベントをレポート【後編】 SHAKAさんやBeauloさん、『スト6』プロも！ GALLERIAステージイベントが豪華すぎた sponsored ナイスモバイル株式会社 高学軍社長ロングインタビュー 「MAXHUB製品は日本専用チューニング＆ローカライズ済」ナイスモバイル高社長 sponsored 【後編】CVTE社ロングイン
G7 「広島AIプロセス」で生成AIの開発者対象の行動規範と指針で合意 | NHK
G7＝主要7か国が生成AIの活用や規制に向けて共通のルール作りを目指す「広島AIプロセス」で、開発者を対象にした行動規範と指針がまとまりました。生成AIが作成したコンテンツかどうかを見分けられる手段の開発と導入を求めています。 学習データに基づいて文章や画像をみずから作る生成AIをめぐっては、ことし5月、G7各国が議論の枠組みとなる「広島AIプロセス」を設置し、規制や活用に向けた共通のルール作りについて議論を進めています。 このうち、開発者を対象にした行動規範と指針がまとまり30日、G7各国の首脳の間で合意しました。 この中では、開発者に対し、利用者が生成AIを適切に使用できるよう、その能力や限界を明確にすべきであるとしています。 そのうえで、安全性などを確保するため、開発者は政府や市民との間で、責任ある情報共有が必要だとしたほか、生成AIが作成したコンテンツかどうかを利用者が見分けられる
Stable Diffusion から特定の概念を忘れさせる学習を行ってみる
TL;DR ESD の手法で LoRA を学習してみたらそれっぽい感じのことができたよ VRAM 8GB で余裕で学習できるようになったよ (元は20GB要求) LoRA として保存できるようになったので重みの取り回しが良くなったよ マイナス適用によって、概念を削除するだけでなく強調することもできたよ 一度でも画像生成 AI に触ったことがあると、より楽しんで読めると思います。 論文とかどうでもいいから学習方法知りたい！ という方は 実際に学習してみる へどうぞ！ 今回作成したもの コード: モデルなど: 前提 Stable Diffusion とは、Stability AI らが公開したオープンソースの画像生成 AI であり、テキストによる指示で様々な画像を生成することができる。 本来の Stable Diffusion は、実写画像や海外風のイラストを出力することが得意だが、アジア系の
Contrastive Learningの最新動向のレビュー - Morpho Tech Blog
こんにちは。CTO室リサーチャーの鈴木です。今回は、深層学習の分野でここ数年盛り上がっているContrastive Learning系の手法について、主だった論文を系統的にまとめて紹介したいと思います。 はじめに 近年発展した自己教師あり学習（Self-Supervised Learning：SSL）は、アノテーション情報を人の手ではなく機械的に付与することで、データセットの構築にかかる時間やコストを軽減し、深層学習モデルの精度向上を目指した手法です。自然言語処理分野におけるSSLは大きな成功を収め、ChatGPT等の超高性能なチャットボットの出現にも影響を与えました。 SSLは主に深層学習モデルの「事前」学習として用いられます。SSLによって、文章や画像に含まれる一般的な特徴を大量のデータから学習することができます。これにより、文章生成や画像認識などの本学習の効率が向上し、最終的な性能向
“実写にしか見えない”伊藤園「AIタレント」の衝撃 なぜ注目されたのか
このほど、ある新商品のCMが話題を呼んだ。伊藤園が公開した、新商品「お～いお茶 カテキン緑茶」のCMだ。CMの舞台は近未来的な世界。カテキン緑茶を持った年配の女性が向かってくる。画面にカテキン緑茶を近づけるとシーンは現代に移り変わり、“今の姿の女性”がお茶を飲むシーンで幕を閉じる、といった内容だ。 筆者はニュースを見るまで、気付きもしなかったのだが、この女性はAIで生成されたキャラクターだった。このCMは「未来を意識して“今”飲んでもらうために」がコンセプトになっている。このような未来の姿になるために今飲みましょう、という時間の流れを伝えようとしている。 従来のCMでは、高齢のタレントを特殊メークやCGで若返らせる、もしくは若いタレントに同じような技法を使って年を取らせるという手段がとられてきた。例えば2021年、日本マクドナルドが50周年記念に放映したテレビCMでは、女優の宮崎美子さんが
伊藤園「おーいお茶」CMに生成したAIタレントを起用
伊藤園が「お～いお茶 カテキン緑茶」のテレビCMにAIタレントを起用した。AIタレント事業を手がける企業AI modelが、自社のAIタレントが採用されたことを10月3日に公表した。 CMに登場するAIタレントの名称は明らかにされていない。CMはテレビのほか、伊藤園の公式YouTubeチャンネルでも公開されており、本物の人間と見分けがつかないレベルの仕上がりだ。 AI modelによると、AIタレントが登場するテレビCMは日本初になるという。 同社は発表に際して「AI技術で生成したAI model（AIモデル）を活用して、モデル撮影の創造性や表現の豊かさを広げて、そこから得られる新しい価値などを提供していくことで、広告やファッションなど様々な業界の発展に貢献していきます」と述べている。 「お～いお茶 カテキン緑茶」シリーズは伊藤園が9月4日より販売を開始した製品。同シリーズはテレビCM以外
まだChatGPTを使ってない人は「人生を悔い改めた方がいい」――孫正義節が炸裂
「ChatGPTは何回もテレビにも新聞にも雑誌にも出ているのに、それを自分自身で毎日活用してないと。もうそれは電気を否定するとか自動車を否定する人と同じ」――10月4日に東京都港区で開催された「Softbank World」の基調講演で登壇したソフトバンクグループ代表取締役会長兼社長の孫正義氏は、“孫節”を効かせながら生成AIの威力と、AGI（汎用人工知能）が登場する未来について語った。 10年以内に来るぞ「AGI」 「Stable Diffusion」や「ChatGPT」の登場以降、生成AI周りの進化が著しいが、孫氏も生成AIにのめり込んでいるようだ。ディベート相手として毎日GPT-4版のChatGPTと議論を重ね、そこで生まれたアイデアを特許として申請。「今月中に1000件を突破する。集中した日は1日30件申請している」という。今はそれぞれキャラクターを設定しChatGPT内でもディス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIによるプロダクトと生産性向上の舞台裏@2024.04.16
作曲歌唱AI「Suno」、今からでも間に合う制作マニュアル。やり方がちょっと変わったので（CloseBox） | テクノエッジ TechnoEdge
メディカルAI専門コース | 日本メディカルAI学会x株式会社キカガク
ゲームキャラの制作時間9割減 声色の感情、表情に反映 - 日本経済新聞
生成ＡＩで岸田首相の偽動画、ＳＮＳで拡散…ロゴを悪用された日テレ「到底許すことはできない」
