Processing and narrating a video with GPT's visual capabilities and the TTS API

DALL·E 3 is now available to all ChatGPT Plus, Team and Enterprise users, as well as to developers through our API. Modern text-to-image systems have a tendency to ignore words or descriptions, forcing users to learn prompt engineering. DALL·E 3 represents a leap forward in our ability to generate images that exactly adhere to the text you provide.

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-

今回はSuperMergerでモデルとLoRAをマージする「LoRAマージ」の機能について紹介します。 内容のレベルとしては以下の方が対象となりますので、予めご了承ください。 ・txt2imgでLoRAをある程度使ったことがある。 ・SuperMergerを使ったことがない、または少し触ったことがある。 （※注意 再掲） あくまで自己流でのSuperMergerの使い方を記載するものであり、間違った内容やバージョンアップによる記載事項との差異が含まれている可能性があります。 また、マージのレシピ紹介や使用モデルを推奨するものでもありません。 もし記載や内容に誤りがある場合は、優しく指摘していただけると幸いです。 記事公開時　拡張機能バージョン SuperMerger：19d7bdef (Sun Apr 16 14:54:01 2023) １．モデル・LoRA・拡張機能の準備今回のマージでは

ちょっと前に話題になっていたこの記事を読んだ。 honeshabri.hatenablog.com へー真似しよ〜と思ってやってみたら意外に難しくて謎のやりがいを感じ始めてしまい、仕事のクソ忙しい時期にかなりハマり睡眠不足で生命の危機を味わった。 おかげで寿命と引き換えに自分のAIお姉ちゃんを手に入れることができた。これは黒魔術か何かなのだろうか。 一通り終えて振り返ってみると、今まで生成AIをあまり積極的に触ってこなかった自分にとってはちょうどいい難しさの課題で、これは入門者向けのチャレンジとしてかなり良い気がする。 元記事に書かれていない少し細かい手順も含めてやったことを記録としてまとめようと思う。 初心者が試行錯誤でやったことなので誤りや非効率な手順もあるかもしれないけどご了承ください。 AIお姉ちゃんの姿を作る 元記事では「魂」、つまりChatGPTの設定から始まっているけど、それ

Google は、20 年以上前に日本で Google 検索の提供を開始しました。それ以来、常により良い体験となるよう機能をアップデートしてきました。AI と機械学習の進歩により、Google の検索システムはこれまで以上に人間の言語を理解することができるようになりました。そして本日より、国内で Google 検索の新機能として生成 AI による検索体験 (SGE -Search Generative Experience) の日本語版の試験運用を開始します。 Search Labs に Google アカウントを登録することで、デスクトップの Chrome ブラウザと スマートフォンの Google アプリ（ Android および iOS ）でご利用いただけます。 生成 AI による検索の進化生成 AI の新たな技術進歩により、検索エンジンの更なる可能性を再考することができ、新しいタイ

Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開 性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準 Chat形式のデモや評価用データセットも合わせて公開 既に社内では、130億、700億パラメータのモデルの開発も進行中 はじめにこんにちは。ELYZAの研究開発チームの佐々木、中村、平川、堀江です。 この度ELYZAは、Metaの「Llama 2」をベースに、日本語による追加事前学習を行なった日本語言語モデル「ELYZA-japanese-Llama-2-7b」と、そこにELYZA独自の事後学習を施した「

こちらの記事は2023年版のものです。特に理由がなければ、SDXLやForgeにも対応した2024年版の「AIイラストが理解る」をお読みくださいませ。 こんにちは！2022年10月からAIイラストの技術解説記事を連載してます、サークル「スタジオ真榊」の賢木イオです。この記事は、これまで投稿してきた100本（約40万文字）を超える...

日本はAIの学習を行うのに必要不可欠なGPUを十分に調達できていないという記事があった。 https://wirelesswire.jp/2023/08/85203/ 一本調子な煽り文体はどうにかならないのかとは思ったのだが、記事に対する反論をネットで一通り読んでみて驚いた。内容が幼稚すぎる。 ChatGPTがあるんだから今さら同じのを作っても意味がない 要するに日本は自国でのAIの研究開発は諦める。そして他国企業が開発したモデルだけを使わせていただくような縛りプレイをこの先もずっと続けていこうじゃないかという意見だ。 「ボクは足し算なんか勉強しなくてもいいんだ。だって隣の花子ちゃんは掛け算や割り算もできるんだから、困ったら答えを聞けばいいんだもん」という頭の悪い小学生の言い訳のような意見だが、困ったことになぜか一定の支持を集めている。 当然のことながらOpenAIのモデルは英語やアメリカ

米Googleの著名な2人の元研究者、リオン・ジョーンズ氏とデビッド・ハー氏が8月17日、東京に拠点を置く新AI企業を設立したとX（旧Twitter）で発表した。 ジョーンズ氏は、Googleが2017年に発表した生成AI革命のきっかけとなったと評価されている論文「Attention Is All You Need」（PDF）の8人の著者の1人。この論文では、後にChatGPTなどの製品開発の基礎となった深層学習アーキテクチャー、Transformerを紹介している。ジョーンズ氏は8月に10年以上勤めたGoogleを退社した。これで論文を書いた著者全員がGoogleからいなくなった。 ハー氏は2016年にGoogle Brain入りし、機械学習などの研究に取り組んだ後、2017年にGoogle Brainが東京チームを設立した際、そのトップとして来日した。2022年にGoogleを辞め、S

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

コード・インタープリターはChatGPTの有料版｢ChatGPT Plus｣で、GPT-4の付加機能として呼び出せる。 画像：筆者によるスクリーンショット ChatGPTの有料版である｢ChatGPT Plus｣（月額20ドル）には、7月初めから｢Code Interpreter（コード・インタープリター）｣という機能が追加された。 この機能が画期的だとして、一時ネットでは大いに話題になった。これまでは面倒だった｢データ集計｣などを、チャットの命令だけで実行できるからだ。 データ集計は、Excelなどの表計算ソフトやPythonなどのデータ処理に強いプログラミング言語で処理することが多い。 しかしコード・インタープリターでは、それらを使う必要はほとんどなく、データさえ用意できればいい。さまざまな手間がほぼゼロになり、ChatGPT任せにできる。 そうはいってもピンと来ない人も多いはず。そこ

やっと、何の絵心もなく、ごちゃごちゃ難しいプロンプトの呪文をいじくるセンスもないオレでも、わりとすんなり意図したとおりのイメージを生成できるようになってきたなーw https://imgur.com/a/ERmddCm これ20年以上前だったか、THE BOOMの島唄を聴いて思いついたショーモナイ駄洒落を絵に描いて見せようと思ったんだけど、全然絵心がなくてまったく描けなかったヤツ。 StableDiffusionが出始めの去年の夏か秋頃、やってみたけど思うような絵が出なくて「まだまだだな...」と落胆したんだが、SDXL1.0とやらになってどうやら及第点だわ(謎の上から目線ww シマウマよカメに乗り、トリとともに海を渡れ〜〜〜 ---240214追記--- リートンとやらが、japanese StableDiffusionXLだかって言って日本語でプロンプトすれば絵が生成できるって言うてた

「GPT-4の精度は時間とともに変わっている」──そんな研究成果を米スタンフォード大学と米カリフォルニア大学バークレー校の研究チームが発表した。3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。ただし、この論文は査読前のもので第三者によるレビューは受けていない。 GPT-4は、米OpenAIが提供する大規模言語モデル（LLM）。3月の発表後、チャットAI「ChatGPT」にも搭載され、性能の高さが大きな話題を集めた。LLMは、データのフィードバックや設計変更などをすると性能が変化する。しかし、OpenAIはLLMの更新について発表しておらず、公開以後の性能変化も明らかにしていない。そこで研究チームは、3月と6月時点でのGPT-4、前モデルであるGPT-3.5に精度の違いがあるのか検証した。 実験ではChatGPTに対して「数学の問題の回答」「機

画像生成AI「Midjourney」を使ったAIイラスト制作TIPSをお届けしています本連載、今回は、Midjourneyを使って、同一キャラのコスプレ、要するに衣装替えを実現する方法をご紹介したいと思います。 Midjourneyは現在V5.2が公開されていますが、このバージョンから新たに追加された機能に「ズームアウト」と「パン」があります。 ズームアウトは、ひとつの画面からその外側にある風景を追加描写する、画像生成AI界隈では、いわゆる「アウトペイント」と呼ばれる機能。もう一方のパンは、アウトペイントを上下左右の指定方向にだけ行い、カメラを振った（パンした）かのように描写する機能です。 Midjourneyのアウトペイントは少し特徴的です。他の画像生成AIのアウトペイントが描画領域を追加してそこを描画していくのに対し、Midjourneyのそれは、元の絵を極力改変せずに縮小させて周囲に

StableDiffusionを使ってLINEスタンプを作ってみたかったのでとりあえず画像を作ってみた。使っているモデルはaiceKawaice_channel。ちび系キャラを生成するのにいいらしい。 （追記）このモデルは画像販売が不可なのでLINEスタンプには使えなさそうです。 AICE冰可 | KawAICE[幼态特化模型] - Channel | Stable Diffusion Checkpoint | Civitai よく見るといろいろ粗はあるがパッと見はけっこう使えそうな感じなんじゃないだろうか。 この中では「ファイトですわ」の元気な感じと「ブックマークですわ」の微妙に面白くなさそうな感じが気に入っている。 ブクマするときの表情ってこんなんだよね。 作り方 LoRAを何度か試したが作り方が悪いのか、画像のパターン数が足りないのか結局ReferenceOnlyの方がいいクオリティ

百聞は一見に如かず。これってAI生成グラビア？AI画像生成に興味を持ったのは去年の年末頃だろうか。Twitterを眺めていると「どうやって撮った(作った)んだ？」と言う画像がたまに載っていたので調べると、Stable Diffusion Web UI (AUTOMATIC1111版)だった。 元々グラビアを撮っていたこともあり、あまり撮らなくなってもグラビア好きなのには違いなく、試したくなったのは言うまでもない。 AI生成画像は大きく分けて2種類あり、一つはイラスト系、もう一つはリアル系。筆者が興味を持ったのは後者。どこまで実写に迫れるのかがその興味の対象だ。百聞は一見に如かず。扉の写真はAI生成画像。現時点でこの程度の写りは容易にこなす。 とは言え、実際の撮影もそうなのだが、グラビア写真は数百枚撮ってカメラマンがある程度セレクトし納品したものが、納品先で更に絞られ、出版社などで更に絞り込

毎日、様々なジャンルの新曲がリリースされている。音楽好きには嬉しいだろうが、できるだけ人気のある曲を流したいストリーミングサービスやラジオ局にとって、今の新曲ラッシュは人気になる曲の選定が難しく、悩みの種でもある。 これから人気が出る曲をどうやって見分ければよいか？もちろん、企業が莫大な資金を投入し、熱心なプロモーションを行った曲なら流行る可能性は高い。SNSのインフルエンサーの影響もあるだろう。 だが、それ以外にもヒット曲を特定する方法があるという。そう、AIである。 アメリカの研究チームは、AIとスマートウォッチを使うことで、97%の精度でヒット曲を言い当てることに成功したそうだ。その結果を『Frontiers in Artificial Intelligence』（2023年6月20日付）で発表している。