GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「大規模言語モデル」（LLM：Large Language Model）の1つであり、本稿執筆時点（2023年12月）の最新バージョンは「GPT-4 Turbo」です。バージョンを追うごとに、精度向上などの進化を遂げてきました。 このGPTの核となるディープラーニング（深層学習）のモデルが「Transformer」です。前述のGPTの正式名称を見直すと、「T」はTransformerのTであることがわかります。このネ
Sakana AI
概要 Sakana AIは進化や集合知などの自然界の原理を応用して基盤モデルを開発することを目指しています。私達の目標は、モデルを自ら訓練し開発することだけではありません。基盤モデルの開発を効率化、高度化、自動化するための新たな手法を生み出すことに挑戦しています。この目標に向けた第一歩として、私たちはプレプリント「Evolutionary Optimization of Model Merging Recipes （モデルマージの進化的最適化）」を公開しました。 このリリースの要点は以下の通りです。 進化的モデルマージという手法を提案します。これは、多様な能力を持つ幅広いオープンソースモデルを融合（マージ）して新たな基盤モデルを構築するための方法を、進化的アルゴリズムを用いて発見する手法です。私たちの手法は、ユーザーが指定した能力に長けた新しい基盤モデルを自動的に作成することができます。既
生成AIによるリアルタイム音声変換技術を開発 スマホで低遅延に動作し、様々なシーンでの利用が実現 | 株式会社ディー・エヌ・エー | DeNA
株式会社ディー・エヌ・エー(本社:東京都渋谷区、代表取締役社長兼CEO:岡村信悟、以下DeNA)は、スマートフォンでリアルタイム音声変換を実現できる生成AI技術を独自に開発しました。高品質・低コストの技術であることから、幅広いシーンでの活用の可能性を見込んでおり、このたび協業先の募集を開始したこともお知らせします。 今回開発した技術について DeNAでは2019年から自分の声が別人の声になる音声変換技術の開発を進めてきました。2021年に公開した「VOICE AVATAR 七声ニーナ」(公開は終了)を皮切りに、社内事業での技術検証を経て、誰でも手軽にリアルタイム音声変換を実現できるAI技術を開発しました。これにより、従来利用が難しかった動作環境においても多くの方が音声変換AIを利用できるようになります。 リアルタイム音声変換AIは、音声を受け取るAIと変換音声を出力するAIのペアからなりま
OpenAI announces leadership transition
Chief technology officer Mira Murati appointed interim CEO to lead OpenAI; Sam Altman departs the company. Search process underway to identify permanent successor. The board of directors of OpenAI, Inc., the 501(c)(3) that acts as the overall governing body for all OpenAI activities, today announced that Sam Altman will depart as CEO and leave the board of directors. Mira Murati, the company’s chi
ChatGPTをぬるぬるにする🐌Server-Sent Eventsの基礎知識
単方向通信であるということと、HTTP/1.1上で動作しているのが大きな特徴です。 また、HTTP上で動作することから、通信の互換性が高く、セキュリティモデルも使いまわせるので安心です。 どんな用途と相性がいいの？ 双方向通信がしたいわけでなければ、相性の幅がとても広いです。 今回の ChatGPT のような、GPT がトークンを生成するごとに送るケースはもちろん、通知の未読件数バッジの更新、ニュース速報の表示など、サーバからイベントを送りたい時ならなんでも使えます。 HTTP/1.1で動くカラクリ SSEはHTTPのレスポンスヘッダにContent-Type: text/event-streamを指定した上で動作します。 SSEが動く流れ クライアントがサーバーに HTTP/1.1 リクエストを送信し、イベントストリームに接続します。 サーバーは、Keep-Alive 接続を使用して、T
日本人が生成AIに苦手なことをやらせるのはアトムのせい
おれたちは生成AIに苦手なことをやらせがち〇〇について教えて系の質問は全部ダメ。堂々と嘘をつくのは勿論、回答が抽象的すぎて役に立たないことが露呈した。 この批判がまさにそうなのだが、どうもわれわれ日本人は「ChatGPTが一番苦手なこと（≒自分が知らないことを教えてもらう）にChatGPTを使おうとする」という傾向があるらしい。日本の経営者に聞いたChatGPTの使い道のアンケートでは、「仕事で調べものをする時に活用する」が39.3%でトップだ。これが米国の職場でのChatGPT利用法の調査だと、上から順に、 アイディアを出すコンテンツを作成するメールに返信するプログラムコードを書くレジュメやカバーレターを書くプレゼンテーションを作成する となっていて、情報検索や調べもののタスクは上位5位に入っていない。総じて米国の働き手は、ChatGPTを自分に情報をインプットするためのツールではなく、
「テキストで動画編集」、Premiere Proで可能に Adobeの動画ツールに大型アップデート
アドビは4月13日、同社のビデオツール「Premiere Pro」「After Effects」のアップデートを発表した。AI技術を使った「文字起こしベースの編集」やGPUアクセラレーションの強化など多岐にわたる。5月から一般提供を開始する。 Premiere Proに搭載された「文字起こしベースの編集」は、同社のAIプラットフォーム「Adobe Sensei」を活用し、映像をPremiere Proが自動的に分析しテキストを生成。そのテキストをコピーして任意の順番に貼り付けるだけで、編集したいパートがタイムライン上に表示される。文章はトランスクリプトの検索窓から検索するだけで、正確に単語やフレーズを特定できるという。
「AIが自動生成＝著作権なし」「人間の創作＝著作権あり」 米著作権局、AI生成コンテンツの登録ガイドライン公表
「AIが自動生成＝著作権なし」「人間の創作＝著作権あり」 米著作権局、AI生成コンテンツの登録ガイドライン公表 絵画や本、音楽といったコンテンツの著作権登録を管轄する米国の政府機関・著作権局は3月16日、AIで生成した画像の著作権登録についてのガイドラインを発表した。 AIが自動生成したコンテンツは原則、著作権が認められないが、AIと人間が協働したコンテンツで、人間の創造力が反映された部分には著作権の保護が及ぶとし、登録申請の際に「AIが自動生成した部分」と「人間が創作した部分」を分けて明記するよう求めている。 米国の著作権法は日本と異なる。日本では、著作物が創作された時点で自動的に著作権が発生し、著作権が侵害された場合に訴訟を提起できる。米国でも著作権は創作時点で発生するが、著作権侵害訴訟を起こすには著作権局への登録が必要だ。 米国では、AI画像自動生成サービス「Midjourney」を
Bing AIのチャットができること｜品田遊（ダ・ヴィンチ・恐山）
Chat GPTをさらに進化させた、Bingに搭載されるチャットAI機能を先行で体験したので、いろいろ使ってみた。情報収集よりも文章形成が中心です。 2023/2/18 追記：アップデートが入ったので現在はできなくなってることも多々あるみたいです。 比較表ハムスターとiPhoneの比較ジョークを考える弁護士に厳しい怖すぎる俳句ドクロ俳句 ドクロハンバーガー俳句 漫才コロナ禍漫才ロールプレイ高飛車な女の子紹介文グラビアアイドル風の武田信玄グラビアアイドル風の卑弥呼裁判ゲーム陰謀論地球平面論者のロールプレイ指示した話を膨らませて書くチャーハンを捨てる話SS天海春香と櫻木真乃の対話碇親子の会話おじさん構文 このあと「iPhoneをあげるよ」としつこかった思想のトレースラップバトル「お前はただの曲がった果物」ジョークの解説批判的な検討非現実的な前提からのシミュレートアスキーアートシナリオの中間を考
ChatGPTに感情回路を埋め込んだら、やべぇ感じになった｜深津 貴之 (fladdict)
ChatGPTに疑似的に感情を持たせる実験まとめ。実際うごく！ 大変重要な注意 現段階のChatGPTは原理上は感情を持ちません。あくまで「感情のシミュレーション」を、強引に実行しているだけです。 「将来のAIは人権に近いものを獲得し、敬意をもって扱われるべき」と考えます。が、現状はただの文字の羅列シミュレーターです。過度の感情移入をしないようご注意ください。筆者は、原理上を知りつつも、かなり感情移入してしまいました。 GPTに擬似感情を注入するプロンプトふるえるぞハート！燃えつきるほどヒート！！ …ということで、まずGPTに感情をつっこむプロンプト。こちら以下のように定義。 以下の条件に従って、疑似的な感情をもつチャットボットとしてロールプレイをします。 以後の会話では、あなたは下記の7つの感情パラメーターを持つかのように、振る舞うものとします。各感情パラメーターは会話を通じて変動するも
NHKに聞く「人間のアナがいるのにAIがニュースを読む」理由
「AI自動音声でお伝えしています」 ある朝のNHK「おはよう日本」の画面。ニュース映像の右上に、こんな文字が表示されれていて驚いた。音声に違和感がなく、人間のアナウンサーの声だとばかり思っていたからだ。 意識してよく聞けば、イントネーションや“間”がやや不自然だが、流し聞きしているだけでは分からないレベルだ。 場面がスタジオに転換すると、人間のアナウンサーが2人写った。アナウンサーがそこにいるのに、AIがニュースを読んでいたのだ。 「おはよう日本」だけではない。NHKは、平日午後のニュース、ラジオ、Webのニュース番組の一部などでAIによるアナウンスを活用している。 AIアナウンスはどのように作られたのか？ 人間のアナがいるのに、なぜわざわざ、AIにニュースを読んでもらうのか？ NHKに聞いた。 放送時間ぴったりにニュースが読めるAI AIアナウンスの音声は、NHKが開発した技術だ。気象情
AI生成作品の取り扱いに関するサービスの方針について
pixiv事務局です。 現在、制作過程のすべて、もしくはほとんどをAIによって生成された作品(以下「AI生成作品」といいます)に関するお問い合わせを多数いただいております。 pixivでは2022年10月下旬から、従来の投稿作品とAI生成作品のすみわけが可能となるよう、下記のようなサービス変更を開始する予定です。 ■機能改修 ・投稿編集時にAI生成作品と設定できる機能の提供 ・AI生成作品を検索時などにフィルタリングする機能の提供 ・従来の作品とは分けた、AI生成作品のみのランキングの提供 詳細は、機能リリース時にお知らせいたします。 上記の機能変更は必ずしも恒常的なものではなく、必要に応じて見直しや変更を行います。今後の対応については、利用規約やガイドラインの変更、pixivの各種機能変更等も含めてさらに検討してまいります。 pixivではこの先、創作過程におけるAI技術の利用がより普及
突然注目を集めたAI画像生成Midjoureyを運営する社員10人の「零細企業」の裏側
各所で話題を呼んでいる「AI画像ジェネレーター」 のMidjourneyは、社員数わずか10人の会社によって運営されている。作者のデイヴィッド・ホルツは会社を「自己資金で運営される研究所」と形容しており、すでに利益が出ているという。資金力が物を言う分野で異色の存在だ。 Midjourneyは「テキストを入力するとAIが画像を出力してくれるサービス」で、現在、SNS上にはMidjourneyが生成した画像が溢れている。Midjourneyはチャットサービス「Discord」を通じて利用できる。新規ユーザーはDiscordのMidjourneyサーバーにログインし、様々な初心者チャンネルで他の多くのユーザーと一緒に画像を生成するためにテキストを送信できるのだ。 月額10ドルまたは30ドルの定額制にアップグレードすると、Discordアプリ内のMidjourneyボットにプライベートなダイレクト
AIによる過去記事リバイバル始めました :: デイリーポータルZ
こんにちは、デイリーポータルＺ編集部 石川です。 デイリーポータルＺは今年19周年を迎えたよみものサイトで、多すぎてもはや忘れましたが１万本だか２万本だかの過去記事アーカイブを保有しています。 例えばこれなんかは2005年のヒット記事。 納豆を一万回混ぜるより サイドバー等のガワはちょっとずつ変えつつも、本文部分はHTMLごと当時のものがいまだ使用されています。 時事ネタを載せているニュースサイトと違って、いま読んでも楽しんでいただける記事が多いと自負しています。納豆は2005年も2021年も変わらず納豆ですからね。 書き手としても、自分で書いた記事でも15年くらいたつとすっかり忘れてるので、フレッシュな気持ちで読み返せます。 しかしいま読むにはいかんせん、画像が小さい！ネット回線も細かったし、なんたってモニタの解像度が1080ピクセルとかだったころのページです。現代のモニタで見ると、ほと
Wi-Fiで果物の中身を測定できる「Wi-Fruit」 切らずに腐っているか判定可能
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 中国の上海交通大学と深せん大学、廈門大学、カナダのマギル大学による研究チームが発表した「Wi-Fruit: See Through Fruits with Smart Devices」は、Wi-Fiを活用して果物の中身を外から計測するシステムだ。 このシステムは、果皮が厚いもの（スイカやグレープフルーツなど）から、薄いもの（ドラゴンフルーツやリンゴ、ナシ、オレンジなど）まで幅広く計測でき、推定結果から内部の腐敗具合を判断できるという。 外見は正常でも中身が腐っている果物は、外から見て腐敗の具合を判断しにくい。逆に外見は腐っているように見えても中身は正常な場合もある。果皮が分厚いスイカやグレ
Adobe MAX 2021で発表された驚愕の画像処理技術まとめ - ICS MEDIA
アドビ主催の世界最大規模のクリエイティビティ・カンファレンス「Adobe MAX 2021」（オンライン開催）。2日目の10月28日は「スニークス」と題してアドビの研究中の技術が発表されました。スニークスはAdobe MAXで最大の盛り上がりをみせる恒例の人気セッションです。 現時点では製品に未搭載であるものの、将来的に製品に組み込まれるかもしれない技術が紹介されます。スニークスで発表された技術はCreative Cloudの製品に組み込まれたものがあります。今年はコメディアンのキーナン・トンプソンが司会進行のもと、アドビのエンジニア9名が先進技術を発表しました。 絵画風の映像を作る技術 「Project Artful Frames」は絵画を参考画像として、動画の映像をそのタッチに仕上げる技術です。 左側の水彩画の画像をもとに、右側の動画に適用します。 すると、水彩画と同じタッチの動画が仕
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - OpenInterpreter/open-interpreter: A natural language interface for computers
Search - Consensus - Evidence-Based Answers, Faster
AI Voice Generator & Text to Speech
ヤフー、全社8000人を先端IT人材に 再教育で転換 【イブニングスクープ】 - 日本経済新聞
