GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「大規模言語モデル」（LLM：Large Language Model）の1つであり、本稿執筆時点（2023年12月）の最新バージョンは「GPT-4 Turbo」です。バージョンを追うごとに、精度向上などの進化を遂げてきました。 このGPTの核となるディープラーニング（深層学習）のモデルが「Transformer」です。前述のGPTの正式名称を見直すと、「T」はTransformerのTであることがわかります。このネ
自動プロンプト最適化をやってみた - Algomatic Tech Blog
はじめまして！データサイエンティストの山内(@jof_5)です。 本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。 1. プロンプトエンジニアリングの必要性と課題 2. 自動プロンプト最適化について 2-0. 最適なプロンプトとは何か？☕ 2-1. 自動プロンプトの概要 2-2. 自動プロンプト最適化のアーキテクチャ ①Task Executor: LLMによるタスクの実行 ②Output Evaluator: 出力の評価 ③ Prompt Improver: 最適なプロンプトの生成 3. 実験結果と考察 3-1. 自動プロンプト最適化の有効性の検証 3-2. 最適化プロンプトの生成過程 3-3. 最適化されたプロンプトの特徴 3-4. プロンプト生成用LLM(Prompt Improver
東京都の生成AI活用事例集にツッコミを入れてみる｜saip(さいぴ)
この記事の概要 ・本記事は、東京都の文章生成AI利用ガイドラインに基づき、都職員による生成AIの活用事例集の評価と改善案を提案しています。 ・著者は生成AIを利用した事業でCTOを務める株式会社Trippyのsaip (@_saip_) です。 ・東京都が提供する事例集には創意工夫が見られる一方で、プロンプトの誤用や古い認識も指摘されています。 ・平易な言葉を使用し、ChatGPTの活用法について解説しており、AIを使ってストレスフリーな生活を送る方法を提案します。 ・良いプロンプトの作成方法やマークダウン記法の正しい使用方法、高品質なプロンプトの例も紹介しています。 ・AIとの効率的なコミュニケーションを促進するための具体的なテクニックが多数含まれています。 GPT-4で作成こんにちは、saip (@_saip_) です。 生成AIを利用した事業をしている株式会社TrippyでCTOを務
中国で売られるスマホには「消しゴムマジックで消せない場所」があるって本当？実際に試してみた - はやぽんログ！
インターネット上である投稿が話題だ。それは特定の中国メーカーのスマートフォンでかつ、特定の場面で「消しゴムマジック」に準ずる機能を利用しようとすると「利用できない」というものだ。 その場面とは、北京にある天安門広場だ。北京の有名な観光地であるとともに、中国の歴史的な行事などで幾度も舞台になった場所だ。過去に天安門事件が起こった場所でもあることから、反政府的なデモを防ぐ目的で多くの警備兵が配置されていることでも知られる。 前述の反政府的なデモ防ぐ目的から、インターネット上でも、検閲が厳しい場所としても知られている。中国のネットユーザが天安門広場に飾られる毛沢東氏の肖像画を消した画像でも投稿してしまえば、そのアカウントはあっという間に凍結されてしまう。 今回フォロワーのなしみるく様よりこの2枚の写真を提供いただきました。 @Hayaponlog お疲れ様です🙏 Huawei機で天安門の写真で
小さくても豊かに―、日本の人口減少がAIの普及を促進する | Coral Capital
月間10万人が読んでいるCoral Insightsのニュースレターにご登録いただくと、Coral Capitalメンバーによる国内外のスタートアップ業界の最新動向に関するブログや、特別イベントの情報等について、定期的にお送りさせていただきます。ぜひ、ご登録ください！ 人工知能（AI）の飛躍的な進歩がもたらす新時代を目前に、「AIが世界の雇用市場に与える影響」をめぐる議論が活発になっています。AIを活用した様々なテクノロジーの急発展は、まるで突如として現れたかのような印象さえ与えました。これを受けた人々の反応は期待と不安が入り混じり、製造現場から役員会議室まで波紋が広がっています。実際、The Economistの最近の記事によると、Googleで「Is my job safe?（自分の仕事は大丈夫か？）」という検索が世界中で急増しているようです。大規模言語モデル（LLM）によって職を奪わ
驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
AI生成で３０万枚作ってわかったこと｜jun555
２０２２年の８月ころから生成AIとの付き合いを開始して、最初はMIDJOURNEY（初期バージョン）から始まり、NAIに移行し、MIDJORNEYのバージョンが上がって、NIJI-JOURNEYを少し触ったあたりで、RTX４０９０を買ってStable-Diffusionのローカル環境に場所を移しました。 ２０２２年８月から２０２３年２月まで、だいたい一年と２００日（約５６５日） 生成枚数は３２万枚超。オンラインでの生成サービス（mid+nai）で３万枚くらい。ローカルに移行してから２９万枚生成しました。 midjourney初期バージョン期。２０２２年８月ごろ。この頃はこれでウホウホ言ってましたNAI期、「アニメキャラが出せる！」とウホウホ言ってましたMID＋NIJI＋NAIで作った漫画（未発表）AI独特の画風（次元）をまたぐ能力をテーマにした漫画Stable-Diffusion期。今も毎
ウィル・スミスがもりもりパスタを食べるAI動画、本人が再現 技術の進化に「手に負えなくなってきた」
俳優のウィル・スミスさんが顔や食器をぐちゃぐちゃにしながらもりもりパスタをむさぼる動画をご存じだろうか。2023年に、当時の生成AIで作ったとみられる映像だ。OpenAIが最新の動画生成AI「Sora」を発表してからは、クオリティーの差から同AIのサンプル映像と並べられ「1年間で技術がこんなに進化した」という比較の好例やミームのようにもなっていた。そして2月20日（現地時間）、この映像がついに実写化（？）した。 ウィル・スミスさんは20日、自身のInstagramアカウントに、生成AIの映像を再現した動画を投稿。AI動画と自身の映像（AIではなく、自身を撮影した映像）を並べ、順に「1年前のAI動画」「今のAI動画」とキャプションをつけて公開した。 【追記：2023年2月21日午後1時39分】スミスさん自身の映像は、AIで生成したものではなく自らを撮影したものであることを明記しました。 AI
Suno AI の作り方 (技術者の観点から) · あらゆる現実のはなし
日本音響学会 学生・若手フォーラム Advent Calendar 2023 24日目 Suno AI とは、歌詞と曲のスタイル（と曲名）を指定するだけで、自動で歌詞入りの楽曲を作成してくれる生成 AI サービスです。 Suno AI 最近ではこのほかにも様々な音楽生成AIが発表されていますが、 Suno AI が特にバズっている要因はおそらく歌詞入力という他サービスではあまり無い UI と、 ボーカルが付加されることにより生成楽曲の面白さが格段に上がる点が大きいのではないでしょうか。 Suno AI 自体の使い方や詳細は多くのブログで紹介されているため特に取り上げる必要はないかと思いますが、 本記事では技術者の観点から Suno AI のようなシステムをどのようにすれば作れるか具体的に解説します。 個人的には Suno AI について、以下のような所見を持っています。 Suno AI は
プログラミングに挫折したならAIお姉ちゃんに任せなさい - 本しゃぶり
プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ
生成AIによるリアルタイム音声変換技術を開発 スマホで低遅延に動作し、様々なシーンでの利用が実現 | 株式会社ディー・エヌ・エー | DeNA
株式会社ディー・エヌ・エー(本社:東京都渋谷区、代表取締役社長兼CEO:岡村信悟、以下DeNA)は、スマートフォンでリアルタイム音声変換を実現できる生成AI技術を独自に開発しました。高品質・低コストの技術であることから、幅広いシーンでの活用の可能性を見込んでおり、このたび協業先の募集を開始したこともお知らせします。 今回開発した技術について DeNAでは2019年から自分の声が別人の声になる音声変換技術の開発を進めてきました。2021年に公開した「VOICE AVATAR 七声ニーナ」(公開は終了)を皮切りに、社内事業での技術検証を経て、誰でも手軽にリアルタイム音声変換を実現できるAI技術を開発しました。これにより、従来利用が難しかった動作環境においても多くの方が音声変換AIを利用できるようになります。 リアルタイム音声変換AIは、音声を受け取るAIと変換音声を出力するAIのペアからなりま
日本人が生成AIに苦手なことをやらせるのはアトムのせい
おれたちは生成AIに苦手なことをやらせがち〇〇について教えて系の質問は全部ダメ。堂々と嘘をつくのは勿論、回答が抽象的すぎて役に立たないことが露呈した。 この批判がまさにそうなのだが、どうもわれわれ日本人は「ChatGPTが一番苦手なこと（≒自分が知らないことを教えてもらう）にChatGPTを使おうとする」という傾向があるらしい。日本の経営者に聞いたChatGPTの使い道のアンケートでは、「仕事で調べものをする時に活用する」が39.3%でトップだ。これが米国の職場でのChatGPT利用法の調査だと、上から順に、 アイディアを出すコンテンツを作成するメールに返信するプログラムコードを書くレジュメやカバーレターを書くプレゼンテーションを作成する となっていて、情報検索や調べもののタスクは上位5位に入っていない。総じて米国の働き手は、ChatGPTを自分に情報をインプットするためのツールではなく、
「テキストで動画編集」、Premiere Proで可能に Adobeの動画ツールに大型アップデート
アドビは4月13日、同社のビデオツール「Premiere Pro」「After Effects」のアップデートを発表した。AI技術を使った「文字起こしベースの編集」やGPUアクセラレーションの強化など多岐にわたる。5月から一般提供を開始する。 Premiere Proに搭載された「文字起こしベースの編集」は、同社のAIプラットフォーム「Adobe Sensei」を活用し、映像をPremiere Proが自動的に分析しテキストを生成。そのテキストをコピーして任意の順番に貼り付けるだけで、編集したいパートがタイムライン上に表示される。文章はトランスクリプトの検索窓から検索するだけで、正確に単語やフレーズを特定できるという。
summarize.tech: AI-powered video summaries
Get a summary of any long YouTube video, like a lecture, live event or a government meeting. Powered by AI. Try a few examples:State of the Union addressSan Francisco School Board meetingTheory of Relativity lecture at StanfordSteve Vai documentaryData Orchestration tech talkAll-In podcastOr, you can see some recently summarized videos.
「AIが自動生成＝著作権なし」「人間の創作＝著作権あり」 米著作権局、AI生成コンテンツの登録ガイドライン公表
「AIが自動生成＝著作権なし」「人間の創作＝著作権あり」 米著作権局、AI生成コンテンツの登録ガイドライン公表 絵画や本、音楽といったコンテンツの著作権登録を管轄する米国の政府機関・著作権局は3月16日、AIで生成した画像の著作権登録についてのガイドラインを発表した。 AIが自動生成したコンテンツは原則、著作権が認められないが、AIと人間が協働したコンテンツで、人間の創造力が反映された部分には著作権の保護が及ぶとし、登録申請の際に「AIが自動生成した部分」と「人間が創作した部分」を分けて明記するよう求めている。 米国の著作権法は日本と異なる。日本では、著作物が創作された時点で自動的に著作権が発生し、著作権が侵害された場合に訴訟を提起できる。米国でも著作権は創作時点で発生するが、著作権侵害訴訟を起こすには著作権局への登録が必要だ。 米国では、AI画像自動生成サービス「Midjourney」を
ChatGPTの精度を上げる、あらゆる質問の最後に置く「命令」 優秀な壁打ち相手を作る、「チャットAI力」の高め方
クリエイターに出会ったり、もっとファンになったり、noteで創作をつづけたくなるようなイベントを開催する「noteイベント」。今回は「チャットAI使いこなし最前線」をテーマに、黎明期からチャットAIを活用しているnote CXOの深津貴之氏が登壇しました。こちらの記事では、ChatGPTユーザーの悩みを解決するプロンプトなどが語られました。 ChatGPTユーザーの悩みを解決するプロンプト 徳力基彦氏（以下、徳力）：まず今日はChatGPTの使い方をしっかり覚えていただきたいと思います。ここで「深津式汎用プロンプト」。 深津貴之氏（以下、深津）：僕は1個1個、個別の例を出すのはあんまり好きではないです。さっき言ったように原理原則を1個理解すれば、全部その原理原則から引っ張れる方向が好きですね。 なので今日も、細かいプロンプトを出すよりは、だいたいあなたの悩みのすべてを解決するプロンプトを1
ChatGPT と結城浩の対話（矛盾や反復を含んだ対話によってAIと人間の識別は行えるか）
chat.md 結城浩 こんにちは。今後、GPT-4を使ったアプリケーションやサービスがたくさん登場してくると思います。その中には、たとえばSNSを利用したbotもたくさん出てくるでしょう（現在でもすでにありますけれど）。そこで質問なんですが、SNSでおしゃべりしている相手が、人間なのか、GPT-4などの技術を使ったAIなのかを識別するにはどのような会話をしてみればいいでしょうか。一般的なAIでは難しいかもしれないので、GPT-4に限ってもいいです。あなたの考えを聞かせてください。 ChatGPT Model: GPT-4 GPT-4のような高度なAIと人間を識別するのは、時に難しいことがあります。しかし、いくつかの方法を試してみることで、相手が人間かAIかを見極めることができるかもしれません。 複雑な感情やニュアンスについて尋ねる: AIは感情やニュアンスを理解するのが苦手です。複雑な感
ブラウザなどのツール操作を簡単に自動化できるAI「ACT-1」が登場
AIスタートアップのAdeptが、デジタルツールを使用するように訓練された大規模なTransformerモデル「ACT-1」を発表しました。ACT-1はブラウザで何が起こっているかを監視し、クリック・入力・スクロールなどの特定アクションを実行できるChrome拡張機能に接続されており、操作を自動化できます。 ACT-1: Transformer for Actions https://www.adept.ai/act ACT-1は、ユーザーの高度な要求を受け止め、それを実行することができます。ユーザーはテキストボックスにコマンドを入力するだけで、あとはACT-1が実行します。 ACT-1への指示は、ブラウザ上に表示されるポップアップに英語で入力して行います。例えば「ヒューストンで4人家族が住む家を探してほしい、予算は60万ドル(約8400万円)」と入力します。 すると、物件の検索サイトでヒ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ライブラリ
