超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
自動プロンプト最適化をやってみた - Algomatic Tech Blog
はじめまして！データサイエンティストの山内(@jof_5)です。 本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。 1. プロンプトエンジニアリングの必要性と課題 2. 自動プロンプト最適化について 2-0. 最適なプロンプトとは何か？☕ 2-1. 自動プロンプトの概要 2-2. 自動プロンプト最適化のアーキテクチャ ①Task Executor: LLMによるタスクの実行 ②Output Evaluator: 出力の評価 ③ Prompt Improver: 最適なプロンプトの生成 3. 実験結果と考察 3-1. 自動プロンプト最適化の有効性の検証 3-2. 最適化プロンプトの生成過程 3-3. 最適化されたプロンプトの特徴 3-4. プロンプト生成用LLM(Prompt Improver
GPT-4oの画像認識力と理解力ならいけるのではと思い手書きの仕様指示を読み込ませたら本当にコードを書き上げてくれた→｢ついにコーダーが恐怖を感じる時が来たか｣
kmizu @kmizu A Software Engineer in Osaka (& Kyoto). Ph.D. in Engineering. Interests: Parsers, Formal Languages, etc. ツイートは所属先の見解と関係ありません．思いついたことをつぶやきます．人生を楽しく生きよう（New!） kmizu.github.io kmizu @kmizu GPT-4oの画像認識力と理解力をもってすればいけるやろと思ってやってみたら実際いけた。 ペーパープロトタイピングから最初のHTML書き起こすのにかなり使えるのでは。 つーか指示そのものを画像の中に書いたの読み取ってくれるの何か世界の壁を超えて対話してる感があって凄い #GPT4o pic.twitter.com/3XHMFg3yye 2024-05-14 12:49:41
「GPT-4o」発表 頭一つ抜けた性能をChatGPT無料版にも展開 音声と視覚を備えて“自然な対話”可能に【追記済】
米OpenAIは5月13日（米国時間）、生成AI「GPT」の新たなモデル「GPT-4o」を発表した。テキストはもちろん、音声や画像、映像での入力、音声での応答に対応し、アプリ版の「ChatGPT」ではユーザーと自然に対話できるようになった。開発者向けにAPIとして提供する他、同日からChatGPT内で利用できるように展開を始める。 GPT-4oは無料ユーザーでも利用可能になる。ChatGPTでは従来、無料ユーザーが使えるモデルは「GPT-3.5」までで、「GPT-4」を利用するには課金する必要があった。ただし、有料のChatGPT Plusユーザーは時間当たりのメッセージやり取り可能回数が無料ユーザーに比べて5倍に緩和される。企業向けのTeamやEnterpriseユーザーはさらに制限が緩和されるとしている。 同社は発表会のライブデモで、GPT-4oを搭載したiOS版ChatGPTと対話す
GPT-4レベルの衝撃 PC内で使えるオープンLLM「Command R+」
カナダのAIスタートアップCohereは4月4日（現地時間）、ビジネス向けに最適化された最新の大規模言語モデル（LLM）「Command R+」を発表した。 高度なRAG技術を採用 Cohereは、AI業界に変革をもたらしたTransformerモデルを提唱した論文「Attention is All You Need」の共同執筆者として知られるトロント大学の研究者Aidan Gomez氏らによって2019年に設立されたカナダのAIスタートアップ。 OpenAIと同様、LLMの開発に特化しており、企業向けにチャットボット、検索エンジンの最適化、要約サービス、自社AIモデルのAPIなどを提供している。 Command R+は、同社が3月に発表した「Command R」の後継となるモデルであり、Cohereが得意とする高い効率性と精度のバランスを重視したRシリーズの一部となる。 128K（12万
今すぐ使える！ ChatGPTで欲しい回答を生み出す「プロンプト」の書き方 その基本パターンを解説
今すぐ使える！ ChatGPTで欲しい回答を生み出す「プロンプト」の書き方 その基本パターンを解説：ChatGPT使いこなし術（4/4 ページ） 汎用性の高いプロンプトのコツ さて、こうした型を認識しても、ビジネスシーンなどでそのまま活用するのはやや手間だ。それよりはある程度、プロンプトとしてコピペで入力しやすい型を用意しておくのが良いだろう。上述した4つの基本形を生かして考えてみると、指示や質問のほかに「役割」「目的」「条件」「出力例」「補足情報」などを指定することを、まず試してみると良い。この際、全てを文章にする必要はなく、「＃」を活用してカテゴリーごとに箇条書きのように整えていくことがおすすめだ。 【プロンプトの例】 ＃指示・質問：ChatGPTを知らない人に、ChatGPTを紹介する記事のリード文を書いてください。 ＃役割：プロのライター ＃目的：商品の利用促進 ＃条件：です・ます
AI検索「Perplexity」がかなり便利だったので紹介します (1/5)
「ChatGPTはすぐに嘘をつくから調べものには使えない」という意見をよく聞くが、これには大きな誤解がある。 そもそもChatGPTの心臓部である大規模言語モデル（LLM）は、膨大な知識を元にテキストを「生成」する仕組みだ。 逆に言うと、知識として持っていないことは一切わからないので、知らないことについて説明を求められても能力的に不可能なのだ。 だから、知識にない質問をされると答えられないだけでなく、苦し紛れに幻覚（ハルシネーション）を起こしてしまう。これが「すぐに嘘をつく」と言われる理由だ。 結論を書いてしまうと「ChatGPTは検索ツールではない」のだ。むしろ「ChatGPTがいちばん苦手とすることが検索」なのだ。 今回はこの欠点を補い、AIを活用した新しい検索の形を実現するという触れ込みのサービス「Perplexity.ai」を紹介していく。 Perplexity.aiとは Perp
退屈じゃないこともAIに任せる « SOUL for SALE
「AIによる業務効率化」がブームだ。といってもAIが仕事に使える、使わなければという機運が高まったのもこの1年足らずのことだし、技術動向が目まぐるしく変わっていることもあって、いまだ「定番」と呼べるスキルは生まれていない。プロンプトエンジニアリングが大事になるぞとか言われていたかと思えば、データ分析、画像生成、直近では動画の生成などが話題になり、「何に使える技術なのか」というイメージすら明確ではないのが現状だ。 こういうときに、新しもの好きというか、アーリーアダプター層とマジョリティの間の「キャズム」はずいぶん大きなものになると思われる。マジョリティ層が「使い方や規制の動向がはっきりするまで待っておこう」と考えるのに対し、アーリーアダプター層は次々と新しいものを試し、それによってAI活用の「コツ」のようなものを掴んでいく。おそらくそれはかつての「検索エンジンの使い方」と一緒で、言語化しづら
簡単にオリジナルChatGPTアプリが作れる『GPTs』で、ドット絵生成チャットを作成 - Taste of Tech Topics
こんにちは、安部です。 11月なのに暑かったり寒かったしますが、皆様いかがお過ごしでしょうか。 さて、先日のOpenAI DevDay、大変な盛り上がりでしたね。 様々な新機能が公開され、GPT関連がさらなるパワーアップを遂げました。 DevDayは基本的に開発者向けのイベントですが、一般ユーザ向けの新機能も公開されました。 それがGPTsです。 今回は、GPTsが使えるようになったので試してみたいと思います。 GPTsとは GPTsとは、GPT Builderを使ってノーコードで簡単にChatGPTをカスタマイズできるサービスで、今のところ有料ユーザのみが使用できます。 ChatGPTは特定タスク向けのサービスではありませんが、精度の良い回答をもらおうと思ったらプロンプトを工夫したり事前情報をたくさん与えないといけなかったりしますよね？ GPTsは、あらかじめ特定の目的を持たせたChat
ChatGPTのGPT-4Vを使ってSQL文を画像から作成する - Taste of Tech Topics
igaです。 ポケモンsleepを継続していますが、カビゴン評価がマスターになれません。 ChatGPTが見たり、聞いたり、話したりできるようになる、と言われている「GPT-4 with vision (GPT-4V)」が使えるようになったので、早速使ってみたいと思います。 openai.com 今回は、データベースのテーブル関連図を画像ファイルでもらった想定で、画像からテーブルのDDLが生成できるかを確認してみます。 やりたいこと 以下のような、テーブルの関連図とサンプルデータが描かれた画像ファイルをもらいました。 この画像ファイルをChatGPT-4に渡して、SQLのDDLが生成できるか確認します。 画像を解釈できるか確認する いきなりDDLを作らせる前に、まずは画像ファイルに書かれたテーブル構造を、マークダウンで出力してもらいます。 プロンプトの入力欄の左に絵のアイコン（画像の赤で囲
最良の学習方法「人に教える」にChatGPTを活用する - Qiita
はじめに 学習におけるChatGPTの活用方法といえば、「ChatGPTから教えてもらう」ということが多いと思います。 実際、私もそうです。 本記事は逆に 「ChatGPTに教える」 という使い方もありではないかという内容になります。 目次 何でChatGPTに教えるの？ 「人に教える」ことで記憶への定着率が高くなると感じた経験 実際にChatGPTに教えてみる さいごに 何でChatGPTに教えるの？ 「学習にはアウトプットが重要」 ということを耳にしたことがある人は多いかと思います。 主なアウトプットには、次のような手法があります。 Qiitaなどに技術記事を書く 勉強会で発表する 人に教える 自分のこれまでの経験を振り返ってみてもアウトプットをしていると記憶への定着率が高いです。 特に「人に教える」という行為は、記憶への定着率が高まると感じています。 ただ、双方向のやりとりが必要とな
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
文章生成AI利活用に関するガイドライン.pdf
文章生成AI 利活用 ガイドライン Version 2.0 令和6年（2024年）4月 東京都デジタルサービス局 2 はじめに このガイドラインは、東京都で初めてとなる文章生成AI の利活用ガイドラインです。 ChatGPTをはじめとする文章生成AIは、都職員の業務 のあり方を大きく変革する可能性を秘めている一方、 様々なリスクも指摘されています。このため、業務での 活用にあたり期待する効果を得るためには、その特性を よく理解し、正しく利用することが重要です。 東京都では、デジタルサービス局に検討プロジェクト チームを設置して、文章生成AIの利活用について議論を 重ね、令和5年８月、検討の成果をガイドライン （Version 1.0）としてまとめ、文章生成AIの全庁利用 を開始しました。 その後、10月に利用状況についてアンケートを行った ところ、活用事例やプロンプト例を求める声が多かった
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
AIの権威すら「生成AI」を恐れるのは、意識を生み出す「創発」が起きているから
1963年、群馬県生まれ。作家・ジャーナリスト、KDDI総合研究所・リサーチフェロー、情報セキュリティ大学院大学客員准教授。東京大学理学部物理学科卒業。同大学院理学系研究科を修了後、雑誌記者などを経てボストン大学に留学、マスコミ論を専攻。ニューヨークで新聞社勤務、慶應義塾大学メディア・コミュニケーション研究所などで教鞭を執った後、現職。著書に『ゼロからわかる量子コンピュータ』『仕事の未来～「ジョブ・オートメーション」の罠と「ギグ・エコノミー」の現実』『AIの衝撃～人工知能は人類の敵か』『ゲノム編集とは何か～「DNAのメス」クリスパーの衝撃』（いずれも講談社現代新書）、『「スパコン富岳」後の日本～科学技術立国は復活できるか』（中公新書ラクレ）、『ゲノム編集から始まる新世界～超先端バイオ技術がヒトとビジネスを変える』（朝日新聞出版）、『AIが人間を殺す日～車、医療、兵器に組み込まれる人工知能』
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
すごい時代がきた 「おっさんの映像をリアルタイムで美女に変換する」AI技術が予想のはるか上行くクオリティー
リアルタイムでおっさんから美女の映像を作り出すAI実験が、「す、すごすぎる！」「ライブでしたらだまされるレベル」と話題になっています。 す、すげーーー！ 実験をしているのは、3DアーティストのHirokazu Yokoharaさん（@Yokohara_h）。Twitterに変換前後の映像を並べた動画を投稿しました。 その結果は驚くべきもの。動きが少々カクカクしているものの、Web会議を通じてであれば本物と信じてしまいそうなレベルです。 動作はもちろん、表情も追従。さらに顔だけでなく体形まで女性らしくなっています。髪形は、黒いTシャツをかぶることでロングヘアに変換させました。Tシャツの柄などがときどき変わってしまうので、よく見ていればおかしいと思えますが、ボーッと見ていたらわからないでしょう。ましてや、中身がおっさんなんて絶対に思えない！ 黒いTシャツをかぶり、ロングヘアーを再現させました
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GeminiがYouTube動画を一瞬で要約してくれるようになった（しかも無料） | ライフハッカー・ジャパン
AIボイチェンソフト「Voidol 1」が無償化
なんでAIやロボットが進歩しても働かなくては生きていけないのか、そして少しの未来予測 - orangestar2
