超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
LangChain で社内チャットボット作ってみた
こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、現在最も普及している対話型 AI サービスである ChatGPT で使用されているモデルと、LLM を使ったアプリケーション開発に特化したライブラリである LangChain を用いて社内向けのチャットボットを作成します。 ターゲット 任意のデータを元に回答を行うチャットボットを作成したい方 任意のデータを元に回答させる仕組みを知りたい方 ChatGPT とは ChatGPT とは、ユーザーが入力した質問に対して、まるで人間のように自然な対話形式でAIが答えるチャットサービスです。2022 年 11 月に公開されて以来、回答精度の高さが話題となり、利用者が急増しています。 人工知能の研究開発機関「OpenAI」により開発されました。 執筆時点では、GPT-3.5、GPT-4 という大規模言語モデル (LLM) が使用さ
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream（KVS）への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時
プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB
関連研究 ■GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト ■LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト ■LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法 従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプローチは効果的である場合も多いですが、スケーラビリティに欠けるという問題があります。大規模言語モデル（LLM）が多様なタスクで使用される現代においては、プロン
「やりたいことを書いたら、Excelの関数に変換してくれるAI」が話題 – ググらずにすむ!?
アメリカのMicrosoft社が開発した表計算ソフト「Excel」。Excelは今も昔も、オフィスで利用されるパソコンソフトの代表だ。関数を該当のセルに入力するだけで、自動で計算を行ってくれ、あっという間にグラフや表にまとめてくれる。しかし、少しややこしい計算を指定したい場合は、該当の関数を入力するのに手こずってしまった経験があるという人も多いのではないだろうか。 2023年8月28日に投稿された、usutaku@AI情報解説@usutaku_comさんの「やりたいことを書いたら、エクセルの関数に変換してくれるAIが面白い。・曖昧な書き方でもいい感じに直してくれる ・長文でも問題なし ・出力結果が関数だけでシンプル←ChatGPTとの差異 ・マクロ（VBA）やSQLにも対応 長めの関数とかを書く時とかに重宝するのでぜひ使ってみて欲しい。AI初心者におすすめ。」という書き込みには、実際にAI
【エンジニア向け】コピペで使えるChatGPTプロンプト構文20選を公開いたしました
株式会社Emposy（代表取締役：木谷真也）は、8月中旬にリリースした「AIの島」のメディアにエンジニア向けのChatGPTのプロンプトを20選公開いたしました。 プロンプト集の内容 今回、エンジニア向けに本当に使える厳選したプロンプト20選をまとめた記事をアップいたしました。 よく利用する以下の３項目に分けて、ご紹介しています。 ①コーディング ②バグの特定/修正作業 ③その他（便利なプロンプト） プロンプトはすべて、１クリックコピーですぐ使える状態にしているので、エンジニアの方は一度目を通して見てください。 プロンプト集のURL: https://ai-island-media.com/2023/08/28/chatgpt-prompt-20/ 今回はプロンプト５選をご紹介（一部） ①深津式プロンプト ChatGPTに役割を与え、ChatGPT自身が「何を書くべきか」を事前に知らせるこ
しばらく使ってわかったがChatGPTは「中央値のアウトプット」を出すのを得意とするので人間には「外れ値のアウトプット」が求められていくようになる
山口周 @shu_yamaguchi しばらく使ってみてわかったんですけど、ChatGPTは「中央値のアウトプット」しか出せないですね。裏側で統計が動いているのがよくわかる。となると人間には「外れ値のアウトプット」が求められるということです。自分の仕事のアウトプットが中央値寄りなのだとするとちょっと危ないかもしれません。 2023-04-17 09:33:29 山口周 @shu_yamaguchi 慶大文学部哲学科、同大学院文学研究科修了／電通・BCG等を経て現在は独立研究者・著作家・コンサルタント／世界経済フォーラムGreat Narrative Initiativeメンバー／J-WAVE番組ナヴィゲーター／時に大学教員／人文科学と経営科学の隙間に生息／コメントやリツイートは確認してませんので悪しからズ
ChatGPTにペルソナを作ってもらったら完成度が高かった | DevelopersIO
ChatGPTに共有するインタビュー内容について インタビューは1年前、社内のPM、PdM、エンジニアの方など計10名程にお話を伺いました。インタビューの経緯や詳細を知りたい方はこちらのブログをご覧ください。 インタビューのテーマはクラメソのデザイナー像（現状や理想）についてです。事前に質問を準備しましたが、半構造化インタビューの形式を取っていたことやインタビュアーと書記はチームの各メンバーがランダムに行っていたことがあり、人によって質問や解答の項目が異なります。ChatGPTが認識しやすくなるように項目を揃えることも考えましたが、あえて多少バラつきのある項目でも対応できるのか興味があったので、項目も文体もそのままで共有します。ただし具体的な案件名やメンバーの氏名、クラスメソッドという弊社名に至る固有名詞まで全てイニシャルに置き換えておきます。 また、今回はニールセン博士の理論に基づき、5
GPTが出した回答の確からしさを見えるようにしてみる - Taste of Tech Topics
皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ
LlamaIndex v0.5 クイックスタートガイド｜npaka
「GPT Index」が「LlamaIndex」にリブランディングされました。 ・LlamaIndex v0.5.12 【最新版の情報は以下で紹介】 1. LlamaIndex「LlamaIndex」は、専門知識を必要とする質問応答チャットボットを簡単に作成できるライブラリです。同様のチャットボットは「LangChain」でも作成できますが、「LlamaIndex」は、コード数行で完成してお手軽なのが特徴になります。 2. ドキュメントの準備はじめに、チャットボットに教える専門知識を記述したドキュメントを用意します。 今回は、マンガペディアの「ぼっち・ざ・ろっく！」のあらすじのドキュメントを用意しました。 ・bocchi.txt 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip in
ChatGPTで英作文の添削＋CEFR C2レベルまで仕上げる方法｜Sangmin Ahn
こんにちは、Choimirai Schoolのサンミンです。 0 はじめに先日Twitterに投稿したツイートに対し、添削で使えるプロンプトを教えてほしい、というコメントがありましたのでこのnoteでシェアします。 実は英語を教えてる全ての方にお勧めしたいのが、ChatGPTです。添削ツールとしても超優秀で、作文を渡すと改善が必要な箇所を直してくれる。また、"直した理由を含めテーブルにまとめて"、と指示すれば表にしてくれるのも大変助かる。うまく活用すればより付加価値の高い学習体験を提供できるはず👏。 https://t.co/tCQMXkCe6e pic.twitter.com/84q7y52EqZ — sangmin.eth @ChoimiraiSchool (@gijigae) January 17, 2023 1 一連の流れツイートでシェアした添削は下記の流れで実施された結果で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPTの新機能「GPTs」「Assistants」を試す。特別なツール不要でカスタムChatGPTを開発可能に！【イニシャルB】
NAS+ChatGPTで、共有フォルダーの文書をもとに回答するAIチャットを作る【イニシャルB】