話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握する - Qiita
話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握するPDFOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT はじめに 本記事では、ChatGPT と LangChain の API を使用して、PDF ドキュメントの内容を自然言語で問い合わせる方法を紹介します。 具体的には、PDF ドキュメントに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 PDF ドキュメントからテキストを抽出して複数に分割する 分割したテキストからテキスト間の関連を表すベクターデータを作成する 作成したベクターデータをベクターストアに格納しておく ChatGPT に外部から与
プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita
ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないようです。この記事では、プロンプトインジェクション対策の背景や具体的なプロンプトの例を紹介し、ChatGPT APIを安全に利用する方法を説明します。 背景 ChatGPT APIは、OpenAIが開発した大規模な言語モデルで、自然言語処理のタスクを実行するために利用されます。しかし、APIを利用する際にはセキュリティ上の問題が生じることがあります。プロンプトインジェクションはその一例で、攻撃者が意図的に悪意のあるプロンプトを送信することで、システムやユーザーに悪影響を与え
東京大学のAWS handsonがいい感じだった - Qiita
TL; DR 東京大学の良き講義資料が無料で見れるらしい 講義の概要、感想をまとめた これから進める人用に詰まったところをまとめた 目次 はじめに TL; DR 講義の概要 講義のいいとこ 何ができるようになるか 受けた方が良さそうな人 進めていく上で詰まったポイント Hands-on2でインスタンスの上限申請を拒否されてキレた話 s3で若干詰まった話 さいごに 講義の概要 まず初めに、この本は基本的にhandsonで構成されてます。 この本の何が良いって、理論に関して少し触れた時に、 くどくど言ってもわからないと思うので、動かしながら確認しましょう とすぐに実践に入ります。 なので、理論をしっかり学びたい、資格勉強のために勉強したいと言う方には向いていないかもしれません。 講義の流れは簡単に言うと以下のようになっています。 クラウド、AWSとは EC2を起動してみよう AWSで機械学習を
【知財・個人情報】ChatGPTをビジネスに利用する際の注意点 ['23/4/11] - Qiita
OpenAI利用規約 まず、OpenAIが提供するサービス（ChatGPTおよびOpenAI API）の利用規約を確認します。 ３. Content (a) Your Content. You may provide input to the Services (“Input”), and receive output generated and returned by the Services based on the Input (“Output”). Input and Output are collectively “Content.” As between the parties and to the extent permitted by applicable law, you own all Input. Subject to your compliance with the
![【知財・個人情報】ChatGPTをビジネスに利用する際の注意点 ['23/4/11] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f9ddf025ab2dc7ee12f7e26d95574de3fc974ac/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUUzJTgwJTkwJUU3JTlGJUE1JUU4JUIyJUExJUUzJTgzJUJCJUU1JTgwJThCJUU0JUJBJUJBJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgwJTkxQ2hhdEdQVCVFMyU4MiU5MiVFMyU4MyU5MyVFMyU4MiVCOCVFMyU4MyU4RCVFMyU4MiVCOSVFMyU4MSVBQiVFNSU4OCVBOSVFNyU5NCVBOCVFMyU4MSU5OSVFMyU4MiU4QiVFOSU5QSU5QiVFMyU4MSVBRSVFNiVCMyVBOCVFNiU4NCU4RiVFNyU4MiVCOSUyMCU1QiUyNzIzJTJGNCUyRjExJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz02M2I0ZWQyNGI0MTUxNmU4MTBiOGE5NjllODUxZmI4Nw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBncm91bmQwc3RhdGUmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWJmODc2ZjA0YzQxMzNjZDlkODFlNTI3YzEyNjZlMGRj%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9852e13f97bccc0ab3bc28a315c9307c)
【GPT】プロンプトエンジニアリング手法まとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め
GitHub Copilot導入後、初めて使う時。(豊富な使用例付き) - Qiita
※GitHub Copilotが長いコードを提案してきた時、ショートカットキーの「単語単位で受け入れる」を使用すると便利です。 ※ インライン候補をトリガーするとは提案が表示される場所ならばどこでも GitHub Copilot が動きます。 例えば、提案が表示される場所からカーソルが動かしてしまっても、カーソルを元の場所に戻してトリガーコマンドを使うと提案が表示されます。 ※ インライン候補をトリガーするはデフォルトのキー設定では動きません。：Windows で確認 自分でキーボードショートカットキーを設定する必要があります。（これは自分の環境だけかもしれません。） 導入後（課金後） 導入後に何をしていいのか？何が出来るのかがよくわからなかったので調べてみた。 環境 Windows10 GitHub Copilot (導入 1年契約 or 1月契約) VSCode VSCode Insi
【ChatGPT】便利な神Chrome拡張機能 - Qiita
日々便利なプロンプトが生み出されたり、 ChatGPT pluginsの発表など話題が絶えないChatGPTですが、 今回はインストールだけでChatGPTがインターネットから得た最新の情報をもとに回答してくれたり、自分の質問履歴を検索できたり、世界中の人が作ったプロンプトを検索したり、自動同期をしてくれたりと、とても便利なChrome拡張機能をいくつかご紹介いたします。 拡張機能をインストールするだけなので、手間が全くかからずにすぐに使うことができます。 こちらの記事は随時更新追加していきます WebChatGPT 概要 この拡張機能により、ChatGPTがインターネットを利用して回答を提供できるようになります。 ChatGPTは2021年までの情報をもとに学んでいるので、最新の情報に関しては十分に回答できないことがあります。この拡張機能を使うことで、ChatGPTがインターネットから得
ITエンジニア的なChatGPTの使い方メモ - Qiita
ITエンジニアとしてChatGPT(GPT-4前提)を用いる際の使い方のメモです。 革新的な使い方等は一切記述がないのでご注意ください。 問い合わせ方法について 1. 条件を箇条書きする ほしい結果の条件を箇条書きします。 ChatGPTは話し言葉や文章で問い合わせても結果を得ることができますが、複雑な条件を文章で伝えることはそれなりに難しいことから、指示を出す人間側が楽をするために箇条書きにします。 複雑な問い合わせの場合には必要に応じて親子関係等の構造化を取り入れます。 2. 指示を追加する 問い合わせ結果が意図したものでない場合には指示を追加します。 最初の問い合わせで必ずしも望む結果が得られるとは限らないことから、要件に合わせて指示を追加し微調整します。 例えばサンプルコードの生成であれば、ライブラリや処理系のバージョン、設定の記述方法等できる限り詳細に指示を出した方が望む結果が得
ChatGPT Pluginって何ができるの？ - Qiita
こんにちは！逆瀬川 ( @gyakuse ) です！ きょうは発表があったばかりのChatGPT Pluginについて紹介していきたいと思います。 ChatGPT Pluginとは かんたんに言ってしまうと、ChatGPTの能力を拡張するためのプラグインです。よくわかりませんね。 わかりやすくいうと、 「来週の土日に旅行いきたいんだけど2万円以下で適当にいいとこ見繕って予約しといて」 「ｱｲﾖｰ」 みたいなことができるやつです。 もちろんこれらはChatGPTのAPIを用いてもできましたが、これを容易に実現する手段として提供されました。 BingGPT (正式名称New Bing) のように検索して回答してくれたり、会社の文章群をもとに質問回答してくれたり、 商品を注文してくれるなどのアクションを行う機能が追加された、と理解しておくとよさそうです。 これはまだWaitlistであり、今後公
BloomをLoRaを使い日本語alpaca datasetでfine tuneを動かす - Qiita
llamaをAlpacaデータセットを使いLoRaでfine tuneしたものが良い感じだったので、Bloomを日本語でfine tuneしてみようと思う 以下をそのまま参考にする とりあえず、fine funeを動かしただけで、ちゃんと学習させてないので注意 HugginfaceのBloomとpeftも参考にする fine tune fine tune対象をBloomに変更 model = LlamaForCausalLM.from_pretrained( "decapoda-research/llama-7b-hf", load_in_8bit=True, device_map=device_map, ) tokenizer = LlamaTokenizer.from_pretrained( "decapoda-research/llama-7b-hf", add_eos_token=
Kaggle GPU用Win11(HOME)+WSL2+nvidia-dockerの構築(2023.03.18版) - Qiita
対象範囲 🏃♂️ Win初期化された状態からスタート 💻 GPUは3060(Laptop) 🚩 ゴールは、ローカルでKaggle公式のDockerImageでGPUが使えるところまで [任意]Win初期化-WindowsUpdate 綺麗な状態からスタートしたい方はここからがよいかと思います。 Winの初期化は「設定」->「回復」->「PCをリセットする」で可能です 初期化完了後はひたすらWindowsUpdate。 NVIDIA Driverのダウンロード(CUDA) CUDAのバージョンはローカルとKaggleKernelをできるだけ合わせておきたいので、確認します KaggleKernelのCUDA Versionの確認 PS C:\Users\hoge> nvidia-smi Sat Mar 18 12:58:39 2023 +-----------------------
GPT-4に無理やり画像を認識させてみるテスト - Qiita
こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日はGPT-4に強引に画像を読み込ませて行きたいと思います。 やりたいこと 言語モデルのIncontext Learning能力だけで画像を認識させる なにが面白いのか Computer Visionは非常におもしろい研究領域であり、畳み込みニューラルネットワーク(CNN)やTransformerを画像認識の領域に広げたVision Transformerは超おもろいです。 先日発表されたVirtual ChatGPTは既存研究を組み合わせ、VQA(画像をもちいた質問回答)や画像編集を行うことを可能にしています。 これらの研究はさらに進歩し、動画領域などに進んでいくことでしょう。 さて、今回はそれを忘れます。ﾊﾞｲﾊﾞｰｲ ﾏﾀﾈｰ 今日やりたいのは、言語モデルのIncontext Learning
サクッと動かすRust - Qiita
概要 Rustでのプログラミングは所有権などの複雑さから難しいものに思われがちです。この記事ではRustでのプログラムをサクッと実装して実行する方法についてご紹介します。例えばAWS Lambdaのハンドラや、Open AIのAPIを呼び出すなどの日常的な作業スクリプトを簡単に実装/実行できます。 前提 rust-analyzer拡張機能 まずVSCodeのrust-analyzer拡張機能をインストールしましょう。構文の静的解析によってコンパイルしなくても文法や型のエラーを検知することができます。また後述するようにGUI上でのテストランナー機能もあるのでそちらも便利です。 Rustでサクッと実装する Result/Option Rustでは処理中に例外が発生しうる値はResultというEnumにラップされます。
ChatGPT（GPT-4）にE2E自動テストを書かせてみた - Qiita
2023/3/15は完全にGPT-4の話題でもちきりでした。 私も触ってみたところ「これはすごい」と思ったので即課金して色々試していまして、 本業の一部であるE2Eの自動テストを書かせたらどうなるんだろう、を試してみました。 条件など テスト対象はHOTEL PLANISPHERE - テスト自動化練習サイト いつもお世話になっております ChatGPTとのやりとりはModel: GPT-4で3/15~16にかけて E2E自動テストを書かせてみた まずは最初の依頼。 次のサイトに対して、自動E2Eテストを作成したいです。 Python, Playwright, pytestのテストコードを書いてください。 https://hotel.testplanisphere.dev/ja/ ChatGPTが出力したPython+Playwrightのコード これに対する返答が以下です。 --ここから
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
AIの進歩とつらみについて - Qiita
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です。 今日はAIの進歩にともなうヒトの役割にかんするポエムを書いていきます！ なにについて書いてある文章か AI※の進歩ってすごいよね AIがなんでもできるようになったら、ヒトは何を思うか ※AIって気軽に使う世界になったのもすごい. なお、MicrosoftはすでにAGI as a serviceについて考えている: https://thegenerality.com/agi/ さいきん思うこと 言語モデルや生成モデルの進歩は凄まじくて、どんどん知的な活動がAIに置き換えられて行きそうな空気を感じます。じっさい、イラストを描くことやプログラミングを実装することなどは、かなりできるようになってきています。 今回は、こうした人間しか出来ないと思われていたことが、どんどんAIができてくることによって、何が起き
GPT-4のすごさとその影響範囲について - Qiita
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です！ 今日発表されたGPT-4について見ていきたいと思います。 なにがすごいのか 専門的な問題を解けるようになった たとえば米国司法試験で上位10%、GPT-3.5は下位10%だった 非常に長い文章を入出力できるようになった 最大で32k tokens (日本語で約2.5万文字、文庫で50pくらい) 画像をもとに会話できるようになった (これは実験段階でまだ提供されません) 特に嬉しいのは32k tokensまで文章を扱えるようになったことでしょう。 たとえば小説を書くみたいなときも、プロット、設定等に3000文字使っても、残り2.2万文字くらい使えます。 画像をもとにした会話の例 USER: この画像はどこがおかしいですか？パネルごとに説明してください GPT-4: この画像は、3つのパネルで構成される
私たちは心理的安全性を誤解していたかもしれない。 - Qiita
合併による変化で文化が変わってしまいました。 記事内容の大手経営コンサルティング会社は2024年6月に退職しました。 はじめに 最近、新入社員の方が毎月のように入社されていて、うちの部署もにぎわってきたなーと感じています。 やっぱり、人が増えてくるといろんな方がいてコミュニケーションの大切さを実感しています。 うちの部署では、事業部で大切にしていることの一つに心理的安全性があるので、それについて考えてみたいと思います。 心理的安全性とは？ 心理的安全性とは何でしょうか？ググってみると 「心理的安全性とは、職場で誰に何を言っても、人間関係が壊れることなく、罰を受ける心配もない状態のこと。」と出てきます。 これだけだと抽象的で、よくわかりませんね そこで心理的安全性を提唱したエイミー・C・エドモンドソン先生の「恐れのない組織」を読んでみました。 本書では様々なケーススタディから組織での心理的安
いちいちシェルコマンド思い出せないので、ChatGPTで自然言語からスクリプトを生成するツールつくった - Qiita
いちいちシェルコマンド思い出せないので、ChatGPTで自然言語からスクリプトを生成するツールつくったPythonOpenAIChatGPTlangchain はじめに ChatGPT APIが出たので早速さわってみました。せっかくなので何か便利なものをということで自分向けに使えそうなツールをつくっていたら 良いかんじに動作したのでご紹介します。 つくったものは、「ChatGPTを用いた自然言語によるシェルコマンドランチャー」です。百聞は一見にしかずと言うことでまずは動作するところをみてください。 概要 wannaコマンドは、ChatGPTを用いた自然言語によるシェルコマンドランチャーです。自然言語によって、bash scriptを生成し、名付けし、管理できます。 コマンドライン上での操作は簡単に多くのことを行うことができるため、非常に便利です。しかし、多くのコマンドやオプションの組み合わ
ChatGPTやAI関連で面白かった・気になった事例まとめ - Qiita
はじめに 前回のChatGPTで電卓アプリを作れるか試した件について、Twitter等からも反応を見ることができて嬉しかったです。 おまけの評判が良かったので、私がここ最近で気に入ってるChatGPT関連の情報をまとめさせていただきます。 ※私も前回おまけをまとめていて、本編よりもこっちを見てほしい！！と途中から思っていたので、評判が良くて嬉しかったですｗ ChatGPT 感情回路を埋め込み 大学の授業レポート代行 AlexaでChatGPTとやり取り ロボット制御に応用 Pythonコードを、JavaScriptに書き換え p5.jsで冬の情景を描画 デバイスの傾きで左右に回転する三角形をHTML上で描画 Googleアドセンス合格した方法 VSCodeのChatGPTプラグイン ChatGPTを日本企業はどう使う？ その他AI言語モデル関連 ローカルでも動かせる言語モデル「FlexGe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
