![https://twitter.com/bukuta_3/status/1636834862505275393](https://cdn-ak-scissors.b.st-hatena.com/image/square/921cf64de82bdcb774939160ca1307ee3030ac80/height=288;version=1;width=512/https%3A%2F%2Fpbs.twimg.com%2Fprofile_images%2F1636740829737029632%2Fjyg1qzv0.jpg)
ChatGPTから効率よく知識を得られた。 と自分では思っていても、それがウソ知識であることは、よくあります。 そこで、なるたけChatGPTのウソに騙されないようにする方法について書きました。 たとえば、今、僕はガリア戦争(紀元前58~50年)を舞台にしたSF娯楽小説の戦闘シーンを書いているのだけど、ローマ兵の剣の刃渡りの長さがわからないと戦闘シーンの駆け引きの描写がリアルにならないし、挿絵も描けない(プロの方にカラー挿絵を描いてもらうことになっている)。 そこで、以下のようにChatGPT(GPT4)に聞いてみた。 ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか? ChatGPT(GPT4)の回答は以下の通り: ガリア戦争に従軍したローマ兵は、主にグラディウスと呼ばれる剣を使用していました。グラディウスの刃渡りはおおよそ45センチメートルから60センチメートル(約1
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT(を支えるTransformerという仕組み)をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 (1)大まかな背景と概要:本記事 (2)GPTの能力と可能性:実際の使用例とTransformerの仕組みを踏まえて説明 (3)GPTの限界と未来展望:Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い: トークン長とは何か? まずここから話を始めます。GPT-3は、パラメータ数が750億個(850GBの容量を食う)でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
2023/3/23 追記: こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 (ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。) −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング(DNN)のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が
Semantic Kernel (SK) は Microsoft が OSS として発表した、大規模言語モデル (LLM) をアプリにすばやく簡単に統合できる SDK です。SK は従来のプログラミング言語と最新のLLM AI "プロンプト" を簡単に組み合わせることができ、テンプレート化、チェーン化、埋め込みベースのメモリー、およびプランニング機能を備えています。 機能的には、LangChain や LlamaIndex に似たような機能を持っているライブラリです。現状は C# 向けにリリースされています。4/17 に Python 版 もリリースとなりました。ただし機能は部分的な実装である点にご注意ください。(FEATURE MATRIX) 6/23 Semantic Kernel が Copilot stack との連携を明確化しプラグインエコシステムと統合 Semantic Ker
2023/3/10 に Azure OpenAI Serivce で ChatGPT(gpt-35-turbo) がプレビューで利用可能になったと発表されました。この発表と同時に、ChatGPT と Azure Cognitive Search を組み合わせてエンタープライズサーチを構築するためのアーキテクチャ、サンプルコードが提供されました。 この発表およびサンプルコードの重要なポイントは以下です。 ChatGPT(gpt-35-turbo)モデルでトレーニングされたデータに基づいてテキストを生成するのではなく、企業内に閉じたデータのみから生成する方法の例を示しています トークンの制限(4,096)の壁をできるだけ回避するための手法を紹介しています 「引用」をテキストに付加することで信頼できる応答を生成します 今回はこのサンプルコードを自分で理解しやすいようにカスタマイズしつつ内容を解説
前回「学校教育における全体アーキテクチャを描いてみた」がそれなりに好反応だったので、次はその中身の解説の予定でしたが、、、 行き当たりバッタリのnoteなので、今回は(も?)横道にそれちゃいます(でも必ず近いうちに書きます)。 ※タイトル読んで来て「早く学習指導要領何でも回答Bot触らせろや」という方はこちらに行っちゃってくださいー(でも戻ってきてねー) 学習指導要領を理解しなくちゃ前回の「学校教育における全体アーキテクチャを描いてみた」では20以上の国の文書等を読み込んで描いてみた、と書きました。 でも「学校教育」を考えるのであれば、前提となる「学習指導要領」を理解する必要もあるのでは?と。 でも、学習指導要領って総則解説ぐらいしか通しで見たことがなく、何かのタイミングでごくたまに「小4理科ってどんな力が求められているのだっけ?」みたいに見る程度。 学習指導要領って小学校編だけでも337
「Alpaca-LoRA」について軽くまとめました。 1. Alpaca-LoRA「Alpaca-LoRA」は、「LoRA」を使用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「Raspberry Pi」で実行できる「text-davinci-003」に迫る品質のInstructモデルを提供しており、コードは 13b、30b、65bに簡単に拡張できます。 単一のRTX4090で5 時間以内に実行される学習コードに加えて、基本モデルとLoRAのダウンロードと推論、および結果として得られるLoRA重み自体のスクリプトを公開します。安価かつ効率的にファインチューニングするために、HuggingFaceの「PEFT」とTim Dettmersの「bitsandbytes」を使用します。 ・Colab ・Discord 2. セットアップセットアップ方法は、次のとおり
みなさん、DocsBotを使用していますか? DocsBot とは、ChatGPTの知識ベースで独自のChatBotが簡単に開発できるサービスです! この記事では、GPT-4搭載のDocsBotというサービスの以下の内容について詳しく解説しております。 DocsBotとはどのようなサービスなのか DocsBotの利用料金と無料版との違い 実際にBotを作る手順 使ってみての感想 最後までお読みいただけますと、DocsBotがどのようなサービスなのか理解でき、自社に合っている料金プランや実際にBotを作る手順がわかります。ぜひ、最後までご覧ください。 なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。 →無料相談で話を聞いてみる DocsBotとはどのようなサービスなのか DocsBotとは、ChatGPTをカスタマイズして、みなさん独自のC
インフラエンジニアとして、いつになったら気が休まるのかな・・・と思うがおそらく用意されていない。今後気になるマイルストーンを列記していく。 気になってる製品 VMware vSphere 6.5 / 6.7・・・サポート終了2022/10/15 これ今年なんだよなー。 たくさん使っている場所があると思うけど、皆さんもう7.0へ上げ切ったんだろうか。 ちなみに、7.0もサポート期限が2025/04/02で短めで、勘弁してーって感じ。 Ubuntu 18.04 LTS・・・サポート終了2023年4月 Ubuntuも無料だからって気軽に使っちゃうけど、18.04はもうすぐそこ。20.04 LTSが2025年4月、22.04 LTSも2027年4月。 UbuntuはLTSでも5年サイクルなので、結構早めに準備しないとずっと載せ替えで悩んでることになりそうね。 Windows Server 2012
なぜ?この動画を取り上げたのかというと汎用性の高いプロンプトを作るためには、変数という概念を理解する必要があるためです。 さらにこちらの動画が一番、変数について理解しやすいと思ったからです。 変数とは、プログラムや数学の世界でよく使われる概念の一つです。変数は、ある値や情報を保存するために使われる「箱」のようなものです。 たとえば、あなたが宿題をしているとき、問題文に「x + 3 = 7」と書かれていた場合、ここでの「x」が変数です。つまり、「x」はどんな数でもいいという意味です。この場合、正しい答えは「x = 4」です。 例え話をすると、あなたがお金を持っている場合、財布は変数のようなものです。財布にはいくらでもお金が入れられるため、持っているお金の量によって財布の中身が変わります。同様に、変数にはどんな値でも入れることができ、その値によって変数が保持する情報が変わります。 変数とはなぜ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く