プログラマ視点での生成AIとの付き合い方
プログラミングについて、最近考えてることについてのポエム。 基本的に、 GPT-4 と Claude-3-Opus を使った経験を念頭に置いて話をする。機械学習エンジニアではないので、あくまで利用者に徹した視点での話。仕事で生成AIを使ったパイプラインを作ったりはしている。 生成AIの進化速度を予測しておく 今大事なことは、今AIがどの程度の性能かという定点の話ではなく、その進化の速度を認識すること。 コード生成というタスクにおいて、生成AIモデルを人間に当てはめると、こんな感じの人物像を自分は持っている。 GPT-4: プログラミング経験2年目の大学2年生 Claude-3-Opus: プログラミング経験3年目の大学3年生 ここでいうn年目は、業務経験ではなく、プログラミングの単位がある大学での、教育課程としての経験年数。今のひたすら学習量を増やす方式だと、単に1年に1年分ぐらい賢くなっ
はじめに 5月からTuringに中途入社した棚橋です。リクルートで広告配信システムの開発や量子アニーリングに関する研究開発に関わっていました。現在、Turingのリサーチチームで完全自動運転システムの研究開発に取り組んでいます。 3行でまとめ 今月開催されるCVPR2023では約2400本もの論文が発表されるため、見るべき論文を事前に検索しておきたい。 社内で行われた大規模言語モデル（LLM）ハッカソンをきっかけに、LLMのEmbeddingを用いて論文の「検索・推薦・要約」システムを作成し公開した。 検索クエリに文章を使った曖昧な検索が行えたり、類似論文の推薦ができる。6/13にアップデートされたGPT3.5の新機能であるファンクション機能を使うことで、複数観点に分けて研究内容の要約を出力させた。 ↓ 今回作成した、LLMを使ったCVPR論文検索システム 事の発端 Turingは、ハンド
はじめに AI搭載コードエディターCursorが話題なので自分にとって使いやすいのか実験してみました。 まだまだCursorの実験途中ではありますが、CursorProをサブスクしてたった３日でgpt-4に332回聞いてました。 Cursorはプロンプトの会話から現在のコードにDiffで提案してくれたり、エラーを解決してくれたり本当に便利で最高なのですが、頼り過ぎも良くないなと反省することもあったので、やったこと全部と感想をシェアしていきたいと思います。 やったこととしては、Cursorのチャットに質問しながら予備知識のないChatVRMというオープンソースのチャットアプリケーションの追加実装をしました。わりと簡単に実装できたこととうまくできなかったことがあるので例を挙げて紹介していきます。 Cursorとは Cursor(カーソル)とは、VScodeをフォークして作られたOpenAIのg
近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発１基１時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。 NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発しました。「tsuzumi」のパラメタサイズは6～70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し
GPT-3.5-turbo を Fine-tuning して GPT-4 相当の性能を獲得する - DROBEプロダクト開発ブログ
はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-
GitHub、プロンプトでAIにコード生成やデバッグを指示できるGPT-4ベースの「GitHub Copilot Chat」ベータ公開
GitHubは、GTP-4ベースのAIを用いた開発支援機能「GitHub Copilot Chat」を、GitHub Copilot for Businessユーザー向けに限定パブリックベータとして公開すると発表しました。 GitHub Copilot Chatは、今年3月に発表された同社のビジョン「GitHub Copilot X」で登場が予告されていた機能の1つです。 現在提供されているGitHub CopilotはGPT-3のAIをベースに、コードエディタ内でプログラマがコメントを記述するとそれに基づいてコードを自動生成する機能などを提供しています。 「GitHub Copilot X」では、強化されたAIであるGPT-4を用い、さらに高い精度でのコード生成やバグの指摘などを始めとする、以下のさまざまな新機能などを備えると説明されていました。 コードエディタ内でAIとテキストチャット
Microsoft Power AppsでiOS/Androidのネイティブアプリ開発が可能に。Iginte 2021
Microsoft Power AppsでiOS/Androidのネイティブアプリ開発が可能に。Iginte 2021 マイクロソフトは、11月3日、4日に開催したオンラインイベント「Microsoft Ignite 2021」で、ローコード／ノーコード開発ツールのPower Appsの新機能として、iOSとAndroidのネイティブアプリ開発を可能にする「Power Apps mobile apps 」プレビュー版を発表しました。 Power Appsのアプリケーションをネイティブアプリにすることで、モバイルデバイスでPower Appsのアプリを利用するためのPower Appsプレイヤーアプリが不要となります。 そしてモバイルデバイスのホーム画面からアプリ専用のアイコンをクリックすると特定のアプリケーションが起動するという、通常のモバイルアプリと同様の操作とUXにおける一貫したユーザ
こんにちは。 先日AIエージェント開発の技術解説記事を書いて「今後ChatGPTライクのAPIが出てきた瞬間に進化すると思う」という話をしたのですが… まさか3日後にChatGPT APIが出てくるとは思いませんでした。 というわけで今回はUnityからChatGPT APIを叩く方法について書いてみます。 先日の記事で用いたGPT-3のTextCompletionAPIよりも(Langchainなどを使わず)カスタマイズ無しで実際のAI利用シーンに活用できそうな印象を受けました。 具体的には… 応答速度が早い(応答の文章の長さによりますが、手元の環境では1~3秒で返ってきました) AI側の応答の前提条件の設定ができる。(キャラクターの性格や語尾など) (過去のプロンプトや生成結果を次のプロンプトに引き継ぐような実装をすることで)会話の文脈を考慮した応答をすることができる。 という特徴があ
AIを使ってポッドキャスト番組を自動で文字起こしするサービス「LISTEN」β版を、はてな創業者の近藤淳也氏が公開した。 OpenAIが提供する書き起こしAPI「Whisper」を使い、配信済みのポッドキャストの内容を文字起こしして公開する。テキストを指定してその部分から音声を再生することもできる。 番組にコメントを書き込んだり星を付けて出演者と交流する機能も備えた。 約20人のポッドキャスターが既に登録しており、徐々に拡大していく。 Discordコミュニティでユーザーからのフィードバックなどを受け付けている。 関連記事 OpenAI、「ChatGPT API」と企業向け専用容量プランの提供開始 「gpt-3.5-turbo」も発表 OpenAIは「ChatGPT API」と「Whisper API」の提供を開始した。ChatGPT APIの価格は1000トークン当たり0.002ドル。A
さくらインターネット オードリー・タン氏 × さくらインターネット田中 「市民生活とテクノロジーの調和」 # 田中邦裕 2020年10月21日 ≫さくらのレンタルサーバ ！まずは2週間無料でお試し イベントには「マスクマップ」をわずか3日で開発した逸話で”天才”として日本でも注目された、台湾デジタル大臣オードリー・タン氏、さくらインターネット株式会社 代表取締役社長 田中邦裕が登壇。 ファシリテーターはCode for Sapporo / Code for Japan 古川 泰人氏。 「市民生活とテクノロジーの調和」をテーマにトークセッションをおこないました。 オードリー・タン氏＆さくらインターネット 田中邦裕 最近興味があること 古川 泰人氏（以下、古川）：本日は、市民生活とテクノロジーの調和、ソーシャルイノベーションという観点でお話をうかがっていきたいと思います。オードリーさんは政府の
社内用語集を気軽に質問できるSlackBotを作ってみた (RAGの応用アプリ) - ABEJA Tech Blog
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain での RAG を使用して、LLM が学習に使用していない特定ドメインでの用語を応答する Slack ボットをさくっと作ってみたので共有します。 本コード一式は、以下の GitHub レポジトリに保管しています。 github.com 使い方 コード解説 アーキテクチャ RAG の仕組み ヒューマンインザループによる継続的品質改善 まとめ We Are Hiring! 使い方 事前準備として｛用語集スプレッドシートの作成・Slack アプリの初期設定・各種
Microsoft ResearchのAI研究チームは6月20日（現地時間）、わずか13億パラメーターと従来のものよりもサイズが小さいにも関わらず「GPT-3.5（1750億パラメーター）」を上回る成績を収めたTransformerベースの大規模言語モデル「phi-1」を発表した。このモデルは間もなく「Hugging Face」で公開される予定だといいう。 ベンチマークでGPT-3.5を凌駕 「Textbooks Are All You Need」と題された研究論文によると、このモデルは8台のA100（NVIDIAの高性能GPU）でわずか4日間かけて訓練され、インターネット上から取得した60億トークンの「教科書品質」データセットと、GPT-3.5で生成した10億トークンの微調整用「練習問題」データセットが使用された。 サイズが小さいにもかかわらず、phi-1はLLMの性能を測定するためのベ
ChatGPT にコードをレビューして貰う
はじめに 2022年、個人的には「AI 元年」と言って良い程、これまでは精通者しか扱えなかった AI による画像生成や対話などが、われわれ一般ユーザレイヤからも簡単に利用できるまでに AI が浸透してきた年だったと思っています。 特に ChatGPT の登場は革新的で、質問に対する回答の信用度はそれほど高くはないが、そこいらにいるいい加減な回答しか出来ない人達から比べれば、絶対的に有効な回答を自然な日本語で得られる様になりました。 もっと身近に ChatGPT の良さは品質の高さは勿論あるのですが、前提としてリーチするまでの身近さもあると思っています。GitHub からソースコードを clone して、どこかに置いてある英語しかサポートしていない言語モデルをダウンロード、または時間と電気代をふんだんに使って学習させたモデルを使い、さらにはコマンドラインからモデルへのパスを指定して起動、とい
「幸せになるには？」に答えてくれるAI「ChatGPT」 日本語でさまざまな質問に回答 Twitterでも話題
米AI研究企業OpenAIは11月30日（現地時間）、対話のためのAI言語モデル「ChatGPT」を発表した。テキストで質問を投げかけることで、AIがその回答を表示する。日本語にも対応しており、利用にはOpenAIアカウントが必要。現在はテスト期間中としており、無料で利用できる。 記者も早速利用してみた。「ChatGPTとはなんですか？」と入力してみたところ、ChatGPTはすぐに以下のような回答を示した。 「ChatGPTは、OpenAIが開発した対話型自然言語生成モデルです。このモデルは、対話文や会話文を入力として受け取り、それに対して自然な形で返答することができます。ChatGPTは、大規模なトレーニングデータセットを用いて訓練されており、人間に近い形で会話を行うことが可能です」（原文ママ） ChatGPT自身が説明してくれたように、ChatGPTは会話形式に最適化された自然言語生成
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）は、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センターにおいて、独自に収集した350 GBの日本語Webテキストのみを用いて400億パラメータの生成系の大規模言語モデルを開発しました。今回の開発を通し、事前学習用テキストの整形、フィルタリング、大規模計算基盤を用いた事前学習等、生成系の大規模言語モデル開発における多くの知見を得ました。現在は、更に大規模な1,790億パラメータの生成系大規模言語モデル（OpenAI社のGPT-3と同等規模）の学習を実施中で、また、学習用テキストの大規模化にも取り組んでいます。今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。 NICTでは、これまでWebページを収集し、インターネット
こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ
AI（LLM）についてまだみんなが知らない8つの事実（論文：Eight Things to Know about Large Language Modelsについて）
いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。 最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。 これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。 ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。 ホワイトハウスでFox Newsの記者が「機械知能研究所の専門家がAI開発を無期限に停止しないと文字通り地球上のすべての人間
続：エヴァのMAGIシステムをGPT3で作ってみた。【秘密結社会議編】｜深津 貴之 (fladdict)｜note
複数のAIエージェントをバトラせて、叡智を目指そうというチャレンジ第2部。… というわけで、前回いきおいで作ったGPTによるMAGIシステムを、さらに改良していくメモ。 今回の新しいバージョンは、 最大7人までの同時会議（コストは8倍） キャラの性格を極端な方向で多様化 会議の結論は必ずしも全員の意見を盛り込まない というバージョンアップが行われました。色々とポイントがわかってきたので、より極端なキャラづけが可能に。 7体の性格の違うGPTキャラを平行運用して8個目で合体させる こんなふうに、ふつうのGPTに比べてAPIを8回叩くという無謀な設計によるトライ。夢は8倍、コストも8倍。正直ヤバい。 今回のMAGI会議に参加するみなさま悪の賢人会議を開く、GPT3秘密結社のAIメンバーです。性格・ポリシーともに多様性のあるAIメンバーで、いろんな議論をお送りします。 情熱的なダリのコスプレ男悲
We’re announcing updates including more steerable API models, function calling capabilities, longer context, and lower prices. July 20, 2023 update: We previously communicated to developers that gpt-3.5-turbo-0301, gpt-4-0314 and gpt-4-32k-0314 models were scheduled for sunset on Sept 13, 2023. After reviewing feedback from customers and our community, we are extending support for those models unt
はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerXという会社を経営しております。LayerXでも多分に漏れず、LLMに対するものすごいワクワクと、この波に対応しないと会社が消えてなくなるという強い危機感を抱いています。 私自身が元機械学習エンジニア、現在現役の経営者というキャリアを歩んできました。その立場から、なるべくわかりやすく、LLMの波というものを経営者がどう捉えるべきか、どう波を乗りこなすべきかの一助となればと思い筆を取っています。(機械学習のプロの方からすると、おいおいそれは単純化し
ステップ①：「ChatGPT for Google」をインストール まずは、Chromeの拡張機能である「ChatGPT for Google」をインストールしましょう。 すでに50万人以上のユーザーがインストールしています。 ステップ②：OpenAIのAPI Keyを取得 OpenAIに登録してAPI Keysページにアクセスします。 「Create new secret key」をクリックします。 生成されたAPI keyをコピーします。緑のボタンをクリックすると、簡単にコピーできます。（この後使います） ステップ③：Apps Scriptにコードをコピペ グーグルのスプレッドシートを開きます。 タブにある「拡張機能」から「Apps Script」をクリックします。 画面が表示されたら、以下のコードを貼り付けます。 「SECRET KEYを入力」の箇所には、先ほどOpenAIで取得した
コンピュータ・エンジニアを辞める 前回の記事で、 コンピュータ・エンジニア辞めちゃうんですか？ もったいなくありませんか？ というコメントをいくつか頂きました。 ハイ。辞めます。 AI、特にGPT-4が急速に台頭してきた今は、 オールド・エンジニアの引き時と 判断しました。 ----------------------------------------------------- 正確には瞬殺されるのは「プログラマー」であって、 「エンジニア」は2-3年の猶予がある感じですが、 AIの進化は予想以上です。 2-3年の猶予など、有って無いようなものです。 ----------------------------------------------------- 63歳になって、最新のAI技術を学んで、 応用して、自分のものにするほどの 気力はありません。 もはや枯れてます。 ほら、引き際って
【AI】新たに搭載されたChatGPTを自分のAIアシスタントにするCustom Instructions機能とその使い方 | EARLの医学ノート
【AI】新たに搭載されたChatGPTを自分のAIアシスタントにするCustom Instructions機能とその使い方 ※2023年7月21日作成 ※2023年8月14日改訂：無料ユーザーが8/9から使用可能に。設定アイデアに「（7）キャラクター設定」を追加 ChatGPTを自分のAIアシスタントにするCustom Instructions機能搭載 1．Custom instructionsとは？ ■ChatGPTに新たな機能「Custom instructions（カスタム指示）」が搭載された．OpenAI社のリリースでは2023年7月21日から有料のChatGPT Plus会員から利用できるようになり，8月9日からは無料ユーザーも使用できるようになった． ■Custom Instructionsは，ユーザーのニーズに合わせてChatGPTを調整できるカスタム指示であり，専門知識の調
「Facebook」「Instagram」「WhatsApp」を運営するMeta Platformsで人工知能（AI）担当のチーフサイエンティストを務めるYann LeCun氏は、この分野に携わる多くの人を困惑させることになりそうだ。 LeCun氏は6月、「Open Review」に投稿した論文で、機械に人間レベルの知能を持たせることが期待できると考えるアプローチについて概観を示した。 この論文で暗に主張しているのは、現在のAIに関する大規模なプロジェクトのほとんどは人間レベルという目標に決して到達できないという点だ。 LeCun氏は、9月に入って米ZDNetが実施した「Zoom」でのインタビューの際、現時点で最も成功しているディープラーニング（DL）の研究手法の多くを非常に懐疑的に見ていることを明らかにした。 コンピューター科学分野のノーベル賞に相当する「ACM A. M. チューリング
GPTでソースコードからpatchを生成し続けたらプログラミングを自動化できるのでは？？？？ - laiso
と思ってやってみたら結構実現できてウケたので解説します。 はじめに 最近のGPT(LLMs)アプリケーション開発界隈は「プロンプトの内容を試行錯誤して結果を期待する」フェーズから「LLMsの特性を生かした今までできなかった自動化を実現」という段階が訪れつつあって楽しい時期です。 LlamaIndexというOSSではDBのスキーマと自然言語からSQLを自動生成してその場で実行するというクレイジーな機能があるのですが(A Guide to LlamaIndex + Structured Dataを参照) これと同じ発想でソースコード全体からpatch(patch - Wikipedia)を生成してその場で適用するというアイデアを思いついたのでしばらく検証していました。 「コミットメッセージを先に書いてそれを満すコミットをGPTに生成してもらう」ようなイメージ。 書いたコードはpmonというコマ
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
ChatGPTのリリースでGoogleは「コードレッド」を宣言、AIチャットボットが検索ビジネスにもたらす脅威に対応するためにチームを再割り当て
AI開発団体のOpenAIが発表した「ChatGPT」は、自然言語処理モデルの「GPT-3」の進化系である「GPT-3.5」がベースになっており、質問文を打ち込むと人間が書いた文章と見分けが付かないほどに高精度の文章で回答してくれます。そんなChatGPTの登場に、ユーザー数世界最大を誇る検索エンジンを持つGoogleの経営陣が事業に対する深刻な脅威への警戒を示して「コード・レッド」を宣言したと報じられています。 ChatGPT and Other Chat Bots Are a ‘Code Red’ for Google Search - The New York Times https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html Google at 'code red' over ChatG
GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です。 今日はメールの自動返信作成をMake(ツール連携サービス)を使ってやってみたいと思います。 ※MakeとはZapierやIFTTTと同じIPaaS系のサービスです。 参考 概要 Gmailに来た新着メールをMakeとChatGPT APIを使い返信文章候補を作成します。 そもそもできそうかの確認 OpenAIのChatGPT API Playgroundを使って、これができるか確認してみます。 なお、text-davinci-003はChatGPT API(gpt-3.5 turbo)の10倍の価格なので、今回は用いません 追記: 脳死で書いてたのであれですが、MakeはまだChatGPT APIに対応していないのでtext-davinci-003を使います。 以下のようなプロンプトを実行しました
いまからわかる！ChatGPT活用プログラミング ChatGPT APIのFunction callingを使って、請求書の構造化データを抽出する 先月、OpenAIからFunction calling（関数呼び出し）機能がリリースされました。これが何なのか、何のために使うべきなのか、ちょっと見ただけでは分かりづらいと思います。 今回は請求書から情報抽出をするというよくありがちなケースを題材に、Function callingの利便性を示してみます。 Function callingとは OpenAIが2023年6月13日にリリースしたChat APIの追加機能です。主にできることとして以下の3つが挙げられています。 外部ツールを呼び出して質問に答えるチャットボットを作成する 自然言語を内部APIの呼び出しやSQLに変換する テキストから構造化データを抽出する たとえば天気予報と血液型
Stability AI、言語モデルシリーズ「StableLM」の第1弾をリリース — Stability AI Japan
Stability AIは、新しいオープンソースの言語モデル StableLMをリリースしました。アルファ版は30億パラメータと70億パラメータのモデルが用意されており、今後150億パラメータから650億パラメータのモデルも用意される予定です。開発者は、CC BY-SA-4.0ライセンスの条件に従って、商用または研究目的で、私たちのStableLM ベースモデルを自由に検査、使用、適応することができます。 2022年、Stability AIは、プロプライエタリなAIに代わる透明でオープンで拡張性のある画期的な画像モデルである Stable Diffusionを一般公開しました。StableLM モデル一式のリリースにより、Stability AI は、基盤AI 技術をすべての人が利用できるようにすることを続けています。StableLMモデルは、テキストやコードを生成でき、様々なアプリケー
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
こんにちは！逆瀬川 (@gyakuse) です！ 今日は開発に使うときのプロンプトの例を紹介します。ただ、これは一例に過ぎず、もっと雑な表現や工夫されたプロンプトを使っても良いでしょう。大事なのは、どのように情報を与えるとうまくin-context learningしてくれそうか、ということを考えながらプロンプトを渡してあげることだと思います。 だいじなこと ChatGPTのGPT-4を使いましょう ChatGPTをそのまま使う場合、オプトアウト申請し、受理されたことを確認しましょう オプトアウトしていても他者に会話履歴が見える状態になる等のトラブルもあったため、API経由のほうが安全です 会社のプログラム等は情シス部門と連携を取り、会社のポリシーを検討をしましょう 実装を依頼するプロンプト 「行いたいこと」「処理の流れ」「参照ドキュメント」という順で書いてあげると良いです。 サンプルプロ
OpenAI が提供している ChatGPT は非常に面白いですね。今年以後、GPTやChatGPT周りがさらに流行ると思います。 この記事は、TypeScriptでChatGPTクローンを作る第一弾です。長くなりすぎるため、この記事では、GPTを使った検索エージェントを実行するまでを取り上げます。 検索エージェントは「ぼっち・ざ・ろっくの作者は？」と尋ねたら検索エンジンとGPTを使って「はまじあき」という結果を生成できる技術です。 またこの記事や、続く記事でLangChainのプロンプトをあれこれ読み解いていこうと考えています。 筆者は機械学習の初心者であるため、間違ったことが書かれている可能性があります。間違いがあった場合は、ぜひご指摘いただけると幸いです。 なお、この記事では添削にChatGPTおよびGPT-3.5を使っています[1]。 どうやってTypeScriptでChatGPT
ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法： この記事ではchatGPTを使ったLINEbotを作成する際に、出力を安定してJSON形式で得る方法を解説します。具体的には、gpt-3.5-turbo APIとGoogle Apps Script (GAS)を使ったLINEbotを想定しています。仮想人格の発言内容と内部パラメータ（感情パラメータなど）を分けて出力したい場合に役立ちます。 ChatGPT APIを使ったLineBotの作り方を、人格の与え方まで完全解説【プログラミング不要】 AIがあなたのお悩みに答えます。悩みを解決する未来の相談相手、AIがあなたを待っています。[プロンプト有] プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 こんなとき役に立つ 感情を伝えるチャットボット ユーザーの反応に
はじめまして！データサイエンティストの山内(@jof_5)です。 本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。 1. プロンプトエンジニアリングの必要性と課題 2. 自動プロンプト最適化について 2-0. 最適なプロンプトとは何か？☕ 2-1. 自動プロンプトの概要 2-2. 自動プロンプト最適化のアーキテクチャ ①Task Executor: LLMによるタスクの実行 ②Output Evaluator: 出力の評価 ③ Prompt Improver: 最適なプロンプトの生成 3. 実験結果と考察 3-1. 自動プロンプト最適化の有効性の検証 3-2. 最適化プロンプトの生成過程 3-3. 最適化されたプロンプトの特徴 3-4. プロンプト生成用LLM(Prompt Improver
自己紹介と自社紹介どうもアケドです。 エンタメの基礎研究所を志す株式会社Pictoriaで代表をやっているものです。 この記事を書く目的はただ一点。 SFに登場してくるようなAIキャラと、マトモに会話できる時代が来た。 AIは、人間を超えて、次世代のエンタメを提供してくれる。 という事実を、みなさんと共有したいということ。 よって平易に、技術的なことやディープ過ぎて一部の人にしかわからないことは基本的には省いて書いています。 ちなみに著者のアケドは何をやってる人間なのかというと、会社で紡ネンというAIで動くVTuberをプロデュースしています。今はYouTubeチャンネル登録7.4万超くらいですかね。 目指せ年内100万人！ なんか気づいたら界隈ができてたAI VTuberではなくAITuber、という呼称が出てきたのは、今年2月頭だったでしょうか。 一昔前のバーチャルYouTuberかV
OpenAI API ドキュメントの日本語訳をこちらでまとめます。文字量の多いドキュメントなので、セクションごとに記事を分割しています。 今回は「GET STARTED 」のセクションからLibraries 、Models、TutorialsそしてUsage policiesを抜粋した後編です。 基本 DeepLで翻訳して、気になるところだけ書き換えています(ほぼ気になるところがないのが、DeepLのすごいところ)。原文との突き合わせができるようにはじめに原文を入れてますので、間違いなど見つけられましたら、ぜひご指摘ください。ご指摘箇所は随時反映させていただきます。 原文のリンクが有効になってますので、それぞれ必要な場合は原文リンクの方を参照ください。 前回のおさらいはこちら Python library｜Python ライブラリWe provide a Python library, w
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-3.5-turboの新機能を使ってCVPRの論文を良い感じに検索・推薦・要約するシステム
Cursor Proを３日間で300回も使い倒してみた所感
NTT版大規模言語モデル「tsuzumi」 | NTT R&D Website
ChatGPT APIをUnityから動かす。｜ねぎぽよし
ポッドキャストをAIで書き起こし「LISTEN」 近藤淳也氏が立ち上げ
オードリー・タン氏 × さくらインターネット田中 「市民生活とテクノロジーの調和」 | さくマガ
マイクロソフト、軽量かつ高性能な大規模言語モデル「phi-1」を発表
日本語に特化した大規模言語モデル（生成AI）を試作｜2023年｜NICT-情報通信研究機構
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
Function calling and other API updates
LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX
ChatGPTをグーグルスプレッドシートに連携する方法【コピペでOK】
コンピュータ・エンジニア辞めます・黄色い家で（仮） - 沖縄で島猫と遊ぶ日々・(ΦωΦ)隠居編
AIの第一人者ルカン氏、現在のアプローチの多くは真の知能につながらないと批判
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
パナソニック、国内全社員9万人にGPT3.5ベースのAIアシスタント
ChatGPTとMakeを使ってGmailの返信を自動化してみる - Qiita
ChatGPT APIのFunction callingを使って、請求書の構造化データを抽出する | gihyo.jp
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
開発に使える？ChatGPTとプロンプトエンジニアリング - Qiita
TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント
ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法 - Qiita
自動プロンプト最適化をやってみた - Algomatic Tech Blog
夢を諦めてた諸君、本物のAIキャラの時代が来た。｜Pictoria
OpenAI API ドキュメント 日本語訳｜#2 GET STARTED 後編｜ゑぐみかるちゃあ