株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「HybridRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「HybridRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HybridRAGは、通常のRAG（Retrieval Augmented Generation）で用いられる「ベクトル検索」の弱みを補い、回答精度を向上するための手法です。BlackRockとNVIDIAの研究者らによって2024年8月に提案されました。 ベクトル検索の弱みはいくつかあります
ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法： この記事ではchatGPTを使ったLINEbotを作成する際に、出力を安定してJSON形式で得る方法を解説します。具体的には、gpt-3.5-turbo APIとGoogle Apps Script (GAS)を使ったLINEbotを想定しています。仮想人格の発言内容と内部パラメータ（感情パラメータなど）を分けて出力したい場合に役立ちます。 ChatGPT APIを使ったLineBotの作り方を、人格の与え方まで完全解説【プログラミング不要】 AIがあなたのお悩みに答えます。悩みを解決する未来の相談相手、AIがあなたを待っています。[プロンプト有] プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 こんなとき役に立つ 感情を伝えるチャットボット ユーザーの反応に
はじめまして！データサイエンティストの山内(@jof_5)です。 本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。 1. プロンプトエンジニアリングの必要性と課題 2. 自動プロンプト最適化について 2-0. 最適なプロンプトとは何か？☕ 2-1. 自動プロンプトの概要 2-2. 自動プロンプト最適化のアーキテクチャ ①Task Executor: LLMによるタスクの実行 ②Output Evaluator: 出力の評価 ③ Prompt Improver: 最適なプロンプトの生成 3. 実験結果と考察 3-1. 自動プロンプト最適化の有効性の検証 3-2. 最適化プロンプトの生成過程 3-3. 最適化されたプロンプトの特徴 3-4. プロンプト生成用LLM(Prompt Improver
自己紹介と自社紹介どうもアケドです。 エンタメの基礎研究所を志す株式会社Pictoriaで代表をやっているものです。 この記事を書く目的はただ一点。 SFに登場してくるようなAIキャラと、マトモに会話できる時代が来た。 AIは、人間を超えて、次世代のエンタメを提供してくれる。 という事実を、みなさんと共有したいということ。 よって平易に、技術的なことやディープ過ぎて一部の人にしかわからないことは基本的には省いて書いています。 ちなみに著者のアケドは何をやってる人間なのかというと、会社で紡ネンというAIで動くVTuberをプロデュースしています。今はYouTubeチャンネル登録7.4万超くらいですかね。 目指せ年内100万人！ なんか気づいたら界隈ができてたAI VTuberではなくAITuber、という呼称が出てきたのは、今年2月頭だったでしょうか。 一昔前のバーチャルYouTuberかV
OpenAI API ドキュメントの日本語訳をこちらでまとめます。文字量の多いドキュメントなので、セクションごとに記事を分割しています。 今回は「GET STARTED 」のセクションからLibraries 、Models、TutorialsそしてUsage policiesを抜粋した後編です。 基本 DeepLで翻訳して、気になるところだけ書き換えています(ほぼ気になるところがないのが、DeepLのすごいところ)。原文との突き合わせができるようにはじめに原文を入れてますので、間違いなど見つけられましたら、ぜひご指摘ください。ご指摘箇所は随時反映させていただきます。 原文のリンクが有効になってますので、それぞれ必要な場合は原文リンクの方を参照ください。 前回のおさらいはこちら Python library｜Python ライブラリWe provide a Python library, w
Python 初心者でも簡単！OpenAI を利用したチャットアプリを Streamlit で公開してみた | DevelopersIO
[2023.09.19 追記] 本記事の執筆にあたり参考にさせていただいたUdemy講座の講師の方より、記事内容についてコメントをいただいたため一部修正しました。 はじめに こんにちは、アノテーション テクニカルサポートの Shimizu です。 突然ですが、私も含めた Python 初心者に、以下のような人は多いのではないでしょうか。 昨今の AI ブームに乗って API でデータをやり取りする基本的な Python プログラムを PC 上で動かせたものの、それを Web アプリとして公開するまでのハードルが高く感じる。 ブラウザ操作の UI を実装するには Django などの Web フレームワークを習得したり、アプリとして公開するには Python が動作するサーバーを用意したりと、なんだか難しそう・・ そんな私にピッタリのUdemy講座を見つけたため、今回受講してみました。 Ch
最近、LLMにWeb Backendを書かせて遊ぶ、Hanabiというサービスを作っています。その開発過程で、前に試したLLMをAPIとして振る舞わせるアプローチを再検討したので、記事としてまとめました。 一年ちょっと前、私はChatGPTをWebフレームワークにしようと試みました...が、残念ながら全く実用的ではありませんでした。しかし、あれから一年、LLMは目覚ましい進歩で進化を遂げました。価格は下がり、速度も上がり、記憶容量の増加やRAGの発展など、もはや別物レベルで進化しています。 いまならもうちょっと実用的なヤツが作れるんじゃねってことで、色々な手法を面白がった再検討したまとめです。 余談ですが、一年前はLLM=ChatGPTという状況でしたね...懐かしい。ちょうどvicuna13Bが出た頃ですかね? ↓去年の記事(できれば読んでほしい)↓ 出来たもの 全部プロンプトに入れちゃ
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama
イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用
ChatGPTをGTPと間違える人のために解説します
頭がごっちゃになる人続出！ 世界的ブームのChatGPT。これだけ朝から晩までChatGPT一色なら、もはやChatGTPと言い間違える人もいないだろうと思っていましたら、GPTとGTPの混乱はまだまだ続いているようです。 日本はレーシングカーのGT、ドラゴンボールのGTについ引っ張られちゃいますもんね。頭でわかっちゃいるんだけど、ついGTPと口走ってしまったりします。 GPTって何の略？ChatGPTの｢GPT｣は｢ Generative Pre-Trained Transformer （プレトレーニング済みテキスト生成型Transformer）｣の略。 Transformerというのは、Google（グーグル）が開発してオープンソースで公開した自然言語学習モデルをいいます。 2017年に論文｢Attention Is All You Need｣で発表され、ディープラーニングとディープニ
Aaron Mok ［原文］ （翻訳：大場真由子、編集：井上俊彦） Apr. 16, 2023, 08:00 AM テックニュース 18,499 仮想の町でAIアバターを観察した研究｢Generative Agents：Interactive Simulacra of Human Behavior（ジェネレーティブ・エージェント：人間の行動のインタラクティブな像）｣のスクリーンショット。 arXiv/Cornell University 研究者たちは、25人のAIアバターを仮想の町に放った。 アバターたちは、日々のスケジュールを立てたり、政治の話をしたり、デートをしたり、パーティーを企画したりしたという。 AIの専門家、マイケル・ウールドリッジは今回の発見はAGIに向けた｢小さな一歩｣であるとInsiderに語っている。 25人のAIエージェントたちを仮想の街に放つとどうなるだろうか？ 最
Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. LangChain のモジュール「L
GPT-4なら、確定申告のための税額計算もラクラク――米OpenAIが3月14日（現地時間）に公開した、次世代の大規模自然言語モデル「GPT-4」のデモで、GPT-4に税法と家族構成を読み込ませ、控除額を簡易的に計算するシーンがあった。 河野太郎デジタル大臣は15日、自身のTwitterでこれに触れ、「e-Taxに実装したい」とコメントした。 デモでは、「誰もやりたくないが、やらなければならないタスクを行う」方法として、16ページにわたる税法のドキュメントを読み込ませたうえで、家族構成や収入を入力し、税金の控除額を計算さる様子を紹介した。 このデモを、梶谷健人氏（XR Creative Studio創業者）が「全人類が欲しているやつ」などと動画付きでツイート。河野氏はこれを引用し、「e-Taxに実装したい」とツイートした。 関連記事 「GPT-4」で何ができる？ ラフからWebサイトを瞬間
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」 - Qiita
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」AzureCognitiveServicesgpt-3AzureOpenAIServiceonyourdata Azure Open AIの新機能「Add your data」の使用方法の概説、試してみた結果、そして私なり感じた4つの所感とその解決策？を紹介いたします。 ※本領域は変化が激しいです。この内容は23年6月24日時点の情報となります 【記事の目次】 23年Buildでのデータサイエンス・AI系のアップデータについて Azure Open AI「Add your data」のシンプル設定方法 Azure Open AI「Add your data」を使用した結果と、ChatGPT、 Bing AIチャットの比較 私の4つの所感と解決案？ 4.1 引用元の引用部
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
GPT-4, GPT-3.5 の API を利用して JSON だけ生成する (Function calling)
先日 OpenAI API のアップデートが以下のように発表されました。 一番の注目は Function calling じゃないでしょうか？ 名前から「関数を呼び出せるのかな？」と一番最初に想像しちゃいますが、この機能の革新的な部分は「JSON を作成してくれる」ところだと思っています。 JSON を作れると嬉しいことがいっぱいありますね！ ダミーデータの作成 生成した JSON をそのままレスポンスとして返すエンドポイントの作成 テストとしても良い 関数や外部 API の呼び出し 今までは難しかった JSON の作成 今まで、JSON を作成してもらうにあたって gpt-3.5-turbo を用いて JSON を作成させようとするとほぼ失敗していました。それで gpt-4 のモデルを利用して JSON を作成させますが、このモデルはほとんど正確になる一方で処理速度がかなり遅くなる点がネ
GPT-4は医師国家試験に合格するという研究結果が発表されて話題だったので、我々も馴染み深い IPA の試験にGPT-4は合格できるのか試してみた。 高度情報処理技術者試験の 午前I に限って言えば合格しているので、レポートをこちらに置いておく。 github.com まとめ 高度情報処理技術者試験の共通科目である午前I に 合格できる解答(正答率6割を超える)をGPT-4は生成する GPT-3.5 では合格できない。GPT-4 の賢さが際立つ ちなみに図表読み取り問題は入力できないので、すべて不正解扱いした やりかた IPA の Webサイトから、2022年度秋試験の午前I問題のPDFを取得 (PDF) Google Docs の OCR 機能でテキスト取得 手でコピペして整形 整形したファイルは こちら にある OpenAI の API に問い合わせて解答を取得。スクリプトはこちら。
こんにちは、クラウドエース SRE ディビジョン所属の茜です。 今回は、現在最も普及している対話型 AI サービスである ChatGPT で使用されているモデルと、LLM を使ったアプリケーション開発に特化したライブラリである LangChain を用いて社内向けのチャットボットを作成します。 ターゲット 任意のデータを元に回答を行うチャットボットを作成したい方 任意のデータを元に回答させる仕組みを知りたい方 ChatGPT とは ChatGPT とは、ユーザーが入力した質問に対して、まるで人間のように自然な対話形式でAIが答えるチャットサービスです。2022 年 11 月に公開されて以来、回答精度の高さが話題となり、利用者が急増しています。 人工知能の研究開発機関「OpenAI」により開発されました。 執筆時点では、GPT-3.5、GPT-4 という大規模言語モデル (LLM) が使用さ
柔軟に変化していく、生物のような言語について──『言語はこうして生まれる―「即興する脳」とジェスチャーゲーム―』 - 基本読書
言語はこうして生まれる―「即興する脳」とジェスチャーゲーム― 作者:モーテン・H・クリスチャンセン,ニック・チェイター新潮社Amazonこの『言語はこうして生まれる』は、その書名通りに言語がどのようにして生まれたのか。そして、一度生まれた言語はどのように変化していくのかについて、言語研究の歴史も辿り直しながら、最新の知見について語っていく一冊になる。 話し言葉は化石に残らないから、具体的にいつ人間が言葉を喋りはじめたと指定できるわけではない。本書では、言語はジェスチャーゲーム（言葉当て遊びであり、共同作業による即興ゲーム）なのではないかと提案し、それを支持する仮説や実証を紹介している。もう少し詳細に説明すれば、ジェスチャーゲームが常に共通の文脈、環境を頼りにして相手の意図を推し量り、意味とサインの繋がりを新しく創造していく過程と、言語の発生と発展の過程は同様のものになるのではないか、という
こんこよ～🧪 カバー株式会社CTO室エンジニアのAです。 カバー株式会社には2023年4月に新卒で入社し、第1回COVER Techを執筆したKさんの下で、タレントの皆様が日々のYouTube配信などで使用するホロライブアプリの開発に携わっています。 また、ここ数か月はそれと並行してAIこよりシステムの開発を担当してまいりました。 この記事では開発したシステムの概要についてご紹介します。 開発経緯AIこよりシステムの開発に至った経緯について。 まず社内に生成AIの可能性や関連技術の検討をしたいという需要がありました。そこへ、こよりさんからご自身のAIを作りたいというご要望をいただいたため、それがきっかけとなり、こよりさんの全面的なご協力の下でAIこよりシステムの開発が始まりました。 システム概要今回開発したものは、AIシステムへの入出力を操作し配信画面に映すフロントアプリと、各種外部AP
AIが作った画像が喋る 動画生成サービス「Creative Reality Studio」登場 「GPT-3」「Stable Diffusion」を利用
生成系AIの開発などに取り組むイスラエルのD-IDは12月14日、画像が喋る動画を生成できるサービス「Creative Reality Studio」を開発したと発表した。プロンプトを基に、AIが画像や喋らせたい内容を生成。それらを自動合成し、動画として出力する。
Open Interpreter - 自然言語でコーディングを実現するオープンソースツール｜masia02 (CipherWeb,LLC.)
Open Interpreterは、自然言語でプログラミングができるようになる、興味深いオープンソースツールです。機能呼び出し型の大規模言語モデルを利用して、Python、JavaScript、Bashなどのコードをローカルで実行できるのが大きな特徴です。インストールと利用は簡単で、コーディング作業の効率化を図れそうなツールです。 Open InterpreterとはOpen Interpreterは、GPT-3.5やGPT-4またはCode Llamaなどの大規模言語モデルを利用して、自然言語でのコード実行を可能にするオープンソースのツールです。 コマンドラインインターフェース上で言語モデルと対話することで、PythonやJavaScriptなどのコードをローカルマシン上で実行できます。複雑なロジックのコーディングもステップごとに指示できるので、開発効率の大幅な向上が期待できます。 公式
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
それっぽいタイトルをつけましたが、内容としては2023年に自分がやったことの振り返りとなります。 その中で、一年間個人開発者という立ち位置で生成AI界隈（主に画像）に身を置いて思ったことや、これからの生き方を備忘録的に残しておこうという記事になります。 2023年振り返り というわけでざっくばらんに振り返りです。 僕の個人的な活動内容には興味ないよ！って方は飛ばしてください。 ふりかえり とにもかくにも生成AIに振り回された一年でした。 画像生成AIが本格的に流行ったのが去年の11月で、元々趣味で絵を描いていた事もありその頃はまだ参入には早いかと思い様子を見ていましたが、あっという間に状況が変わっていったのを覚えています。 本格的に参入を決めるきっかけとなったのが2月ごろに出たcontrolnetの存在で、これ以上静観しているとついていけなくなるという実感があったため、本格的に画像生成AI
生物兵器による破滅から宇宙人の侵略まで、幅広く滅亡を考察していく──『人類滅亡の科学 「滅びのシナリオ」と「回避する方法」』 - 基本読書
人類滅亡の科学 「滅びのシナリオ」と「回避する方法」 作者:マーシャル・ブレイン日経ナショナル ジオグラフィックAmazonこの『人類滅亡の科学』はその署名通りに、人類の滅亡のパターンをリストアップし、それに対してどのように滅びうるのかという「滅びのシナリオ」と、「回避する方法」をそれぞれ考察していく一冊になる。基本的に記述はそんなに重くなく、日経ナショナルジオグラフィックらしくフルカラーのイラスト・写真も多いので、「へー、こんな危機もあるのか」と驚きながらサクサクと楽しめる本といえる。 地球温暖化やパンデミック、核兵器による破滅はすぐに思いつくだろうが、本書ではコロナ質量放出であるとか、自動化経済とか、電力網攻撃とか、小惑星の衝突、スーパーボルケーノの噴火、ロボットによる世界征服に宇宙人の侵略まで存在し、扱っている領域は広い。正直、ＳＦ系の章は考察が甘いというか問いの立て方がふわっとして
ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is All You Need」を発表し、今日の AI トレンドの基礎を築いた。 Transformer の最も重要なブレークスルーは、言語モデルの運用フローとは別に、多くの処理作業を同時に行うことでコンピューティングパワーを利用できるようにする「並列化」だ。スタンフォード大学の研究者は2021年の論文で、「AI 分野のパラダイムシフトを促すだけでなく、AI で何が可能かという想像力を広げる」と、Transf
「OpenAI API」で提供されている「モデル」をまとめました。 ・Model - OpenAI API 1. OpenAI API で提供されている モデル「OpenAI API」で提供されている「モデル」は、次のとおりです。 ・GPT-4o : GPT-4よりも安価で高速な、最も先進的なマルチモーダルフラッグシップモデル ・GPT-4 : GPT-3.5を改善し、自然言語やコードを理解し、生成できるモデル ・GPT-3.5 : GPT-3を改善し、自然言語やコードを理解し、生成できるモデル ・DALL-E : 自然言語から画像を生成および編集できるモデル ・TTS : テキストを自然な音声に変換できるモデル ・Whisper : 音声をテキストに変換できるモデル ・Embedding : テキストをベクトル表現に変換できるモデル ・Moderation : テキストが機密または安全か
セマンティック検索の活用で、Elasticsearchの検索が根本的に変わる！？ - Taste of Tech Topics
こんにちは、@shin0higuchiです😊 業務では、Elasticsearchに関するコンサルティングを担当しています。 最近すっかり春らしく、暖かくなってきました。 新年を迎えたばかりの感覚でしたが、あっという間に時が経ちますね。 さて、今回の記事では、Elasticsearchの検索を根本的に変える可能性を秘めたセマンティック検索に関して書かせていただきます。 概要 Elasticsearchは元々、キーワードベースのアプローチを主に取っており、クエリで指定されたキーワードを対象のドキュメント内で検索し、それらの出現頻度や位置に基づいて結果をランク付けしています。この方法では、文脈や意図に関係なく、単純にキーワードの一致度に基づいて検索結果が返されます。 一方、セマンティック検索とは、ユーザーのクエリの背後にある文脈と意図を理解しようとする検索手法で、キーワードだけに頼るのではな
プロンプトエンジニアリングの記事です。 ChatGPTなどGPT-3.5系である程度安定して、加工しやすい出力を得るためのノウハウができたので書きました。土日に別の実験をしていて副産物的に得られたものです。 サンプルコードはTypeScriptですが、プログラミング言語に依存した話ではありません。簡単な正規表現による文字列置換のサンプルです。 出力を得られると何が嬉しいのか？ 自然言語を自然言語で加工して、キーと値のペアを取得する、JSONを取得するなどすることができるようになるため、テキストを処理できる汎用ミドルウェアとしてLLMを使えるようになります。おそらくLLMを本格的にソフトウェアに組み込んでいく上で、基礎テクニックとなるでしょう。 異なる複数のプロンプトをつなぐときにも大切なテクニックです。 基本的な考え方 GPT-3.5系ではフォーマットを提示するとそのフォーマットに沿ったテ
画像生成AI vs. イラストレーター 生成時に“二酸化炭素”を多く排出するのはどっち？ 米国チームが検証 「最大2900倍もの差」
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。通常は新規性の高い、AI領域の科学論文を解説しているが、ここでは番外編として“ちょっと昔”に発表された個性的な科学論文を取り上げる。 X： ＠shiropen2 研究チームは、文章作成とイラスト制作における二酸化炭素相当量（CO2e）を比較するため、AIシステムと人間それぞれの活動を詳細に分析した。結論として、AIシステムは人間の作家と比べて1クエリ当たり130～1500倍少ないCO2eで文章を生成できることが判明した。また、イラスト制作においては、AIシステムは人間のイラストレーターと比べて310～2900倍少ない排出量で画像を生成できることを示した。 文章制作における実験内容と結果 文章作成の実験では、まずAIシステムの排出量を測定
AIの歴史と現在の問題 - デマこい！
ジョン・ヘンリーの教訓 19世紀の都市伝説に「ジョン・ヘンリー」という人物がいます[１]。 彼は屈強な肉体労働者で、ハンマーを振るって岩に穴を開ける達人でした。ところが蒸気機関で動くドリルの登場により、彼は失業の危機に瀕します。そこで彼は、人間は機械よりも優れていることを示すために、穴開け競争で蒸気ドリルに戦いを挑んだというのです。 伝説によれば、ジョン・ヘンリーは（驚くべきことに）僅差で勝利を収めたとされています。しかし、あまりにも肉体を酷使したために、勝利の直後にその場で倒れて帰らぬ人になりました。周囲の野次馬たちは言いました。「彼は人間らしく死んだ」と。 この逸話から得られる教訓は何でしょうか？ 「機械と競い合うのは命にかかわる」とか「バカバカしい」とかではないと私は思います。それはあまりにも表層的な解釈です。生成ＡＩが躍進する現在、ジョン・ヘンリーは遠い過去の伝説ではありません。現
はじめに この記事では、3日間でテック記事のAI要約・翻訳メディアをつくる個人開発で利用した OpenAI API LangChain の具体的な実装と利用コストについて触れていきます。 OpenAI APIとLangChainとは... OpenAI API OpenAI APIは、OpenAIという人工知能の研究・開発・普及を目的とした団体が提供するAPIです。このAPI は、自然言語とコードの理解または生成を必要とするタスクに利用することができます。 LangChain OpenAIが提供するGPT-3のような大規模言語モデル（Large Language Model: LLM）を利用してサービスの開発をしたいときに、「あるとうれしい機能」が集まったライブラリです。 この記事の目的 OpenAI API を使った記事の要約とFunction Callingの紹介 LangChain
はじめに 2023/3/14にOpenAIがGPT-4という新しいAIモデルを公開しました。 このモデルはさまざまなタスクにおいてChatGPT(GPT-3.5)を大幅に上回る結果を示しています。 この記事ではGPT-4を用いて競技プログラミングがどのくらい解けるのかについて調べてみました。 下馬評 OpenAIが公開した論文によると、GPT-4のCodeforcesレーティングは392だそうです。 これはパーセンタイルでいうと下から5%らしいので、 そこまで競技プログラミングが得意なわけではないようです。 ただし、おそらくこれはGPT-4が完全自動でチャレンジした場合のことだと思われます。 GPT-4が書いたコードを人間がレビューすることでバグを修正し、より難しい問題が解ける可能性があると 筆者は考えました。 TL; DR ChatGPTを用いてAtCoder Beginners Con
OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
※ネタ記事です はじめに 検証する脆弱性 Tips. GPT-3 とは？ WAFの実装 環境・必要なもの ソースコード 検証 正常リクエスト XSS GETパラメータ POSTデータ POSTデータ & ヘッダ無し SQL インジェクション GETパラメータ GETパラメータ & ヘッダ無し XXE POSTパラメータ① POSTパラメータ② POSTパラメータ & ヘッダ無し パストラバーサル GETパラメータ GETパラメータ & ヘッダ無し OS コマンドインジェクション GETパラメータ & ヘッダー無し GETパラメータ Log4Shell POSTパラメータ POSTパラメータ & ヘッダ無し POSTパラメータ & ヘッダ無し WordPress のユーザ列挙 ShellShock まとめ はじめに 最先端(?)であるGPT-3を使って 次世代WAF を作っていきます。 以下
We’ve trained a neural network called DALL·E that creates images from text captions for a wide range of concepts expressible in natural language. DALL·E is a 12-billion parameter version of GPT-3 trained to generate images from text descriptions, using a dataset of text–image pairs. We’ve found that it has a diverse set of capabilities, including creating anthropomorphized versions of animals and
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での実行に適しています。さあその性能は如何ほどに！！！！？？？？はやくAIは俺から仕事を奪え。 Llama-3-ELYZA-JP-8Bとは Llama-3-ELYZA-JP-8Bは、ELYZA社が開発した日本語に特化した大規模言語モデルです。Meta社の「Llama 3」シリーズをベースに、日本語での追加学習を行っています。80億パラメータという比較的小さなモデルサイズながら、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 P
Stable Diffusion開発元、独自の大規模言語モデル「StableLM」をGitHubで公開し、商用利用も可能。チャットAI「StableChat」は数カ月後 | テクノエッジ TechnoEdge
Stable Diffusionの開発で知られるAI企業Stability AIは、オープンソースの大規模言語モデル（LLM）「StableLM」を発表しました。 現在GitHubで公開中のアルファ版では30億パラメータと70億パラメータのモデルを提供。GitHubリポジトリで公開しています。150億パラメータから650億パラメータのモデルも提供する予定です。ライセンスはCC BY-SA-4.0で、商用または研究目的で利用できます。 GPT-3と比較して小規模なパラメータ数であるにも関わらず、「会話やコーディングのタスクで驚くほど高い性能を発揮する」という性能をうたう背景には、1.5兆トークンのコンテンツを含む、実験用データセットがあると説明しています。 StableLM with human feedback (RLHF) でファインチューニング（微調整）された研究モデル一式も公開。Al
正直もうDeepLより圧倒的にGPTの方が翻訳精度良いね・・・時代の変化が速すぎてDeepL開発チームに同情するレベル。 — Ulara 🇯🇵🇺🇸東京シアトル2拠点生活中 (@ularatter) February 14, 2024 なんとなくそういう気はしてたが、DeepLの⌘C×2で翻訳が走る体験がしっくり来すぎていて翻訳に関してはDeepLを使い続けていた。 いやしかしよく考えたら、利用し続けている理由がショートカットだけなら、OpenAI APIをたたくそういう（ショートカット指定できる）翻訳アプリをつくればいいのでは？というかそういうのもうOSSで出てるのでは？ と思って探してみたらやっぱりあった。 https://github.com/openai-translator/openai-translator スター数19.9k。既に相当有名なようだ。 インストール方法Re
Aaron Mok ［原文］ （翻訳：仲田文子、編集：井上俊彦） Apr. 28, 2023, 10:30 AM テックニュース 14,183 ChatGPTを稼働させるには1日最大70万ドル必要だとアナリストが試算している。 Pavlo Gonchar/SOPA Images/LightRocket via Getty Images ChatGPTは｢高価なサーバー｣を使っているため、OpenAIがそれを稼働させるのに1日最大70万ドルのコストがかかっているようだと、あるアナリストがThe Informationに語っている。 ChatGPTは、クエリに答えるために高価なサーバー上で大量の計算をしなくてはならない。 マイクロソフトは、密かにコストを削減するためのAIチップを製造しているとThe Informationが報じている。 ユーザーがChatGPTを使ってカバーレターを書いたり、
「GPT-4超え」とうわさのAI「Claude 3」を試す 仕事は任せられる？ 若手記者の所感（1/2 ページ） 3月4日（現地時間）にリリースされたチャットAI「Claude 3」がすごい。筆者も記事の執筆を任せられないか少し試しているが、使い方によっては「そこそこいけるな……少なくともGPT-4よりはイケる」と思う程度にはしっかりしている。 過去に記事でも伝えた通り、ITmedia NEWSではChatGPTを活用した記事の制作も行っている。筆者もたまにGPT-4の力を借りて記事を作っているが、ものすごく効率化につながるかと言われれば、正直そこまでではない。 10の労力が9とか8.5くらいにはなるし、それはそれですごく大事なのだが、劇的な省力化にはつながらない。さらにプロンプトを考える手間もある。その辺を加味してギリギリ黒字くらいだ。特にここ半年くらいは以前より微妙なアウトプットしか出
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGの「ベクトル検索」の弱みを、ナレッジグラフで補う
ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法 - Qiita
自動プロンプト最適化をやってみた - Algomatic Tech Blog
夢を諦めてた諸君、本物のAIキャラの時代が来た。｜Pictoria
OpenAI API ドキュメント 日本語訳｜#2 GET STARTED 後編｜ゑぐみかるちゃあ
LLMをWebフレームワークにしたら、未来が見えた #2024
仮想の町に解き放たれた25人のAIエージェントはどう振る舞ったか
LangChain クイックスタートガイド - Python版｜npaka
GPT-4で確定申告も一発？ 「e-TAXに実装したい」河野太郎氏 控除額を自動計算
GPT-4 は高度情報処理技術者試験(午前I)に合格する - kurainの壺
LangChain で社内チャットボット作ってみた
AIこより爆誕！？の裏側｜カバー株式会社 公式note
生成AI激動時代の個人開発者の戦い方（2023年振り返り）
OpenAI API で提供されている モデル まとめ｜npaka
ChatGPT APIを使ってキー・バリューなど扱いやすい出力を得る方法
OpenAI APIとLangChainを用いた記事の翻訳・要約メディアのつくり方
GPT-4は青色コーダーの夢を見るか - Qiita
GPT-3 API を使って AI WAF を作る - まったり技術ブログ
DALL·E: Creating images from text
「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita
GPTベースの翻訳アプリOpenAI Translatorの使用感｜shu223
ChatGPTの運用コストは1日70万ドル…費用削減へマイクロソフトは専用チップを開発中
「GPT-4超え」とうわさのAI「Claude 3」を試す 仕事は任せられる？ 若手記者の所感