はてなブックマーク

AI 技術の進化に伴い、ビジネスシーンでの ChatGPT の活用が広がってきています。この記事では、ChatGPT に代表される大規模言語モデル（LLM）を活用するプロンプトのアプローチの一つで、LangChain にも実装されている ReAct について、ビジネスパーソン向けに解説いたします。 LLM と プロンプトエンジニア​ LLM を効果的に活用するための考え方のひとつに「プロンプトエンジニアリング」というものがあります。プロンプトは、LLM に与える命令等のことで、目的のタスクと併せてヒントや関連する情報などを与えることでより目的にあった回答を引き出すことができるようになります。プロンプトエンジニアリングとは何かについてはこちらの記事でも解説していますので、併せてご覧ください。 Hakky | プロンプトエンジニアリングとは【ビジネスパーソンが知るべき ChatGPT の活用術

Pythonで始めるOpenAI API活用ガイドはじめに​ OpenAI APIは、自然言語処理を手軽に行える強力なツールです。この記事では、Pythonを使用してOpenAI APIをセットアップし、簡単なテキスト生成を行う方法を実際のコード付きで分かりやすく解説します。

【OpenAI API】各種モデルの料金体系(最新GPT-4oも掲載)はじめに​ OpenAI は、GPT-4などの先進的な AI モデルを提供しています。これらのモデルは、自然言語処理・画像認識・音声認識など、さまざまなタスクに使用できます。OpenAI では、最初の 3 ヶ月間で使用できる 5 ドルの無料クレジットを提供しており、その後は使用したリソースのみを支払う料金体系を採用しています。この記事では、OpenAI API の各モデルの料金体系について詳しく解説します。

ChatGPT のプロンプトインジェクションとは​ プロンプトインジェクションとは、ユーザーが悪意のあるプロンプトを AI に与えることで、AI が不適切な回答や意図しない情報の開示を行ってしまう状況を指します。 このリスクは、AI のセキュリティやプライバシーに対する脅威となります。 ChatGPT は対話型のチャットボットであるため、ユーザーとのインタラクションが中心となります。 この特性を持つ ChatGPT におけるプロンプトインジェクションの例としては、以下のようなケースが考えられます。 ** ユーザーが ChatGPT に対して、他人の個人情報や機密情報を開示させるような質問をする ** ** ユーザーが ChatGPT に対して、違法な行為や危険な行動を助長するような指示や提案をする ** ** ユーザーが ChatGPT に対して、誤った情報やデマを拡散させるような情報を求

2023 年 7 月 7 日、ChatGPTの運営元であるOpenAIは、全 ChatGPT Plus ユーザーを対象に**Code interpreter(コードインタプリタ)**の実装を発表しました。これにより ChatGPT 上でコードを実行したりローカルファイルのデータを扱うことができるようになります。この記事では、ChatGPT と Code Interpreter の概要から、具体的な活用方法、設定方法、トラブルシューティングまでを詳しく解説します。 Code interpreter(コードインタプリタ)とは​ ChatGPTは、OpenAI が開発した対話型の生成 AI です。この AI は膨大な学習データに基づいて自然な応答ができ、質問応答・文章生成・プログラムの作成などの様々なタスクをこなすことが可能です。 今注目の「Code Interpreter(コードインタプリタ)

EC2 vs ECS vs Lambda：APIのサービングの観点からはじめに​ この記事では、API のサービングの観点から EC2,ECS, Lambda を比較します。 EC2 の API サービングについて​ 料金​ リザーブドインスタンスを購入することで料金を下げることができる メンテナンス​ ECS や Lambda に比べて、より多くの管理とメンテナンスが必要 EC2 では、ユーザがインスタンスを自ら管理し監視する必要があり、適切にプロビジョニングされ、必要なセキュリティ構成を持ち、適切にスケーリングされていることを確認する必要がある 利点​ ECS、Lambda と比較して、もっともリソースの制約がなく、カスタマイズ性が高い GPU インスタンスをサポート 欠点​ インスタンスの管理が必要であり、複雑になる可能性がある 他のオプションよりも高価になる場合があり、特に効率的に

はじめに​ 近年、生成 AI 技術の進化がビジネスの世界で大きな影響を与えています。その中でも、ChatGPT などの台頭により LLM（大規模言語モデル）の活用に注目が集まっています。この能力をビジネスにおいて最大限に活かすには、タスクの目的や領域に応じて LLM を適用させることが重要です。 そのための一つの解決策として、この記事ではベクトルデータベースの活用を紹介します。ベクトルデータベースとは何か、どのような利便性をもたらすのかについて理解を深めるための一助となれば幸いです。 LLM におけるドキュメント検索の方法​ LLM（LargeL Language Model/大規模言語モデル）は、大量のテキストデータから学習し、自然言語を理解する能力を持つ AI モデルです。LLM については下記の記事でも解説しています。 AI 時代の働き方革命！大規模言語モデルのビジネスへのインパクト

LangChain の長い文章を扱う方法はじめに​ LLMを用いて要約や抽出など、複雑な処理を一つのクエリで行うことができます。しかし、モデルの入力の最大数により、そのクエリの長さが限られています。例えば、OpenAIのtext-davinci-003は2,049トークン、gpt-4は8,192です。したがって、一つのクエリで長いデータを処理するのは困難です。そのため、本記事では、LangChainを用いて、長いドキュメントを扱う方法を紹介します。 長い文章を扱う方法​ 大規模言語モデル（LLM）でToken長が超えた場合の対応方法について モデルの最大長を超えたドキュメントを扱うには、複数のクエリに分散する必要があります。その際、四つの手法があります。 Stuffing：一つのクエリで処理する（StuffDocumentsChainで実装）【既存のやり方】 Map Reduce：処理を単

ChatGPTとは？機能、得意なこと不得意なこと、活用例などの基本知識を解説はじめに​ 現代のデジタル社会では、人工知能（AI）がますます身近な存在となり、多くの場面でその恩恵を受けるようになってきました。その中でも、とくに注目を集めているのが自然言語処理技術を駆使したAIチャットボット「ChatGPT」でしょう。 ChatGPTは、OpenAIによって開発された高度な対話型AIであり、テキスト生成や多言語翻訳、データ分析など、さまざまなタスクに対応できる多機能なツールです。本記事では、ChatGPTの基本情報や仕組み、具体的な機能、得意なことや苦手なこと、さらには上手く活用するためのコツや将来の展望について詳しく解説します。 これからのAI時代において、ChatGPTがどのような役割を果たし、どのように活用できるのかを一緒に見ていきましょう。 ChatGPTとは​ ChatGPTは、Op

⭐️ 4/17(木)に「AI Agentが創出する"対話の次"の顧客体験」に関するウェビナーを開催します！詳細はこちらから ⭐️

LangFlow とはLangFlow とは​ LangFlow は、LangChain の GUI を提供するパッケージです。 これを用いることで、ドラッグ＆ドロップでコンポーネントを組み立て、チャットボックスでフローの実験とプロトタイプを楽に行うことができます。 LangFlow の使い方​ LangFlow の実行​ ここでは、LangFlow の使い方を簡単に紹介します。 実行環境への依存度を下げるため、今回は Docker コンテナを用いて実行します。 適当なディレクトリ内に、以下の２つのファイルを作成します。 Dockerfile FROM python:3 USER root RUN apt-get update RUN apt-get -y install locales && \ localedef -f UTF-8 -i ja_JP ja_JP.UTF-8 ENV LA

GitHub Actionsでの環境変数の扱いについてこの記事では GitHub Actions の環境変数の扱いについてまとめています。 環境変数の設定方法​ GitHub Actions では環境変数は workflow ファイルに記述する形で設定します。 環境変数のスコープ範囲は任意に設定できます。 下のコードは公式のドキュメントより引用したものです。 name: Greeting on variable day on: workflow_dispatch env: DAY_OF_WEEK: Monday jobs: greeting_job: runs-on: ubuntu-latest env: Greeting: Hello steps: - name: "Say Hello Mona it's Monday" run: echo "$Greeting $First_Name.

LangChain のエージェントについて概要​ このページでは以下の内容を解説します。 エージェントとツールの概要 ツールについて 代表的なツールの概要 ツールの導入方法 カスタムツールの定義方法 既存のツールを調整する方法 エージェントについて 利用可能なエージェントの種類 エージェントの構築方法と基本的な使用方法 なおこの文書ではカスタムエージェントを取り扱いません。詳しく知りたい方は、Custom Agent を参照してください。 エージェントとツール​ LangChain は、エージェントと呼ばれる機能を提供しています。 これは、ユーザーの要求を「どのような手段を使ってどういう順番で解決するか」を LLM を使って自動的に決定してくれるような機能です。 また、エージェントを使用する際には、ツールを使うことができます。 ツールは、"エージェントが世界と対話できるようにする" ための

LangChain のエージェントの使用例概要​ このページでは、LangChain のエージェントの使用例を紹介します。 エージェントの概要や基本的な使用例を確認したい方は、先に、「エージェントについて」や 「LangChain を Python で使う」 などをご覧ください。 このページでは、エージェントの使用例として、以下に挙げるものを取り扱います。 Conversation Agent "conversational-react-description" エージェントを用いてチャットボットを作成します MRKL "MRKL Systems" という論文で提案されたアーキテクチャを模倣するエージェントを構築します 使用するエージェントタイプは "zero-shot-react-description" です ツールとしてデータベースや検索 API などの外部のツールを呼び出せるような

LangChain を Python で使う概要​ LangChain を使用する手順は以下の通りです。 インストール 環境設定 LLM を利用したアプリケーションの実装 本文書では、まず、LangChain のインストール方法と環境設定の方法を説明します。 その後、LLM を利用したアプリケーションの実装で用いる機能であろう以下の６つの機能の使用例を紹介します。 LLMs: 言語モデルを呼び出すためのラッパーを提供します チャットモデル: チャットモデルを呼び出すためのラッパーを提供します プロンプトテンプレート: プロンプトのテンプレートを作成する機能を提供します チェーン: ひとつのワークフロー内で LLM やプロンプトテンプレートを組み合わせて使用するための機能を提供します エージェント: エージェントを使用することで、課題の解決順序をも LLM を用いて決定し、実行させることがで

大規模言語モデル（LLM）の概要について大規模言語モデル（LLM）の概要​ **大規模言語モデル(LLM, Large Language Model)**は、膨大なデータセットを基に学習した言語モデルのことで、2018 年にBERTのモデルが登場して以来、注目を集めています。 LLM は、与えられた入力から適切な出力を生成する能力を持ち、GPTやBLOOM、LLaMAといった多言語対応のモデルが多いことも特徴です。 大規模言語モデル（LLM）の基本的な仕組み​ 入力文をベクターに変換（形態素解析などで文をトークンに分割） Encoder（トークンから特徴量を抽出） Decoder（特徴量を基に次のトークンを予測） 入力文に続くトークンの確率を出力 上記の手順を繰り返して、文章が生成されます。 尚、これらのモデルは非常に大規模で、メモリー不足のため一般的なマシンでの実行が難しい場合が多いです

LangChainとは？各モジュールの機能と活用事例まとめはじめに​ LangChainと呼ばれPythonライブラリをご存じでしょうか。 OpenAIのAPIなど、LLMを用いたアプリケーションは学習時点のデータを用いて回答するため、最新情報が求められるケースでは使い勝手が悪いです。 そこで登場したのがLangChain。 LangChainを用いれば、最新情報を考慮したチャットアプリが作成可能です。その他にも開発をサポートする様々な機能がLangChainには備わっています。 今回はLLMアプリケーション開発によく用いられる LangChainを導入するメリットや各種機能（モジュール） について紹介します。 LangChainとは何か​ LangChainとは、GPT-3 のような大規模言語モデル（Large Language Model: LLM）を用いたサービス開発時に役立つライブ

WhisperとPyannoteを用いた話者分離と音声認識概要​ 本記事ではWhisperとPyannoteを使った話者分離と音声認識の方法をサンプルコードとともに紹介します。 2022年12月現在、Whisperで話者分離を行うことは難しく、Pyannoteで話者分離した音声に対してWhisperで音声認識を行う手法が主流となっています。本記事ではYoutube動画を上記方法で話者分離と音声認識にかけてみます。なお、本記事は動作環境としてGoogle Colabを想定しています。

Faissの概要概要​ 本記事では近似最近傍探索ライブラリの Faiss について解説します。 Faiss とは​ Faiss とは、Meta（Facebook）製の近似最近傍探索ライブラリであり、類似の画像やテキストを検索するためのインデックスを作成するツールです。Faiss は C ++で記述されていますが、Python ラッパーを使用して Python で高速な学習が可能です。 他の近似最近傍探索ライブラリ​ Faiss の他に、有名な近似最近傍探索ライブラリとして、FLANN、Annoy、NMSLIB、NGT などがあります。ライブラリの比較は以下の記事が参考になります。 近似最近傍探索ライブラリ比較 類似商品 API で使っている近傍探索のツールを NGT から faiss に切り替えたお話 Index のアルゴリズム​ 探索の手法​ 探索の手法は大きく以下の 2 種類があります

このドキュメントは、Hakky Handbook のイントロです。 目的​ Hakky Handbook は、Hakky の会社・事業・カルチャー・技術に関する情報を体系化し、外部・内部に発信することを目的として情報の蓄積や発信を行なっています。 Hakky について知りたい外部の関係者の方や、技術的なナレッジを知りたい方、社内のメンバーにとっても有益な情報を公開していくことを目的としています。 コンテンツ​ コンテンツは以下のカテゴリーに分かれています。 Docs となっているところが、各事業についてや会社で扱う技術や情報などを体系的に取りまとめたものになります。各事業のサービスを受ける方や、これから Hakky に参画したい、また興味を持っていただいてる方は、気になるものを読んでいただけると参考になるかなと思います。 Docs データ活用支援・・・これからデータ活用を行なっていきたいと

dbt とは​ dbt とは、data build tool の略で、ELT の T を担当するソフトウェアです。つまり、データウェアハウスにあるデータを加工してデータウェアハウスに書き戻すツールになります。ELT の EL の部分は Meltano など他のツールに任せます。 特徴​ dbt には主に以下の機能や特徴があります。 SQL の SELECT 文だけで開発可能 スキーマや依存関係に関するドキュメントの自動生成機能 NULL、参照整合性などの自動テスト機能 Jinjaによる処理のモジュール化 Git、CI / CD などソフトウェア開発の手法が活用可能 dbt の利用方法​ dbt は、SaaS としての「dbt Cloud」と OSS の「dbt CLI」を利用することができます。それぞれの機能の違いは以下の記事をご参照ください。 dbt Cloud と dbt-core (

⭐️ 4/17(木)に「AI Agentが創出する"対話の次"の顧客体験」に関するウェビナーを開催します！詳細はこちらから ⭐️