はてなブックマーク

OpenAI API を Python で使うOpenAI API を Python で使うには以下の手順に従います。 OpenAI PythonライブラリをインストールするAPIキーを設定するAPIを使用してテキスト生成する以下でこれらの手順を説明します。 1. OpenAI Pythonライブラリをインストールする​openai Pythonライブラリをインストールしてください

OpenAI API の料金体系はじめに​OpenAIは、GPT-4などの先進的なAIモデルを提供しています。これらのモデルは、自然言語処理・画像認識・音声認識など、さまざまなタスクに使用できます。OpenAIでは、最初の3ヶ月間で使用できる5ドルの無料クレジットを提供しており、その後は使用したリソースのみを支払う料金体系を採用しています。この記事では、OpenAI APIの各モデルの料金体系について詳しく解説します。 ご紹介するのは、OpenAIの公式サイトに掲載されている(2023年8月3日時点)以下のモデルです。 GPT-4GPT-3.5 TurboFine-tuning modelsEmbedding modelsDALL·EWhisper尚、その他の旧モデル(非推奨/廃止予定)についても同公式サイトにてご確認いただけます。 OpenAI API 言語モデルの料金​OpenAI A

※この記事は AI によって書かれた内容をもとに作成したものになります。Hakky では自社の取り組みの一環として、記事作成に AI を導入しています。 近年、AI 技術の発展により、様々なチャットボットが登場しています。中でも、OpenAI が開発した ChatGPT は、高い応答性能を持つことから注目を集めています。しかし、SNS で話題になっているプロンプトインジェクション攻撃という手法により、通常とは異なる予期しえない結果が出力されることがあります。本記事では、ChatGPT のプロンプトインジェクション攻撃について解説し、対策方法を提案します。 そもそも ChatGPT とは​ ChatGPT は、OpenAI が開発した大規模な AI 言語モデルです。GPT-4 アーキテクチャに基づいており、高度な自然言語理解と生成能力を備えています。これにより、人間が書くような文章を生成した

※この記事は AI によって書かれた内容をもとに作成したものになります。Hakky では自社の取り組みの一環として、記事作成に AI を導入しています。 2023 年 7 月 7 日、ChatGPTの運営元であるOpenAIは、全 ChatGPT Plus ユーザーを対象に**Code interpreter(コードインタプリタ)**の実装を発表しました。これにより ChatGPT 上でコードを実行したりローカルファイルのデータを扱うことができるようになります。この記事では、ChatGPT と Code Interpreter の概要から、具体的な活用方法、設定方法、トラブルシューティングまでを詳しく解説します。 Code interpreter(コードインタプリタ)とは​ ChatGPTは、OpenAI が開発した対話型の生成 AI です。この AI は膨大な学習データに基づいて自然な応

はじめに​ この記事では、API のサービングの観点から EC2,ECS, Lambda を比較します。 EC2 の API サービングについて​ 料金​ リザーブドインスタンスを購入することで料金を下げることができる メンテナンス​ ECS や Lambda に比べて、より多くの管理とメンテナンスが必要 EC2 では、ユーザがインスタンスを自ら管理し監視する必要があり、適切にプロビジョニングされ、必要なセキュリティ構成を持ち、適切にスケーリングされていることを確認する必要がある 利点​ ECS、Lambda と比較して、もっともリソースの制約がなく、カスタマイズ性が高い GPU インスタンスをサポート 欠点​ インスタンスの管理が必要であり、複雑になる可能性がある 他のオプションよりも高価になる場合があり、特に効率的に使用されない場合はそうなる可能性がある Docker を使わない限りは

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要​ 本記事では ONNX の概要について解説します。 ONNX とは​ ONNX（オニキス）とは、機械学習モデルを表現するために使用されるオープンソースのフォーマットです。機械学習の世界では、TensorFlow や PyTorch、Caffe、Chainer など、様々なフレームワークが存在しており。プロジェクトに応じてフレームワークを使い分けているかと思います。複数のフレームワークを扱っていると、あるのフレームワークで学習したモデルを別ののフレームワークで使いたいといった、ニーズが発生します。フレームワーク間で共通して使用可能なフォーマットである ONNX 形式に変

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 LLM におけるドキュメント検索の方法​ LLM（LargeL Language Model/大規模言語モデル）は、大量のテキストデータから学習し、自然言語を理解する能力を持つ AI モデルです。LLM については下記の記事でも解説しています。 AI 時代の働き方革命！大規模言語モデルのビジネスへのインパクト 大規模言語モデル（LLM）の概要について LLM を用いて、ユーザーが求める情報を含むドキュメントを検索する方法は主に 2 つあります。 検索エンジンの利用​ 検索エンジン（例：Azure Cognitive Search）は、Storage、Share Point、

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 はじめに​ LLMを用いて要約や抽出など、複雑な処理を一つのクエリで行うことができます。しかし、モデルの入力の最大数により、そのクエリの長さが限られています。例えば、OpenAIのtext-davinci-003は2,049トークン、gpt-4は8,192です。したがって、一つのクエリで長いデータを処理するのは困難です。そのため、本記事では、LangChainを用いて、長いドキュメントを扱う方法を紹介します。 from langchain.text_splitter import TokenTextSplitter max_tokens:int = 18 text_spli

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 はじめに​ 現代のデジタル社会では、人工知能（AI）がますます身近な存在となり、多くの場面でその恩恵を受けるようになってきました。その中でも、とくに注目を集めているのが自然言語処理技術を駆使したAIチャットボット「ChatGPT」でしょう。 ChatGPTは、OpenAIによって開発された高度な対話型AIであり、テキスト生成や多言語翻訳、データ分析など、さまざまなタスクに対応できる多機能なツールです。本記事では、ChatGPTの基本情報や仕組み、具体的な機能、得意なことや苦手なこと、さらには上手く活用するためのコツや将来の展望について詳しく解説します。 これからのAI時代に

ChatGPT とは​ChatGPT は、OpenAI によって開発された大規模なニューラルネットワークモデルに基づく自然言語処理 AI です。人間のように自然な文章を生成する能力を持ち、様々な自然言語タスクに対して高い性能を発揮します。そのため、ビジネスの様々な領域で活用できます。 ChatGPT ができること​ ChatGPT は、テキスト生成、プログラミング、文書の要約、機械翻訳など、多岐にわたるタスクをこなすことができます。これらの能力は、ビジネスの様々な領域で活用することが可能です。これらはその一例です。 テキスト生成 ChatGPT は、指定されたトピックやスタイルに基づいて自然な文章を生成することができます。これにより、ブログ記事やレポートの作成、メールの自動作成など、様々な業務を効率化することが可能です。 プログラミング ChatGPT はプログラミング領域における能力でも

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 LangFlow とは​ LangFlow は、LangChain の GUI を提供するパッケージです。 これを用いることで、ドラッグ＆ドロップでコンポーネントを組み立て、チャットボックスでフローの実験とプロトタイプを楽に行うことができます。 LangFlow の使い方​ LangFlow の実行​ ここでは、LangFlow の使い方を簡単に紹介します。 実行環境への依存度を下げるため、今回は Docker コンテナを用いて実行します。 適当なディレクトリ内に、以下の２つのファイルを作成します。 Dockerfile FROM python:3 USER root RU

この記事では GitHub Actions の環境変数の扱いについてまとめています。 環境変数の設定方法​ GitHub Actions では環境変数は workflow ファイルに記述する形で設定します。 環境変数のスコープ範囲は任意に設定できます。 下のコードは公式のドキュメントより引用したものです。 name: Greeting on variable day on: workflow_dispatch env: DAY_OF_WEEK: Monday jobs: greeting_job: runs-on: ubuntu-latest env: Greeting: Hello steps: - name: "Say Hello Mona it's Monday" run: echo "$Greeting $First_Name. Today is $DAY_OF_WEEK!" en

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要​ このページでは以下の内容を解説します。 エージェントとツールの概要 ツールについて 代表的なツールの概要 ツールの導入方法 カスタムツールの定義方法 既存のツールを調整する方法 エージェントについて 利用可能なエージェントの種類 エージェントの構築方法と基本的な使用方法 なおこの文書ではカスタムエージェントを取り扱いません。詳しく知りたい方は、Custom Agent を参照してください。 エージェントとツール​ LangChain は、エージェントと呼ばれる機能を提供しています。 これは、ユーザーの要求を「どのような手段を使ってどういう順番で解決するか」を LLM

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要​ このページでは、LangChain のエージェントの使用例を紹介します。 エージェントの概要や基本的な使用例を確認したい方は、先に、「エージェントについて」や 「LangChain を Python で使う」 などをご覧ください。 このページでは、エージェントの使用例として、以下に挙げるものを取り扱います。 Conversation Agent "conversational-react-description" エージェントを用いてチャットボットを作成します MRKL "MRKL Systems" という論文で提案されたアーキテクチャを模倣するエージェントを構築し

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要​ LangChain を使用する手順は以下の通りです。 インストール 環境設定 LLM を利用したアプリケーションの実装 本文書では、まず、LangChain のインストール方法と環境設定の方法を説明します。 その後、LLM を利用したアプリケーションの実装で用いる機能であろう以下の６つの機能の使用例を紹介します。 LLMs: 言語モデルを呼び出すためのラッパーを提供します チャットモデル: チャットモデルを呼び出すためのラッパーを提供します プロンプトテンプレート: プロンプトのテンプレートを作成する機能を提供します チェーン: ひとつのワークフロー内で LLM や

大規模言語モデル（LLM）の概要​ **大規模言語モデル(LLM, Large Language Model)**は、膨大なデータセットを基に学習した言語モデルのことで、2018 年にBERTのモデルが登場して以来、注目を集めています。 LLM は、与えられた入力から適切な出力を生成する能力を持ち、GPTやBLOOM、LLaMAといった多言語対応のモデルが多いことも特徴です。 大規模言語モデル（LLM）の基本的な仕組み​ 入力文をベクターに変換（形態素解析などで文をトークンに分割） Encoder（トークンから特徴量を抽出） Decoder（特徴量を基に次のトークンを予測） 入力文に続くトークンの確率を出力 上記の手順を繰り返して、文章が生成されます。 尚、これらのモデルは非常に大規模で、メモリー不足のため一般的なマシンでの実行が難しい場合が多いです。 大規模言語モデル（LLM）ができるこ

はじめに​ LangChainと呼ばれPythonライブラリをご存じでしょうか。 OpenAIのAPIなど、LLMを用いたアプリケーションは学習時点のデータを用いて回答するため、最新情報が求められるケースでは使い勝手が悪いです。 そこで登場したのがLangChain。 LangChainを用いれば、最新情報を考慮したチャットアプリが作成可能です。その他にも開発をサポートする様々な機能がLangChainには備わっています。 今回はLLMアプリケーション開発によく用いられる LangChainを導入するメリットや各種機能（モジュール） について紹介します。 LangChainとは何か​ LangChainとは、GPT-3 のような大規模言語モデル（Large Language Model: LLM）を用いたサービス開発時に役立つライブラリです。 LangChainを用いると、他のシステムと統

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要​ 本記事ではWhisperとPyannoteを使った話者分離と音声認識の方法をサンプルコードとともに紹介します。 2022年12月現在、Whisperで話者分離を行うことは難しく、Pyannoteで話者分離した音声に対してWhisperで音声認識を行う手法が主流となっています。本記事ではYoutube動画を上記方法で話者分離と音声認識にかけてみます。なお、本記事は動作環境としてGoogle Colabを想定しています。 from pathlib import Path #@markdown #### **Youtube video** video_url = "htt

Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要​ 本記事では近似最近傍探索ライブラリの Faiss について解説します。 Faiss とは​ Faiss とは、Meta（Facebook）製の近似最近傍探索ライブラリであり、類似の画像やテキストを検索するためのインデックスを作成するツールです。Faiss は C ++で記述されていますが、Python ラッパーを使用して Python で高速な学習が可能です。 他の近似最近傍探索ライブラリ​ Faiss の他に、有名な近似最近傍探索ライブラリとして、FLANN、Annoy、NMSLIB、NGT などがあります。ライブラリの比較は以下の記事が参考になります。 近似最近

このドキュメントは、Hakky Handbook のイントロです。 目的​ Hakky Handbook は、Hakky の会社・事業・カルチャー・技術に関する情報を体系化し、外部・内部に発信することを目的として情報の蓄積や発信を行なっています。 Hakky について知りたい外部の関係者の方や、技術的なナレッジを知りたい方、社内のメンバーにとっても有益な情報を公開していくことを目的としています。 コンテンツ​ コンテンツは以下のカテゴリーに分かれています。 Docs となっているところが、各事業についてや会社で扱う技術や情報などを体系的に取りまとめたものになります。各事業のサービスを受ける方や、これから Hakky に参画したい、また興味を持っていただいてる方は、気になるものを読んでいただけると参考になるかなと思います。 Docs データ活用支援・・・これからデータ活用を行なっていきたいと

dbt とは​ dbt とは、data build tool の略で、ELT の T を担当するソフトウェアです。つまり、データウェアハウスにあるデータを加工してデータウェアハウスに書き戻すツールになります。ELT の EL の部分は Meltano など他のツールに任せます。 特徴​ dbt には主に以下の機能や特徴があります。 SQL の SELECT 文だけで開発可能 スキーマや依存関係に関するドキュメントの自動生成機能 NULL、参照整合性などの自動テスト機能 Jinjaによる処理のモジュール化 Git、CI / CD などソフトウェア開発の手法が活用可能 dbt の利用方法​ dbt は、SaaS としての「dbt Cloud」と OSS の「dbt CLI」を利用することができます。それぞれの機能の違いは以下の記事をご参照ください。 dbt Cloud と dbt-core (

Hakky HandbookHakkyでは、データ活用、機械学習プロダクト開発、基盤構築にご興味のある企業様向けに各種ナレッジをHandbookとして公開しております