最近、酢を飲むと健康に良いという話を聞き、頑張って毎日飲んでいるkonnoです。 何となくですが、朝の目覚めは良くなっている気がしますよ！ 今回はデータベース設計に欠かせないER図を、ChatGPTを使ってDDL（Data Definition Language：SQLのデータ定義言語）から簡単に作成できるのか試してみたいと思います。 サンプルとなるDDLを用意 DDLのサンプルとして、以下のMySQL公式サイトで公開されている従業員データベースを利用します。 dev.mysql.com 従業員データベースに必要なファイル類一式は、上記サイトで紹介されている以下のGithubリポジトリから、 "test_db-master.zip"としてダウンロードできます。 github.com ダウンロードしたtest_db-master.zipには、従業員データベースを設定するために必要なDDLとし

カメラ好き機械学習エンジニアの@yktm31です。 ChatGPTは便利ですが、プロンプトの内容でいかに質問・指示するかで、その精度はだいぶ変わってきます。 うまく質問・指示するのは、工夫が必要だったりしますが、そこで役立つのが、「Prompt Perfect」というプラグインです。 www.blog.promptperfect.xyz Prompt Perfectは、ChatGPTへのプロンプトの内容を自動で改善してくれるプラグインです。 本記事では、その使い方や効果について、試していきます。 プラグインを有効化 使い方 基本の使い方 日本語で回答させる もう一つ試してみる Prompt Perfectの補完内容 注意点 まとめ プラグインを有効化 1) プラグインを有効化するため、Plugin storeからインストールします。 2) インストール後、メールアドレスの登録か、Googl

こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用（原文の表記はon your data）は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用（以降、on your dataと表記します）により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d

こんにちは、igaです。 台風が接近していて、外出の予定と重ならないかドキドキしています。 今回は、Azure OpenAI Service（以下、Azure OpenAIと記載します）で7月から利用できるようになった「Function calling」を試してみます。 Function callingとは、実行可能な関数を予め定義しておき、自然言語から実行すべき関数と引数を特定してくれる機能です。 OpenAIのAPIで、6月にリリースされた機能ですが、それがAzure OpenAIでも利用できるようになりました。 この機能のポイントは、「関数を呼び出す」ことではなく、「呼び出す関数（とその引数）を特定してくれる」ことにあります。 （名前が「Function calling」なのに、ややこしいですね） Azure OpenAIの利用開始方法とAPIの呼び出し方については、前回の記事を参考

今朝は雨が降ったようで、久しぶりに涼しい朝を迎えられた菅野です。 前回の記事「日々のExcel管理を効率化するPythonスクリプトをChatGPTに作ってもらう」には多くの反響をいただきありがとうございます。 acro-engineer.hatenablog.com 前回は、Pythonスクリプトを生成することで、Excel管理の作業を自動化することを目的としていました。 ただ、エンジニアでない社員からは、以下のようなコメントをもらいました。 エンジニアではない人はPython実行もハードルが高い ChatGPTとExcelファイルだけで完結させてほしい ということで、今回はPythonスクリプトを意識することなく、ChatGPTのCode Interpreterのみを用いてExcelの集計・編集作業を行ってみます。 今回のテーマではGPT-4モデル、Code Interpreterを使

カメラ好き機械学習エンジニアの@yktm31です。 先日、以下のように、ChatGPTのCode Interpreterを用いて、画像データを加工する記事を書きました。 その際は、リサイズや画像の切り抜きなど、基本的な加工ができることを確認しました。 今回は、画像編集ソフトで行うような、より高度な画像処理を実施してみたいと思います。 acro-engineer.hatenablog.com 利用する画像は前回記事と同様、以前撮影した富士山の写真を使いたいと思います。 画像処理/加工 今回、以下のような画像処理／加工を実施してみました。 ガンマ補正を適用し画像を明るくする CLAHEを適用しコントラストを調整する シャープネスを向上させる ノイズ除去を適用する ガンマ補正を適用し画像を明るくする ガンマ補正は、画像の明るさを非線形に調整するための手法です。 一番単純に画像を明るくする方法は、

最近は朝型にシフトしてウォーキングを始めました。菅野です。 皆さんは日々の業務でどれぐらいExcelを用いているでしょうか？ 表計算ソフトであるExcelですが、計算のみならず、グラフ描画や、文章を表形式でまとめたり、マニアックな使い方ではアニメーションの作成までできてしまいます。 エンジニア以外の方も業務で使用することが多いのではないでしょうか？ しかしながら、業務上でExcelを用いると、日々の煩雑な作業が多くなりやすい印象です。 エンジニアであればVBA等を調べてマクロを作るといったことも可能ですが、一般の人にはハードルが高くなってしまいがちです。 今回はそんなExcelを用いた業務をChatGPTにPythonスクリプトを作ってもらうことで効率化してみましょう。 今回のテーマではGPT-4のモデルを使用します。 また、CodeInterpreterで対象のExcelファイルを読み込

最近は、健康系アプリにはまっているkonnoです。 今年は本当に暑いですね...過去〇〇年で最高、などと言われることもありますが、でも、実際のところはどうなんでしょうか？ 今回は、データさえ与えればあっという間に分析してくれるCode Interpreterを使って、過去の気象データから気温変化の傾向を見てみたいと思います。 気象データをCode Interpreterで分析 気象データを取得する 今回使用する気象データは、気象庁が公開している「過去の気象データ・ダウンロード」という以下のページから取得しました。 www.data.jma.go.jp 条件としては、以下のようにしています。（※今回は2022年12月31日までのデータを使用しています。） 項目 内容 地点 横浜 項目 日平均気温 期間 1893/01/01 ～ 2022/12/31 表示オプション デフォルト設定のまま ファ

最近三年ぶりに海水浴にって来ました、やっぱり夏は海ですね。菅野です。 ChatGPTは、言語生成AIであり、Stable Diffusion、Midjourneyといった画像生成AIとは異なり画像を生成することは通常できません。 しかしながら、テキストベースのフォーマットであれば、プログラムといった文章とは異なるものも出力することができます。 そう、XML形式で画像を表現するSVGであれば、ChatGPTから生成することが可能なのです。 今回はSVGを使ってChatGPTのGPT-4モデルにお絵描きをしてもらい、 どういった表現まで可能なのかを探っていこうと思います。 www.w3.org 簡単な図形から描いてもらう まずは、試しに簡単な図形から描画してもらいましょう。 <svg xmlns="http://www.w3.org/2000/svg" width="200" height="

こんにちは、igaです。 先日の連休で、あるコンテンツの聖地巡礼をして英気を養ってきました！ 英気を養ったところで、「Node.jsからPythonにソースコードを移植する」ということが必要になりました。 元のNode.jsのコードでPythonには存在しない書き方をしていて、そのままPythonに書き直すのが難しいため、ChatGPTに助けてもらって移植を行ってみよう、と考えました。 今回のポイント 変換にあたって、Node.jsで変数の値をインクリメントする「index++」という記述が、Pythonには存在しません。 同じように変数の値をインクリメントする場合、Pythonでは「index += 1」という記述にする必要があります。 それで今回のソースコードですが、関数の引数を指定するところでインクリメントの、しかもやや複雑な記述が存在していました。 num = this.#tran

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事は「Prompt Flowを使ってRAGの回答を自動評価する」記事の続きの記事になります。 acro-engineer.hatenablog.com 前回記事では、Azure Machine Learning Prompt Flowを使って手動で回答を評価することはできたので、今回はファイルから複数回答の自動評価を検証してみます。 目次 おさらい 一括テストを使ってファイルのデータを対象に実行する データファイルを用意する 一括テストを設定・実行する 一括テストの評価結果を確認する まとめ おさらい まず、今回検証したい内容をおさらいします。 RAGのシス

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 Microsoft Buildを経て、AzureにもGPTを利用したサービスが数多く発表されており、LLMをサービスとして利用できる使い方増えていてワクワクしますね。 今回と次回の記事を通して、その中のサービスの一つであるAzure Machine Learning Prompt Flowというサービスを使ってRAG（Retrieval Augmented Generation）の回答を自動評価するシステムを試してみます。 この記事では、まずはPrompt Flowを使って手動で回答を評価してみるところまでを検証します。 ※RAGとは事前に知識を検索エンジンなどに

近頃、夜食づくりにはまっているkonnoです。 データ分析もできると話題のChatGPT Code Interpreterを使えば、機械学習もお手軽にできるのでは…？ ということで、Kaggleチュートリアルとして有名な「Titanicの生存者予測」を ChatGPT Code Interpreterを使って分析できるのか 試してみたいと思います！ Titanic生存者予測とは？ かの有名のタイタニック号の乗員名簿と、事故で生存したか否かのデータを機械学習し、乗員の属性（性別、年齢、乗船時の運賃など）から生存したか否かを推定する課題です。 よく考えるとひどい設定ですね。 話題のわかりやすさと、それなりに特徴的な結果が出るところから、機械学習の初学者がやる練習問題として世界的に有名です。 データはKaggleさんから取得できます。 www.kaggle.com 機械学習を利用してTitani

カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして発表された「Code Interpreter」ですが、 趣味の写真でもなにか使えないかと思い、画像処理を試してみることにしました。 openai.com Code Interpreterの概要や有効化の方法は前の記事をご覧ください。 acro-engineer.hatenablog.com 以前撮影した、富士山の写真から、Zoomの仮想背景に使うことを想定し、色々と加工させてみたいと思います。 画像処理/加工 今回、以下のような画像処理／加工を実施してみました。 画像サイズの確認 画像をFullHDサイズにする 画像の明るさと彩度を調整する 指定の形で切り抜く データをダウンロードする 画像サイズの確認 まずは画像のサイズを確認します。 これくらいはお手の物。写真アプリで確認したサイズとも一致

昨年から育てていたバジルがもはや木になりつつある菅野です。 今注目を集めつつある文章生成AIである「ChatGPT」に関して、提供元のOpenAI社は2023/07/07に、「GPT-4」のAPIを有料ユーザー向けに一般公開したことを発表しました。 今回は、その「Chat Completions API」について紹介します。 例えば、自作のWebアプリでChatGPTライクなやりとりを実現したい、 それで入力された文章を加工したプロンプトでChatの応答を得たい、 といったときに、このAPIを使います。 この図のような動きですね。 openai.com Chat Completions API とは？ 「Chat Completions API」は、チャット補完に特化した言語モデルと、それを利用する専用のAPIです。 ChatGPTでも同じ言語モデルを利用しているため、このAPIを利用する

最近自室のポトスの成長が著しく、ジャングルになりつつある菅野です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」では、Pythonコードの生成・実行が可能ですが、本記事では、「Code Interpreter」が生成したコードを実行する場合、外部APIにアクセスは可能なのか、確認してみます。 openai.com 検証で用いるAPI 今回の検証では以下のREST-APIを認証なしで実行できるデモ用サイトを利用します。 JSONPlaceholder - Free Fake REST API 上記サイトの https://jsonplaceholder.typicode.com/todos/1 へリクエストを送信すると、以下のようなレスポンスが得られます。 { "userId": 1, "id":

ここのところ気温も暖かくなり、外に出かけるのが楽しみになってきた、カメラ好き機械学習エンジニアの@yktm31です。 いま世間を賑わせている生成系AI、ChatGPTは私にとって欠かせないものになりました。 そんな中つい先日、AWSから「Amazon CodeWhisperer」がGAになりました。 といことで、さっそく試してみました。 目次 概要 特徴 サポート サポートされるプログラミング言語 サポートされるIDE サポートされる自然言語 使い方 利用開始方法 基本操作 Lambdaで、DynamoDBのレコードを取得する処理と、そのユニットテストを書いてみた コード参照（Code references）を試してみる セキュリティスキャンを試してみる ドキュメントからわかったこと 安全性・セキュリティ ProfessionalとIndividualの違い 料金と制限 オプトアウト方法

皆さんこんにちは 機械学習チームYAMALEXの@tereka114です。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 日本時間3/2までKaggleで開催されていたコンペティションである「1st and Future - Player Contact Detection」がとても面白かったのでその共有をします。 なお、私が所属したチームは9位で金メダルを獲得しました。ソリューションは次に記載されておりますので、ご確認ください。 www.kaggle.com どのようなコンペだったのか。 NFLに関するコンペはここ数年連続で開催されています。 1年目：プレイヤーのヘルメットの座標を衝突したか否かを検出する。 2年目：プレイヤーのヘルメットごとにプレイヤーをアサインする

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ

皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活用してみます。 AIアシスタントとは何かというと、Google Homeのように命令を入力すると、それに沿った処理を実行してくれるシステムを指します。 ChatGPTとの違いは命令の結果は必ずしも文章生成だけではないということです。 ChatGPTでは文字列を入れて、要求に沿った文字列を返します。 対して、AIアシスタントでは、カレンダーに予定を入力したり、アラームを設定したりなど、具体的なタスクを実行します。 この記事では、前回に続