タグ

ブックマーク / note.com/mahlab (2)

  • LLMアプリケーションの新定番、Microsoft guidanceライブラリのgenメソッドを詳細に追ってみる|mah_lab / 西見 公宏

    MicrosoftguidanceライブラリはLLMアプリケーションを作成する際の新たな定番となりそうな気がしています。そういう訳で、今回はguidanceのgenメソッドについて詳しく追ってみたいと思います。 基的な使い方import guidance gpt3 = guidance.llms.OpenAI("text-davinci-003") gpt3_5 = guidance.llms.OpenAI("gpt-3.5-turbo") gpt4 = guidance.llms.OpenAI("gpt-4", api_key=API_KEY) guidance.llm = gpt3まずはguidanceライブラリを読み込み、使用するLLMを宣言します。OpenAI APIを使用する場合、初期化パラメータとして以下のパラメータを使用できます。 model 使用するモデルの名前を指定し

    LLMアプリケーションの新定番、Microsoft guidanceライブラリのgenメソッドを詳細に追ってみる|mah_lab / 西見 公宏
    kotesaki
    kotesaki 2023/05/28
    メモ
  • 行政の統計資料のような非構造化データをGPTで構造化データに変換する|mah_lab / 西見 公宏

    今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか?というのが日のお題になります。 コードP

    行政の統計資料のような非構造化データをGPTで構造化データに変換する|mah_lab / 西見 公宏
    kotesaki
    kotesaki 2023/03/16
    これ、ほんま実用化したい。ちゃんとOpenAIにお布施しようかな。あとあのクソ使いにくいeStatから必要なデータを掘り出してきてくれたらもっと嬉しいんだけど。
  • 1