大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－ - Qiita
はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると
【統計モデリング入門 】一般化線形モデル（GLM）を基礎から学ぶ -Pythonによる実践あり-｜はやぶさの技術ノート
最初に「モデリング」や「モデル」などの用語について整理しておきます。 モデリングとは あるデータを入力したとき、ユーザーがほしい情報を出力する箱をモデルと呼びます。 例えば下図は、あるパターンの波形を入力すると、その数秒先の波形を予測（出力）するモデルのイメージです。 引用元：MXNetとLSTMで時系列データ予測 -入門から実践まで- このモデルを設計する作業がモデリングです。具体的には、モデルの中身にあたるアルゴリズムを検討する作業のことです。 近年では深層学習モデルが人気です。実は上図もLSTMと呼ばれるアルゴリズムを活用した深層学習モデルです。
時系列予測のベストプラクティスを共有するGitHubリポジトリを開設、Microsoft
時系列予測のベストプラクティスを共有するGitHubリポジトリを開設、Microsoft：PythonやR向け Microsoftは、時系列予測のベストプラクティスを共有するためのGitHubリポジトリを開設した。PythonやRを使っている開発者に向けたものだ。 Microsoftの「R」コミュニティー向けブログサイト「Revolutions」は、2020年4月14日（米国時間）、時系列予測のベストプラクティスを共有するためのGitHubリポジトリ「Time Series Forecasting Best Practices & Examples」を開設したと発表した。 Microsoftはこのリポジトリについて、README.mdで次のように説明している。 「時系列予測は、データサイエンスで最も重要なトピックの一つだ。的確な意思決定と効果的な資源配分を行うために、ほぼ全ての企業には未来
Pythonで作って学ぶ統計モデリング | AIdrops
Pythonで作って学ぶ統計モデリング 近年、AIや機械学習、深層学習といった用語に代表されるように、多種多様のデータを高度なアルゴリズムと計算機の力で解析し、将来予測などの価値を生み出す技術に注目が集まっています。 これらの技術の土台となっているのが、本記事で解説する統計モデリング（statistical modeling） と呼ばれる考え方です。元々は手計算が可能なレベルの比較的シンプルな数学的仮定を置いてデータを解析する方法論として発展しましたが、近年の計算機の性能発達に伴い、従来では取り扱えなかったより複雑なモデルを利用した高度な解析を実施する事例が増えてきています。特に、現在実践で広く使われている機械学習のモデルや、複雑な非線形関数を組み合わせた深層学習モデルなども、その多くは突き詰めれば統計モデルの一種であることが言えます。したがって、統計モデリングはそれ自体がデータ解析に対し
機械学習で作成したモデルをREST APIとしてdeployする[python] - データナード
モデルを運用する方法の一つとして、REST APIがあります。これは、予測したいデータをWebベースのAPIに送信することで、予測値のレスポンスを取得する方法です。ここでは、pythonでflaskを用いて試します。 joblib.dumpでモデルを保存する 作成したモデルをjoblib.dumpを用いてファイルとして保存することができます。 from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd iris = datasets.load_iris() X = pd.DataFrame(iris.data, columns=["sepal_l
![機械学習で作成したモデルをREST APIとしてdeployする[python] - データナード](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e2d30ff875f12a759f0d5588563ad3629215e1e/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8599973812286868474%2F8599973812294041100%2F1504332957)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
