※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ

LangChainについて詳しく学びたい LangChainの主要機能であるModels・Prompts・Data Connection・Agents・Memory・Chainsを理解したい LangChainとは？ 【LangChain公式】https://python.langchain.com/en/latest/index.html LangChainとは、ChatGPTを代表とするような大規模言語モデル（LLM）の機能を拡張し、サービスとして展開する際に役立つライブラリです。 LangChainでできること 専門タスクに対応できる LLMは多くの自然言語タスクを効果的に実行できますが、深いドメイン知識や専門知識を必要とする質問やタスクに対して具体的な回答を提供できない可能性があります。 たとえば、医学や法律などの特定の分野に関する質問に回答するためにLLMを使用したいとします。L

AIが作成した文章なのか？人間が書いた文章なのか？を見分けてチェック判定できるOpenAIのAI作成テキスト解析チェックツール「AI Text Classifier」の使い方、および、判定結果例をまとめています。 この記事は、 楽してAIに文章を書かせてしまったが大丈夫だろうか？AIの回答を参考にしてブログを書いたが、AIに書かせた思われないだろうか？AIに頼らず一生懸命に記事を書いたが、AIに書かせたと誤解されないだろうか？この記事の筆者は本当に専門家なのだろうか？ズルしてAIに書かせているのでは？といったような、心配がある方へ向けてまとめています。 この記事を読むことで、 AIが書いた文章か？人間が書いた文章か？の判定がある程度できるようになります。自分（人間）の書いた文章がAIが書いたと思われないか？をチェックすることができるようになります。他人の書いた文章に関して、実はAIに書かせ

こんにちは、初めましての方は初めまして。株式会社 Fusic の瓦です。 ChatGPT が提供されてからというもの、世間の言語モデルに対する注目は留まるところを知らず、様々な団体や企業による言語モデルの利用や開発のニュースを見ない日は一日もないくらいです。この記事ではそのような企業で開発されているモデルを動かしてみたものになります。 環境 試してみたモデルは以下の六種類になります。 cyberagent/open-calm-1b: CyberAgent 社が開発したモデル cyberagent/open-calm-3b: CyberAgent 社が開発したモデル cyberagent/open-calm-7b: CyberAgent 社が開発したモデル rinna/japanese-gpt-neox-3.6b: Rinna 社が開発したモデル rinna/japanese-gpt-neo

日本語自然言語処理を行う際に、形態素解析をどうするかという問題はいつもつきまとってきます。 今回記事を書こうと思ったのは、Vaporettoなる形態素解析器を見かけたからです。 こちらに興味が湧いたのと、他の形態素解析器と比較してみたくなったので、やってみた次第です。 そんなわけで、今回は形態素解析で色々使って実験してみたのでそのメモです。 Vaporetto とりあえず動かしてみる 速度比較 Mecab Sudachi Juman++ Vaporetto 結果 形態素解析の結果を眺める 外国人参政権 魔法少女リリカルなのは 弁慶がなぎなたを持って 参考文献 感想 Vaporetto Vaporetto is a fast and lightweight pointwise prediction based tokenizer. This repository includes both

HTMLでWordファイル送信後、自然言語処理を行えるようにするまで 初回の投稿となりますが、HTML上で送信したWordファイルから、中身の文章を受け取って自然言語処理を行う手前までのフローを解説していこうと思います。 現役のエンジニアの方々からすると、何て事のない内容になっているかと思いますが、何もわからなかった過去の自分に向けて書いていこうと思います。 ※前提として、Flaskを使用して、HTMLのページを開けるぐらいの知識はあると仮定して進めていきます。 HTML上でのファイルの受け取り こちらは、HTML上で、ファイルの受け取る方法です。 <form action="/result" method="POST" enctype="multipart/form-data"> <div class="file_select"> <label for="file">wordファイルを選

rinna社から、日本語に特化した強化学習済みの「対話GPT言語モデル：rinna/japanese-gpt-neox-3.6b-instruction-ppo」をオープンソースで公開したとの大ニュースがありましたので、早速ためしてみます！😀 無料のGoogle Colabで動くお試し用の簡易プログラムも作ってみましたので、ぜひお試しください。 １．モデル特徴（プレス文から）36億パラメータ（3.6B）を持つ汎用GPT言語モデルをベースに、対話GPT言語モデルへのfine-tuningと強化学習を行っています。 強化学習には、HH-RLHFの一部を日本語に翻訳したデータを用いています。 強化学習済みのモデルは、Hugging Faceに商用利用可能なMIT Licenseで公開されています。 特定の利用目的に対して性能を最適化させたい場合には、fine-tuningやin-context

はじめに すえつぐ こんにちは！自然言語処理（NLP）・大規模言語モデル（LLM）の解説記事を書いている、すえつぐです！ 今回は、大規模言語モデル(LLM)について解説していきます。 2022年末にChatGPTが発表されてから、大規模言語モデル(LLM)が大きな注目を集めています。急激に注目を集めているLLMですが、「LLMを上辺だけでなく、しっかり理解したい」という人も多いのではないでしょうか。 今後、ビジネス・研究でLLMの重要度は増していくでしょう。実際もう仕事・研究に利用している人も多いのではないでしょうか。 ただ、ちゃんとLLMを理解して使っている人は、ほんの一握りです。「よくわかってないけどLLMを使う人」と「LLMを理解して使う人」では、ビジネス・研究において、今後大きな差ができていくでしょう。 そこで今回は、LLMをしっかり理解するために、必須の基礎知識からLLMを徹底解

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、大規模言語モデルのデータセットのソース、収集方法、その信頼性と倫理性、そしてデータのクリーニングと前処理についての詳細を解説します。 近年に公開された大規模言語モデルの年表 *1 こんにちは、アナリティクスサービス部の金です。 今回の話題は、ビジネスや研究における大規模言語モデル（Large Language Models、略してLLM）の根幹を成すデータセットです。データセットの内容と構成は、大規模言語モデルの振る舞いに大きく影響を与えます。 この記事

OpenAIは新しいフレームワーク「PRM」を発表しました。これは、大規模言語モデル（LLM）の数学能力を向上させるためのもので、AIが問題を解く際の誤りをプロセスベースで特定・修正する能力を強化します。このフレームワークで訓練した大規模言語モデルは、DeepMind社の作成した数学問題集（MTAHデータセット）において他のモデルを凌駕し最も優れたパフォーマンスを見せました。 また、この手法は数学だけでなく推論能力を必要とする広範な問題の解決にも応用できる可能性があり、注目を集めています。 参照論文情報 タイトル：Let’s Verify Step by Step 著者：Hunter Lightman, Vineet Kosaraju, Yura Burda, Harri Edwards, Bowen Baker, Teddy Lee, Jan Leike, John Schulman,

pipeline pipeline()を使うのが、最も簡単な方法だと思います。 pipeline()の第一引数にタスクを指定することで、タスクを実行する簡単なパイプラインを生成できます。。ここではテキスト生成なのでtext-generationを用いますが、他に使えるタスクは公式ドキュメントに説明があります。 from transformers import pipeline text_pipe = pipeline('text-generation', model=MODEL_NAME) output = text_pipe("昔々あるところに") output[0]['generated_text'] 昔々あるところに、たくさん人が来て、たくさんの人がいて、みんなで楽しめる、それがなんだろう...と思ったことがあったんですw 僕には「この人じゃなかったらやらなかったんだねー」と思いまし

近年は機械学習分野の研究がめまぐるしい勢いで進んでおり、数十億を超えるパラメーターを持つ大規模言語モデルが相次いで発表されています。イギリス・エディンバラ大学の大規模言語モデル研究者であるヤオ・フー氏らの研究チームが、独自のベンチマークに基づいて複数の大規模言語モデルのパフォーマンスを比較した結果をGitHubで公開しています。 GitHub - FranxYao/chain-of-thought-hub: Benchmarking large language models' complex reasoning ability with chain-of-thought prompting https://github.com/FranxYao/chain-of-thought-hub 研究チームによると、「パラメーターが10B未満の言語モデルでも、OpenAIのGPT-3.5と同等のパ

特定の分野についての知識を増やす場合など、大規模言語モデルの出力を特定の方向に寄せる場合に利用されるのがファインチューニングで、これはモデルをゼロから構築するのに比べてはるかに少ないデータセット＆はるかに少ないコストでトレーニングできる手法です。「Lit-Parrot」はファインチューニングを簡単に行えるようにしたライブラリとのことなので、実際に使ってどれくらい簡単なのかを試してみました。 lit-parrot/scripts at main · Lightning-AI/lit-parrot · GitHub https://github.com/Lightning-AI/lit-parrot How To Finetune GPT Like Large Language Models on a Custom Dataset - Lightning AI https://lightnin

ChatGPTの良い点、悪い点を紹介し、その特徴を生かしつつ付き合うにはどうしたらよいかを考えてみました。

どんな仕事でも見積もりを出したり貰ったりすることがあると思います。 イレギュラーな作業が多い校正でも見積もりを求められる場面があります。 そんなときに単価表があると結構役立ちます。 見積もりは書面で出さなくても口頭で聞かれることも多いです。 「これぐらいの校正だと、いくらぐらいになりますか？」 この場合、 「やってみないとわからないです」と答えるより、 「概算ですけどこれぐらいです」と答えられるようにしておくほうが、 依頼する側も安心して校正をお願いできます。

モデルについて Hugging Face 🤗 上で公開された CyberAgent さんの日本語版 LLM を動かしてみます。CyberAgent さんの Hugging Face 🤗 ページへのリンクを以下に載せておきます。 リンク先へ飛ぶと、以下の画像のように様々なレポジトリが出てきますが、 open-calm-hoge となっているレポジトリが日本語版 LLM のレポジトリになっています。 hoge の部分はモデルの大きさを表しています。（レポジトリとモデルのサイズの対応表） 使用方法 Python の環境を構築しておきます。PyTorch と Transformers が最低限入っていれば動くと思います。 import torch from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoM

以下の要件に沿う、AWS Lambdaで利用できるコードを生成してください。 ## 要件 - Python 3.10で記載すること - 指定のS3バケットに格納されたファイル一覧と合計ファイルサイズを、Slackの特定のチャンネルに通知する - 前日の0:00から23:59までに格納されたものを、当日08:00に通知する import boto3 import datetime import json import logging import requests # 設定 S3_BUCKET_NAME = "your-s3-bucket-name" SLACK_CHANNEL_ID = "your-slack-channel-id" SLACK_WEBHOOK_URL = "https://hooks.slack.com/services/your-slack-webhook-url" #