概要 趣味や業務でpython環境で自然言語処理のコードを書くことが多いが、 形態素解析（分かち書き）をしてくれるライブラリが多くてどれが最適か分からない とりあえず速度と分かち書きの性能を比較してみよう！！！ ※2023/11/17修正 遅延評価で実装されているライブラリを適切に評価できていなかったため検証方法を変更、それにともない結論を変更しています 結論 python上での形態素解析ライブラリは、 Vibratoが高速に実行可能 で、 Mecabの結果とvibratoの結果は参照する辞書が同じ場合大差がなかった。 そのため、速度を気にする処理を実装する場合はvibratoの利用を検討するべきと判断した。 python上での形態素解析ライブラリは、 JanomeとVibratoが高速に実行可能 で、 その2つの結果は参照する辞書が同じ場合大差がなかった。 個人的にはJanomeの関数の

概要 BERT系のモデルを活用した文章のEmbedding取得について、検証を含めていくつかTipsを紹介します。 Paddingの最適化 tokenの平均化 Embeddingを取得するLayer 上記Tipsを複合した文章Embedding取得classの実装 はじめに 近年は、ChatGPTを始めとしたLLM活用が話題となっています（言語処理と言えば初手LLM(GPT系)の雰囲気も一部感じております）。対話型ChatBotにおいてはGPT系の生成AIが一線を画していますが、文章のEmbedding取得では旧来のBERT系のモデルが優れている例も報告されています。 SGPT: GPT Sentence Embeddings for Semantic Search ChatGPT vs BERT：どちらが日本語をより理解できるのか？ 今回、社内で簡単な情報検索システムを構築する機会があり

こんにちは！今回はこちらの記事を見ていただきありがとうございます。 今回はタイトルにもある通り、最近Jupyter Notebook上で形態素解析エンジンである「MeCab」を動かす機会があったので備忘録として書かせていただきます。 ちなみに余談ですが名称は開発者の好物「和布蕪（めかぶ）」から取られたそうです。(引用) すき家のめかぶオクラ牛丼美味しいですよね。👀 早速ですが導入手順を書いていきたいと思います！ 1. Jupyterのインストール 以下のリンクからインストールしてください。説明文にある4つのExtension Packも一緒にインストールすると良いかと思います。 2. MeCabのインストール こちらの参考にさせていただきました🙏 Homebrewがない方はインストールし、以下のコマンドを実行してください。

大規模言語モデルと知識グラフについて 今回は、最近読んだ論文の中で印象に残ったものを紹介します。 あくまで、大まかなイメージをつかむもので詳細には踏み込みませんが、大規模言語モデルの長所と欠点、知識グラフの長所と欠点をそれぞれ説明した上で、お互いに補い合いながら事実に基づいた質問応答や推論などの言語タスクをこなしていく上での課題を取り上げたものになります。 まず査読前論文のarxivで共有されているUnifying Large Language Models and Knowledge Graphs: A Roadmapへのリンクを掲載します。 著作権の観点から、論文を読んだ上で私が理解したことや感じたことを中心に紹介していきますが、一部簡単な図などを引用する箇所もあります。 もし著作権者様やその関係者が問題だと感じられた場合は、お伝え頂ければ謹んで当該箇所を取り下げさせていただきます（今

はじめに こんにちは、京セラコミュニケーションシステム 森田 (@kccs_kai-morita）です。 先日Google Cloudにて扱える生成AIことPaLM APIがGAになりましたので、Google Cloudのサービスを組み合わせて特定の文章に質問回答ができるAIシステムをデモ的に作ってみました。 :::note info 本記事は2023年6月ごろに作成しております。 ::: この記事の対象者 Google Cloudにおける生成AIの活用サービスに興味ある方 細かい設定やコードなどサービス個別の情報は別途記事を書く予定です。 プロセスの概要 目標は特定の文章（たとえば社内の文章）に対する質問を投げると、その問い対して回答が得られることです。 これは次の2つのステップで実現します。 質問文に関連する文章をデータベースから探索する 探索した文章をもとに文章生成AIが質問に対する

はじめに 元AI女子高生「りんな」をご存知でしょうか LINEに突如現れたAI女子高生で話題となっていたと思いますので、ご存知の方も多いかとおもいます。 先日「りんな」の開発元であるrinna社から日本語特化の学習がされたGPT-2モデルが 商用利用可能なMITライセンス で公開されました。 rinna、人間の評価を利用したGPT言語モデルの強化学習に成功 本モデルは、 ChatGPTに用いられている学習手法である、人間の評価を利用したGPT言語モデルの強化学習に成功している とのことです。 かつ ローカル環境でも動作する ようです。 本記事では、その対話GPT言語モデルの動作を見てみようと思う 目次 動作環境 モデル動作確認（GoogleColab） ローカル環境で実行 さいごに 動作環境 検証環境 google colaboratory（Colab Pro版） ローカル検証環境 Win

こちらの続編的に。 使っているノートブックはこちらです。 Databricksとは データブリックスは、学術界とオープンソースコミュニティをルーツとするデータ＋AIの企業です。Apache Spark™、Delta Lake、MLflowの開発者グループによる2013年の創業以来、最新のレイクハウスアーキテクチャを基盤に、データウェアハウスとデータレイクの優れた機能を取り入れた、データとAIのためのクラウドベースのオープンな統合プラットフォームを提供しています。 このレイクハウスプラットフォームをご利用いただくことで、機械学習モデルのトレーニングはもちろん、機械学習モデルの運用管理、ETLパイプラインの開発・運用、データの蓄積、BIなど様々なワークロードを一つのプラットフォーム上で効率的に実施いただけるようになります。 Databricks Community Editionとは Data

ChatGPT API の Function Calling機能 OpenAIが提供しているChatGPT APIに、Function Calling機能が実装されました。 説明によると、Function Callingは、他のAPIとの連携を想定して、その（json）フォーマットのパラメータを入力テキストから推定してくれる、というものであるとされています。しかし、エンジニアリング・テキスト処理の観点からみると、あるフォーマットを与えると、それに即したいくつかの変数をChatGPT APIが返してくれるという、出力の形式が安定するというところにこそ、この機能の大きな価値があるように思えます。 今までのChatGPTでは、（APIを使ったとしても）出力される文字列の形式を指定することはできませんでした。プロンプトの工夫によって、多くの場合にこちらが返してほしい形式で出力されるようにする様々な

LangChainって何？ ChatGPTを始めとする大規模言語モデル（LLM）の流行が止まりませんが、そんなLLMを活用して日々開発するエンジニアの間で最近ずっと耳にするキーワードの一つがLangChainです。 LangChainとは、LLMを用いたアプリケーション開発を効率的に行うためのライブラリです。機械学習分野で最も人気のあるPython言語用に提供されています。 そもそもライブラリって何？ プログラミングの文脈でよく聞く「ライブラリ」って何者なのか、初学者にはいまいちピンと来づらいですよね。 分かりやすく言うと 「特定の言語でプログラミングをする際によく使いそうな機能をあらかじめ誰かが作ってくれて、呼び出すだけでその機能を使えるようにしてくれている便利セット」 のようなものです。 例えば、よく使われるPython言語のライブラリの例として math があります。これは数学的な計

はじめに はじめまして。株式会社ずんだもんのアルバイトエンジニアのinadaです。 今日は誰でも作れるずんだもんと題してローカルPCにずんだもんAIを作ります。この記事はそのチュートリアル記事です。 (誰でもと書いてますが、RTX 3060(12G)搭載以上のPC推奨です。CPUマシンでも出来る部分はありますが非推奨です。RTX 3060(12G)のグラボは5万ぐらいで買えるので持ってなければ買っちゃいましょう。) 対象読者/記事の範囲 ローカルPCで動かせる大規模言語モデルを、学習用のデータの用意から、学習、動かすところまで一通りどんなものか、お試ししてみたい人。 自分だけの世界にただ一人だけのうちの子、またはパートナー(うちの嫁)を作り育てたい。そんな沼にはまりたい、興味がある人。 AIの仕組みや用語は当記事では解説しません。AIの用語(モデル, loss, epoch, checkp

※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ

HTMLでWordファイル送信後、自然言語処理を行えるようにするまで 初回の投稿となりますが、HTML上で送信したWordファイルから、中身の文章を受け取って自然言語処理を行う手前までのフローを解説していこうと思います。 現役のエンジニアの方々からすると、何て事のない内容になっているかと思いますが、何もわからなかった過去の自分に向けて書いていこうと思います。 ※前提として、Flaskを使用して、HTMLのページを開けるぐらいの知識はあると仮定して進めていきます。 HTML上でのファイルの受け取り こちらは、HTML上で、ファイルの受け取る方法です。 <form action="/result" method="POST" enctype="multipart/form-data"> <div class="file_select"> <label for="file">wordファイルを選

pipeline pipeline()を使うのが、最も簡単な方法だと思います。 pipeline()の第一引数にタスクを指定することで、タスクを実行する簡単なパイプラインを生成できます。。ここではテキスト生成なのでtext-generationを用いますが、他に使えるタスクは公式ドキュメントに説明があります。 from transformers import pipeline text_pipe = pipeline('text-generation', model=MODEL_NAME) output = text_pipe("昔々あるところに") output[0]['generated_text'] 昔々あるところに、たくさん人が来て、たくさんの人がいて、みんなで楽しめる、それがなんだろう...と思ったことがあったんですw 僕には「この人じゃなかったらやらなかったんだねー」と思いまし

モデルについて Hugging Face 🤗 上で公開された CyberAgent さんの日本語版 LLM を動かしてみます。CyberAgent さんの Hugging Face 🤗 ページへのリンクを以下に載せておきます。 リンク先へ飛ぶと、以下の画像のように様々なレポジトリが出てきますが、 open-calm-hoge となっているレポジトリが日本語版 LLM のレポジトリになっています。 hoge の部分はモデルの大きさを表しています。（レポジトリとモデルのサイズの対応表） 使用方法 Python の環境を構築しておきます。PyTorch と Transformers が最低限入っていれば動くと思います。 import torch from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoM

以下の要件に沿う、AWS Lambdaで利用できるコードを生成してください。 ## 要件 - Python 3.10で記載すること - 指定のS3バケットに格納されたファイル一覧と合計ファイルサイズを、Slackの特定のチャンネルに通知する - 前日の0:00から23:59までに格納されたものを、当日08:00に通知する import boto3 import datetime import json import logging import requests # 設定 S3_BUCKET_NAME = "your-s3-bucket-name" SLACK_CHANNEL_ID = "your-slack-channel-id" SLACK_WEBHOOK_URL = "https://hooks.slack.com/services/your-slack-webhook-url" #

Motivation 色々と理由があって東北大学の github repository などを見ることが多いのだが、もはや mecab-python3 や IPA 辞書は誰も使ってはおらず、fugashi や unidic-py, unidic-lite を使っているようだ。私の認識はかなり古かった。 なので今一度、MeCab とその辞書について考え直そう。 （MeCab じゃなくて JUMAN++, janome, nltk, spaCy, GiNZA じゃね？という話は置いておく） まずは mecab-python3 なのか fugashi なのかという問題だが mecab-python3 は MeCab 本体が必要 fugashi は MeCab 本体すら必要無い しかも fugashi は Cython で高速化している fugashi を使うという選択肢しか無い。 そして MeC

cyberagent/open-calmをファインチューニングするための方法 cyberagent/open-calmは生成系言語モデルです。ファインチューニングすることで生成される文章の特徴（例えば若者言葉っぽくであったり、ある一定の話題が多く出力されるなど）を調整することができます。生成したい文章をlabelsとし、入力をinput-idsとしてファインチューニングを行うことで、可能になります。 cyberagent/open-calmをファインチューニングするためのコード 学習に使用したいデータセットを準備の上、以下のコードを適宜変更して学習を行ってください。 from transformers import AutoTokenizer, AutoModelForCausalLM import torch MODEL_NAME="cyberagent/open-calm-medium

日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証自然言語処理検証モデル評価ChatGPT大規模言語モデル 目次 はじめに モデルの概要 検証環境 導入方法:OpenCALM 検証:OpenCALM 考察:OpenCALM Instruction Tuning 導入方法:rinna 検証:rinna 考察:rinna おわりに はじめに この記事はCyberAgentが公開した日本語特化のLLM(大規模言語モデル)、OpenCALMと、株式会社rinnaが公開した日本語特化のLLM、japanese-gpt-neox-3.6b/japanese-gpt-neox-3.6b-instruction-sft を検証した記事です。 色んなプロンプトを与えて、どのように出力するか。 そして素の大規模言語モデルがどのような出力をしていて、

dockerで機械学習with anaconda(2)「ゼロから作るDeep Learning2自然言語処理編」斎藤 康毅 著 https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6 第７章まで先月実施した。 dockerで実行するために、ファイル出力に手を加えている。 # cd ch08 # python train.py ../common/trainer.py:7: UserWarning: This call to matplotlib.use() has no effect because the backend has already been chosen; matplotlib.use() must be called *before* pylab, matplotlib.pyplot, or matplotli

投資家IPランドスケープ・スタートアップ支援IPランドスケープ・大学支援用に改良中　更新中）tfidf etc embeddings cluster reconstructing vis:　特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加）自然言語処理NLP可視化Visualization特許 ジョブスの述べる知性　1982 https://m.youtube.com/watch?si=lzbF1DfhLzeRzI4V&v=ymbD_a-G1IQ&feature=youtu.be 「 多様な経験と創造性：未来のために考えるべきこと 知性と視点 講演者は、知性とは「ズームアウト」して全体像を見る能力であり、細部に囚われ