はてなブックマーク

機械学習において、モデルのハイパーパラメータの調整は非常に大事です。 大事なんですが、手動で行うと、時間も手間もすごくかかりますよね。 ここでは、ハイパーパラメータを効率的に調整するOptunaについてご紹介するとともに、Pythonでの具体的な実装方法をご説明します。 Optunaとは 日本のPrefferdNetworks社が開発した、ハイパーパラメータの自動最適化フレームワークです。 Optunaは、ベイズ最適化を実装することで、パラメータの探索を効率的に行うことができます。 ベイズ最適化は、確率統計の理論の一つです。 具体的には、目的関数の値を評価するために、パラメータの値をサンプリングして目的関数の値を取得し、その値を元にパラメータの推定値を更新するというプロセスを繰り返します。このプロセスによって、より良いパラメータの候補が見つけていきます。 簡単に言うと、試行錯誤をしながら、

はじめに 2022年11月にOpenAIが公開したchatGPTの反響が凄いですね。 公開6日目にして100万人がユーザー登録したとか。 今のところは、無料で使うことができますが、いずれは利用が制限されるかもしれませんね。 ここでは、chatGPTよりは精度が落ちますが、無料で使うことができて、日本語に特化した事前学習済みモデルもあるGPT-2を採り上げ、文章生成にチャレンジしたいと思います。 具体的にはrinna社が開発したGPT-2モデルを使用します。 事前学習済みモデルだけでもそれなりの文章を生成できますが、せっかくなので、特定のドメインでファインチューニングさせてみて、文章生成をしていきたいと思います。 rinna社の日本語GPT-2の特徴 言語モデルは、会話や文章の「人間が使う言葉」を確率としてモデル化したものです。優れた言語モデルとは、確率を正確に推定できるものを指します。例え

Word2Vecとは Word2Vecは2013年にトマス・ミコロフにより提案された自然言語の数値化の手法です。 トマス・ミコロフはGoogle在籍のエンジニアで、Word2Vecの発明により、Google翻訳の性能が著しく向上したと言われています。 Word2Vecの何がすごいか Word2Vecは単語の分散表現を取り入れたモデルです。 単語の分散表現とは、単語を固定長のベクトルで表すことです。 単語の一つ一つを、ベクトル空間における点として表現することで、単語同士の距離（類似度）を測ったり、演算（足し算・引き算）したりすることが可能なモデルになっています。 Word2Vecは、文章を学習用テキストデータとしてあたえ、周辺にある単語からから中心にある単語を予測することでベクトル化していきます。 このように、ある単語の意味は周辺の単語によって形成されるという考え方を分布仮説と呼びます。Wo

はじめに 画像生成AIのDALL・E2や文章生成AIのGPT-3で何かと話題のOpenAIですが、今度は、音声認識の世界でもやってくれました。 2022年9月22日に高性能な音声認識AIのWhisperを発表したのです。日本語にも対応していたので、早速、GoogleColaboratoryで実装してみました。 驚くほど簡単に実装でき、かつ、驚くほど精度が高くて、びっくりしました。 ここでは、Whisperの概要について簡単に触れた上で、GoogleColaboratoryでの実装方法、精度をお示ししたいと思います。 Whisperについて OpenAIの公式サイトから、概要をご紹介します。 Whisperは、ウェブから収集した68万時間に及ぶ多言語・マルチタスク教師付きデータで学習させた自動音声認識（ASR）システムです。 大規模で多様なデータセットを使用したことで、アクセント、背景雑音、

はじめに 古くから、自然言語処理の世界では、単語をスコアリングする手法として、TF-IDFというのがあります。 古くからあるにもかかわらず、普通に暮らしていると馴染みのない概念だと思います。かく言う私も、Pythonで自然言語処理を学ぶまでは名前すら聞いたことがありませんでした。 ここでは、そんなTF-IDFについて、はじめて触れる方にも分かるように概念を丁寧に説明するとともに、Pythonを使った実装方法についてご紹介していきたいと思います。 🐱TF-IDFとは 一言でいうと、ある文書の含まれる単語の重要度を示す指標です。文書の中で重要な単語をとらえることで、その文書の特徴を知ることができます。 具体的には以下の式で計算します。 単語の重要度というと、パッと思いつくのが、単語の出現頻度ではないでしょうか。それはある意味で正しいのですが、単語の出現頻度だけでみてしまうと、極端にいうと、「

はじめに 話題の画像生成AIStableDiffusionを、GoogleColaboratoryを使って爆速で実装することができました。（正味30分程度で実装できました） ここでは、実装方法などについて、余計な説明なしに爆速でご紹介したいと思います。 StableDiffusionとは テキストから画像を生成してくれるオープンソースのAIです。 いわゆるText to Imageというやつです。 2022年8月に英Stability AIが、HuggingFaceで無償公開しました。 それでは実装方法を見ていきましょう HuggingFaceでのアクセストークンの取得 StableDiffusionを利用するには、HuggingFaceでアクセストークンを取得する必要があります。 以下の手順で、アクセストークンを取得していきましょう。 HuggingFaceでアカウントを作成する こちら

はじめに 自然言語処理をはじめたら、一度は作ってみたいのが共起ネットワークではないかと思います。 私自身、共起ネットワークについては、書籍やネット記事を参考にしながら、これまで何度も作ってきました。 しかしながら、文章→共起行列→共起ネットワークとなる一連の過程において、特に共起行列を作成するコードの理解が十分ではないと思い至り、今回、勉強もかねて、共起行列の作成過程を残すことにしました。 共起ネットワークに興味を持たれている方の参考になればと思います。 共起ネットワーク 単語どおしのつながりを可視化してくれる手法で、文章の構造的な特徴を直感的に理解するのによく利用されます。 文書（text)を文章(sentence)に分割したのち、同一文章中に同時に出現する単語(word)の組みを数えあげることで共起行列を作成し、これをネットワークで可視化します。 ネットワークはノード（丸） と、ノード

はじめに 以前、BERTを使って歌詞の文章ベクトルを算出し可視化する試みを行いました。BERTは優秀なんですが、入力できるトークン数が512に限られるため、長い文章のベクトル算出には向いていないんですよね。 今回は、上場企業約2,500社が有価証券報告書で書いている割と長文の文章について、Doc2Vecを使って文章ベクトルを算出し、あわせて、文章ベクトルから類似文書を検索してみました。 個人的には、BERTよりもDoc2Vecの方が納得感のいく結果を出している気がしています。 ここでは、文章ベクトルの算出方法・類似文書検索方法について、お伝えしていきたいと思います。 文章ベクトルのイメージ ①野球を観戦した ②サッカーの試合を見た ③犬の散歩にでかけた の3つの文章を2次元のベクトルに変換することを考えてみましょう。 文章の内容を考えると①と②が近く、③が少し離れているイメージですね。 こ

0. はじめに 上場企業が作成する有価証券報告書には、企業の経営成績がどうなっているのか？といった財務情報に加え、企業として何を課題と捉えどう取り組んでいくのか？といった非財務情報の記載があります。 最近は、気候変動リスクや人権問題への対応など企業の社会的責任の遂行に注目が集まる中、機関投資家が企業を評価する目線も、短期的な視点である財務情報から、中長期的な視点である非財務情報にうつりつつあります。 これからの時代、財務情報（数値データ）ではなく、非財務情報（テキストデータ）の分析ニーズが高まることが予想されます。こうした点も踏まえ、まことに僭越ながら、Pythonを使って有価証券報告書の非財務情報を取得する方法について、記載したいと思います。 具体的には、上場企業約2,500社分の有価証券報告書の 【経営方針、経営環境および対処すべき課題等】と【事業等のリスク】 を取得していきたいと思い

はじめに わたくし、Python歴1年の初心者ですが、このたび、苦労に苦労を重ねて、自然言語処理タスクの文章要約を実装できました。 自然言語処理に興味のあるPython初心者のお役に立てればと、記事に残したいと思います。 実装にあたっては、ネットの記事も手あたり次第調べましたが、最終的には、以下の本が大変参考になりました。 ただし、バージョンの変更により、この本の通りに実装しても、2022年8月時点ではエラーになる箇所があります。出版社経由で著者の方にお聞きして一部コードを修正したほか、自分なりに工夫をして実装しました。 モデルについて Huggingface社が提供している深層学習フレームワークのTransformersを使います。 transformersにはBERTをはじめとするさまざまな言語モデルが実装されていますが、今回のタスクでは、T5というモデルをファインチューニングして使い

自然言語処理モデルの王様と言われるBERTを使って、文章をベクトルに変換し可視化しましたので、それらのタスクについて示したいと思います。 これは 「BERTによる自然言語処理入門」 を参考にしたものですが、本では、livedoorのニュースコーパスが用いられていました。 ここでは、文章コーパスとして、女性シンガー（後述）の歌詞を使ってみたいと思います。 ライブラリーのインストール BERTが格納されているtransformersのほか、matplotlibで日本語を可視化するためにjapanize_matplotlibもインストールしておきます !pip install transformers==4.18.0 fugashi==1.1.0 ipadic==1.0.0 !pip install japanize_matplotlib import pandas as pd import n