Outlookから日報メールを取得してネガポジ判定をしてみた。 - Qiita
■概要 テキストデータのネガポジ判定の手法を学んだので、 試しに昨年新卒入社した時の日報でネガポジ判定を行ってみました。 書いたソースコードの紹介と共に、 「日報の提出時間が遅くなるにつれて、所感部分の文字数が減り、またPN値も下がるのでは」 という疑問を解明して参ります。 ■環境 OS: Windows10 言語: Python 3.10.4 IDE: Visual Studio Code (バージョン 1.69.2) ■分析の流れ 以下の手順で日報データの分析を行いました。 Outlookのフォルダから自分の送った日報のデータを取得、CSVファイルとして保存。 CSVファイルを読み込んで、DataFrameの整形 極性辞書の読み込み、PN値の算出 外れ値の処理 データ可視化1,2 結果と考察 ■ソースコード紹介 では早速、用いたコードを紹介して参ります。 0.モジュール、オブジェクトの
自然言語処理技術を活用したレシピの紹介 - Qiita
はじめに Axrossを運営している藤原です。 Axross とは、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いのもと、ソフトバンクと社内起業制度にて立ち上げたサービスです。 現役エンジニアによる開発ノウハウやAI活用事例を"レシピ"として教材化し、実際にプログラミングで実装を追体験しながら学ぶことができます。AI/機械学習、またはその周辺領域をテーマにした、様々な業務領域やビジネスの課題解決に応用できる実践的な学習教材を150以上揃えています。（2021年7月時点） Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 今回は、自然言語処理の仕組みとその代表的な活用例を紹介し、Axrossのサービスで学べる実践的な 自然言語処理技術を活用し
Word2Vec で見つけられなかった自分らしさに fastText で速攻出会えた話 - GMOインターネットグループ グループ研究開発本部
D. M. です。昨今はテキスト解析が非常にやりやすい時代になりました。チーム内でも活発に検証・活用されており、私も流れに乗って Word2Vec や Doc2Vec を触りだしましたが、参考になる日本語の記事多いですね。よくあるのはニュース記事・青空文庫・ Wikipedia の解析ですが、各社の独自の文字列データ、しかも結構なサイズのデータを食わせて関連語を出す記事などもあったりして、実利用可能かどうかは関係無しに楽しそうです。 やりたいこと 類語判定について、ウェブ上では既に相当いろんな種類の記事を上げられていて凄いなあと思いつつ、結構簡単に見えたので私も何か検証しようと思いました。ただ同じことをやってもあまり面白みが無いですし小規模でも始められるようなことを考えて、ひとまず自分の Twitter のつぶやきを食わせて類語を見てみることにしました。今日はそんな初歩的な試みの紹介です。
pythonでfasttextを使って文書分類してみた
はじめに 文書分類をしたくなりました pythonの練習も兼ねて、pythonで実装することにしました 前提 Windows 10 pro バージョン1803 Windows Subsystem for Linux(WSL)版ubuntu バージョン8.04 LTS (Bionic Beaver) 全体の流れ linuxを用意する pythonを入れる 日本語コーパスを手に入れる 日本語パーサーを入れる 分類ライブラリを入れる 教師データを作る モデルを作る 分類する Windows Subsystem for Linux(WSL)でubuntuを入れる こちらの記事を参照のこと Windows Subsystem for Linuxにssh接続する こちらの記事を参照のこと 以下、基本的にはteratermで作業 viを初心者でも使いやすくする こちらの記事を参照のこと 初心者なりに、以
word2vec, fasttextの差と実践的な使い方 - にほんごのれんしゅう
word2vec, fasttextの差と実践的な使い方 目次 Fasttextとword2vecの差を調査する 実際にあそんでみよう Fasttext, word2vecで行っているディープラーニングでの応用例 具体的な応用例として、単語のバズ検知を設計して、正しく動くことを確認したので、紹介する Appendix (発表用の資料も掲載いたします,小さくて見づらいので、直リンはこちら) 原理の表面的な説明 Skip gramではある特定の単語の前後の単語の出現確率を測定することでベクトル化する 図1. ある目的の単語から、周辺の単語の確率を計算してベクトル化する Word2vecとfasttextではこれを実装したもの ただし、fasttextにはsubwordという仕組みが入っている 図2. softmaxで共起確率を計算する あそんでみよう 2017年2～3月のTwitterのデータ
FacebookのfastTextでFastに単語の分散表現を獲得する - Qiita
「フランス」－「パリ」＋「東京」＝「日本」 こんな単語同士の演算ができる、と話題になったのがGoogleが発表したWord2Vecです。これは端的に言えば単語を数値で表現する技術で、これにより単語同士の「近さ」を測ったり、上記のような演算をすることが可能になります。この、単語を数値表現にしたものを分散表現と呼びます。 今回紹介するFacebookの発表したfastTextはこのWord2Vecの延長線上にあるもので、より精度が高い表現を、高速に学習できます。本稿ではその仕組みと日本語文書に対しての適用方法について解説していきます。 fastTextの仕組み fastTextでは、Word2Vecとその類型のモデルでそれまで考慮されていなかった、「活用形」をまとめられるようなモデルになっています。具体的には、goとgoes、そしてgoing、これらは全て「go」ですが、字面的にはすべて異なる
SVMによる文書分類とその応用 - Qiita
はじめに ハッカソンでマッチングサービスを作ることになったときに「せっかくなら研究で学んだことを生かそう」と考え，文書分類を活用した話題提供システム(笑)みたいなものを作ったのでまとめます． 自然言語処理と機械学習の経験の少ない情弱がノリと勢いで作ったので，アプローチやプログラムが間違えてましたらコメントお願いします． 環境 再現をされる方は以下が動く環境をご用意ください． python3 mecab mecab-python gensim scikit-learn 文書分類器の作成と保存 今回学習に使うのはLivedoor News Corpusです． これは各カテゴリごとにディレクトリがあって，その中に記事データが入っているので使いやすいです． もっとちゃんとしたシステムを作ろうと思うと沢山のカテゴリと記事が必要ですが，簡単化のためにこの記事ではこれだけで学習します． まずは各記事の文
［文章生成］PyTorchのRNNクラスを使って文章生成を行う準備をしよう
今回の目的 前回はマルコフ連鎖を用いて、青空文庫で公開されている梶井基次郎の著作データから文章を生成しました。今回から数回に分けてディープラーニングの手法を用いて、文章の生成に挑戦してみましょう。 ここで一つ考えたいのは、文章というものの構造です。例えば、梶井基次郎の『檸檬』には「檸檬などごくありふれている。」という1文があります。これを分かち書きにすると「檸檬 など ごく ありふれ て いる 。」となりますが、これは「檸檬」→「など」→「ごく」→「ありふれ」→「て」→「いる」→「。」と形態素が連続して登場する（時系列）データだと考えられます。こうしたデータを扱うのに適したニューラルネットワークとしてRNNがあります。本連載でも「RNNに触れてみよう：サイン波の推測」などで少し触れました。今回はこのRNNを用いて文章を生成するための準備を、次回は実際に文章を生成する予定です。 ここで問題な
【Python】自然言語処理でラーメン屋を分類してみる - Qiita
はじめに こんにちは、コピペデータサイエンティストです。 3年ぐらい前に「ラーメンと自然言語処理」というおちゃらけLTをしたのですが、今見ると恥ずかしいぐらいショボいので、Pythonで作りなおしてみました。 長くなったので3行でまとめると Web上に転がっている口コミとか紹介文を Pythonのライブラリを用いて解析することで 好きなラーメン屋に似たラーメン屋を見つける手法を構築した 方法 統計的潜在意味解析という手法を用います。ざっくり言うと、文書がどんなトピックを持っているか、何に関する文書なのか、を推定してくれるものです。 以下の様なイメージで各トピックに割り振られる割合を算出できるため、以下の例ではAとBが近い、ということを計算することが可能です。 ラーメン屋A： [0.75, 0.15, 0.10] ラーメン屋B： [0.60, 0.15, 0.15] ラーメン屋C： [0.0
テキスト前処理と可視化が楽チンな『Texthero』使ってみた - Qiita
はじめに テキストデータの前処理や可視化を簡単に行うことができるTextheroを使ってみたので、使い方をまとめました。 目次 はじめに 目次 Textheroとは Textheroの使い方 前処理 可視化 データの準備 word cloud 散布図 注釈 参考文献 Textheroとは 「texthero（テキストヒーロー）」とは、テキストデータの前処理やベクトル化、表現および可視化を行うことができるオープンソースのライブラリです。 非常に新しいライブラリで、現在β版としてリリースされています（2021/03/09時点）。 Pythonによる数行の簡単な実装で、様々な自然言語処理のタスクを行うことが可能です。 今回は、使い方を学ぶという目的で、英語を対象にテキスト解析してみます。 ※公式ページによると、今後日本語をはじめ多言語に対応予定とのことです。 Textheroの使い方 ※以下、言
【コード公開】【Python】テキストマイニングしてみた〜モデル作成〜 | Analytics Board | python特化のプログラミングサイト
とりあえず独学でプログラミング学習を始めたけど、右も左も分からずあなたの時間が無駄に終わるどころか挫折するかもしれません。 あなたが時間を無駄にした分を回収したいなら【Python】2022年最新！おすすめのオンラインプログラミングスクールをご確認ください！ ※期間限定で学習ロードマップを記載しています！ 「Word2Vec」とは、文章中の語句をベクトルに変換するツールです。単語同士の繋がりに基づいて単語同士の関係性をベクトル化するわけです。 ツール名通り、単語をベクトルとして表現することで、その単語の意味を捕らえる手法となります。つまり、語句と語句の類似度を測ることができるわけですね。 GensimとインストールについてWord2Vecを実現するツールとして、いくつか挙げられるライブラリがあります。 今回は、実行速度が速く、Pythonから手軽に利用できるものを考えると、「Gensim」
「OK word2vec ! "マジ卍"の意味を教えて」 Pythonでword2vec実践してみた - Np-Urのデータ分析教室
さて、今回はPythonによるword2vecの実践編です！ word2vecって何？？という方は、こちらの記事を一読してから本記事に入って頂くといいかと思います。 www.randpy.tokyo (こちらとても高評価頂いております。ありがとうございます！！） 上のリンク先でも書きましたが、簡単にまとめると、word2vecを使うことで単語の意味をベクトル表現化することができます。 単語の意味をベクトル表現できると、 近い意味の単語を調べる 単語同士の意味を足したり引いたり といった嬉しいことが実現できます。 ということで今回は、タイトルにもある通りJK用語の代表格である”マジ卍”という言葉の意味を、word2vecに聞いてみたいと思います。 本当は"マジ卍"の意味を直接JKに聞きたいのですが、JKの知り合いも当然いないですし……まぁここは頭を使ってデータを使えばなんか分かるっしょという
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
Out-of-the-box - 日本語Wikipediaで学習したdoc2vecモデル
日本語Wikipediaを対象にdoc2vec学習させたモデルを作成したので、学習済みモデルとして公開します。 概要 doc2vecは2014年にQuoc LeとTomas Mikolovによって発表された文章の埋め込みの手法です。今更doc2vecかという感じではありますが、日本語のdoc2vecの学習済みモデルは探した限り容易に利用できるものがなかったこともあり、せっかくなので作成したモデルを配布します。 word2vecのような単語の分散表現においては学習済みモデルとして配布されたものを利用することが多いですが、文章の埋め込みに関しては対象とするドキュメント集合やそのドメインに特化した学習モデルを作成することが多い印象です。なので、学習済みモデルファイルの配布自体にそれほど意味があるわけではなさそうですが、既存手法との比較に利用したり、とりあえず何かしらの手法で単語列から文章ベクトル
LDAによるトピック解析 with Gensim - Qiita
はじめに 今回は、Latent Dirichlet Allocation（潜在的ディリクレ配分法、以下「LDA」と略）と呼ばれるトピックモデルについて取り上げます。 特に本記事では、LDA というトピックモデルを扱う上で押さえておくべき、トピックモデルやコーパスの概念に触れながら、前処理を含めた分析の流れやモデルの評価方法などについて、実装を通じて理解を深めていくことを目的とします。 また併せて、本記事では、結果の可視化の手法についてもいくつか紹介したいと思います。 分析の流れとしては、ストップワードなどの文章の前処理の後、Gensim を用いて、文章をいくつかのトピックに分類していき、最後に WordCloud と pyLDAvis により結果の可視化を行っていきます。 目次 トピックモデルについて 分析環境と事前準備 モジュールの設定とデータのインポート 前処理 辞書とコーパスの作成
B'zの歌詞をPythonと機械学習で分析してみた 〜Word 2 Vec編〜 - 下町データサイエンティストの日常
1. 本Part概要 こんにちは。pira_ninoです。 早速のお知らせなのですが、本編から超絶優秀な友人のtaijest君も編集に加わってもらっています。これに伴いブログのタイトルも若干変更しました。 さて本題に戻ります。 前PartではB'zの歌詞を「LDA」を用いた曲のクラスタリングを行いました。 皆様のおかげで週間のランキングで11位に載りました！！ありがとうございます！！ pira-nino.hatenablog.com blog.hatenablog.com 本Partでは最近流行りの「Word 2 Vec」を用いて単語の意味の分析を行なっていきます。 目標としましては、B'zの歌詞を用いて「きれい」に意味が近い単語は何かや「あなたと恋するためには僕には何が必要か」といった分析を行っていきます。 Word 2 Vecを用いた分析の目標 2. Word 2 Vecとは 早速、本
Doc2Vecによる文書ベクトル推論の安定化について - Sansan Tech Blog
はじめまして，Sansan DSOC R&Dグループ インターンの小林といいます。 2月下旬から3月末までの間，主に自然言語処理 (NLP) に関連した研究開発に挑戦させて頂きました。大学でNLPを専攻している訳では無いですが，他の研究員の方やインターンの先輩とのディスカッションなど，とにかく刺激的な日々でした。 本稿はNLPブログということで，近年のNLPでスタンダードとなっている，単語・文書の埋め込み手法に言及します。 TL; DR Word2Vec / Doc2Vecについて 文書ベクトルによるニュース文書属性判定を試す タスク：スポーツニュースの内容属性の推定 Doc2Vecによる文書ベクトル推論の問題点 精度検証実験 実験実行と結果 実験① 以下サンプルテキストに対する独立した2度の文書ベクトル推論(infer_vector()の実行) ×100試行 実験② 複数の文書に対する独
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マルコフ連鎖を用いて「見た目に自然な日本語のダミーテキスト」を生成するサービスが登場【やじうまWatch】
【pythonで自然言語処理】word2vecで分散表現した単語を２次元に可視化する
gensimのword2vecの結果を手軽に可視化する方法 | CloudAdvisor
