【Techの道も一歩から】第13回「文書や単語をどうやって表現するかコサイン類似度で学ぶ」 - Sansan Builders Box
こんにちは。 DSOC R&D グループの高橋寛治です。 前回のTF-IDFで、使ってはいたけれど触れなかった文書や単語の表現方法について述べます。 実際に文書をベクトルとして表現し、コサイン類似度を計算することで理解を深めます。 scikit-learnを使わずにできる限りnumpyを利用してコードを記述してみます。 ノートブックはこちらにあります。 ベクトルで取り扱うと計算しやすい 自然言語を取り扱う研究では、文書や単語といったように自然言語を何らかの単位で取り扱います。 自然言語処理でも活用される機械学習手法は、数式で表現されるものであり、データやその演算はベクトルで取り扱われています。 自然言語処理を機械学習で取り扱うために、文書や単語をベクトル化します。 前回紹介したTF-IDFの場合は、文書を単語で構成されたベクトルとしていました。 ベクトル化する単語や文書とは何かを述べていき
B'zの歌詞をPythonと機械学習で分析してみた 〜イントロ編〜 - 下町データサイエンティストの日常
1. 自己紹介 はじめましてpira-ninoです。 2018年4月に某社にデータサイエンティストとして新卒入社したピチピチの新米社員です。 学生時代は様々な企業のデータを機械学習を使って色々な提案をしてました。(単にパッケージを使うだけでなく、モデルの改良もしてました。) まぁそんな訳で、機械学習は最低限広く浅く知ってます。 最近は強化学習を勉強したりkaggleに取り組んだりしてます。Santenderコンペのleakは流石に頭を抱えましたね。。。 2. B'zの歌詞を分析してみた経緯 さて、本題のB'zの歌詞分析について「背景」と「分析概要」について書かせて頂きます。 背景は無駄に長文になったので、読み飛ばしても大丈夫です。 2.1 背景 新卒研修あるあるだと思うのですが、様々なバックグラウンドを持った新卒がいるが故に、ある程度余裕を持ってしまう人も出てしまいます。で、それが私であっ
テキストマイニング：WordCloudで文系女子と理系女子のツイートを可視化してみた | パソコン工房 NEXMAG
最近、いろんな場面で利用されているテキストマイニング。大量の文章から有益な情報を抽出する手法として注目されています。今回はその中でも分かりやすく文章データに含まれる情報を整理し、可視化できる「WordCloud」を使って理系女子と文系女子の生態を比較してみたいと思います。 WordCloudとは？ WordCloudとは、文章中で出現頻度が高い単語を選んで、その頻度に応じた大きさで図示する手法のことです。 上記は、ウィキペディアの「激おこぷんぷん丸」のページの文章をWordCloudで可視化したものです。頻繁に登場している単語であればあるほど文字のサイズが大きくなっており、一目でその文章における重要な要素を把握することができます。 「激おこぷんぷん丸」という言葉は、2013年頃に流行した怒りの感情を表すギャル語で…という説明をしなくても、この図を見れば「怒り」「おこ」を「表現」した「言葉」
日本語の分かち書きにGoogle Cloud Natural Language APIを使う - GAミント至上主義
日本語の文章を、検索用のデータにしたり、機械学習などする際に必須になる分かち書き。 これまではMecabを使ってたけど、インストールが必要になり、辞書も変えたりすると結構大変。 そこで、Google Cloud Natural Language APIを使ってみることにした。 cloud.google.com 環境はプロトタイプ作りにも便利なJupyter＋Python3.6をDockerを使って社内サーバーで動かして使っている。 一つなのでdocker-composeは使っていない。 Dockerfile ROM jupyter/notebook RUN pip install --upgrade -q \ pip \ datalab RUN pip install --upgrade google-cloud-language ENV GOOGLE_APPLICATION_CREDEN
Python Janomeでlist index out of rangeというエラーが出たときの対処法
Python Janomeでlist index out of rangeというエラーが出たときの対処法。 Traceback (most recent call last): File "coappear.py", line 70, in <module> top_words = list(a.analyze(filterdText))[:20] File "/usr/local/lib/python3.5/dist-packages/janome/analyzer.py", line 105, in analyze tokens = tfilter.filter(tokens) File "/usr/local/lib/python3.5/dist-packages/janome/tokenfilter.py", line 29, in filter return self.apply
意識高い系発見器をngramで開発したので新卒7人に実験してみた - マーケティングメトリックス研究所/MARKETING METRICS Lab. – コミュニケーションの最適化を考える。マーケティングメトリックス研究所
鼻につく自己アピール、なぜかいつも上からマリコ、やたらと多いカタカナ用語、あなたの身近に当てはまる人はいませんか？ 私のような座高高い系は、意識高い系の自意識についていけずに一緒にいると凄く疲れます。自慢話ばかり聞かされて、もしかしてカンボジアは学校だらけなんじゃないかと疑ってしまう自分が嫌になります。 あぁ、盗聴器発見器のように、意識高い系発見器があればいいのに。 無ければ作ればいいじゃん！ということで、データサイエンスの力を駆使して作ってみました。 どうやって「意識高い系」を見抜くか？私は、本人の自覚が無いままに、その人の中に眠っている「意識高い系」を発見する機械が欲しいと思っています。 なので、あなたは「意識高い系ですか？」と聞いて「そうです」と回答する人をカウントしても面白くありません。それに、意識高い系は自分のことを意識高い系と言われることを毛嫌いしていますから、恐らく「はい」と
ニコニコ動画、機械学習で監視対象のコメント75%減に！「超自然言語処理」に挑むドワンゴのデータ利活用事例セミナーレポート | AI専門ニュースメディア AINOW
最終更新日： 2019年7月10日 AINOW編集部のくぼちです。 今回は、角川アスキー総合研究所主催で開催されたセミナー「niconicoにおけるレコメンド、コメント解析、画像解析」のレポートをお届けします。 ドワンゴといえば人工知能研究所が有名ですが、サービス内でのデータ利活用も先進的です。講師は、株式会社ドワンゴ企画開発本部第六企画開発部部長の小田桐優理さん。 プロフィール 2008年にフューチャーアーキテクト株式会社に入社しデータ分析事業の立ち上げに従事。2014年に株式会社ドワンゴに入社し、niconicoのレコメンデーションシステムの開発を担当。その後、コメント解析システムや画像解析システム、コンピュータ囲碁プロジェクト等の、機械学習が含まれる各種研究開発プロジェクトの立ち上げから実サービスへの適用を担当。研究開発部署であるドワンゴメディアヴィレッジの立ち上げを行い、現在は各種
自然言語処理における前処理の種類とその威力 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? **自然言語処理に前処理は不可欠です。**テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: [Deep learning for computational biology](http://msb.embopress.org/content/12/7/878) 本記事では自然言語処理における前処理の種類とその
Doc2Vecの仕組みとgensimを使った文書類似度算出チュートリアル
類似したコンテンツのタイトルは、女性アーティストだらけとなっている。浜崎あゆみは日本のレディー・ガガらしい。 Bag-of-wordsの欠点とDoc2Vecのメリット Bag-of-wordsは文書内の単語の出現回数をベクトルの要素とした分散表現だ。例えば、 { I, have, a, pen, I, have, an, apple } という単語区切りの文書があるとしよう。この文書をBag-of-wordsでベクトル化する。ベクトルの並び順をI, have, a, pen, an, appleとすると、 [2, 2, 1, 1, 1, 1] と表現することになる。単に出現頻度を計算しているだけなので、シンプルで計算効率よく分散表現を得ることが出来る。 では、Bag-of-wordsの何が問題なのだろうか？Bag-of-wordsでは、単語の出現順序が考慮されず、同様の単語が使われていれば
「ヤフコメ」と「はてブコメント」の違い。テキストマイニングより見えてきたもの - プリキュアの数字ブログ
（プリキュアにあんまり関係ない記事です。興味ない方はスルーして下さい。） 先日（4/13）、当ブログを紹介していただいた朝日新聞withnews様の記事が、（数時間ですが）ヤフーのトップに掲載されました。 娘がプリキュアに追いついた日… 父のブログに涙する人が続出 当たり前の日常の中にある愛情、著者に聞く （withnews） - Yahoo!ニュース さすがにヤフーのトップ、記事中に直接リンクが貼ってあったわけではありませんが、多大な反響があり、その1日だけで「イワオ～キン骨マンの超人強度」くらいにはＰＶを頂きました。 はてなブックマーク、ツイッター含め、沢山のコメントを頂きまして、本当にありがとうございました。 すべてのコメントを読まさせていただきました。 その全てが、ありがたく、身に染みるものでした。 で、今回「ヤフーのトップニュースに載る」ことにより、 「自分のブログ記事の内容が”
【word2vec】会社のクチコミを自然言語処理した結果を可視化してみる - Qiita
はじめに この記事は【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみるの続きです。 前回は転職会議のクチコミをword2vecで自然言語処理をした結果、似ている会社や単語を調べることが出来たという内容を書きましたが、今回はその結果を可視化してみます。 注意 前回の記事にも書きましたが、今回の手法では「クチコミが残業の話をしているのは理解できるけどそれが多いか少ないか分からない」という欠陥がありました。 今回の可視化ではその欠陥を直していないのであくまで可視化サンプルとして見ていただければ幸いです。 また、前回は会社のアドベントカレンダーで書きましたが今回は個人として書きましたので、本稿の内容は所属する組織の見解とは一切関係ありません。 もくじ 前回学習したモデルを読み込み 単語と遊ぶ 分布図を書いてみる 樹形図を書いてみる 会社と遊ぶ 分布図を書いてみる クラスタリ
都立大 自然言語処理研究室 - 自然言語処理を独習したい人のために
東京都立大学自然言語処理研究室（小町研）に入学する人たちは、入学後に自然言語処理・機械学習・プログラミングの基礎勉強会を行なうため、特に事前に学習することはありませんが、入学前に勉強しておいたほうがよいことはあるか、と問い合わせがあるので、自然言語処理の独習用の情報を書いておきます。（主に情報系以外の学部生を対象にしています。） 近年の深層学習の発展に伴ってニューラル機械翻訳をはじめとした深層学習の研究をしたいという人がうちの受験希望者の大半ですが、深層学習の研究をしたい人はプログラミングと数学と英語のすべてがある程度できなければいけません。どれか1つでも足りないものがあれば、ほとんど研究できないと思ってください。これらは現在ほぼ未習の人が入学してから勉強して追いつけるものではないので、深層学習の研究がしたい、という場合はよくよく考えたほうがいいです。東大中山研の深層学習の研究がやりたい人
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
[自然言語] Wordnet × Pythonで類義語を抽出する - YoheiM .NET
こんにちは、@yoheiMuneです。 最近はブログがご無沙汰になってしまっていたのでそろそろ書き出そうと思う今日この頃。本日は最近激勉強中の機械学習や自然言語処理からブログを書きます。Wordnetと呼ばれる自然言語の分類体系を用いて、指定した単語の類義語を取得する方法を書きたいと思います。 目次 Wordnetとは Wordnet（日本語版）はシソーラス（言葉を同義語や意味上の類似関係、包含関係などによって分類した辞書）で単語間の関係を保持しています。この関係性を利用することで、ある単語の類義語を得ることができます。 シソーラスのイメージ 引用：http://astamuse.com/ja/published/JP/No/2010129025 このシソーラスを持つWordnetを、今回はPythonから利用して、類義語を出してみたいと思います。 Wordnetのセットアップ Wordn
![[自然言語] Wordnet × Pythonで類義語を抽出する - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/3c7fdc112aedfd164e07cbf7712b65270b703b32/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F386.jpg)
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
素人の言語処理100本ノック:まとめ - Qiita
新形態素解析器JUMAN++を触ってみたけど思ったより高精度でMeCabから乗り換えようかと思った話