はじめに 言語処理１００本ノック２０２０やってみた part1 コマンドの説明は自分の解釈なのであしからず 目次 第2章: UNIXコマンド 事前準備 10. 行数のカウント 11. タブをスペースに置換 12. 1列目をcol1.txtに，2列目をcol2.txtに保存 13. col1.txtとcol2.txtをマージ 14. 先頭からN行を出力 15. 末尾のN行を出力 16. ファイルをN分割する 17. １列目の文字列の異なり 18. 各行を3コラム目の数値の降順にソート 19. 各行の1コラム目の文字列の出現頻度を求め，出現頻度の高い順に並べる 感想 事前準備 第2章: UNIXコマンドの課題をこなすためにpopular-names.txtをダウンロードする必要があります。このファイルはhttps://nlp100.github.io/data/popular-names.tx

このコードで行うこと ・txtデータを読み込む ・形態素解析を行い、名詞だけを取り出してリスト化 ・リストの平坦化、記号の削除できれいな状態にする ・単語の頻出数を出す とりあえずコード import MeCab import itertools import collections import string #データ全体を名詞群として扱う,リスト化して収納 with open("deta.txt","r",encoding='utf-8') as f: a = f.read().splitlines() #形態素解析2パターン目<-いろいろやり方がある def split_text_only_noun(text): tokenizer = MeCab.Tagger() node = tokenizer.parseToNode(text) keywords = [] while node

こんにちは。シナモンAI広報担当です。 シナモンAIでは自然言語処理技術を用いたプロダクトAurora Clipper（オーロラ・クリッパー）を展開しており、特定の文脈を持つ日付や人物名の取得、長い文章からの要点抽出、テキストの分類など様々な用途で用いられる製品を提供しております。 弊社では100名程度のAIリサーチャーを抱えており、その中でも自然言語処理に特化したチームではAurora Clipperの基礎となるAIモデルも日々改善しています。本記事では、自然言語処理技術に関わる研究の成果として日本語版ELECTRAを公開したため、弊社のPMが概要をご紹介いたします。 自然言語処理の課題 自然言語処理はその名の通り、言葉を数値情報として取り扱うことで、言葉の持つ意味を解析します。 この技術が特に注目されるようになったのは、Google Brainが2018年5月にBERT (Bidire

データ分析をする中で一番、感覚的かつ身近なもの(Twitter等)で分析が出来る手法がテキストマイニングです。 出来そうなことは多そうだけどどうやるの？ と気になる人も多いと思うので下記に整理します。 尚、テキストマイニング（自然言語処理）の統計的な成り立ちや仕組については下記でまとめております。 今回の論点整理 ”スクレイピング・テキストマイニング“の使いドコ 今回はネット上のテキストを読み込んで(スクレイピング)その情報を元に整理・分析(テキストマイニング)します。 上記のように実際のHP等、WEB上のデータなどの情報を抽出しながら整理することが出来ると分析の幅が広がります。 ※ただ、ウェブ上のデータを抽出するスクレイピングは機密情報を引き抜いたりするなど違法行為にも繋がりやすいので取り扱いには注意が必要です。 ご参考ページ（外部リンク） 具体的な想定場面 今回の想定は以下のような場合