Python自然言語処理テクニック集【基礎編】
自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機械学習、ディープラーニングは出てきません！テキストデータの前処理が中心です。 前処理系 大文字小文字 日本語のテキストにも英語が出てくることはあるので。 s = "Youmou" print(s.upper()) # YOUMOU print(s.lower()) # youmou 全角半角 日本語だとこちらのほうが大事。 全角半角変換のライブラリはいくつかありますが、自分はjaconv派。 MIT Licenseで利用可能です。 import jaco
自然言語処理を簡単に扱えると噂のCOTOHA APIをPythonで使ってみた - Qiita
上記以外のディストリビューションをお使いの方はググってください。 サンプルコード 早速ですが、PythonでCOTOHA APIの各APIを叩くサンプルコードがこちらになります。 見づらいだとか冗長だとか汚いとか色々あるとは思いますが、なんとか目をつぶってください。 移植性とコメントを重視した結果です。 全部標準ライブラリで動くはずです。 スクリプトファイル（Python3系をお使いの方） # -*- coding:utf-8 -*- import os import urllib.request import json import configparser import codecs # COTOHA API操作用クラス class CotohaApi: # 初期化 def __init__(self, client_id, client_secret, developer_api_b
pysummarization
View statistics for this project via Libraries.io, or by using our public dataset on Google BigQuery Meta License: GNU General Public License v2 (GPLv2) (GPL2) Author: accel-brain Tags Automatic, summarization, document, abstraction, abstract, text, filtering Automatic Summarization Library: pysummarization pysummarization is Python3 library for the automatic summarization, document abstraction, a
GiNZA - Japanese NLP Library
Skip to the content. GiNZAの公開ページ What’s new! GiNZA v5.2.0をリリースしました (2024.03.31) 日本語の節認定のためのAPIを追加 (experimental) ja_ginza_bert_largeのβ版を公開中 cl-tohoku/bert-large-japanese-v2をベースモデルに採用 精度が大幅に向上（LAS=0.938, UAS=0.949, UPOS=0.983, ENE=0.708） CUDAに対応し8GB以上のRAMを搭載したGPU環境、または、M1・M2などApple Silicon環境の利用を推奨 ginzaコマンドで日本語以外を含む全てのspaCyモデルが利用可能に ginza -m en_core_web_md の形でモデル名を指定することでCoNLL-U出力ツールとして利用可能 ginzaコマ
リクルートのAI研究機関、国立国語研究所との共同研究成果を用いた日本語の自然言語処理ライブラリ「GiNZA」を公開 | Recruit - リクルートグループ
リクルートのAI研究機関、国立国語研究所との共同研究成果を用いた日本語の自然言語処理ライブラリ「GiNZA」を公開 株式会社リクルートホールディングスの中間持ち株会社である株式会社リクルート（本社：東京都千代田区、代表取締役社長：北村吉弘、以下リクルート）は、このたび、当社のAI研究機関であるMegagon Labsより、国立国語研究所との共同研究成果の学習モデルを用いたPython（※1）向け日本語自然言語処理オープンソースライブラリ「GiNZA」（ギンザ）を公開しました。 １．背景 自然言語処理技術は、検索エンジンや機械翻訳、対話システム、顧客の声分析など生活・ビジネスにおけるさまざまなシーンで利用されています。自然言語処理を行うには、言語ごとに異なる語彙や文法体系を保持する言語リソースが必要です。日本語テキストを解析するには、形態素解析（※2）や文節係り受け解析（※3）など複数の機能
Word2VecとTF-IDFで社内文書を検索するサービスを作ってMattermostから使えるようにした - Qiita
初めまして。 株式会社ハイマックスの平田と申します。 記事とは無関係ですが、約1年を経て念願(！)のQiita Organizationの作成が叶ったことをこの場を借りて報告いたします。 さて先日、社内のMattermostから使える文書検索サービスをリリースしました。 単なる全文検索ではなく、Word2VecとTF-IDFで文書をベクトル化(≠Doc2Vec)し、検索ワードとの距離による検索を行っています。これにより、文書上と多少表現が異なる検索ワードでもヒットするようになります。 この記事では、サービスを作ってMattermostから使えるようにするまでの流れをソースコード(抜粋)付きで紹介します。 作ったもの Mattermostのチャンネルのいずれかで、例えば「/bot テスト」と入力すると… こんな感じで社内の文書管理システムから関連する文書のリンクを返してくれます。 作った動機
自然言語処理の前処理・素性いろいろ - Debug me
ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize
編集距離 (Levenshtein Distance)をpython で求める - Qiita
#!/usr/bin/env python # coding: utf8 import Levenshtein string1 = "井上泰治" string2 = "井上泰次" string1 = string1.decode('utf-8') string2 = string2.decode('utf-8') print Levenshtein.distance(string1, string2) 日本語でもOKですね。 1文字取り替えれば正解の文字になるので、編集距離は1になります。 僕はpython という文字を入力するのが苦手で気づくとpyhtonとかになってしまっているのですが、 pyhton と python の編集距離は 2になります。(2つの文字を入れ替えると同じになるので） おまけ ドキュメント を見ると、他にも、 Jaro-Winkler 距離 の計算とかいろいろでき
Pythonでシンプルな文章の類似度判定をやってみた - [Dd]enzow(ill)? with DB and Python
会社の後輩に、社内のFAQの利用率を高めたいからなんとかしたいといわれ、自然言語の入力を受け付けて近いFAQのリンクを戻すコードを書いてみました。 後輩に説明しながらという点と元データも70件程度と少なかったことや、そもそも自分がちゃんと理解してない点もあったので、gensimやsklearn等は用いずになんちゃってBoWで実装しました。 コンセプト こんな感じでやることにしました。計算効率とかはあまり考えずわかりやすさを優先して実装します。 元々あるFAQを単語分割 単語の出現数をそれぞれカウント ユーザが入力した内容も単語に分割し出現数をカウント 出現している単語が近いものをスコア順に提案 対象データについて こんなイメージのデータでした。中身はイメージです。URLも適当です。 Question Answer link AWSとOracleCloudの違いはなんですか？ 名前が違います
![Pythonでシンプルな文章の類似度判定をやってみた - [Dd]enzow(ill)? with DB and Python](https://cdn-ak-scissors.b.st-hatena.com/image/square/d6df039b2f71d7ec7af1eb6aba06abf859f7f5cf/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F8599973812288943377%2F8599973812312438078%2F1509260943)
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック カテゴリーの記事一覧 - 無駄と文化