【自然言語処理入門】日本語ストップワードの考察【品詞別】 - ミエルカAI は、自然言語処理技術を中心とした、RPA開発・サイト改善・流入改善レコメンドエンジンを開発
ストップワードの除去は自然言語処理やテキストマイニングにおける重要な作業です． 解析の精度を上げるために不要な記号や単語を等をデータセットから除去します． ストップワードの選定にはタスクに特化した分析が必要ですが，ある程度整理されているデータがあるととても助かります． そこで，今回は私が自然言語処理のタスクでよく行う，日本語のストップワードについてまとめました． また単語の分布などから，品詞ごとのストップワードに対する考察も行いました． このことからストップワードを介して自然言語処理のあまり語らることのない知識などをご共有できればと思います． （この記事の考察部分は主に自然言語処理の初心者を対象とした入門記事です．） 目次 1. 自然言語処理・ストップワードとは 2. 分析の対象 3. 単語の分布に対する考察 ┣ 出現頻度 上位300件 ┗ 出現頻度と単語 4. 品詞ごとに考察 ┣ 名詞
日本語話し言葉BERTを作成、公開します！ - Retrieva TECH BLOG
こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、国立国語研究所様との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。 概要 BERTの簡単な説明 話し言葉BERT作成方法 書き言葉BERTの文法を表現する部分のみをCSJで追加学習 書き言葉BERTに対して、話し言葉データを用いた分野適応 実験 文法を表現する部分のみを追加学習することの有効性の確認 話し言葉データを用いた分野適応を行うことの有効性の確認 日本語話し言葉BERTの公開 ご利用方法 まとめ 概要 近年、自然言語処理の分野ではBERT（Bidirectional Encoder Representations from Transformers）と呼ばれるモ
IntelliJ IDEA 日本語化 - JetBrains 公式言語パックのインストール
IntelliJ IDEA 日本語化マニュアル IntelliJ IDEA ベースの IDE の UI は、デフォルトでは英語ですが、JetBrains による日本語言語パックで簡単に日本語化できます。Android Studio の場合は言語パックをダウンロードして適用してください。 言語パック対象 IDE Android Studio、AppCode、CLion、DataGrip、GoLand、IntelliJ IDEA、MPS、PhpStorm、PyCharm、Rider、RubyMine、WebStorm 日本語言語パックのインストール方法 Welcome 画面または Settings/Preferences から Plugins を開く Marketplace の検索で "japan" と入力 Japanese Language Pack の Install ボタンクリック Re
「なんでできひんねん」は関西弁として自然ですか？
「なんでできひんねん」か、 「なんででけへんねん」でしょうか。 地方によるのかもしれませんが、「できへん」は聞いたことがありません。 2文字目の母音と3文字目の母音は、呼応する印象があります。
「できひん」と「でけへん」の違い - 「できひん」と「でけへん」の違いって、表記の仕方でしょうか？それとも、地域が違うのでしょうか？ - Yahoo!知恵袋
地域の違いでも表記の仕方でもありません。音声現象です。 この現象を、言語学では、母音調和といいます。単語の語幹の母音と語尾の母音が呼応する現象です。 奈良時代に日本語に母音調和があったのは知られていますが、現代大阪方言に母音調和がある事実は、国語学者でも知らない人が多いのです。 大阪方言では、 「できる」の否定形は、「できひん」「でけへん」のとちらも正しいです。（京都では、正しい形は「できへん」「できやへん」となって母音調和しません。最近は大阪の形も進出してはいますが） しかし、このように両形可能なのは「できる」だけで、その他の上一段動詞は、「ひん」になるのが普通です。たとえば、 「おちる」「おちひん」。（「おてへん、おちぇへん」は×） 「きる（着る）」「きいひん」。（「けえへん」は「来ない」の意味）。 「おりる」「おりひん」。（「おれへん」は「いない」「折れない」の意味）。 「あびる」「
The EDICT Dictionary File
The EDICT Dictionary File Welcome to the Home Page of the EDICT file within the JMdict/EDICT Project. This page has been written by Jim Breen (hereafter "I" or "me") and is intended as an overview of the file, with links to more detail elsewhere. Background Way back in 1991 I began to experiment with handling Japanese text in computer files, and decided to try writing a dictionary search program i
候文 - Wikipedia
候文（そうろうぶん）は、日本の中世から近代、昭和戦前期にかけて用いられた、日本語の文語体の一型式である。文末に丁寧の補助動詞「候」（そうろう、そろ、歴史的仮名遣いではサウラフ）を置く。 歴史[編集] 「候」（古くはサモラフ、サブラフなど）は、元来、貴人の傍に仕える意の動詞であったが（「さむらい」もこれに由来）、平安時代に「居り」の謙譲語、さらに丁寧を表す助動詞に転じた。平安末期には現代語の「ですます体」のように口語で盛んに用いられたらしい（『平家物語』の語りの部分に多くの用例がある）。 鎌倉時代には文章としても書簡などに用いられ、文語文体として確立した。室町時代には謡曲（能）の語りの文体としても用いられた。この頃には、口語としては廃れたとされる（ただし「です」は「にて御座在り参らす」に由来するとされる）。 対照的に、文語としてはさらに普及し、江戸時代には、公文書・実用文などのほとんどをこの
東京大学日本語教育センター｜日本語学習情報｜日本語学習入門｜助詞「は」と〈情報構造〉
このページでは、助詞「は」の話をしましょう。「は」は、日本語の文の述べ方（特に、情報の提示の仕方）に深く関係する、日本語に最も特徴的な助詞だといってよいものです。ついでに、「は」と、よく似ているとされる「が」との違いについても、簡単に触れます。 1. case markerとは；「は」はcase markerではない 「日本語って、どんな言葉？」のページで、次のように述べました（以下十数行は、そのページの最初の部分の要約です）。 (a)田中さんはお茶を飲みました。（Tanaka drank tea.） (b)田中さんは佐藤さんときっさてんでお茶を飲みました。（Tanaka drank tea at a coffeeshop with Sato.） （a）（b）の「お茶を」の「を」は「目的語のしるし」object markerで、「お茶」が目的語であることを示します。（b）の「佐藤さんと」の
Japanese phonology - Wikipedia
For assistance with IPA transcriptions of Japanese for Wikipedia articles, see Help:IPA/Japanese. This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Japanese phonology" – news · newspapers · books · scholar · JSTOR (March 2013) (Learn how and when to rem
Lingua::JA::Moji - Handle many kinds of Japanese characters - metacpan.org
NAME Lingua::JA::Moji - Handle many kinds of Japanese characters SYNOPSIS Convert romanised Japanese to and from kana: use utf8; use Lingua::JA::Moji qw/kana2romaji romaji2kana/; my $romaji = kana2romaji ('あいうえお'); print "$romaji\n"; my $kana = romaji2kana ($romaji); print "$kana\n"; produces output aiueo アイウエオ (This example is included as synopsis.pl in the distribution.) Convert between differen
Regular Expressions for Japanese Text - Localizing Japan
Categories Honyaku Star (1) Japanese (47) Linux (31) Localization (11) Programming (12) Trados (3) Translation (10) PagesAbout Resume Latest Posts Japanese Input on Ubuntu 16.04 LTS Xenial Xerus Japanese Input on Ubuntu 15.04 Vivid Vervet Japanese Input on Fedora 21 Linux Japanese Input on Ubuntu 14.10 Utopic Unicorn Japanese Input on Linux Mint 17 Qiana (Cinnamon) Japanese Input on Ubuntu Linux 1
Rikaichan Dictionary Files
Please note that Firefox v57+ no longer supports XUL-based addons like Rikaichan. You can find alternative versions of Rikaichan (made by others) that will work in Firefox 57+ here: https://addons.mozilla.org/en-US/firefox/addon/rikaichanext/ https://addons.mozilla.org/en-US/firefox/addon/rikaichamp/ If you still want to use this version of Rikaichan, you will need to use a Firefox-based browser t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Japanese Wiki Corpus
GitHub - rinnakk/japanese-pretrained-models: Code for producing Japanese pretrained models provided by rinna Co., Ltd.
GitHub - cl-tohoku/bert-japanese: BERT models for Japanese text.
Kyōiku kanji - Wikipedia
日本語 文法 逆接：解説
M+ FONTS
The JMDict Project
文語助動詞活用表