文章作成に役立つ 読み手に違和感をあたえることなく自然に話題を切りかえる書き方 - こうへいブログ 京都案内と文章研究について
有題文「は」と無題文「が」 日本語のセンテンスというのは、大きく二通りに区分けすることができます。 それは、名詞句に「は」がついて述べられる「有題文」と、名詞句に「が」がつく「無題文」というように大きく分かれるのです。 たとえば、 a ) 太郎は講演会に来た。 b) 見知らぬ男（✖は / が）講演会に来た。 という文で比較してみると、b)の「見知らぬ男」は、指示対象が特定されていない「不定」の名詞句なので「は」を使うことは出来ません。 「は」を使うには、a)のような有題文にみられる「太郎」のように、指示対象が決められた「定」の名詞句でなければならないんです。 そう、未知の対象に「は」を使うことは出来なくて、特定名詞として扱われているか、もしくは、そこまでの文脈によって読み手に認知されていないと「は」という係助詞は使用できないんですね。 無題文に見られる未知の指示対象には「が」が使用されます
Elasticsearchで日本語の形態素解析を行おう。
GET /damedame_analyzer/_analyzer { "analyzer": "standard", "explain" : true, "text": "私は、今年25歳になりました。昼は仕事をして夜はお酒を飲んでいます。趣味はバイクです。" } { "detail" : { "custom_analyzer" : false, "analyzer" : { "name" : "standard", "tokens" : [ { "token" : "私", "start_offset" : 0, "end_offset" : 1, "type" : "<IDEOGRAPHIC>", "position" : 0, "bytes" : "[e7 a7 81]", "positionLength" : 1, "termFrequency" : 1 }, { "token"
RcppMeCabとは RcppMeCabは、Junhewk Kim氏が開発している、MeCabとRcppを利用して形態素解析するためのRパッケージです。 junhewk/RcppMeCab CRAN - Package RcppMeCab RcppMeCabによる形態素解析の例 形態素解析するための関数として、RcppMeCab::posとRcppMeCab::posParallelの２つがあります。両者はまったく同じ機能を提供するものですが、posParallelのほうは形態素解析の処理を内部的にマルチスレッドで回すことができます。posParallelが対応しているOS・プラットフォームならば、基本的にposParallelを使っておくほうが速いです。 渡す引数によって、以下のような出力を得ることができます。 require(RcppMeCab) sentence <- c("陽が照
ご無沙汰しております。 taanatsuです。 今回は珍しくPHPの記事を書いていこうと思います。 ExciteといえばPHPですからね！しらんけど。 形態素解析 皆さんは「形態素解析」という言葉を耳にしたことがありますでしょうか？ 機械学習だ！AIだ！と騒がれる昨今、文章の解析で使われる手法の一つがこの形態素解析です。 私は漢字が4つ以上並ぶと読めなくなるので、形態素解析という言葉が苦手ではあります。 形態素解析とは、文章を「形態素」、いわゆる名詞・動詞・形容詞・副詞のような、日本語の最小単位の単語に分割する処理のことを言います。 形態素解析器「MeCab」 形態素解析を行ってくれるツールです。 今回はよく使われる「MeCab」を利用していきたいと思います。 で、Windowsの方はすいません。。。 会社のPCがMacなので、この記事はMac用になります。 私個人はWindows機を利用
AWS のビデオ分析と Elasticsearch の全文検索を使って映像検索システムを作りました。 - Qiita
AWS のビデオ分析と Elasticsearch の全文検索を使って、映像検索システムを作りました。記録を残させていただきます。 報告する内容 検索サービス概略 Amazon Rekognition というビデオ分析サービスから得られる情報 得られる情報が英語なので、翻訳サイト Excite で翻訳して使うことにしました。 Elasticsearch のデータスキーマ 検索サービスのアルゴリズム 映像頭出し再生の HTML と Javascript ほかに考えられる映像検索サービス システムを構築したのが2年前くらいなので、Elasticsearch のバージョンが6くらいです。Java でプログラミングしてあり、今も動きますが、Java のバージョンも11です。なので、プログラムは掲載しません。エッセンスのみご報告させていただきます。 検索サービス概略 検索サービスを受け付けるページは
たったひとつしかない係助詞 「は」 わたしたちが日本語で文を書こうとするとき、その語順は比較的自由に並べることができます。 英語の場合ですと、主語は原則として必ず文頭に置かれ、それに合わせてbe動詞や一般動詞の選択がされることになります。 つまり、語順を勝手気ままに変えることはできないんです。 一方、日本語ではあくまでも文末の述語が中心的存在になるので、名詞と助詞（後置詞）がセットになった補語を、述語にペタペタと貼り付けていくだけで文は完成されます。 だから、日本語の文では、「が」のついた主語が必ず文頭に置かれるなんて必要はどこにもないんですね。 ヒロシが 裕子に 花束を 贈った。 花束を ヒロシが 裕子に 贈った。 裕子に 花束を ヒロシが 贈った。 といったように、「贈った」という述語を中心としてどこまでも語順の並べ方は自由であり、「ヒロシが」という主語の定位置が別に決まってるわけでは
はじめに 「形態素解析器を使いこなしたい！」、そう思ったのはいったいいつからか... 今回は形態素解析器であるJanomeの公式Documentを自分なりにまとめました！ 形態素解析器の使い方がよくわかっていない方の参考になれば幸いです！ 参考文献 Janome API reference v0.4 Janome v0.4 documentation (ja)WELCOME TO JANOME'S DOCUMENTATION! (JAPANESE) Python, Janomeで日本語の形態素解析、分かち書き（単語分割） 目次 Tokenizer Analyzer char_filters token_filters janome.tokenizer module 入力した文字列を"Token"に変換して出力します。 from janome.tokenizer import Tokeniz
2018年3月24日（土） 国語教育史学会・第60回例会 於早稲田大学・発表資料 小西甚一の古文学習参考書三部作の価値 −佐伯文法の影響を中心に− 國學院大學兼任講師 大東文化大學非常勤講師 岡田 誠 序 小西甚一は、日本文学研究社として数多くの分野で業績を残したが、古文の学習参考書の名著を書き残したことでも知られている。小西甚一の書いた代表的な古文の学習参考書をあげると以下の三冊になる。 『古文研究法』（洛陽社）昭和30年 『国文法ちかみち』（洛陽社）昭和34年 『古文の読解』（旺文社）昭和37年 これらの三冊は、その水準は高く、後の学習参考書の模範とされたといわれている。これらの学習参考書は、初版が旧制から新制に学校制度が切り替わってから10年以内に書かれたもので、共通一次試験、センター試験導入以前の時期であり、入試問題も現在のような客観式のマーク問題ではなく、じっくりと読解させるもの
Over the past several years there's been a welcome trend in NLP projects to be broadly multi-lingual. However, even when many languages are supported, there's a few that tend to be left out. One of these is Japanese. Japanese is written without spaces, and deciding where one word ends and another begins is not trivial. While highly accurate tokenizers are available, they can be hard to use, and En
Verified details These details have been verified by PyPI Maintainers shimajiroxyz Unverified details These details have not been verified by PyPI Project links Homepage Meta License: MIT License Author: shimajiroxyz Requires: Python >=3.11 jphraseは、日本語のテキストを文節に分割するためのライブラリです。 形態素解析から得られた単語の品詞情報に基づき、ルールベースで文節を決定します。 Basic Usage from jphrase import PhraseSplitter splitter = PhraseSplitter() print(s
引き続き、機械学習やその他色々について得た知識を 復習and記事作成の練習and個人の備忘録としてまとめていきますよん！ 今回も前回と同様、自然言語処理の分野です！ タイトルの内容について、ざっくりといろいろ書いていきます！ ⚠︎※※注意※※⚠︎ ・出来るだけ専門知識のあまりない人に対して、分かりやすく書くことを目標にしています。 そのため、厳密に言うと間違っている部分があると思いますがご容赦ください。 ・また、ネットで調べたレベルの知識がほとんどなので、 "厳密に言うと"レベルではなく間違っている箇所があるかもしれません。。 その場合は非常に申し訳ないです。指摘していただけると幸いです！ 参考 自然言語処理の仕組みと手順 日本語形態素解析の裏側を覗く！MeCabはどのように形態素解析しているか 前回までの記事 ・機械学習について ・教師あり学習 〜回帰〜 ・教師あり学習 〜分類〜 ・Ra
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RでMeCab（RcppMeCab）を利用して形態素解析する方法
PHPを使って形態素解析と文章の類似度を出してみる - エキサイト TechBlog.
言葉の並べかたの話 きっとリズム感は出せるはず - こうへいブログ 京都案内と文章研究について
形態素解析器（Janome）を使いこなしたい！ - Qiita
小西甚一の古文学習三部作の価値−佐伯文法の影響を中心に− - 鶏肋断想
How to Tokenize Japanese in Python
jphrase
形態素解析・Ngramとbag-of-words - Qiita