新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた
このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
Solr 6でneologdが組み込まれたkuromojiを使う方法 - ZOZO TECH BLOG
Solr 6でneologdが組み込まれたkuromojiを使う方法 こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは商品情報の全文検索を行うためのバックエンドに、Apache Solr(以下、Solr)を利用しています。 先日、Solrのメジャーバージョンを最新の6にアップグレードしました。 それに伴ってSolrの形態素解析エンジンであるkuromojiに新語辞書であるmecab-ipadic-neologd(以下、neologd)を組み込みました。 この記事では、組み込むことのメリット及び、具体的な組み込み方を紹介します。 kuromojiにneologdを組み込むことのメリット では、まずkuromojiにneologdを組み込むことのメリットを、転置インデックスを利用した全文検索の仕組みに基づいて説明します。 転置インデックスを利用した全文検索の仕組み
Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita
tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください 注: この記事の執筆者はSudachiの開発に関わっています さまざまな形態素解析器 形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利
Seven rules for perfect Japanese typography
“Our product has traction in Japan! What now?” If you find yourself asking this question, you’re in good company. Japan is an amazing place to have a following, as many startups have discovered. With 115 million internet users and a sophisticated consumer culture, anything is possible here. Twitter, for example, who invested early in Japan-specific research, content, product and marketing, grew fr
レポートや修士論文の作成に際して
文章を書く時には、約束ごとがあります。また、生物学関係の学術的な文書を書く時にも、その分野に特有の約束ごとがあります。それらは歴史の中で習慣として定着してきたことで、たとえつまらないことのように思えても、文書を作成する時にはある程度決まった形式に従って書くことが一般に行われています。ところがこのところ、レポートや修士論文の原稿を見ると、文書の形式などの基本的なことができていないことがあり、その修正に時間をとられることが思いのほか多くなっています。そのようなことを少しでも減らすために、生物学関連の文書を書く時の基本的な留意点を思い付くままにここにまとめておくことにしました。ここに書いてあることは自然科学や生物学の公的な文書を紙ベースで書く時に常識的に知っておかなければならないことで、本来は、論文や総説などを読んでいるうちに自分で気付き、学んでいかなければならないことです。論文や総説を読む時に
伝わるデザインの基本 よい資料を作るためのレイアウトのルール
検索 画像 マップ Play YouTube ニュース Gmail ドライブ もっと見る »ログインブックスマイ ライブラリヘルプブックス検索オプション電子書籍を購入 - ￥2,158この書籍の印刷版を購入 Amazon.co.jp紀伊国屋書店 BookWebセブンネットショッピングハイブリッド総合書店 Honto所蔵図書館を検索すべての販売店 »伝わるデザインの基本 よい資料を作るためのレイアウトのルール高橋佑磨, 片山なつ株式会社 技術評論社, 2014/07/10 書籍のプレビュー » ページのサンプル 17 ページ タイトル ページ 目次 索引目次第1章書体と文字の法則11 第2章文章と箇条書きの法則39 第3章図形と図表の法則63 第4章レイアウトと配色の法則95 第5章実践139 索引174 奥付176 著作権 多く使われている語句CMYK MS Office PowerPo
三省堂 Web Dictionary
15, 助詞の使い方に注意 「は」と「が」 「に」と「へ」 「より」と「から」 「の」 「で」 助詞の役割は重要である。とても小さなことばだが、使い方を誤るとニュアンスが変わってしまうので、慎重に用いなければならない。 「は」と「が」 「は」と「が」は何かがちがうと、おそらく多くの人が感じている。けれども、そのちがいはなかなかうまく言い当てられない。これまでにも、専門家の研究がいくつかあった。ここでは、その中から一つを紹介することにする。それは、 は……既知の情報を示す が……未知の情報を示す である。 【例】 企画2年、製作期間5年に及んだ大作「港」は完成し、その試写会を行うことになりました。 この例では、映画「港」について何かを読み手は既に知っていると書き手は判断している。これが、はじめての「試写会のお知らせ」なら、つまり、読み手は「港」について何も知らないと書き手が判断しているのなら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerを利用して Elasticsearch + Kibana の環境で kuromoji + Neologd を試す - Qiita
mecab-ipadic-neologd/README.ja.md at master · neologd/mecab-ipadic-neologd
GitHub - WorksApplications/elasticsearch-sudachi: The Japanese analysis plugin for elasticsearch
Honoka - 日本語も美しく表示できるBootstrapテーマ
GitHub - r7kamura/ikku: Discover haiku from text.