「言葉をずっと、観察している。」 - ほぼ日刊イトイ新聞
このところ、Twitterのおかげで、 飯間さんのお話はずっと拝見していました。 こういう問題意識を持っている人が 辞書を作っているんだと思うと、心が楽になりまして。 あっ、そうですか。 辞書の仕事はすごく地味で、 表に出ることがないので、たいへん光栄ですね。 先ほど、ほぼ日の星野さんがお手持ちの 古い三省堂国語辞典を見せてくださいました。 使い込んでいますね。 これには感動しましたね。 付箋が貼ってあって、この付箋は長い間、 いろんなところに貼られたんでしょうね。 この辞書を作ったのは、 見坊豪紀（けんぼう・ひでとし）さんという、 業界では「巨人」と呼ばれる人なんですが、 この第四版まで携わっています。 はあー、そうですか。 辞書の作り手を難しい言葉に置き換えると 「レクシコグラファー」というのですが、 見坊先生は「レクシコグラファーは弁明せず」 とおっしゃっていたんです。 つまり、辞書
≪テキストマイニングエンジニア向け≫大規模辞書マッチングを手軽に高速化してみた｜#ホットリンク
最終更新日：2023年6月12日 開発本部研究開発グループR&Dチームのサンティです。 （サンティさんの紹介はこちらから：≪社員紹介≫ホットリンクのサービス基盤技術を長年に渡って支える屋台骨） 今回は、テキストマイニングのエンジニア向けに、ホットリンクで研究開発を進める過程で、調査・整理した技術的な内容を紹介します。だいぶ技術寄り、しかも自然言語処理の分野の話ですので、一部の読者の方々は置いてきぼりになってしまうかもしれません。その点は、ご了承頂ければと思います。 さて、皆さんは“Dictionary Matching”という技術をご存知でしょうか？ Dictionary Matchingとは入力テキストの中に、予め登録しておいた文字列パターンの集合（辞書）と一致する部分を特定する技術です。辞書をベースとした固有名詞認識のようなサービスに使われています。 例えば、「東京特許許可局へ行きまし
ファッションを扱うサービスのために、Elasticsearchのユーザー辞書とシノニム辞書を作った話
ファッションを扱うサービスのために、Elasticsearchのユーザー辞書とシノニム辞書を作ったときの具体的な話
FRILの商品検索をnGramから形態素解析にした話 - mosowave
この記事はElasticsearch Advent Calendar 2015の7日目のエントリです。 こんにちは、ファッションフリマアプリFRILを運営しているFablicでエンジニアをしている@sinamon129です。 FRILの商品検索はElasticsearchを使っていて、最近nGramベースだったものを形態素解析ベースに変更しました。 その経緯やどういう手順で行ったかを書こうと思います。 主にユーザー辞書とsynonym辞書の構築の話がメインです。 どうしてnGramベースから形態素解析ベースに変更することになったか 関係ないものがなるべくひっかからないようにしたい nGramだとファーで検索したときに、ローファーやローリーズファームが引っかかり、本当に検索したかったものが出てこないという問題がありました。 （実際は出ているのだけども、埋もれてしまっている状態） 同じ意味の単
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
