Elasticsearch 日本語形態素解析のための文字列正規化の重要性
日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう！ この記事は、Elasticsearch Advent Calendar 2014 の１８日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F
FINDJOB!終了のお知らせ | FINDJOB!
FINDJOB! 終了のお知らせ 2023年9月29日にFINDJOB!を終了いたしました。 これまでFINDJOB!をご利用いただいた企業様、求職者様、様々なご関係者様。 大変長らくFINDJOB!をご愛顧いただき、誠にありがとうございました。 IT/Web系の仕事や求人がまだ広く普及していない頃にFind Job!をリリースしてから 約26年間、多くの方々に支えていただき、運営を続けてまいりました。 転職成功のお声、採用成功のお声など、嬉しい言葉もたくさんいただきました。 またFINDJOB!経由で入社された方が人事担当になり、 FINDJOB!を通じて、新たな人材に出会うことができたなど、 たくさんのご縁をつくることができたのではないかと思っております。 2023年9月29日をもって、FINDJOB!はその歴史の幕を下ろすこととなりましたが、 今後も、IT/Web業界やクリエイティブ
ランダムで日本人の名前を返す gem を作った - おもしろwebサービス開発日記
gimei という、ランダムで日本人の名前を返す gem を作りました。 似たようなライブラリに faker があります。faker は人の名前だけではなく、住所やメールアドレスやユーザ名や電話番号など、たくさんのジャンルのダミーデータを返してくれるすごい gem です。しかも i18n に対応しており、yaml ファイルを定義すれば日本語も使えます。 じゃあ faker でいいじゃん！って思いますよね。しかし一つだけ問題がありまして…。ふりがなが使えないのです。 そこでgimeiです。gimeiは下記のような形でふりがな(フリガナ)に対応しています。 gimei = Gimei.new gimei.kanji #=> "斎藤 陽菜" gimei.hiragana #=> "さいとう はるな" gimei.katakana #=> "サイトウ ハルナ" gimei.last.kanji #
漢字も使える日本語フリーフォント98種類まとめ [サンプル書体付き] 56docブログ
フリーフォントまとめエントリはいろんなブロガーさんがまとめてらっしゃって私もちょいちょい参考にさせてもらってますが、サイト移転などでリンク切れがあったりするので2012年2月版としてあらためてまとめました。 今回まとめた分は現時点でのリンクチェックとダウンロード可能であることを確認しております。せっかくですので比較できるようにサンプル書体画像も作成しましたので参考にどうぞ。 【追記】ウェブフォント絡みでGoogle web font APIの記事書きました。興味があればコチラも参考にどうぞ。 Google web fonts APIで自由なテキストデザインを 日本語フリーフォント一覧 フォント使用に当たって 今回紹介する分は基本的に無料でダウンロード可能な、漢字の使える日本語フォントにしぼりました。 個人利用は原則制限のないものですが、一部フォントについては商用不可であったり再配布・改変な
![漢字も使える日本語フリーフォント98種類まとめ [サンプル書体付き] 56docブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/5199b7bf14bad177c606b17811be90ad76390f2e/height=288;version=1;width=512/https%3A%2F%2Fblog.56doc.net%2Fwp-content%2Fuploads%2F2019%2F06%2Ffontex001.jpg)
日本語入力について - アスペ日記
私が日本語入力について思っていることを書いてみる。 自分としては、デフォルト以外の日本語入力システムとして、ATOK と Google 日本語入力ぐらい（まあ、Baidu IME とかもあるが）しかないのが心の底から残念でたまらない。 雑誌の特集などで、Google 日本語入力と ATOK に単語や文章を変換させて精度を比較しているものを見かける。まあ総合的には同じぐらいの結果になっている。だが、実際に長い間使っているとわかるのだが、Google 日本語入力の間違え方のほうが「理不尽」なのだ。どうしてこれがこうなる？ と思わず言いたくなるような。その点、ATOK は弱い部分が前もってわかる。アニメやゲームなど、マニアックな変換には弱い。しかし、ATOK である程度日本語の文章を打ち慣れた人にとっては、そういう「難しいだろうな」と思うようなところは、打つ前からそのことがわかるものだ。 ATO
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語フリーフォントまとめ63個 – 2013年7月｜男子ハック
