日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう！ この記事は、Elasticsearch Advent Calendar 2014 の１８日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F

はじめに 最近かかりつけの医者にすすめられて、健康維持のために水泳を再開した。土、日の昼前に約30分くらいノンストップで1km泳ぐ。水泳は以前からやっていたので、仕方なくやるという気持ちではなく、かなりリラックスしてやることができる。何と言っても、その後のビールを、昼間から何の後ろめたさもなくグイグイ飲めるところがよい。 水泳のもう一つの利点は、泳いでいる間、聞こえるのは水を切る水中音のみ、頭の中でいろいろ考えることができる。特に昔の事が次々とよみがえってくる。25mプールなので行って帰ってくると50m。100、200、300とやるうちに、いつも思い出すのが、私がAMDで経験したマイクロプロセッサー開発競争の時代だ。メートルをクロック周波数に置き換えると、いろいろと思いだす。 200mを超えると「K6登場(いきなり233MHzでIntelのPentiumを抜いたのだから、さぞかしIntel

世の中に「開かずの踏み切り」数あれど、JR 戸塚駅の北側にある戸塚大踏切ほど極端なところも少ないだろう。ピーク時には1時間のうち57分間遮断されるというありさま。地元・横浜市は対策として、地下と上空にそれぞれ車道と歩道を通した。 戸塚大踏切は、いわば開かずの踏み切りの代名詞。1日のうち14時間は遮断機が降りている状態だともいわれ、名物ではあるが、不便でもあった。横浜市は対策として2014年に大きな歩道橋「戸塚大踏切デッキ」を開通。これで歩行者と自転車の問題は緩和したが、クルマについてはまだそうはいかない。 続いて2015年3月25日に、ようやく地下車道「戸塚アンダーパス」が開通。従来は大踏切を迂回する場合、横浜、大船方面どちらに向かっても約 4km 移動しなくてはならなかったが、このアンダーパスのおかげで戸塚駅東西の行き来が約 3km 短縮できるようになる。

NHK Eテレは3月19日午後9時の「きょうの料理」で海上自衛隊横須賀地方隊を講師に招き、「これぞ男の力めし！海上自衛隊カレー」を放送します。護衛艦「てるづき」が協力しており、「『てるづき』ビーフカレー（時松Ver.）」のレシピが公開されています。 「『てるづき』ビーフカレー（時松Ver.）」のレシピ公開！　おいしそう たまねぎ、牛肉、にんじん、じゃがいもなど基本的な材料とともに、ナツメグやガラムマサラなどの香辛料やフルーツチャツネやインスタントコーヒーなど調味料を加えて仕上げるようです。 海上自衛隊には毎週金曜日にカレーを食べる習慣があり、艦船や基地ごとに秘伝のレシピがあるそうです。調理担当の「給養員」は専門の料理指導を受けており、各艦船や基地のシェフは互いに腕を競い切磋琢磨。秘伝レシピは“最高機密級”だと言われています。これらのカレーを求めて「護衛艦カレーNo.1グランプリ」では多くの

福島県郡山市の機械メーカーが開発した、電気を使わない自動ドアが注目されています。社員わずか4人の企業が、県内の住宅メーカーと共同開発したこの自動ドアは、てこの原理を利用し、体重をかけると静かに開く仕組みになっています。 現在は福祉施設等を中心に普及していますが、今後は東京渋谷に建設中の複合ビルなどにも、導入が予定されています。

いい感じのスライド、作るのむずいので、「Azusa Colors」っていうKeynoteテンプレートを作った。下記のサイトからダウンロードできる。 Azusa Colors - 大体いい感じになるKeynoteテンプレート解説 デモも兼ねた解説スライドを作った。 Introducing Azusa Colors Keynote Template // Speaker DeckAzusa ColorsとはAzusa Colorsとは、大体いい感じになるKeynoteテンプレート「Azusa」に、新しいカラーバリエーションを加えたもの。 Azusaとは僕が1年前に作ったKeynoteテンプレートで、「SpeakerDeckにある “なんとなくいい感じのスライド” は大体1ページあたり3色以内で構成されている」という法則にもとづき作成した。 使われている様子を観察すると、主にエンジニアの勉強会や

衆議院が解散され各党は事実上の選挙戦に入りました。政治とカネの問題で失われた政治への信頼を取り戻せるのか。今回の解散・総選挙の特徴と選挙戦の焦点・争点を考えます

脳科学者・中野信子さん、心理学者・澤田匡人さんインタビュー（前編） 友達のフェイスブックにイライラするのはなぜ？　脳科学者と心理学者が解説する「嫉妬」と「妬み」の正体 「リーダーになって初のプロジェクト、大成功！」 「うちの子の寝顔、天使みたい！」 「旦那さんが育児休暇取ってくれて、ハワイで子育て中！ 帰国は3ヶ月後かな～」 「ただいま、パリ！」 FacebookやTwitterに溢れる友人の“日常”をなにげなく眺めているだけで、ふつふつ沸き上がってくる気持ちがあります。 妬み、嫉妬――。 SNSを常用している私たちにとって、このいやーな感情はどうしても切っても切り離せないもの。でも、このもやもや、どうにかできるならどうにかしたい！　そう思ったことはありませんか？ そこで今回は『正しい恨みの晴らし方』（ポプラ新書）を上梓した、テレビでもお馴染みの脳科学者・中野信子先生と、宇都宮大学教育学部

期間限定サイト「村上さんのところ」をご覧いただきまして、誠にありがとうございます。 連日たくさんのアクセスをいただきました当サイトですが、2015年5月13日をもって、公開を終了させていただきました。当主の村上春樹さんは、しばしの休憩をとったあと、本来の小説のお仕事に戻っていらっしゃいます（当主からの最後の挨拶はこちら）。 1月15日のオープン以来、119日間という限られた期間でしたが、読者のみなさまと村上さんとの交流はたいへん面白く、そして意義深いものとなりました。3万7465通のメールをお寄せいただいたみなさん、そして、最後までご愛読いただいたみなさんに、あらためて感謝を申し上げます。 なお、当サイト上での質問者のみなさまと村上さんとのやりとりは、編集の上、新潮社より出版されます。くわしくはこちらをご覧ください。 新潮社　チーム縁の下

先日、数年前に在籍していたSIer(もともと東京湾の海岸沿いにあったため、仲間内で「海岸沿いのSIer」と呼んでいた)の社内カンファレンスにお呼ばれし、話をしてきました。この社内カンファレンス、元をたとれば私が当時の仲間と拵えたもので、ボトムアップからいきなり立ち上げた、社内ではちょっとした名物イベントになっていたのでした。内容は各回テーマを決めて、社員が技術話や経験談を語るものでした。私が在籍している間に3回開催し、その後は長らく途絶えていたのですが、自分たちなりにリビルドして立ち上げ直した若者たちがおり、最近になって活発に開催されるようになっていたのでした。 「元社員にこんなのがおったよ。何を考えて、何をし、いまこうしているよ」そんな話をして欲しいと依頼をもらい、辞めて久しい私にいまだ声をかけてくれる同朋に感謝し、一も二もなく快諾しました。自分が元居た場所に、何かおみやげを持っていけな

先日、渋谷区が同性間のカップルに対して証明書を発行して“結婚”に相当する権利を与えようとする条例案が提出することを決めた。 条例が決定したわけではなく、提出されたわけではなく、“提出することを決めた”段階である。 渋谷区、同性カップルに証明書 条例案「結婚に相当」 ：日本経済新聞 それに対して、「頑張れ日本」という組織が、その条例に反対するデモを行った。 日の丸たてて同性愛に反対というデモにドン引きした - 温玉ブログ ちなみに、この「頑張れ日本」という組織には、現首相の安倍晋三さんや、田母神俊雄さんが関わっているらしい 渋谷で反同性愛デモを主催した「頑張れ日本！」の結成大会に安倍首相を始め複数の現閣僚が参加・登壇していたことが明らかに - エキサイトニュース(1/3) その反対デモで主張されていたのは、以下のようなこと ハチ公前での頑張れ日本！の渋谷区条例反対街宣で配布してたチラシ。「子

平素は株式会社ライブドアのサービスを ご利用いただきありがとうございます。 提言型ニュースサイト「BLOGOS」は、 2022年5月31日をもちまして、 サービスの提供を終了いたしました。 一部のオリジナル記事につきましては、 livedoorニュース内の 「BLOGOSの記事一覧」からご覧いただけます。 長らくご利用いただき、ありがとうございました。 サービス終了に関するお問い合わせは、 下記までお願いいたします。 お問い合わせ ※カテゴリは、「その他のお問い合わせ」を選択して下さい。

「40歳定年説」をきっかけに退職を決意　『「40歳の壁」をスルッと越える人生戦略』著者が語る、セカンドキャリアの3つの要素