こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
Elasticsearchで日本語を同義語展開する
全文検索における同義語展開の必要性 全文検索では、基本的に文字列のマッチにより検索を行います。しかし我々が言葉を扱うときには、同じものを違う表現で指し示すことが多々あります。 例えば「独占禁止法」と呼ばれる法律があります。これは経済憲法とも言われる大変重要な法律なのですが、日本では「昭和二十二年法律第五十四号（私的独占の禁止及び公正取引の確保に関する法律）」という法律がそれに該当し、独占禁止法という名前にはなっていません。これを皆、「独占禁止法」や「独禁法」といった代替可能な別表現（同義語）で呼んでいるわけです。 同法律には法令用語で言うところの「題名」は付されておらず、頭書の名称は制定時の公布文から引用したいわゆる「件名」である。独占禁止法ないし独禁法と略称されることも多い。 もし「独禁法」で検索して当該法律がヒットしなければ、ユーザーとしては不満足でしょう。検索システムのクオリティを向
『古今著聞集』の電子テキストを公開しました。いつもどおり、翻刻部分はパブリックドメインで、校訂本文部分はクリエイティブ・コモンズライセンス 表示 - 継承(CC BY-SA 4.0)で公開します。 宮内庁書陵部本『古今著聞集』 トップページに2015年1月10日入力開始となっていますが、漢文があったり宣命書きがあったりで面倒くさくなり、すぐに挫折してほっぽってあったのを再開したのが去年の1月19日です(『古今著聞集』リスタートしました：2020年01月19日参照)。『『今昔物語集』に次ぐ大きな説話集ですから二年はかかると予想していましたが、コロナによる長い休みのおかげで一年ちょいで終わることができました。 今回は誤写と判読に悩まされました。底本の宮内庁書陵部本は日本古典文学大系（岩波書店）の底本でもあるのですが、とても誤写が多く、その上文字の判読が難しいものが多かったのです。判読の難しさに
これは十本の『古今和歌集』仮名序の冒頭をくずし字OCRにかけて、どの程度読めているのかをランキング形式で確認したものです。 近年はAIの技術も進んでいるので、巷では、くずし字を読む時代が終わるとも言われています。聞くところによると、くずし字AIの可読率は95％とのことで、凄そうですよね。 ○2021年度日本近世文学会春季大会シンポジウム「デジタル時代の和本リテラシー 古典文学研究と教育の未来」2021年6月12日（土） https://youtu.be/X03CMIV5SW8 しかし、実際はどうなのでしょうか。95％とはどのぐらい読めているのでしょうか。AIが人間の代わりにくずし字を読んでくれて、古写本の全文検索ができる日を夢見てみたりするわけですが、数字だけだと具体的なことがわかりません。 具体的にどうなのか、検討しているものを見つけられなかったので、実際に自分でやってみようというわけで
近代文語文の読み方
日本近代史に関する史料を読むうえで難しいと感じられる漢文訓読体などの明治時代の文語文の読み方について、以前作成した演習資料を書き直したものです。内容は暫定的なものです。高校で古文・漢文をちゃんと勉強していればそこまで難しくないのでは…と一方で思うのですが、かといって現在には漢文をほとんど習わずに大学受験する人も少なくありませんので、作成しました。 なお、日本近代史の史料としては法令や公用文、政治家・知識人らのによる著述、その他の新聞・雑誌記事のほかに、日記や書簡などの私文書が重要な位置を占めますが、和文や候文（書簡に多く見られる）で書かれた文については、ここでは言及できていません。あらかじめご注意ください。 はじめに いくつかの参考となる文献を紹介します。文法の解説は現状、次の書籍に尽くされていますので、まずこれをよく読んでください。 古田島洋介『日本近代史を学ぶための文語文入門』（吉川弘
【Elasticsearch】Analyzerを手動で設定する方法 -Analyzerを理解する- - RAKUS Developers Blog | ラクス エンジニアブログ
初めまして。今年度新卒入社のmako_makokです。最近実家に帰って水族館でペンギンを見てきました。 今回は全文検索エンジンのコア機能の一つであるAnalyzerについて書いていきたいと思います。 はじめに 検索エンジンの仕組み Analyzerとは 前準備 Char filter Tokenizer Token filter おわりに はじめに 私は現在、個人的に全文検索エンジン学習をしています。 以前までは諸事情でApache Solrをやっていたのですが、以下の理由からElasticsearchの学習に切り替えました。 シェアとそれに伴うドキュメントの充実 KibanaをはじめとしたElastic Stackの存在 クエリの書き方覚えたらいい感じにクエリ書けそう Apache Solr及びElasticsearchではApache LuceneいうOSSの全文検索ライブラリがコアに
踊り字の「々」や「ゝ」は漢字？記号？意外と知らない踊り字の豆知識 「正々堂々」の「々」や、「こゝろ」の「ゝ」は踊り字と呼ばれます。この踊り字は漢字に該当するのでしょうか？それとも記号に該当するのでしょうか？今回は、意外と知られていない踊り字の豆知識をご紹介します。 「々」や「ゝ」などの文字には正式な読み方はありませんが、「踊り字」「繰り返し符号」「送り字」「重ね字」「畳字(じょうじ)」「反復記号」などと呼ばれています。 繰り返し符号と呼ばれることからも分かるように、記号の一種です。「踊り字」「繰り返し符号」などの項目で、「々」や「ゝ」を取り上げている辞書もありますが、固有の音・意味を持たないので、漢字ではありません。 一字を繰り返すときに使う「同の字点」「一の字点」「二の字点」 「々」は、「同の字点」もしくは、「ノ」と「マ」が重なって見えることから「ノマ点」と呼ばれます。「段々（段段）」「
エースコック「THE中華 練りごまを利かせた濃厚旨辛担担麺」本格中華シリーズ第3弾はスープ特化型の本格高級路線を開拓!!
どうも、taka :aです。 本日の一杯は、2020年9月7日（月）新発売のカップ麺、エースコック「THE中華 練りごまを利かせた濃厚旨辛担担麺」の実食レビューです。 味にこだわる大人も納得の本格中華シリーズ「THE中華」第3弾は練り胡麻に特化した濃厚担担麺を展開!! 実際に食べてみた感想と経験に基づいて評価し、カップ麺としての総合力を判定します。よろしければ、最後までお付き合いください。 THE中華 練りごまを利かせた濃厚旨辛担担麺 THE中華（ザ・ちゅうか）とは、本格的な中華めん料理を肩肘張らずにカップ麺で味わえる、大人の男性をメインターゲットに開発されたエースコックのブランドで、通な大人たちに向けたこだわりの和風カップめんシリーズ「THE和（ザ・わ）」の姉妹ブランド的な立ち位置。2019年4月1日にシリーズ第1弾「タテロング THE中華 ラー油を利かせた野菜タンメン」を発売し、ブラン
国語研変体仮名字形データベース
本サイトでは、変体仮名の字形データベースを公開しています。 【本データベースの特長】 「字形データベース」から、平仮名、片仮名、漢字、合字、踊り字、その他の字形画像を閲覧することができます。2022年3月現在、以下の作品の字形データを収録しています。 春色梅児与美 巻一 春色梅児与美 巻二 春色梅児与美 巻三 比翼連理花廼志満台 初編上 比翼連理花廼志満台 初編中 比翼連理花廼志満台 初編下 諸国方言物類称呼 巻之一 諸国方言物類称呼 巻之二 諸国方言物類称呼 巻之三 諸国方言物類称呼 巻之四 諸国方言物類称呼 巻之五 平仮名（変体仮名）を、音価、字母、Unicodeの3階層に分類して示しています。 音価、字母、Unicodeの各階層の見出しラベルから、「学術情報交換用変体仮名」サイトの該当文字（または検索結果）にリンクしています。 個々の字形画像から、原資料の該当箇所にリンクしています（
今では「数少ない」といっても過言ではないであろう純国産アプリの「一太郎」シリーズ。長年にわたって新バージョンを例年リリースしてきたが、今回も2022年2月10日に「一太郎2022 [ATOK 40周年記念版]」（以下、一太郎2022）の発売を予定している。 新作のテーマは「オンラインも、リアルもハイブリッド一太郎」だ。ジャストシステムの担当者は「（コロナ禍のもとで）利用形態が多様化した」ことを理由に、自宅やオフィスに加えて、出先などのリモートワーク利用を想定した機能強化を図ったとしている。Windows 11にも対応済みだ（ほかWindows 10、Windows 8.1）。 2021年もまた、一太郎とATOKの新バージョンが発表される季節となった 一太郎2022の主要な新機能 一太郎2022の新機能として、まずは「きまるスタイル: スライド」。複数のテンプレートからレイアウトを決定する「
麺」が常用漢字であり、一般に使われている。 日本語では「担担麺」と書くのが最も一般的だが、踊り字を使って「担々麺」と書く事も多い。日本では、店のメニューに「坦坦麺」もしくは「坦々麺」と書いてある例も少なくないが（正：担、誤：坦）、中国で「坦」の字は使われない。 こんにちわ( ｀ー´)ノ ローソン 「汁なし担々麺」 ご存知でしょうか？ コシのある 中細ストレート麺は、 弾力強めのもっちり食感！ 豚肉、ザーサイ、 たけのこ、白ネギに、 特製の肉味噌を合わせた、 本格的「汁なし担々麺」です！ 辛さ調整できるよう、 花椒入り唐辛子が付いています。 ハイクオリティーな、 汁なし担々麺が、 驚きの税込み２４８円( ﾟДﾟ) 今回も簡単な実食紹介と、 貴重な皆さんの意見などを、 ご紹介していきますので、 最後までみてね～(^^♪ 実食。 担々麺はやっぱり 「濃厚」でなきゃね(*´з`) （出典 コンビニ
2019年07月24日2019年12月22日 前回の続きです。次の図は前のエントリのテキストをAffinity Publisherに配置したものです。アキが分かりやすいように行揃えは左にしてあります。1行10文字です。なお、段落の初期値で段落後のアキがついているので、それは解消しています。 Affinity Suite（バージョン1.7）では下図の赤丸部分のように日本語の禁則処理ができていません。 実はそれだけではなく、括弧類の受けと起しの間が分割禁止になっている状況があります（下図の青丸部分）。 これを正規表現検索置換機能を使って禁則処理を行います。ただし、現状では追い出し処理のみです。追い込みができるようになるには約物の文字幅処理が必要です。 １．行頭禁則文字の処理 「行頭禁則文字」というのは「行の最初に来てはいけない文字」という意味ですが、実は「前の文字と分割してはいけない」とい
『校本萬葉集』の使い方｜燈露
本稿では、『校本萬葉集』の使い方を説明します。 萬葉集を学び始めると、いつか『校本萬葉集』と対峙するときが来るでしょう。しかし、使い方がよくわからないと言う人も多いのではないでしょうか。 実際私が行った大学の上代の先生は『校本萬葉集』を全く使わない先生で、個人的に中古文学の先生から「これは古今伝授だ」と言われて教わりました。ところが教えてもらった方法は表面的なことで、細かな事柄については先生も把握していないようでした。 そもそも、使い方を説明してくれている本やサイトを見つけることができず、当時はその環境の中で頑張る他ありませんでした。 今思えば、使い方は首巻に書いてあるのです。ただこの使い方や基礎知識だけで一冊以上を成す量ですから、読むだけでも大変です。 萬葉集を専攻していても読むことを躊躇するレベルなわけですが、けっして上代文学専攻だけが必要なわけではありません。 萬葉集が後世に与えた影
2023年06月17日21:00 【画像】好きなファミコンの説明書「だけ」あげてく Tweet 1: 以下、＼(^o^)／でVIPがお送りします 2015/11/03(火) 11:19:37.817 ID:zQsAJJJJ0.net 好きなファミコンの説明書と解説をあげていきます チョイスの基準は全て>>1の思い入れと主観なので「○○がない」は勘弁 社名は当時の表記、原則発売元を記載、文中敬称略 、画像加工済み すべて自前です 『ファミリ―コンピュータ 本体』1983年／任天堂 名実ともに国産家庭用ハードのマスターピースにして 「Nintendo」の名を世界に知らしめた名機 老若男女問わず親しまれ「家庭用ゲームとはなにか」の一つの答えを示した 本機の型番「HVC-001」は「Home Video Computer」の略称である （続く） 知らない方が幸せだった雑学『寄生虫の反撃』 3: 以
『明朝体の教室 日本で150年の歴史を持つ明朝体は どのようにデザインされているのか（3,200円＋税、Book&Design）』
史上初！ 書体デザインの第一人者が書いた明朝体の作り方の本 書体デザインの第一人者、鳥海修氏が明朝体のデザインと作り方について書いた本です。本文用明朝体の制作手順から、各書体の比較検討、文字の歴史まで、明朝体のすべてを、わかりやすく解説しています。 字游工房の游明朝体を基準にして、漢字、ひらがな、カタカナ、アルファベット、約物の順に文字デザインの特徴を説明。さまざまな明朝体と比較しながら、明朝体の本質に迫ります。 今まで言語化されることのなかった明朝体の作り方が初めて書籍にまとめられました。 デザイナーや文字を愛するすべての方に読んでいただきたい一冊です。 第１章 漢字の作り方 ・書体デザインの基礎知識1 大きさ、骨格、エレメント、太さ 四つのポイントを概説する ・書体デザインの基礎知識2 錯視と黒みムラを調整する ・書体見本の作り方 ・単体漢字の作り方 ・左右合成漢字の作り方 ・上下合成
スマホの「文字入力」は、慣れるとキーコントロールを意識せずに入力できるようになってくるが、実は知られていない文字入力のテクニックは意外とある。本記事では、iOS 13のiPhone 11を例に、知っていると便利なキーボードの使い方やiPhoneの文字入力のテクニックを紹介する。 【目次】 ■入力に手間取る“「」”や“々”を簡単入力 ■明日何日？ 「あした」と入力して変換 ■郵便番号から住所も入力できる ■自信のない英単語はひらがなの“読み”で入力 ■直前の操作を取り消すのは“振れば”いい ■片手でキーボード操作は地球儀アイコンを長押し ■3Dタッチや触覚タッチでカーソル合わせ ■入力済みの文字列は再変換できる ■難読漢字やよく使う表記はユーザ辞書に登録 「」や々を簡単入力 「」（カギカッコ）や“々”（踊り字）は、さまざまな局面で使う特殊表現だ。もちろん、ひらがなから変換で出すこともできるが
日本語が文字で表現される時、どのように記されてきたのか？ 古代の金属に刻まれた漢字から1980 年代に登場したデジタルフォントに至るまで、 約2000 年にわたる日本語の文字表現の変遷をデザインの視点から考察した読み物です。 前半では、古事記に見る漢字、万葉集に登場する仮名、古今和歌集の連綿と散らし、 絵と文字が同一平面に記された江戸時代の書物など、 時代とともに日本語の文字がどのように綴られてきたかを解説。 後半では、明治期に伝来した金属活字と活版印刷、写真植字の実用化、 デジタルフォントの登場など、技術の進歩とともに 文字の組み方がどのように変化してきたかが記されています。 文化や技術によって、日本語の文字や組み方がどのように変化してきたか、 グラフィックデザイナーである筆者が豊富な図版（約160点）で読み解いた意欲作。 2002 年に出版された『日本語のデザイン』（美術出版社）をもと
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG
『古今著聞集』の電子テキストを公開しました : やた管ブログ
AIはくずし字が読めるのか？古今集十本による可読率ランキング｜燈露
踊り字の「々」や「ゝ」は漢字？記号？意外と知らない踊り字の豆知識｜マナトピ
「一太郎2022」は一部サブスクへ - 新機能は？ ATOKの強化点は？
ローソン「汁なし担々麺」弾力強めのもっちり麺に濃厚肉味噌だれ : コンビニ極み！商品情報タウン
Affinity Publisherで日本語処理(1)禁則処理 | CS5
【画像】好きなファミコンの説明書「だけ」あげてく : 哲学ニュースnwk
知っていると便利なiPhone文字入力テクニック！ 々や「」の簡単入力方法も
Book&Design powered by BASE