最も「ありそうで存在しない漢字」は何か？ - Qiita
タイトルが全てです。 個々のパーツとしてはありふれた部品なのに、合体させると「存在しない漢字」になる組み合わせは一体何なのか調べてみました。 ※この記事は TSG Advent Calendar 2022 の14日目の記事です。 手法 以下の手順で「ありそうで存在しない漢字」を調べることにしました。 すでに存在する漢字を構成する部品を調査する 出現回数が多い部品どうしを組み合わせ新たな漢字を作る 構成する部品の出現頻度から、それぞれの組み合わせの「ありそう度」をスコア付けする スコアが最も高いものを「最もありそうで存在しない漢字」とする CHISE 漢字構造情報データベースは、Unicodeに収録されている全漢字を含むさまざまな漢字の部品構造をデータベース化したオープンデータです。今回はこちらのデータを利用して調査を行うことにしました。 頻出部品を調査する UnicodeのCJK統合漢字か
GitHub - ezrosent/frawk: an efficient awk-like language
Note (2024, ezrosent@) While the policy on bugs and feature requests remains unchanged I've had much less time over the last 1-2 years to devote to bug fixes and feature requests for frawk. Other awks are more actively maintained, and CSV support is now a much more common feature in awk compared to when this project started; I'll update this notice if frawk's status changes. frawk is a small progr
Why Learn AWK? | Jonathan Palardy's Blog
Because of the arcane syntax? Because other languages can’t do the job? No. I resisted AWK for a long time. Couldn’t I already do everything I needed with sed and grep? I felt that anything more complex should be done with a “real” language. AWK seemed like yet-another-thing to learn, with marginal benefits. Why Learn AWK? Let me count the ways. You are working TOO HARD Too many times, I’ve seen p
Migrating text metrics to pure Haskell
haskell Published on June 13, 2017 It’s been a while since I first published the text-metrics package, which allows to calculate various string metrics using Text values as inputs. Originally the package was written primarily in C with wrappers in Haskell. At the time I needed maximal speed and did not care whether the algorithms themselves are coded is C or Haskell, as long as they work, and work
青春→鯖鰆みたいなやつ - アスペ日記
今日、こんなツイートを見かけました。 娘１のクラスの寄せ書き、「楽しかったよ」「また会おうね」が多い中、キラリとひかる名文発見。「青春って魚編をつけると鯖鰆（サバサワラ）って読めるよね。似たような熟語を見つけたら教えて」By 町田高史(仮名) 彼が無事に社会に適応できますように。— 藤川ｵﾚﾝｼﾞｰﾅ (@Forangina) 2017年3月21日 ぼくもこういうのは大好きです。 （社会に適応できているかどうかは微妙なところです） それで、こういうのを探してみることにしました。 漢字の構造については、漢字構造情報データベース（CHISE）というものがあります。 （かなりの労力がかかっていると思われるデータベースです。作られた方に感謝します。） 今回は、これを使わせていただきます。 % git clone http://git.chise.org/git/chise/ids.git この中の
λtext - General Purpose Templates
General-Purpose Text-File Templating Utility λtext is a generic templating tool for any text file. For languages that don't support import-style code-reuse, it's common to just copy/paste. However, after a change is needed, that change must be replicated manually to every file needing it. With λtext, you parameterize the files themselves, and let λtext do the pasting. With Lambda Calculus as the u
文法圧縮入門：超高速テキスト処理のためのデータ圧縮（NLP2014チュートリアル）
言語処理学会第２０回年次大会（2014/3）のチュートリアル講義資料です。 - 要旨 - 文法圧縮とは，入力テキストをよりコンパクトな文脈自由文法（CFG）に変換する圧縮法の総称である． 文法圧縮の強みは圧縮テキストを展開すること無く，検索等のテキスト処理を効率よく行える点にある． 驚くべきことにその処理速度は，元テキスト上での同じ処理を理論的に，時には実際にも凌駕する． また近年，ウェブアーカイブやログ，ゲノム配列等の大規模実データを高効率に圧縮できることで注目を集めている． しかしながら，文法圧縮についての初学者向けの解説資料はまだまだ少ない． そこで本チュートリアルでは，文法圧縮の歴史的背景から最新動向までを幅広く紹介する． 具体的には文法変換アルゴリズム，圧縮テキスト上での文字列パターン検索，文法圧縮に基づく省メモリデータ構造等の解説を行う．
Text processing (part 2): Inverted Index
This is the second part of my text processing series. In this blog, we'll look into how text documents can be stored in a form that can be easily retrieved by a query. I'll used the popular open source Apache Lucene index for illustration. There are two main processing flow in the system ... Document indexing: Given a document, add it into the index Document retrieval: Given a query, retrieve th
Issue 4.4: Tricks for working with text and files - Practicing Ruby
Welcome to Practicing Ruby! We produce delightful lessons for Rubyists every two weeks. To support our efforts, become a paid subscriber today! While it may not seem like it at first, you can learn a great deal about Ruby by building something as simple as a static website generator. Although the task itself may seem a bit dull, it provides an opportunity to practice a wide range of Ruby idioms th
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How a File Format Led to a Crossword Scandal - Saul Pwanson
MEGAWIN188 Situs Slot Online Server Gacor Gampang Maxwin
Google Code Archive - Long-term storage for Google Code Project Hosting.
A word counting problem
Text Processing (part 1) : Entity Recognition