基本4情報での名寄せは難しい｜MORIDaisuke
先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
word2vecの学習済み日本語モデルを公開します | カメリオ開発者ブログ
こんにちわ。白ヤギコーポレーションでエンジニアをしている谷田です。 自然言語処理では、テキストに含まれる単語をベクトルとして表現するというタスクが頻繁に発生します。最近ではそのために、日本語テキストが来たらMeCabに渡してword2vecに投入する、というのが定番パターンのひとつかと思います。word2vecは単語を分散表現と呼ばれる低次のベクトルに変換するモデルですが、単語をベクトルに変換するためには事前に学習を走らせておく必要があります。word2vecモデルの学習にはよくWikipedia日本語版をコーパスとして使ったりするのですが、全記事で学習を走らせると結構時間がかかります。 そこで、白ヤギが作った日本語word2vecモデルを公開します! http://public.shiroyagi.s3.amazonaws.com/latest-ja-word2vec-gensim-mo
日本語 Wikipedia エンティティベクトル
お知らせ (2018/09/24) 最新版の訓練済みベクトルと訓練用のスクリプトは GitHub で公開しています。 概要 「日本語 Wikipedia エンティティベクトル」は、日本語版 Wikipedia の本文全文から学習した、単語、および Wikipedia で記事となっているエンティティの分散表現ベクトルです。Wikipedia の記事本文の抽出には WikiExtractor を、単語分割には MeCab を、単語ベクトルの学習には word2vec をそれぞれ用いています。 ダウンロード 20170201.tar.bz2 (2017年2月1日版, 1.3GB, 解凍後 2.6GB) 20161101.tar.bz2 (2016年11月1日版, 1.3GB, 解凍後 2.6GB) バイナリファイル (entity_vector.model.bin) とテキストファイル (ent
Backbone.js 日本語リファレンス
object.once(events, callback, [context]) object.listenTo(other, event, callback) object.stopListening([other], [event], [callback]) Backbone.Model Backbone.Model.extend([properties], [classProperties]) Backbone.Model を継承した新しいモデルを作ります。 properties インスタンスメンバを定義します。 var User = Backbone.Model.extend({ say: function () { console.log("Hello."); } }); var user = new User(); user.say(); //-> Hello. classPr
http://passion-orange.appspot.com/
我々は一人の英雄を失った。しかし、これは敗北を意味するのか？否！始まりなのだ！ 地球連邦に比べ、我がジオンの国力は30分の1以下である。 にもかかわらず今日まで戦い抜いてこられたのは何故か？ 諸君！我がジオン公国の戦争目的が正義だからだ。これは諸君らが一番知っている。 我々は地球を追われ、宇宙移民者にさせられた。 そして、一握りのエリートらが宇宙にまで膨れ上がった地球連邦を支配して50余年、 宇宙に住む我々が自由を要求して何度踏みにじられたか。 ジオン公国の掲げる人類一人一人の自由のための戦いを神が見捨てるはずはない。 私の弟！諸君らが愛してくれたガルマ・ザビは死んだ。 何故だ！？ 「坊やだからさ」 新しい時代の覇権を選ばれた国民が得るは、歴史の必然である。 ならば、我らは襟を正し、この戦局を打開しなければならぬ。 我々は過酷な宇宙空間を生活の場としながらも共に苦悩し、錬磨して今日の文化を
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Google 日本語入力 - CGI API デベロッパーガイド
Google CGI API for Japanese Input Google CGI API for Japanese Input は、日本語変換をインターネット上で実現するための、CGI サービスです。 リクエスト http://www.google.com/transliterate に対して HTTP リクエストを発行します。GET メソッドを使ってください。以下の CGI パラメータを (URL エンコードした上で) 指定します。 langpair=ja-Hira|ja text=(変換したいひらがな列) text のひらがな列は UTF-8 でエンコードします。例えば、「へんかん」をリクエストする場合は、 http://www.google.com/transliterate?langpair=ja-Hira|ja&text=%E3%81%B8%E3%82%93%E3%81
Flaskってドキュメントの充実っぷりもいいよね - When it’s ready.
Flaskの公式サイトにドキュメントもアップれています。ver.0.51かつ出来てから間もないのにその充実度はかなりのものがあり大変ありがたく読ませてもらっています。さらに、ドキュメントはSphinxで生成されていて、ソースも簡単に入手出来たりします。 日本語ドキュメントが無いかなぁと思っていたのですが、なさそうなのと必要なので日本語化しています。@ymotongpooさんや@Masahito さんも協力してくれてコツコツやっております。ソースは、bitbucketでたまにアップデートしていきます。「Flaskいいよねぇ」「日本語化してぇなぁ」という協力していただける方がいればより早く完成に近づけると思うので、pullリクエストください。 リポジトリ http://bitbucket.org/a2c/a2c.bitbucket.org/ html http://a2c.bitbucket.
Django+Tritonnで日本語全文検索〜重み付けもあるよ〜 - logiqboard
DBにTritonnを使ってDjangoから全文検索をする という話 Tritonnってなに？どうやって入れんの かつあい モデル構造 class Book(models.Model): """本""" title = models.CharField(max_length=255) desc = models.TextField() pub_date = models.DateTimeField(auto_now_add=True) class BookSearch(models.Model): """本の検索テーブル""" book = models.OneToOneField(Book) title = models.CharField(max_length=255) desc = models.TextField() 全文検索に使いたいカラムを持った〜〜Searchモデルみたいなの
Sphinxを使って日本語PDFを出力する - rokujyouhitoma's blog
追記 Sphinx-Users-JPの下記記事をがより詳細に。 SphinxでPDFファイル作成 ドキュメント生成ツールのSphinxがよさげ。なのだけど日本語PDFに苦戦したので投稿しとく。 環境 Fedora12 Python2.6.2（Fedora12に初期状態で入っている） Sphinx ドキュメント Sphinxについては渋川さんが翻訳されたドキュメントがある。 Sphinx - 渋川さん翻訳 Sphinx - Original http://pypi.python.org/pypi/Sphinx wget http://pypi.python.org/packages/source/S/Sphinx/Sphinx-0.6.3.tar.gz tar zxf Sphinx-0.6.3.tar.gz cd Sphinx-0.6.3 python setup.py installSph
Google Python スタイルガイド
概要¶ これは Google Python Style Guide Revision 2.29 を日本語に訳したものです。 本家ガイドは CC-By 3.0 ライセンス の基で公開されています。また、本ガイドも同ライセンスを継承します。 本家ガイドの著者は以下の通りです。 Amit Patel Antoine Picard Eugene Jhong Jeremy Hylton Matt Smart Mike Shields また、本ガイドの翻訳者は以下の通りです。 Kosei Kitahara 本ガイドに誤植、誤訳があった場合は issue で教えてください。 その他本ガイドに関する問い合わせは、サイト最下部に記載のメールアドレスか @Surgo にお願いします。 はじめに¶ Python は Google で使われている主要なスクリプト言語です。 このスタイルガイドは Python によ
JapaneseFAQ - Mercurial
このページは FAQ の翻訳です。まだ不完全ですので適当に修正してください。 Mercurialよくある質問 （便利なワザも参照してください） 2.1. リビジョンナンバー、ChangeSetID、タグとは何か？ Mercurialでは基本的に特定のリビジョンを指定するための方法が3つあります。リビジョンナンバー、チェンジセットID、タグとです。 リビジョンナンバーは単なる10進数で、ローカルのリポジトリに何番目にコミットしたかという番号です。この順番はマシンごとに異なるということに十分注意してください。Mercurialは分散型で非集中的な設計になっているからです。 そのためチェンジセットIDが必要になります。チェンジセットIDはチェンジセットおよびチェンジセットの履歴における位置を一意に特定するための160ビットの識別子です。この値はどのマシンでも同じになります。Mercurialユー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bootstrap3日本語リファレンス
titanium-mobile-doc-ja - Project Hosting on Google Code
Downloads · tanakahisateru/jedit_gui-ja · GitHub
IETester日本語化パッチ配布 | ホームページ制作・運営のヒント
Subversion FAQ(in Japanese)