TinySegmenterの学習ツールを作ってみた
TinySegmenterは工藤さん作のJavaScriptだけで書かれたコンパクトな分かち書きソフトウェアです． わずか20kバイト程度のサイズしかなく，お手軽に使える分かち書きソフトウェアですが， 当たり前のことながら学習データに使った新聞記事以外の文章の精度はイマイチ． 改善しようにも学習用のプログラムが公開されていないのでモデルの修正が大変です． ないなら作ってしまいましょう！ ダウンロード ソースはgithubで公開しています．cloneするなりzipファイルを落としてくるなりしてください． TinySegmenterMaker 学習方法 スペースで分かち書きしたコーパスをあらかじめ準備しておきます． コーパスから分かち書きの情報と素性を取り出します．
バッドデータハンドブック
TOPICS Data Science , Database 発行年月日 2013年09月 PRINT LENGTH 310 ISBN 978-4-87311-640-2 原書 Bad Data Handbook FORMAT PDF 値の欠落、形式から外れたレコード、エンコーディング形式が不明な文字列。「バッドデータ」と聞いた時に思い浮べる典型例です。しかし、これら以外にも「そもそもデータにアクセスできない」「消えてしまった」「昨日と違っている」「データはあるが形式が処理に適していない」など、データを収集・分析するエンジニアは、これらの「バッドデータ」と正面から向きあわなければならないことが多々あります。本書では、これらの問題のあるデータのパターンを紹介し、その対処法を解説しています。 19人のデータ分析の専門家が、自らの経験を通して得た、さまざまな教訓、実践的な方法論等を詳述した本書は
FreeBSD Removes GCC From Default Base System - Slashdot
Posted by Unknown Lamer on Wednesday September 11, 2013 @10:33AM from the autoconf-revival dept. An anonymous reader writes "With the LLVM/Clang migration, FreeBSD developers have now disabled building GCC and the GNU C++ standard library (libstdc++) as part of the FreeBSD base system. GCC and libstdc++ have been superseded by LLVM's Clang and libc++, respectively, on primary architectures for Fre
ダフト・パンク 1時間のミックス音源が無料DL可 - amass
ダフト・パンク（Daft Punk）楽曲の約1時間のミックス音源が無料DL可。9月3日にフランスのパリにあるFMラジオ局FG.DJ RADIOでオンエアされたミックス音源のようです
意味不明ローマ字標識 英訳に NHKニュース
道路の案内標識のアルファベット表記の中に、日本語の読みをローマ字で記しただけで、外国人には意味が伝わらないものが多く見られることから、国は、７年後のオリンピックを見据え、英語に訳すなどして案内標識の意味が分かるよう改善することを決めました。 道路の案内標識のアルファベット表記は、２７年前の昭和６１年に本格的に始まりましたが、日本語の読みをローマ字で記しただけのものも多く、外国人から、意味が分からないと指摘されています。 都心でもこうした表記が目立ち、例えば「六本木通り」は、道を意味するアベニューやストリートなどの英語を使わず、単にロッポンギ・ドーリとローマ字で表記されています。 また、東京・霞が関の「財務省上」の交差点にある案内標識には、ザイムショウ・ウエとだけローマ字で記され、財務省の英語名は書かれていません。 このため、国土交通省は、１１日、７年後の東京オリンピックを見据え、英語に訳す
日米オスプレイ訓練、ピエリ守山で実施
小野寺五典防衛相は１１日、１０月にも滋賀、高知の両県で実施を予定している日米共同訓練について、滋賀県については、守山市にあるショッピングモール「ピエリ守山」内で実施する方針であることを明らかにした。訓練には安全性が不安視されている垂直離着陸輸送機「ＭＶ２２オスプレイ」も参加する。 政府では沖縄の基地負担軽減策として本土に訓練を移転する準備を進めてきた。今回の共同訓練についても、代替の訓練地として滋賀と高知両県での実施を米海兵隊側に打診、すでに了承を得ている。 このうち滋賀県については、当初高島市の陸上自衛隊饗庭野（あいばの）演習場を使用することになっていたが、オスプレイが訓練に加わることが明らかになると、「安全性が確保できない」として周辺住民から批判が相次いだ。 これら住民の意向を受け、今月、政府、防衛省、県の３者で改めて対応を協議した結果、１１日、「ピエリ守山」で合同訓練を実施することで
プログラマが考える劇的に効率が上がるExcelシートの作り方
そこそこの複雑な計算をするのにExcelはものすごく便利です。何かのプログラミング言語を使って書いたら1時間くらいかかるような計算が、ものの数分でシート上にできあがります。 この素晴らしいExcelを、より使いやすくするワザを、プログラマ的な視点から書きたいと思います。 拡張性のないシート そういうわけで、Excelは素晴らしいんですが、使う人によってはなんとも「拡張性のないシート」ができあがります。 僕はプログラマなので、こういう素晴らしいツールを使いはじめると、どうしても拡張性とか保守性みたいなものが気になってしまいます。プログラマは同じことを繰り返すのが苦手です。シートにデータを入力してから完成形ができあがるまでに人手を使うことを避けて、全部を自動化したくなります。 次のようなことをしていたら、Excelを正しく使えていないような気がします。 途中で電卓を使って計算してセルを埋めてい
lolcat - Wikipedia
lolcatの一例 lolcat（ロルキャット、あるいはエル・オー・エル・キャット）は、多くの場合ネコの画像にユーモラスで風変わりなキャプションを、正しくない英語で付けたものである。ここで使われる方言はロルスピーク（lolspeak）あるいはキティ・ピジン（kitty pidgin）と呼ばれ、インターネットスラングなどに見られる文法の貧弱な英語のパロディである。 Wikicatと呼ばれる画像 lolcatは笑いを表す頭文字語のLOLと「cat」（ネコ）の複合語である[1]。lolcatはイメージ・マクロ（image macro）の一種であることから、キャット・マクロ（cat macro）とも呼ばれる[2]。lolcatは主に英語圏のウェブでの文化であり画像掲示板やその他のインターネット掲示板で使うために作られている。 「lolcat」という語はタイム誌の表紙に取り上げられ、アメリカ合衆国の
Jeffrey Friedl's Web Sites
Jeffrey Friedl Book Mastering Regular Expressions Geeky but useful computer-science niche Blog Jeffrey Friedl's Blog latest article · table of contents · pretty photos Lightroom my plugins and other goodies Uploaders and workflow tools galore About me · Most recent photos from my blog · Photo Exif data viewer · Camera focus-test chart · Intro to digital-image color spaces About · Contact
バージョン管理システム CVS
古いものにはとんでもない脆弱性があります。 1.11.17 に早く更新してください。 Linux ディストリビューションはよく古いバージョンのものにセキュリティパッチをバックポートしたものを出しており，その場合はバージョンが古くても大丈夫です。 なるべく pserver ではなく ssh 経由の ext でお使いください。 以下は古い記述があるかもしれません。 はじめに CVS (Concurrent Versions System) は広く使われているオープンソースのバージョン管理システムです。 一連のファイル群を複数の人が共同で作るときに便利です。 開発元 Cyclic Software は SourceGear Corporation に吸収され，さらに OpenAvenue に買収され，そのコミュニティ開発関連は OpenAve.Net に移動し，CVS のページは CVShome
git addの取り消しと、コミット済みのファイルを除外する方法 - kanonji’s diary
git addを取り消す $ git reset HEAD foo.txt git add で編集内容が index に追加*1されます。 間違えて index に追加した場合に、このコマンドで取り消しができます。 $ git add foo.txt $ git status # On branch master # Changes to be committed: # (use "git reset HEAD <file>..." to unstage) # # modified: foo.txt # $ git reset HEAD foo.txt Unstaged changes after reset: M foo.txt $ git status # On branch master # Changed but not updated: # (use "git add <file
YamChaとかMeCabとか使って顔文字抽出 - Haroperi.log
概要 Ruby,YamCha,MeCabで顔文字抽出を作りました。前に情報特別演習(筑波大学の実践的な授業)でやっていたものより精度が良かったので、こっちを先に公開します。先に言っておくと、残念ながら私のオリジナルではありません。 精度とか 私が勢い良く書いた10分割交差検定が正しければ、8割から9割くらいの精度が出ています。Twitterのsample streamから取得したデータにタグ付けを施したものだけを、教師データとして使っているため、偏りがあるかもしれません。 素性 素性は「さよならー(^_^)/~」を例に取ると、こんなかんじ。 さ 感動詞 __nil__ __nil__ B よ 感動詞 __nil__ __nil__ I な 感動詞 __nil__ __nil__ I ら 感動詞 __nil__ __nil__ E ー 名詞 一般 __nil__ S ( 名詞 サ変接続 __
tz database - Wikipedia
Time Zone Database（元々[4]はtz database[5]と呼ばれていた）とは、IANAが管理している、世界各地域の標準時や常用時の時間帯（time zone、タイムゾーン）情報を収録したデータベースである。主にコンピュータ・プログラムやオペレーティングシステムでの利用を意図している[6]。tz、tzdb[7]、tzdata、zoneinfo databaseなどとも呼ばれる。 元々は、アーサー・デイヴィッド・オルソン（Arthur David Olson）が開始したプロジェクトであり、1980年代より複数のボランティアにより更新され続けていた[8]。その事にちなみOlson databaseとも呼ばれる[9]。2011年10月14日よりICANNのIANAが管理することとなった[8]。ポール・エッガート（Paul Eggert）と Tim Parenti が現在のTi
Kindle Paperwhite向けに自炊pdfを最適化する - stanaka's blog
id:halfrackがKindle Paperwhiteのタワーを作っていたので、Kindle Paperwhite向け自炊pdfの最適化をしてみました。 Kindle Paperwhite向けの自炊pdf最適化は、 余白を適切に削除すること 画像を最適なサイズである横658ドット x 縦905ドットにすること の2つが大事です。特に後者が重要で、デバイスごとに最適なサイズにすることでpixel by pixelで表示することができます。ちなみに、これまでのKindleでは横560ドット x 縦735ドットが最適でした*1。 調査には1ピクセルごとに線を入れたpdfを作成して行いました。このpdfでは、ページごとに画像サイズを1ピクセルずつ変えていて、最適な解像度ではない場合、綺麗に一様な模様にならず、すぐに分かります。これでちょっとずつ探りながら最適なサイズを探すわけです。地道ですね。
zshのfor文は便利だな - 西尾泰和のはてなダイアリー
ちょっと2倍のサイズに拡大したいファイルが5つくらいあったんだけど、簡単。 f$ ls *.png iPad_FREE_config.png iPad_about.png iPad_config.png iPhone_FREE_config.png iPhone_about.png iPhone_config.png f$ mkdir out f$ for i in *.png; do; echo $i; done iPad_FREE_config.png iPad_about.png iPad_config.png iPhone_FREE_config.png iPhone_about.png iPhone_config.png f$ for i in *.png; do; convert -resize 200% $i out/$i; done
gpg-agent で ssh-agent
gpg-agent は、GnuPG (GPG) においてパスフレーズによる認証状態を保持するために使用されるデーモンプログラムです。GPG における鍵管理が主な役割とはなっているものの、ssh-agent の機能の代替を行うこともできます。今回は gpg-agent を ssh-agent として使用することで、ssh-agent を使うよりもちょっと便利でちょっとセキュアに使う方法について紹介します。 ssh-agent の基本¶ さて、ssh-agent ですが、かつて学生時代にアルバイトをしていた当時「おもむろに eval ssh-agent と叩いて、ssh-add すればいい」と教わったものです。そうするとだいたいのシステムでは /tmp 以下に ssh-agent デーモンと通信するために使用される socket ファイルが作成され、この socket ファイル経由で秘密鍵を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mecab以外のわかち書き by rti 7743 on Prezi
裏サンデー
転職サイト【Green】 | IT/Web業界の求人・採用
はじめて学会に参加する人のための７つのTips | ヤムイモの頭のBlog