中村修二さんがノーベル賞を受賞されたことから、お祝いとともに、日本の科学技術の今後について心配する声など、メディアの方の取材の依頼を受けるようになりました。 本当はフラッシュメモリがフラッシュメモリにノーベル賞が授与され、開発チームの一員、当事者としてメディアの取材を受けたかったのですが仕方ない。日本の技術者の処遇を考えるきっかけになれば良いと思います。 問い合わせて頂く内容は例えば、 「日本の技術者は虐げられているのではないか」 「ノーベル賞は日本の経済が良かった時代のもので、これからの日本の科学技術は競争力があるのか」 「日本の技術者・研究者は報われないのではないか」 「日本の大学の研究環境は悪化するばかりではないか」 「特許法の改正で特許の帰属が発明者から企業に変わることで、更に技術者のモチベーションが下がるのではないか」 個々の取材にお答えするのも面倒なので、このブログでお答えしよ

オバマ大統領が来日した際、日本未来館で東大発のロボットを開発するベンチャー、シャフトの創業者たちと彼らの製品のロボットと会ったそうですね。 ロボットと言えば、日本のお家芸。今でも産業用のロボットは非常に日本企業が強いです。 その一方、二足歩行のようなヒューマノイドのロボットはおもちゃとしては面白いけど、なかなか産業として離陸することが難しい。 介護ロボットとして有望と言われていますが、実用化はまだ遠そうです。 産業が広がらないために、シャフトもなかなか日本では資金を集められなかったと言われています。 結局、グーグルに買収された（してもらった）。 投資対象としてロボットを評価する時に、おそらく日本のメーカーは、ハードウエアとしてロボット単体の商売を考えたのでしょう。 そうすると、最近のロボットは、高度なセンサを搭載し、AIなどを使って賢いアルゴリズムを実装して高機能化してきたと言っても、まだ

英語の文献にはとかくラテン語の略語が出てくるものです。初出のときには意味がわからないばかりでなく、読み方さえわからないのが常ですが、学部４年の終わりに立ついま、私のラテン語略語の知識もそれなりのものになりました。たぶん。今日はよく見るラテン語の略語について、その発音と意味を再確認してみよう、という話です。学術文献に限らず、i.e.やe.g.を見かけることはよくあると思います。知らない方は、この機会に「こんな略語があるのかー」と覚えてみることをお勧めします。 et al. 「〜たち」。３名以上の共著者がいる文献を紹介・引用するときに使います。２名のときに使ってはいけません。人名のあとにet al.とつけて使います。ピリオドを忘れないように注意すること。etc.と同じような意味です。つぶやきながら調べて、やっと正しい読み方がわかりました。これまでは「えと・ある」や「えたーる」と読んでいましたが

第5回 さくさくテキストマイニング勉強会 : ATND データクリーニング入門 〜精度は細部に宿る〜 by toilet_lunch様 掃除は大事です！！ Unicode正規化 フィルタリング 第2水準の漢字は捨てる 短いツイートは捨てる URLは捨てる あなたの質問に答えてみた 〜疑問に対する応答〜 by gepuroさん イカ娘の記事から答えをマイニング Cabochaを使って係り受け解析 質問文から疑問詞を取り出す 本当に気持ちのいい全文検索〜Lucene/Solr入門〜 by AntiBayesianさん 検索エンジン入門 転置インデックス 適合率と再現率とF値 TF-IDF Lucene/Solr入門 Solrのインストール Schema設定：typesとfields gosenで形態素解析 ツイートをCSVで登録 まとめ 検索は大規模データ時代には必須 全文検索，転置インデック

Numpy/Scipyの勉強会であるTokyo.SciPyに参加しました．場所は渋谷マークシティのIBMイノベーションセンターです．Tokyo.SciPy #1 - [PARTAKE]Numpy/Scipyという実装の勉強会でありながら，本職の研究者の方も多く来ていて理論的な背景のしっかりした発表が多く，勉強になりました．昨日のPyConでも会った人や，TokyoRのほうに出ていた方もいて面白かったです．また運営がしっかりしていて見習いたいところ． NumPy/SciPy体験セッション by @lucidfrontier45資料・コード：lucidfrontier45/TokyoScipy - GitHub NumPy, SciPyの機能紹介 Pythonで数値計算 数値計算 = ループ ループ内部はCで実装してアルゴリズムはPythonで Numpy: Cで実装されたndarrayクラス

id:echizen_tmさんの記事がわかりやすかったので作って（というかコピペして）みました．簡潔データ構造超入門 〜つくって学ぶ簡潔ビットベクトル〜 - EchizenBlog-Zwei PopCountの計算方法については，先日サイボウズ・ラボで行われたx86最適化勉強会で@takesakoさんが発表した資料がおすすめです．SSE4.2はええーx86x64 SSE4.2 POPCNT succinct_bit_vector.h unsigned long long PopCount64(unsigned long long x) { x = ((x & 0xaaaaaaaaaaaaaaaaULL) >> 1) + (x & 0x5555555555555555ULL); x = ((x & 0xccccccccccccccccULL) >> 2) + (x & 0x33333333

Graham Neubigさんが先日公開された発音推定プログラムprontronを使ってみました．prontron - PRONunciation percepTRONまずはデフォルトのモデルを試してみます．./prontron.pl model/model.cand model/model.feat 京都きょうと漢字かんじ私わたくし未踏みふ今日いま生駒せいこまうーん，学習データが少ないせいかあまり精度はよくないようです．しかし，事前知識なしに推定を行なうのが売りなので精度を気にしすぎるのは筋違いかもしれません．次に，辞書中の単語の表記と発音の間のアライメントを行なうプログラムmono-align.plが付属しているので，例によってmozcの辞書で試してみます． ./mono-align.pl =(head -1000 data/word.txt) =(head -1000 data/re

というわけで第6回TokyoNLPを開催しました。発表者の皆様、会場のajiyoshiさん（ECナビさん）、ありがとうございました！第6回 自然言語処理勉強会 #TokyoNLP : ATND CRFと素性テンプレート by @uchmikCrfと素性テンプレート View more presentations from uchumikMBAをuchmikさんに貸し出していたため簡単にメモ。 素性関数 Viterbiアルゴリズム Forward-Backwardアルゴリズム 素性テンプレート(CRF++形式) 実数素性テンプレートについて 言語モデルなどの情報を外部から組み込みたい パーザを使って演算を実装 関連するエントリ uchiumi log: 間違ってるかもしれないCRFの説明uchiumi log: 実数素性テンプレートの使える CRFuchiumi log: 実数素性テンプレー

TokyoWebminingのustを見ていて、doryokujinさんのMapReduce入門編の資料がわかりやすくてよかったです。Map Reduce 〜入門編：仕組みの理解とアルゴリズムデザイン〜 View more presentations from Takahiro InoueMapReduceのアルゴリズムデザインに関しては、8月〜9月に邦訳も出るというMapReduce本を読んでいれば似た部分はわかりやすいと思います。MapReduce、とくにHadoopを使った場合のランダムサンプリングはどうやるのかなあ、というのが気になったのでちょっと考えてみました。 選択肢1：全データをシーケンシャルに読み込むdoryokujinさんの資料で説明されていた方法。Mapperで全データをシーケンシャルに読み込んでいき、[0,1]の乱数を返すrandom()関数が0.1以下ならば採用、と

大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp

TokyoWebminingのustを見ていて、id:tsubosaka さんが紹介していた論文が面白かった（というか前にTwitterで見かけた気もするけど）A Novel Click Model and Its Applications to Online Advertisingこの手の論文を読むときは、それぞれの変数が確率変数か（決定的な）パラメータかを注意して区別する必要があって、 A_i, B_i, R_iは確率変数で、中心がθによって決まる正規分布に従う 実際に使うときはI(A_i>0)かどうかだけを見ている θは全て決定的なパラメータ errは標準正規分布N(0,1)に従う確率変数という点に気をつけて読むとよいと思いました。TokyowebminingInferNet View more presentations from tsubosakaよく見たら全然Infer.NET

BackTypeという会社の技術ブログで、Hadoopのダークサイドについての記事がありました。面白かったので紹介したいと思います。The dark side of Hadoop - BackType Technologyこの記事では以下のようなHadoopの弱点が述べられています。Hadoopを使っている人にとっては、心当たりがあるのではないでしょうか。 重要な設定が全然文書化されていない メモリ消費量がひどい ゾンビプロセスが残ってしまう詳細は元エントリ（英語）をご参照ください。ツイートする

というわけで、第6回アルゴリズム勉強会に初めて参加してきました。アルゴリズム勉強会 : ATND 場所は六本木黒崎ビルの株式会社Speeeさんの会議室。以前GREEが入っていた（今はアリエルネットワークになっている）フロアの下らしいです。勉強会の内容はアルゴリズムイントロダクションを順番に読んでいくもので、自分は原著の分厚いIntroduction to Algorithmsを持って行って参加しました。今回は第5章「確率的解析と乱択アルゴリズム」でした。確率が出てくるので、慣れていないと躓きやすい＆実装があまり出てこないので、飽きやすい部分です。自分も一年くらい前に12章まで読んだときは飛ばしてしまいました。なお、この本は版によって内容と構成が大きく違うので、旧版をお持ちの方はご注意ください。雰囲気としては、発表なしの輪読会なので本文を朗読したり黙々と練習問題をこなしたりホワイトボードで解

前回のベルマンフォード法から時間があいてしまいましたが、プログラミングコンテストチャレンジブック（通称アリ本）を読みながらグラフの最短経路を求めるためのアルゴリズム、ダイクストラ法を実装しました。 ベルマンフォード法 - nokunoの日記ダイクストラ法 - Wikipedia ダイクストラ法ではグラフ中のノードを次の3つに分類します。 未探索 探索済み 次の探索候補この「次の探索候補」の中から最もコストの小さいノードを選んで探索済みとし、その隣接ノードのコストを更新するというのがダイクストラ法の根本のアルゴリズムとなります。 最初の実装それでは実装を見ていきましょう。まず最初の実装では次に探索済みとなる要素を線形探索しているためあまり効率的ではありません。 #include using namespace std; #define MAX_E 20 #define MAX_V 7 #d

以下の論文が面白かったので紹介したいと思います。Learning a Spelling Error Model from Search Query Logs Noisy Channel Modelによるスペル訂正エンジンスペル訂正には標準的なNoisy Channel Modelを使うことができます（最近は識別モデルも流行りのようです）。A Spelling Correction Program Based on a Noisy Channel ModelNoisy Channel Modelでは、入力が与えられたときの訂正候補の確率を以下のようにモデル化します。言語モデル はコーパスやクエリログから単語N-gram、文字N-gramなどを推定し、スムージングして利用することが一般的です。エラーモデル は入力と出力候補の編集距離をもとに計算することが多いです（他に共起頻度やクリックログを利

最近、Q&AコミュニティのQuoraが流行っていますね。Quoraそこで、個人的に興味のある分野のQAについてまとめておきます。 自然言語処理・機械学習系 What is the best way to analyze a corpus of text to determine the most popular phrases? - QuoraWhat is the best open source C++ implementation of a trie? - QuoraMachine Learning: What papers have shown that for machine learning, data set size is more important than the model being trained? - QuoraNatural Language Process

というわけで冬休み最後の自由研究として、Amazon Elastic MapReduce（EMR）を使ってみました。今なら公式ページもほぼ日本語化していて楽チンです。Amazon Web Services (日本語) Amazon Elastic MapReduceとはAmazon EMRは、Amazonのインフラ上で動作する仮想サーバーを使ったHadoopクラスタを時間単価で貸し出すサービスです。少々わかりにくいので、Amazon Web Service(AWS)の関連する製品群について整理しておきます。EC2 (Elastic Compute Cloud) EC2は、仮想マシンを時間単価で貸し出すサービスです。 EMRを使わずに、EC2に自前でHadoopをインストールして使うやり方もあります（EMRが出来る以前はそれしかなかった）。 EMRを使う場合でも、バックグラウンドでは自動的に

エンジニアの、というほど特化しているわけではありませんが、昨日のエントリに英語のことを少し書いたら英語の勉強法について書きたくなったので、まとめてみました。Smart.fm - 世界最大級英語学習コミュニティーサイトPC上で単語の学習ができます。iTunesに無料のPodcastもあり、電車の中などで勉強するのにオススメです。英会話ならオンライン英会話のレアジョブSkypeで英会話のレッスンを受けることができるサイトです。講師はフィリピン大学の学生さんで、気楽に話ができます。Lang-8 - Multi-lingual language learning and language exchange | Lang-8外国語の文章を相互に添削しあうサイトです。ライティングの勉強になるので、英語のブログを書いたら試してみようと思います。 PodcatiTunesには英語系のPodcastがたくさ