Hadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記
今月中に実験の実装が終わるくらいでないと来月の投稿〆切に間に合わないので、今週から研究室のサーバに Hadoop をインストールしている。 研究室にはサーバが20台弱あるのだが、そのうち10台強を使うことにして設定。これくらいの規模だと「大規模」と言うのは憚られるかもしれないが(Yahoo! や Google と比べて、という意味で。)、中規模、くらいには言ってもいいだろうし、たぶん、多くの大学や企業で使える台数もこれくらいだと思うし、大企業にいないとできない研究をするのも大変価値があるが、他の人たちがやる気になれば真似できる研究をするのも(データやインフラ勝負ではなくアイデア勝負になるので苦しくはあるのだが)重要だと考えている。 たとえば、数台でも分散環境の恩恵が受けられる、というのはPFI が出した Hadoop の解析資料で知っていたので、初めて導入したときは参考になったし、こういう
Hadoopを使わずにWikipediaのテキスト処理を400倍高速化 - tsubosakaの日記
タイトルは釣りです。id:mamorukさんの書いたHadoop で Wikipedia のテキスト処理を900倍高速化 - 武蔵野日記を読んで、そもそも1G程度のデータの単語頻度を数えるのに858分もかかるんだっけと思い、id:nokunoさんの資料を読んでみると単語頻度を求める際に a b a aみたいなデータを a 3 b 1に変形するのにsortしたファイルをuniq -cで処理するということをやっていた。これはあまり効率のよい方法ではなくて行数をNとしたときにO(N log N)の計算時間となる(文字列比較はO(1)でやれることにする)。 これに対して、単語の頻度をハッシュ表で保存すると理想的な条件の元ではO(N)の計算時間で頻度を求めることが出来、より高速に計算することが可能となることが期待される。 また、単語数をWとしたとき、C++のmapのような二分探索木を使ってもO(N
アジャイルのレイヤ 〜 アジャイルを整理し直して理解する - kuranukiの日記
【アジャイル】という言葉は、システム開発の世界ではかなり一般的な言葉になりつつあります。大手のSIerの経営者までが当たり前のように使うようになったことは、ある意味で感慨深いものです。しかし、言葉としてメジャーになりつつある一方で、その言葉の本当の実体を理解しないで誤解したまま使っているケースが多くあるように思います。アジャイルで開発すれば「速い・安い・旨い」が手に入るという誤解や、プログラミング工程だけで使う手法だという誤解、朝会やふりかえりをすることがアジャイルだという誤解、などなど。どれも、完全な誤解という訳ではなく、あながち間違いでもないところが、さらなる混乱を産んでいるように感じます。 最近では、アジャイルの事例も多く出てきたように思いますが、それらの事例も具体的にどういったことを実践したからアジャイルだったかと問われるとそこに明確な答えは無いように思えます。アジャイルとは何か、
男女の違いを思い知った…学生にリレー小説を書かせたら教授も仰天の内容に : らばQ
男女の違いを思い知った…学生にリレー小説を書かせたら教授も仰天の内容に 男女の間には、なかなか埋めがたい差があるものです。 コロラド大学で、教授が学生にリレー小説の課題を出したのですが、男女の違いを思い知らされる、かなりぶっ飛んだ結果となってしまったようです。 ※リレー小説とは、ひとつの作品の続きを別の人が順番に書いていき、みんなで作る小説のこと。 人気を呼んでいた文面をご覧ください。 教授は隣同士の学生にペアになってもらい、リレー小説を書かせたそうです。 課題： まずひとりが最初の一節分の短編を作ります。それをパートナーと私にメールし、受け取ったパートナーは続きを書き加え、それを二人で繰り返します。 前の人の内容をしっかり読み、話が流れるようにしなければいけません。話の終わりは二人が同意したところで完結とします。 そして以下のものが、実際に2人の学生によって教授に提出されたリレー小説だそ
ドーラ、ツンデレっぷりを発揮する - ただのにっき(2010-07-17)
■ ドーラ、ツンデレっぷりを発揮する 昨日から我が家の一員となったドーラだが、まだまだ気を許してはくれなくて、手を近づけると「フーッ」といって怒る。もっとも、おかまいなしに捕まえて抱きかかえ、なでてやるとすぐに大人しくなって、機嫌のいいときにはゴロゴロいったりもする。まるでツンデレ。 グスタフにしてみれば「自宅警備員をしていたボクのもとに突然やってきた一歳違いの血のつながらない妹はツンデレだった!」という出来の悪いラノベみたいな状況である。いや、グスタフはまだデレてもらってないんだけど。ぜんぜん受け入れてもらえる気配もない。不憫なヤツだ。 見た目は健康そうではあるけど、抱いてみるとアバラがゴツゴツと手に触れるくらい痩せていて、やっぱり野良だけに十分な栄養が与えられていたわけではなさそうだ。同じ月齢のころのグスタフと比べて、だいぶ小さい感じがする。食事にはグスタフの残りの離乳食を与えているけ
たった600円でオライリー本をiPadやKindleで読む。すてき。 - このブログは証明できない。
オライリー本読んでますか？いろいろ揃っていて、ついつい買っちゃいますよね。でも、価格が高い＆厚い＆重いの三重苦です。ところが、iPhone版の電子書籍だと600円で買えてしまいます。しかも、場所を取らない。最初は数冊だったのが、今では868冊がリリースされています。 これがO’ReillyのiPhone電子書籍だ！！（写真満載レビュー） - このブログは証明できない。 600円でフルバージョンが手に入るオライリー本ですが、やはりiPhoneであのボリュームを読むのはツライ。そこでオライリーでは、iPadやKindleで読める電子書籍を販売しています。 no title ところが、紙の本と比べてそれほど安くないんですね。iPhone版の600円はやはり魅力です。大丈夫。実はこのアプリからiPadで読めるepubを取り出すことができるんです。特殊なハックというわけではなく、オライリーのサイトで
[iPad] Mirror’s Edge™ for iPad: この世界に感動した！iPadのゲームはこんなに面白いと驚愕するアクションゲーム。1328 | AppBank
iPadのゲームをここ一週間遊びまくってますが、最高クオリティでしょうね。音楽、演出、グラフィック、世界観、難易度、どれを取っても最高にクールで面白いMirror’s Edge for iPadをご紹介します！ 私はこれを遊んで攻殻機動隊の素子を何度も何度も連想しました。 そう囁くのよ・・・・・・ 私のゴーストが このゲームは面白い！この透き通るような青空を見よ！このクオリティをは必見だ！早速紹介します！ このアプリは iPadにのみ対応しています。 プレイ動画はこちら 透き通る空、透き通るビル群。 世の中に不満があるなら自分を変えろ！！ それが嫌なら、耳と目を閉じ、口をつぐんで孤独に暮らせ！！ メニューがこちら。プレイで、ニューゲームないし、続きからプレイ。 いろいろ書きましたが、このゲームはこの主人公が走り続ける、ただそれだけのゲームです。 透き通るような青空、この青空よりも美しい青空
【永久保存版】 iPadを買ったらまずダウンロードして欲しい特選アプリまとめ 【随時追加！】
iPadで必ずダウンロードしたい特選アプリまとめです。 iPhoneにとってはTwitterがキラーとなるサービスだったと思います。では、iPadは？ iPadではファイル管理アプリやRSSリーダー、その他Todoなどの仕事効率化系のアプリなどがキラーになるのではないかと思います。非常に大きく美しすぎる画面、その起動の早さ俊敏性、そしてなんといっても電池の持ち時間の長さなど、持ち歩くツールとして現時点で世界最高の商品だと思います。 AppBankではすでに100以上のアプリケーションをレビューしました。そんな中でも必ずダウンロードしたいアプリをまとめてお伝えします！ iPadアプリの記事一覧はこちら→iPadアプリのレビュー一覧
消えた虎達 - 80年代後半〜90年代前半を回顧するブログ
2001年から2004年まで放送された投資バラエティ番組 「マネーの虎」（日本テレビ系） 百戦錬磨の“虎”（会社経営者） VS 起業希望者 という図式が海外で好評を博し、「風雲たけし城」や「料理の鉄人」のようにフォーマット販売という版権ビジネスで成功しているようだ。 そんなキラびやかさが聞こえてくる反面、番組終了後の百戦錬磨の“虎”達のその後の動向がどうもキナ臭い ◆小林 敬 株式会社 小林事務所 代表取締役 ＜年商＞56億 45歳（当時） 「アホンダラァ！ 謙虚になれよ！」 「死ぬ気でがんばってこのザマか!」 「私らかて百戦錬磨の経営者なわけですわ」 45歳にして会長/相談役の風貌を兼ね備えていた小林氏は最も恐れられた虎ではなかっただろうか。 若き起業家達の計画性の甘さへの叱咤には留まらず、終いには人間性の否定まで行い、 起業での成功で得た自信と目の前に積まれた札束がこの猛虎をより強く吠
プロスペクト理論 - Wikipedia
この記事のほとんどまたは全てが唯一の出典にのみ基づいています。他の出典の追加も行い、記事の正確性・中立性・信頼性の向上にご協力ください。 出典検索?: "プロスペクト理論" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2022年3月） プロスペクト理論（プロスペクトりろん、英: prospect theory）は、不確実性下における意思決定モデルの一つ。選択の結果得られる利益もしくは被る損害および、それら確率が既知の状況下において、人がどのような選択をするか記述するモデルである。 行動経済学における代表的な成果としてよく知られている。 期待効用仮説に対して、心理学に基づく現実的な理論として、1979年にダニエル・カーネマンとエイモス・トベルスキーによって展開された[1]。カーネマンは2002年、ノ
perl - O'ReillyのiPhoneアプリ本からepubをぶっこぬく : 404 Blog Not Found
2010年07月16日01:15 カテゴリ書評/画評/品評Lightweight Languages perl - O'ReillyのiPhoneアプリ本からepubをぶっこぬく W00t! たった600円でオライリー本をiPadやKindleで読む。すてき。 - このブログは証明できない。 ところが、紙の本と比べてそれほど安くないんですね。iPhone版の600円はやはり魅力です。大丈夫。実はこのアプリからiPadで読めるepubを取り出すことができるんです。特殊なハックというわけではなく、オライリーのサイトでもやり方が書かれています。 Ebook Bundles - Getting The Most はてなブックマーク - samurai20000のbookmarkこれすごすぎる。ただ、やり方が面倒なので自動化したいとこ。 やりましょう。 できました。 #!/usr/bin/env p
モダンな Perl の開発環境の構築方法 - tokuhirom's blog
一般的な OSX 環境および Linux 環境における、モダンな Perl 開発環境の構築方法についてまとめてみたよ。 perlbrew のインストールperlbrew をつかうことにより、簡単に最新版の Perl5 を利用することができるようになる。 perlbrew をいれる。% curl -L http://xrl.us/perlbrew | perl - install % ~/perl5/perlbrew/bin/perlbrew init ~/.bashrc (または ~/.zshrc)に source ~/perl5/perlbrew/etc/bashrc を追記。あたらしいシェルをたちあげる。最新版の perl をインストールする。% perlbrew install perl-5.12.1 % perlbrew switch perl-5.12.1 ここまできたら、she
MacRuby: The Definitive Guide
More than 5,000 companies count on our digital courses and more to guide their teams through the tools and technologies that drive business outcomes. We can help yours too. New AI policy for O’Reilly authors and talent O’Reilly president Laura Baldwin shares the company’s ethical approach to leveraging GenAI tools and ensuring O’Reilly experts are compensated for their work. See it now It’s time t
モトウケの品格 | おごちゃんの雑文
例の「払ってくれない」エムテックの、エンドユーザから呼び出されて会う。 私に金が払われないのは、結局はエンドユーザが払わないというのが原因ではある。が、私は彼には同情こそすれ、文句は一言も言わなかった。なぜなら、エンドユーザが払わないのは当然だからだ。 私がどれだけ頑張ろうと、エンドユーザが満足しないシステムをエンドユーザが金を払おうはずはない。エンドユーザとしてはそれは当然の理屈だ。 彼等が元請けにどのような要求仕様を出したのか、私は知らない。しかし、「元請け」であるからには、その辺のことは当然何らかの「まとめたもの」があるはずであり、私(達)に発注するためには、それなりの「整理」がされたものであるはずだ。その仕様に従ってこちらは仕事をするし、元請けは検収をする。これが、エンドユーザ、元請け、下請けの正常な構図である。 と同時に、下請けがまともに納品できなかったことのリスク、エンドユーザ
真・裏転職マニュアル 【NGワード】DQN企業の求人広告のキャッチコピー一覧
実際にあった求人広告のキャッチコピーです。 笑えます。 それでも最大手のリクナビNEXTを使いたい方はこちら 完全無料で利用出来ます、企業が広告費を出して掲載するのでハロワと比べて高品質です。 新着求人数は他社の2倍、更新は毎週水曜日！ 外部サイト：リクナビNEXT【転職希望者の８割が利用】 自己責任でお願いします。 転職活動の利用媒体が一つだと停滞します。 転職サイト、ハロワと人材紹介会社も複数の媒体を利用しましょう。 あなたが女性で事務職への転職が希望なら女性の転職＠type がオススメです！ 【高卒OK】女性の転職 ＠typeの裏事情【ﾌﾘーﾀーOK】 ・【事務職】女性の事務職への転職 【女性の転職＠type】 人材紹介会社なら大手のDODAや、評判のアデコとマイナーなビ ズリーチを利用しましょう。 ビズリーチは利用者が少ないので競争倍率が低く、< big> 社内選考が無いそうな の
ダメな仕事を受けないためのNGワード(補遺) | おごちゃんの雑文
前エントリのPSで書こうと思ったんだが長過ぎるので。 ブコメ読んで思い出したのが、「こういうシステム何社か欲しがってるところがあるんで完成すれぼ紹介もできるかと」って奴があった。これもすごく既視感があるのだけど、私にはそんなに「悪い思い出」となってない。 この言葉、「～なので、うちにはぎりぎりでやってくれませんか」と続くとブラックだから全力で逃げるべきだろうけど、私は値切りの「キメせりふ」として言われたことがないのだ。どっちかと言えば、「ついで」だからスルーしとけばいいだけだった。「営業は水もの」と思っているので、それが出来れば運が良いし、ダメで当然くらいのつもりで聞いているというのもある。値切りのキメせりふとして使われてない限り、どうでもいい。 とは言え、営業力がない零細やフリーランスだと、ついそれに期待してしまう。「儲け損う」と「損する」は別のことで、結果を見れば儲け損なっただけになる
ダメな仕事を受けないためのNGワード | おごちゃんの雑文
体力のある大企業と違って、フリーランスや零細企業だと、「ダメな仕事」を受けてしまうと命取りだ。 もちろん戦略的タダ働きというのもあるのだが、体力がない身ではそれは限界があることを知っておくべきだ。 と共に、そういった仕事を避けることも考えておかなければならない。 弊社はSIを積極的に受けているわけではないが、背に腹は代えられない。お金が厳しくなれば、SIだってホイホイやってしまう。 とは言え、何でもかんでも引き受けていると、身動きが取れなくなってしまう。それでは自分も困るし、お客にも迷惑がかかる。場合によっては、業界に迷惑をかけてしまうことだってある。だいたい、原価割れでも仕事は仕事なんで、そーゆー仕事で苦労している間に、もっと率のいい仕事が目の前を通り過ぎて行かないとも限らない。原価割れの仕事は、 海水で渇きをいやす ようなもので、その瞬間は何とかなっても、さらに厳しくなってしまう。 そ
「分かる人にしか分からないとても高飛車なケータイ小説マーケティング概論」がなんかすごい - 思っているよりもずっとずっと人生は短い。
id:lost_and_found さんがケータイ小説のサービスモデルを知りたがっていたみたいだったので、ケータイ小説について適当に検索してたら、井口尊仁さんが３年ほど前に書かれていた（らしい）記事に突き当たりました。 これがたいへん興味深い。こんなのが2007年に書かれてたんですね。 もう記事そのものは残っていないようなので、Internet Archivesへのリンクです。 分かる人にしか分からないとても高飛車なケータイ小説マーケティング概論（入門編） 分かる人にしか分からないとても高飛車なケータイ小説マーケティング概論（中級編） 分かる人にしか分からないとても高飛車なケータイ小説マーケティング概論（上級編） 分かる人にしか分からないとても高飛車なケータイ小説マーケティング概論（初級編の前編） 分かる人にしか分からないとても高飛車なケータイ小説マーケティング概論（初級編の後編） 分かる
WebSocketサーバライブラリ rev-websocket リリース - Blog by Sadayuki Furuhashi
いま WebSocket がにわかに注目を集めているようです。 ブラウザとサーバの間でリアルタイムな双方向通信を実現する機能で、HTML5に追加された（される予定の）新しい仕様です。 このWebSocketを使うには、ブラウザ側のJavaScriptの記述だけでなく、サーバ側の実装も必要になります。 そこで、Rubyで使えるWebSocketのサーバライブラリ rev-websocket をリリースしました。 gemでインストールできます：gem install rev-websocket 早速、デモアプリケーションを作ってみました：シャウッたー *1 WebSocket を使ったチャットシステムに、ちょっとした演出を加えたシンプルなアプリケーションです。速くタイプするほど大きく表示されるという趣向です^^; WebSocket に対応しているブラウザは今のところ Safari と Chr
iPhoneゲーム，アイテム課金で売上が劇的に改善。ARPUがFacebookの6倍，GREEレベルに：In the looop：オルタナティブ・ブログ
iPhoneゲーム，アイテム課金で売上が劇的に改善。ARPUがFacebookの6倍，GREEレベルに iPhone上のソーシャルゲームが熱いようだ。 iPhoneにおいて，アイテム課金（アプリ内課金）によるフリーミアムモデルが可能になったのは昨年9月に登場したiPhoneOS3.1からだが，本格的にアイテム課金をしているソーシャルゲームがそれほど多くないため，収益状況が表に出ていなかった。 そんな中，昨日，非常に興味深い記事がVentureBeat（元記事）からアップされた。 記事内では，米国モバイル市場調査会社Flurryによる調査結果とiPhoneアプリ・デベロッパー数社のコメントが紹介されている。まとめると以下の通りだ。 Flurryによると，アイテム課金をしているiPhoneゲーム（ダウンロードは無料）のユーザーあたり売上は非常に高い。2010年1月では年換算で1ユーザーあたり9
アップル、iPhone 4のアンテナ問題の対策として購入者に「バンパー」を無償提供
アップルが、問題が指摘されているiPhone 4のアンテナについての特別会見を実施。対策としてユーザー全員に純正のケース「iPhone 4 Bumper」を無償で提供すると発表しました。 [source: Engadget ] 会見では、CEOスティーブ・ジョブス自らが登壇し、持ち方による受信感度の問題は他のスマートフォンでも存在すること、iPhone 4の顧客満足度がiPhone 3GSよりも高いことなどを説明。 この問題が大きく取り上げられるきっかけとなった米Consumer Report誌による、『iPhone 4 Bumper』を使用することで問題は解決するとの報告を引用。 よってアップルのこの問題に対し、 アンテナの計算方法の間違いを修正する ユーザーに「iPhone 4用ケース」を無償提供する の2点を行うとしています。 無償提供は9月末まで購入したユーザーが対象。 「iPho
アナリスト「iPhone 4リコールは800億円の穴、バンパー無料配布は40億円」：Analyst Estimates iPhone 4 Recall
IQ Test in 40 min. (c) One Mans Blog Wondering how much IQ you have? Click above to check it. You can go forward and backward, skipping questions or overwriting your answers. Take as much time as you want for your speed doesn't matter. Completed, press submit button. For evaluation, visit the source . You can also check how much your body costs at Cadaver Calculator . 40分でできるIQテスト。上のイラストをクリックするとスタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hykw blog » Blog Archive » プログラマにおくる英語の冠詞の使い分けの法則
すぐに借りたいなら審査が早く「大手で安心」なこの金融会社で！