Computing Wikipedia’s internal PageRanks
Introduction Wikipedia is the world’s largest online encyclopedia, comprising millions of pages and links between pages. It also gives away all of this data in an easy-to-process format, via its periodic database dumps. What would happen if we took this set of data and ran the classic PageRank algorithm on every single page? PageRank is a method for determining the importance of each document in a
Wiki PageRank with Hadoop
In this tutorial we are going to create a PageRanking for Wikipedia with the use of Hadoop. This was a good hands-on excercise to get started with Hadoop. The page ranking is not a new thing, but a suitable usecase and way cooler than a word counter! The Wikipedia (en) has 3.7M articles at the moment and is still growing. Each article has many links to other articles. With those incomming and outg
MySQLでランダムにレコードをselectする。パフォーマンス対策３つ。 - mtomizの日記
例えばMySQLのデータベースからWEBサイト上にランダムに商品情報や広告情報を取得して、１０件程度表示させたいとする。単純に、SELECT * FROM table ORDER BY RAND();を使用することが考えられるが、ランダム取得すると全件取得と同じ負荷がかかるので、データ件数が数万件以上あるような場合処理パフォーマンスが問題となる。したがって、SELECT * FROM table ORDER BY RAND() limit 0, 10;として１０件ランダムに取得しようとしても全件取得相当の処理パフォーマンスとなり実用的ではない。【対策】１．取得するカラムが少ないのであれば＊ではなくselect id,name,price from table order by rand() limit 0,10; などとするとかなり早い２．ランダムに”切り取る”ことができれば１０件は連続し
ptraceを駆使してscreenifyっぽいことをするreptyrがすごい
reptyrというおもしろいものをみつけたのでご紹介 reptyr とは reptyrとは"re-ptying"するためのプログラムで、起動中のプロセスを新しい別のターミナルにもってくることができます。 例えば、うっかりscreenやtmuxの外で起動してしまった長い時間のかかるバッチ処理を、起動したままscreenの中にもってくることができます。 https://github.com/nelhage/reptyr 使い方 現在のターミナル内にもってきたいプロセスのpidを引数にします。 attach後は、そのプロセスの入出力は^Cや^Zも含めて新しいターミナル側を向きます。 それscreenifyでできるよ screenifyと呼ばれるスクリプトが昔からあって、それはgdbつかって似たようなことをやってるらしいです。 でもreptyrならもっとうまくできます。 例えば従来のscreeni
GitHub - nelhage/reptyr: Reparent a running program to a new terminal
"reptyr PID" will grab the process with id PID and attach it to your current terminal. After attaching, the process will take input from and write output to the new terminal, including ^C and ^Z. (Unfortunately, if you background it, you will still have to run "bg" or "fg" in the old terminal. This is likely impossible to fix in a reasonable way without patching your shell.) Typical usage pattern
Move a running process to a new screen shell | monkeypatch.me
The purpose of this article is to show you how to move a process from your traditional shell to a new screen session. {%- endmark %} The necessary tools are: screen disown (a builtin command of bash and zsh) reptyr or retty (see the note below) pgrep (optional) Example Sometimes I have to restart my X server. In these cases, I would like to keep my text based IRC client (Irssi) running. Of course,
[Wikipedia] WikipediaのデータをMySQLに読み込む
□リンク −Data dumps 詳細 http://meta.wikimedia.org/wiki/Data_dumps −データダウンロード http://download.wikimedia.org/ 例えば、下記をダウンロード jawiki-2010xxxx-pages-articles.xml.bz2 jawiki-2010xxxx-category.sql.gz jawiki-2010xxxx-categorylinks.sql.gz □MediaWikiを使ってMySQLに読み込む −MediaWiki http://www.mediawiki.org/wiki/Manual:importing_XML_dumps −MySQLの設定 /etc/my.cnf を編集 max_allowed_packet = 32M −MySQLの再起動 /etc/rc.d/init.d/my
開発合宿してきた & 声優統計メンバーy_benjoからのWikipediaのリンク構造に対するメッセージをお読みください - 糞糞糞ネット弁慶
というわけで毎年恒例二泊三日の開発合宿を@inut，@syou6162，@twittoru，@wakuteka，@yag_aysとやってきた． 開発合宿してきます - 糞ネット弁慶 現実逃避のために開発合宿してきた - 糞ネット弁慶 合宿そのもの 卓球して 酒飲んで 温泉に入って アノテーションして 漫画を読んで という感じだった． 寝て起きたら@twittoruがコード修正しててくれたり，相手のマシンにsshしてscreen -xやってペアプロやってる人がいたりして良かった．わっせわっせと集まって色々喋りながらそれぞれのテーマに取り組むと「それ***でできるよ」とか「それ今やりました」みたいなやり取りが生まれ続けるので効率というか相互作用が良い． 二日目は丸一日文字列がアニメタイトルかそうでないかだけを判別し続けた．人力アノテーションとかそもそもやったことが無く，NLP業界の人だと「アノ
リンク解析とか: 重要度尺度と von Neumann カーネル - Standard ML of Yukkuri
リンク解析とか: 重要度尺度と von Neumann カーネル Algorithm NAIST の入学手続を終えた. 残りの期間はサーベイするぞーということで shimbo 先生の講義資料「リンク解析とその周辺の話題」を読んでいます. 一日目, 二日目の資料は PageRank, HITS, SALSA などの重要度尺度の紹介と, von Neumann Kernels と HITS の関係についてのお話が中心. これらを実装してみた. 後半に進むほど力尽きて記述が適当になってます:) PageRank ポイントは遷移確率行列による random walk では定常分布に収束しない (エルゴード性 (ergodic) を満たさない) という点. どうして満たさないかというと. sink (出次数のない節点) が存在するとき, 明らかに既約 (irreducible) でないのでエルゴード
Link Analysis and Related Topics - Home
2008年度 先端情報科学特論 II & IV リンク解析と周辺の話題 担当 新保 仁 shimbo@is.naist.jp 日時 2008/11/10, 11/17, 12/1, 12/8 (全 4 回) - 4限 15:10-16:40 場所 情報棟 L3 講義室 リンク解析は, グラフ (ネットワーク) データの構造から有用な情報を抽出するための, データマイニングの一研究分野です. この講義ではまず, リンク解析が取り扱う 2 種類の尺度 (重要度と関連度) について述べ, それぞれの代表的な計算手法を紹介します. 後半では, 近年機械学習分野で盛んに研究されているカーネルのうち, グラフ上の節点に対して定義されたカーネル (グラフカーネル) と, そのリンク解析への応用について紹介します. 第1回 11月10日 スライド 第2回 11月17日 スライド 第3回 12月1日
PDL で PageRank - naoyaのはてなダイアリー
id:smly さんが PageRank や HITS を Python で実装 されているのに触発されて、自分も PageRank を Perl で実装してみました。 PageRank の計算の中心になるのは Power Method (べき乗法) です。べき乗法では行列とベクトルの積を計算しますので、手軽に使える行列演算ライブラリがあると楽でしょう。 色々調べてみたところ、PDL (The Perl Data Language) が良く使われているようでしたので、これを選択しました。PDL では各種行列演算が簡単に行える他、文字列評価をオーバーライドして行列の文字列出力を良い具合で定義してくれていたりと、なかなかに便利です。PDL は行列計算以外にも色々な科学技術計算やグラフ描写などの操作をサポートしているようです。 さて、PDL を使った PageRank 計算のコードは以下のように
Googleが電化製品向けの新OS「Brillo」を発表する可能性、IoTの普及に拍車がかかるのか
By C_osett Googleが開発者向けに毎年開催しているイベント「Google I/O」が2015年5月29日と30日の2日間にわたって実施されます。イベントでは次期Android OS「Android M」の発表が期待されている一方で、IoT向けの新OSが登場する可能性が浮上してきました。 Google Developing ‘Brillo’ Software for Internet of Things — The Information https://www.theinformation.com/Google-Developing-Brillo-Software-for-Internet-of-Things Google may reveal internet of things OS at event next week | The Verge http://www.th
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
