サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
画力アップ
kernel023.hatenablog.com
Facebookのグラフ処理はApache Giraph たまたまTwitterでGiraphの記事を見つけたのでメモ。 Facebookがグラフ処理にApache Giraphを使っているという記事 https://m.facebook.com/notes/facebook-engineering/scaling-apache-giraph-to-a-trillion-edges/10151617006153920 FacebookはGiraphに貢献しているようです。この記事ではGiraph関連の話題が中心ですが、個人的に少々興味深かったのは、CoronaではなくYARNというところ(Hadoopからみて)。GiraphがYARNに対応したからでしょうね https://issues.apache.org/jira/browse/GIRAPH-13 NSAはAccumuloを使っている
Hadoopを使ってみたい! 新しく何かを始めようと思った時、面倒だなぁと思うことは多いものです。書籍やブログをみて「これは役立ちそうだ」と思っても、ちょっと試すことにさえにも辿り着けず、頓挫しているものがTODOリストやPocket(旧Readitlater)に大量にあります。 #書いていて嫌な気持ちになってきた、、、 Hadoopはそんな面倒なものの一つかもしれません。書籍を読んで「よし、やってみるか」という強い決意を持ったすぐ後に、 「試すにはマシン用意しないといけないのかなぁ」 「いや、EC2でいけそう。アカウントどうしようか」 「なんか仮想マシンでもできそうって書いてある」 という第一の壁があります。 運良く壁を乗り越えたあと、 「ソフトはどこからダウンロードすればいいだっけ?」 「コマンドラインでやるの?」 「設定面倒そうだなぁ」 いつやるの?ー>「今でしょ」「今度でいいや!」
本日公開されたHDFSの高速化に関連するJIRAの2つ目です。 通常、アプリケーションはread()などのシステムコール経由でファイルを読み出します。 このHDFS-4953はmmap()システムコールを使用することで、読み取り時にかかるオーバーヘッドを減らそうというものです。 参考までに、通常アプリケーションがファイルを読み出す場合、以下のようなフローでカーネルからの読み込み処理が行われます。 アプリからの読み込み要求 v fread()など (stdlib) v read()システムコール(glibc) v (以下カーネル空間) v sys_read() v vfs_read() v …. 参考資料:ページキャッシュのメモ P.12 アプリケーションからの読み出し要求によりシステムコールが呼ばれるのは上記の通りですが、問題となるのは、 read()が頻繁に呼びだされる場合、コンテキスト
このページを最初にブックマークしてみませんか?
『kernel023.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く