分散合意アルゴリズム Raft を理解する - Qiita
Raft は Byzantine 障害に対する耐性がなく、論文を一見して恒久的なリーダーの乗っ取りからのログの改ざん、リーダー選挙の妨害などが可能であるところを見ても、P2P ではなく完全に管理されたネットワーク向けの合意アルゴリズム (CFT; Crash Fault-Tolerance) です。Byzantine 障害耐性が必要であれば Raft ではなくパフォーマンスを犠牲にして pBFT などを使う必要があるでしょう。 論文では Crash-Recovery より深刻な障害耐性には言及していないが (論説の範囲を外れるため当然だが)、もし実際に Raft を実装するなら現実的に想定される障害に対して工夫できる余地もいくつか存在します。例えば「テスト環境で使用していたノードの 1 つが事故で本番クラスタに『も』参加してしまった」といったような運用事故で起きうる障害は (大抵そのような
XGBoostの概要 - ともにゃん的データ分析ブログ
XGBoostの凄さに最近気がついたので、もうちょっと詳しく知りたいと思って以下の論文を読みました。 XGBoost: A Scalable Tree Boosting System せっかくなので、簡単にまとめてみたいと思います。。。と思っていたら結構な量になってしいました。 何か間違い等がありましたらコメントをしていただくか、@kefism へ連絡をしてくださると嬉しいです。 XGBoostとは 基本的に内部で行われていることは決定木を複数個作るということです。しかし、その作り方に特徴があります。 ここで記号を定義しておきましょう。 説明変数を次元として、目的変数を、とします。ここではデータの数です。またデータに対する予測値をとします。 まず決定木を１つ構築します。するとその決定木を使用して予測ができるようになります。１つ目の決定木から得られるデータに対する予測値をとしましょう。このと
GraphX Advent Calendar - Day 12 - Pregel 概要 - TEPPEI STUDIO
GraphX Advent Calendar 2014 - Adventar 12日目です。ページランクアルゴリズムに予想以上に苦戦しているので、できるところから見ていきます ^^; 今日は Pregel です。 Pregel とは Pregel は Google が開発したグラフアルゴリズムを実装する ためのスケーラブルなプラットフォーム実装です。 Google のページランクアルゴリズムはこの Pregel というソフトウェアで稼働しているそうです。しかし、 Pregel のソースコード⾃自体は公開されておらず、論文が発表 されているのみです。GraphX は、この論文の内容を実装した関数を用意していて、利用可能な状態になっています。 GraphX で用意されている、ページランクアルゴリズムや、連結グラフ分類（ Connected Components ） 等
Dominant Resource Fairness on YARN - Qiita
この記事はDistributed computing Advent Calendar8日目の記事です。 Hadoopをはじめとする大規模な計算リソースを効率よく使うにはリソーススケジューラが必要です。分散システムでのリソーススケジューラといえばYARNやMesosといったシステムが有名ですが、今回は分散システムでの効率のよいスケジューリングを定義したDominant Resource Fairnessという考え方とそのYARN上での実装についてまとめてみました。 "Fairness"の難しさ 分散システムに限らずリソーススケジューリングにおいて目標とされるもののひとつとして"Fairness"があります。曖昧な言葉ではありますが、効率のよいシステムでは限られたリソースを複数のユーザ、タスク間で共有してそれぞれの要求を満たしつつ、全体のスループットもあげていくことが求められます。このときにど
ぜひ押さえておきたいコンピューターサイエンスの教科書
僕はバイオインフォマティクスという生物と情報の融合分野で研究を行っています。東大の理学部情報科学科にいた頃は同僚のマニアックな知識に驚かされたものですが、そのような計算機専門の世界から一歩外に出ると、それが非常に希有な環境だったことに気が付きました。外の世界では、メモリとディスクの違いから、オートマトン、計算量の概念など、コンピューターサイエンスの基礎知識はあまり知られていませんでした。コンピューターサイエンスを学び始めたばかりの生物系の人と話をしているうちに、僕が学部時代に受けた教育のうち、彼らに欠けている知識についても具体的にわかるようになってきました。 バイオインフォマティクスに限らず、今後コンピュータを専門としていない人がコンピューターサイエンスについて学ぶ機会はますます多くなると思われます。そこで、これからコンピューターサイエンスを学ぼうとする人の手助けとなるように、基礎となる参
分散システムについて語るときに我々の語ること ― 分散システムにまつわる重要な概念について | POSTD
分散システムについては、もう随分と前から学びたいと思っていました。ただ、それは一度首を突っ込んだら最後、ゴールのない迷路に迷い込むようなものなのです。どこまでも続いているウサギの穴のようなものです。分散システムに関する文献は星の数ほど存在します。様々な大学からたくさんの論文が発表されているばかりでなく、膨大な数の書籍もあるのです。私のような全くの初心者には、どの論文を読んだらいいのか、どの書籍を買ったらいいのか、見当もつきません。 そんなとき、一部のブロガーが、 分散システムエンジニア （それがどういう意味であれ）になるなら知っておくべき論文というものを推奨しているのを見つけました。その一部を紹介しましょう。 FLP , Zab , Time, Clocks and the Ordering of Events in a Distributed Systems , Viewstamped
物理ベースレンダリング -基礎編-
みなさんこんにちは！ 本日Cygamesエンジニアブログを開設しました！ 弊社は昨年の夏CEDEC 2014にてPlayStation 4への参入を発表致しました。 ハイエンド据置きゲーム機にもこれまでと変わらず最高のコンテンツをお届けできるよう取り組んで参ります。 大阪の開発拠点 大阪Cygamesも設立され、準備が整えられています。 改めまして大阪Cygamesエンジニアの岩崎です。いままで歴代コンシューマ機を中心にグラフィックエンジンを制作してきました。日々最新のハイエンドグラフィックス技術を追いかけています。 今後グラフィック技術情報を中心にこのブログで定期的に情報をお届けしていきたいと思います。グラフィック分野に限らずその都度良いものがあればご紹介できればと思います 便利なツールや実際にゲーム開発に使えるオープンソースプロジェクトなども紹介していく予定です。 第一弾は…！ 今世
勉強会資料 データ構造とアルゴリズム
programming camp 2008, introduction of programming, algorithm
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Charming Python: Functional programming in Python, Part 3
Cache obliviousの話
勉強会資料 Uml概要
インテル oneTBB