タグ

ブックマーク / qiita.com/khkblue (1)

  • 分散マトリックス(spark)の種類 - Qiita

    sparkの分散マトリックスの種類 分散マトリックスについて、ざっくりまとめたページを探したが見つからなかった。色々見たが公式ドキュメントやReza Zadehさんの発表資料に書いてあることから情報を抽出しておく。あくまでもベースとなるガイドラインなので、細かなニーズについては個別にRDDを使って書くしかない。 3つの分散マトリックス spark/MLlibには各マシンにどのように分散するかの方式により - RowMatrix(by rows) - CoordinateMatrix(by entries) - BlockMatrix(by blocks) のように3パターンが用意されている。 それぞれ行、セル、ブロック(セルの塊)での単位で各マシンに保持する。 RowMatrix 基はRowMatrixで良いが、行番号を意識してインデックス化しておきたい時はIndexedRowMatri

    分散マトリックス(spark)の種類 - Qiita
  • 1