Spark MLlib でネイティブライブラリを使う - Qiita
Spark と MLlib Sparkはオープンソースの分散処理フレームワークです。 Hadoopと比較した場合、インメモリで処理を行うため繰り返しの計算に強く、特に機械学習にメリットがあります。 Sparkは標準でMLlibという機械学習ライブラリを用意していて、キラーアプリといえる存在になっています。 MLlibにはBLASのような著名なアルゴリズムが用意されています。 MLlib と Netlib MLlibのアルゴリズムには、Javaで実装されたjblasが使用されています。 しかし、MLlibのパフォーマンスを高めるために、内部のアルゴリズムをネイティブの実装であるNetlibと差し替えたいと考えるのは自然なことでしょう。 Sparkはそのための手段を用意しています。 netlib-javaのビルド SparkはJavaVM上で動作しますので、JNI経由でNetlibを呼び出すこ
Hive on Tez を CDH で動かす - Qiita
Tezとは まずはTezの説明です。 TezはYARN上で動作するバッチ処理用のフレームワークで、Hortonworksが主導して開発しています。 Tezに近い位置付けのものには、リアルタイム処理用のSliderがあります。 HortonworksはSliderの上でStormを動かすことを計画しています。 Hive on Tezとは Hive on Tezは、上記のTezの上でHiveを動かすものです。 Hive 0.13からTez対応のパッチが入っていて、動かす準備はできています。 しかし、ClouderaはCDH 5.2でHive 0.13に対応したものの、Tezをパッケージングしませんでした。 そのため、そのままのCDHではHive on Tezが動きません。 Hive on TezをCDHで動かす方法 Tezはライブラリであるため、CDHのHive 0.13と組み合わせれば動作す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
