NEC、ビッグデータ分析を10倍以上高速化するHadoop分散処理技術を開発 | RBB TODAY

日本電気（NEC）は10月8日、ビッグデータの分析を高速化する分散処理技術を、新たに開発したことを発表した。 Hadoopによる分散処理基盤では、レコメンド・価格予測・需要予測など、データから規則性やパターンなどを抽出する「機械学習」等の複雑処理が高速に実行できなかった。新技術では、機械学習で頻繁に用いられる繰り返し演算および行列演算を、信頼性を損なわずに高速化できるため、Hadoopによるビッグデータの機械学習処理を、従来の10倍以上で高速化できるという。 新技術では、分散処理手法「MapReduce」間のデータ受け渡しを、HDDでなくメモリ経由で実現することで、繰り返し演算を高速化した。 また、サーバ間の通信効率を高めるため、別の分散処理手法である「MPI」（Message Passing Interface）を利用可能とし高速化を実現した。 さらに世界で初めて、メモリ上にある処理の状