AWS Solutions Architect ブログ

Apache SparkとAmazon DSSTNEを使った、Amazon規模のレコメンデーション生成 Amazonのパーソナライゼーションでは、お客様毎の製品レコメンデーションを生成するためにニューラルネットワークを使っています。Amazonの製品カタログは、あるお客様が購入した製品の数に比較して非常に巨大なので、データセットは極端に疎になってしまいます。そして、お客様の数と製品の数は何億にものぼるため、我々のニューラルネットワークのモデルは複数のGPUで分散しなければ、空間や時間の制約を満たすことができません。 そのため、GPU上で動作するDSSTNE (the Deep Scalable Sparse Tensor Neural Engine)を開発しオープンソースにしました。我々はDSSTNEを使ってニューラルネットワークを学習しレコメンデーションを生成していて、ECのウェブサイト

[T-miura]

ECS使ってんだ、、、コンテナからGPUってどう見えるんだ？仮想化とちゃうから、パススルーだとかSR-IOVの話はないんだよな？xenのレイヤーってあるんだっけ？

[codeout]

“Apache SparkとAmazon DSSTNEを使った、Amazon規模のレコメンデーション生成”

[chezou]

notebookを起点にSparkとECSに押し込めたGPUクラスタでCPUとGPUの機械学習をうまくコントロールしている。眼から鱗

[InoHiro]

本体のレコメンデーション！

[akuwano]

Amazonの製品レコメンデーションを支える技術

[Hash]

Amazon 商品レコメンドを支える技術のお話だ

[riywo]

Amazon ECSでDeep learning、それをAmazon EMRのSpark/Zappelinから実行している、Amazonのレコメンデーションの実例！