Amazon EMR で GPU インスタンスタイプを持つディープラーニングフレームワークを実行 | Amazon Web Services
Amazon Web Services ブログ Amazon EMR で GPU インスタンスタイプを持つディープラーニングフレームワークを実行 AWS は Apache MXNet と Amazon EMR での新世代 GPU インスタンスタイプのサポートについて発表いたします。これにより、機械学習ワークフローおよびビッグデータ処理とともに分散ディープニューラルネットワークの実行が可能になります。さらに、GPU ハードウェアにより、EMR クラスター上でカスタムディープラーニングライブラリをインストールおよび実行できます。ディープラーニングフレームワークの使用を通じて、自動運転車から人工知能 (AI)、個人化されたヘルスケア、コンピュータビジョンまで、さまざまなユースケースに対応する新しいツールキットを入手できます。 Amazon EMR は、Apache Spark、Apache Hi
2015年、私をワクワクさせたAPIトップ5！
去年（2015年）は、沢山のAPIや素敵なサービスと出会えて楽しかった一年でした。 これから、より多くのAPIやクラウドサービスを視野に入れてどんどん紹介していきたいと思っています。 今年からは、本ブログにてその内容を中心に投稿していきます！ 2015年、私が個人的に注目していたAPI ・StrongLoop StrongLoopは、Node.jsを基盤にしたエンタプライズアプリケーション開発プラットフォームです。 主に、StrongLoop LoopBackとStrongLoop Arc、API Gatewayなどが提供されています。 LoopBackは、データーソースやモデルを生成して、DBをAPI化させることができるのと「Connector（Connecting models to data sources）」を使えば既存のDBとの連動させれば、DBのカラム（データー）をAPIでサク
Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた3 Kubernetes編 - Qiita
これまでのあらすじ KerasをSpark上で稼働させるdist-kerasをDockerから起動させることで、ディープラーニングをスケーラブルにしようとしてきました。 Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた2 マルチホスト編 前回まででマルチホストでの分散処理に成功しました。 しかしマルチホストでDockerを起動する難点は、それぞれのホストで一々起動コマンドを実行し管理しなければならない点です。 そこで、DockerのオーケストレーションツールKubernetesを用いて、Docker管理を容易にスケーラブルにしてみました。 今回やること これまで作ってきたDistKeras on DockerをKubernetesで動かします。 Kubernet
Spark SQLとDataFrame API入門 | Hadoop Advent Calendar 2016 #16 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 16日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はSparkでWord Countの実装して動かす方法を紹介しました。 今回はSpark SQLとDataFrame APIについて書かせていただきます。 Spark SQLとDataFrame API SparkはRDDに対して何かしらの処理を行った新しいRDDの生成を繰り返していくことで全体の処理フローを定義するものでした。 これに対してDataFrameというものはデータをテーブル構造で定義して、それに対する操作を記述していくものになります。 これはRやPythonなどデータ分析によく使
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ComputerworldとCIO Magazineは閉鎖しました
