Deep Graph Library
Framework Agnostic Build your models with PyTorch, TensorFlow or Apache MXNet. Efficient and Scalable Fast and memory-efficient message passing primitives for training Graph Neural Networks. Scale to giant graphs via multi-GPU acceleration and distributed training infrastructure. Diverse Ecosystem DGL empowers a variety of domain-specific projects including DGL-KE for learning large-scale knowledg
Amazon Elasticsearch Service で k 近傍法 (k-NN) 類似検索エンジンが構築可能に
Amazon Elasticsearch Service で、製品の推薦、不正検出、画像の取得、動画の取得、セマンティックドキュメントの取得といった類似性ユースケースでの検索を強化する、k 近傍法 (k-NN) 検索の提供が開始されました。軽量かつ効率的な非距離空間ライブラリ (NMSLIB) を使用して構築された k-NN を利用すると、通常の Elasticsearch クエリの実行と同じくらい簡単に、数千もの次元にわたる数十億ものドキュメントに対して、ハイスケールで低レイテンシーな最近傍探索を実行することができます。 k-NN プラグインは、データポイントの空間から、クエリデータポイントに最も近い距離のデータポイントを k 個見つけます。k-NN の新しいフィールドタイプにより、集約やフィルタリングといった Elasticsearch の広範な機能群にシームレスに k-NN 検索を統
Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker でのご利用開始: より正確な時系列予測のための DeepAR アルゴリズム Amazon SageMaker の最新内蔵アルゴリズムとして、Amazon SageMaker DeepAR をリリースします。DeepAR はポイント予測と確率的予測の両方を生成するために再帰型ニューラルネットワーク (RNN) を使用する時系列予測の教師あり学習アルゴリズムです。私たちは、開発者が Amazon 内でミッションクリティカルな決定を行う、この伸縮自在にスケール可能で、極めて精度の高い予測アルゴリズムを利用できるようになることに大変な期待を寄せています。DeepAR アルゴリズムは他の Amazon SageMaker 内蔵アルゴリズムと同じように使用でき、トレーニングや推測のために、インフラストラクチャをセットアッ
Encoder-Decoder でレシピの材料名を正規化する - クックパッド開発者ブログ
研究開発部の原島です。部のマネージメントのかたわら、自然言語処理関連の開発に従事しています。本エントリでは、最近社内で開発した自然言語処理システムを紹介します。 ■ 「しょうゆ」のバリエーションは 100 種類以上 クックパッドで以前から解決したかった課題の一つに材料の名前（以下、材料名）の正規化があります。 クックパッドのレシピは複数の材料から構成され、各材料は名前と分量から構成されています。例えば、上のレシピの一つ目の材料は「豚薄切り肉」が名前で、「200g」が分量です。 さて、この材料名はこのレシピでは「豚薄切り肉」という表現でした。しかし、他のレシピでは「豚うす切り肉」という表現かもしれません。「豚うすぎり肉」や「ぶた薄切り肉」、「豚薄ぎり肉」等の表現もありえますね。 これは異表記同義（いわゆる表記揺れ）の問題ですが、同様の問題は他にも沢山あります。例えば、以下のようなものです。
機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめに こんにちは、CTOの今村です。 先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。 イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。 さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。 今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。 最近のデータまわりの取り組み 今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
MXNetをECSを用いてDockerコンテナとしてデプロイする - Qiita
この記事はDocker Advent Calendar 2016 の13日目の記事です。 AWS re:Invent2016に初参加してきたのですが、一番印象に残っているのがAmazon AIをはじめとする Deep learningの取り組みです。 そこで今回はAWSが公式にサポートを表明したDeep learningフレームワークであるMXNetを ECSを使ってDockerコンテナで立ち上げて処理をしてみる、という内容になります。 MXNetとは MXNet はワシントン大学とカーネギーメロン大学によって開発されたDeep learningフレームワークです。 re:Invent 2016で発表された内容から抜粋すると、特徴としては以下です。 豊富な対応言語 学習(train)には Python/C++/R/Scala/Java/Julia が使える 推論(prediction)には
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
New P2 Instance Type for Amazon EC2 – Up to 16 GPUs | Amazon Web Services
All of the instances are powered by an AWS-Specific version of Intel’s Broadwell processor, running at 2.7 GHz. The p2.16xlarge gives you control over C-states and P-states, and can turbo boost up to 3.0 GHz when running on 1 or 2 cores. The GPUs support CUDA 7.5 and above, OpenCL 1.2, and the GPU Compute APIs. The GPUs on the p2.8xlarge and the p2.16xlarge are connected via a common PCI fabric. T
pylearn2 & torch7 のAWS Imageを作成しました | Deep Learning JP
Pylearn2とTorch7の環境を整備したAmazon AWSのイメージを作成しました。以下の要領で自分の環境として利用できます。 注意）AWSの無料枠で動作したという報告もありますが、問題が発生することが多いので有料枠に切り替えておくことを勧めします。その他、よく発生する問題をQAページにまとめましたので、ご確認ください。 AWS コンソールにログインする 以下のURLにアクセスすると、AWSイメージを自分のコンソールで起動するための画面が表示される https://console.aws.amazon.com/ec2/v2/home?region=ap-northeast-1#LaunchInstanceWizard:ami=ami-28e04e28 インスタンスのタイプはc3.largeを選択して起動する * microではサンプル程度の規模のコードでもメモリ不足になります *
Distributed Neural Networks with GPUs in the AWS Cloud
by Alex Chen, Justin Basilico, and Xavier Amatriain As we have described previously on this blog, at Netflix we are constantly innovating by looking for better ways to find the best movies and TV shows for our members. When a new algorithmic technique such as Deep Learning shows promising results in other domains (e.g. Image Recognition, Neuro-imaging, Language Models, and Speech Recognition), it
情弱だけどディープラーニングフレームワークCaffeを使ってみたい - Qiita
TL;DR← 下記の２記事を読めば終わり。 EC2でCUDAを使いたい GPUインスタンス上でDocker使ってCaffeしたい はじめに どうも、情弱太郎です。 最近、ディープラーニングという言葉は持て囃されていますね。 昔のビックデータのそれを思い出しました。 その辺のオジサン（sucks）が部下に『ほら、最近パソコンがネコ分かるようになった、あー、あれ、ドープラーニングだっけ？アレでなんかできないの？』って言われたときに対応できるようにしておきたくなったので、ディープラーニングしてみることにしました。 ディープラーニング、いろいろ実装があるみたいです。 最近だと https://github.com/NervanaSystems/neon これも良さげですが、使い方が全く分からないです。 なんだかんだでCaffeってのがドキュメントちゃんとしてる風なので、Caffeをやってみることに
CUDA 6.5 on AWS GPU instance running Ubuntu 14.04 - Seven Story Rabbit Hole
Sometimes awesome things happen in deep rabbit holes. Or not. Using a pre-built public AMI Based on the instructions in this blog post, I’ve created an AMI and shared it publicly. So the easiest thing to do is just use that pre-built AMI: Image: ami-2cbf3e44 for US-East or ami-c38babf3 for US-West (Ubuntu Server 14.04 LTS (HVM) – CUDA 6.5) Instance type: g2.2xlarge (if you skip this step, you won’
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PowerPoint Presentation
GitHub - spotty-cloud/spotty: Training deep learning models on AWS and GCP instances
GluonTS: Probabilistic and Neural Time Series Modeling in Python
GitHub - awslabs/gluonts: Probabilistic time series modeling in Python
End-to-end benchmarking of deep learning platforms
Deep Learning Virtual Machine - AWS Deep Learning AMIs - AWS
Real-time Recommendations using Spark Comcast Labs