Google Code Archive - Long-term storage for Google Code Project Hosting.Code Archive Skip to content Google About Google Privacy Terms
Microsoft – クラウド、コンピューター、アプリ & ゲーム
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W
Pushing the Limits of Amazon S3 Upload Performance
Recently I’ve been working on a project where I’ve got millions of relatively small objects, sized between 5kb and 500kb, and they all have to be uploaded to S3. Naturally, doing a synchronous upload of each object, one by one, just doesn’t cut it. We need to upload the objects in parallel to achieve acceptable performance. But what are the optimal parameters when it comes to the number of simulta
AmazonS3 - HADOOP2 - Apache Software Foundation
S3 Support in Apache Hadoop Apache Hadoop ships with a connector to S3 called "S3A", with the url prefix "s3a:"; its previous connectors "s3", and "s3n" are deprecated and/or deleted from recent Hadoop versions. Consult the Latest Hadoop documentation for the specifics on using any the S3A connector. For Hadoop 2.x releases, the latest troubleshooting documentation. For Hadoop 3.x releases, the la
Amazon Elastic MapReduceでperlを使った処理をしてみる（その3）
Amazon Elastic MapReduceの例で出てくるのは今まで見た限りでは、みんなs3n://で始まるS3 Native FileSystem上にファイルを置いている。 http://wiki.apache.org/hadoop/AmazonS3 にあるように、もう一つ s3://で始まるS3 Block FileSystemというのがある。 これまでS3fsって言ってたけどこれはs3-fuseと紛らわしいし、名前として正しくないのでS3 Block FileSystemと呼ぶべきでした。 で、これを使いたい。 メリットは、以下のように理解してる。 ファイルがブロックに分割されるので、通常5GBまでというS3のファイルサイズの制限を超えられる ファイルがブロックに分割されるので、HDFSと同様Hadoopの各jobtaskに処理を効率よく分散できる デメリットは、たぶんこんな感じ
Amazon S3 を Hadoopの HDFSとして利用する
Hadoop on Flickr ここ数日こればっかりに悩んでましたが、実際は超簡単。 といってもそこまで詳しくやっていないのでこれできちんと出来ているのかは… Amazon S3をHDFSとして利用する利点は 実質容量無制限 Amazon EC2/S3 間の転送料は不要 クラスタが落ちてもデータは無事? こんなところでしょうか。 AmazonS3 - Hadoop Wiki 実際はここに書いてあるとおりで問題ないです。 これをきちんとわかっていなかったので無駄に苦労してしまった… 今回クライアントで使用したのはHadoop 0.19.1です。 まずは、Amazon EC2上でHadoopを起動させます。 ./hadoop-0.19.1/src/contrib/ec2/bin/hadoop-ec2 launch-cluster hdfs-test-cluster 1 このあたりはbloge
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
Cloud9: A MapReduce Library for Hadoop » Getting started with S3
