PinterestのHadoopインフラ - ワザノバ | wazanova
http://engineering.pinterest.com/post/92742371919/powering-big-data-at-pinterest 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Pinterestもものすごい規模になってきましたね。 1日当たり20TBの新しいデータ。Amazon S3には約10PBが保存されている。 同社ではこのデータの処理にHadoopを利用していますが、 毎日100人以上が、Quoboleが提供するダッシュボードを使って、2,000件以上のジョブを実行。 3,000個のノードで構成される6つのHadoopクラスタを利用。エンジニアは数分で専用のクラスタが立上げ可能。 毎日のログデータは、200億件。約1TBに達する。 このグラフによると、Pinte
Amazon Glacier からデータを取り出すときには気をつけようね - takatoshiono's blog
注意 この記事は2014年7月5日時点の情報に基いて書かれています。Amazon Glacierの最新の料金体系についてはAmazonの公式ページをご参照ください。 料金 - Amazon Glacier | AWS よくある質問 - Amazon Glacier | AWS 昨日の出来事 Amazon Web Services から6月の請求が来た。 Total: $20.30 あれ、なんか高いぞ・・。 ちなみに先月は 0.18 ドルだった。 やっぱり高すぎる。 内訳を見たら以下のようになっていた。 たしかに先月 Glacier のデータをリストアしたけど、なんだこの 1,633.224 GB というばかでかい数字は・・。こんな大きいデータリストアしてないし、そもそも持ってない。 調べた Amazon Glacier のリストア料金は「ピーク復元レート」というのに基づいて計算される。ピー
Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
Full Stack Development - Web and Mobile Apps - AWS Amplify
Develop UI, add features like auth and storage, connect to real-time data sources, deploy, and scale to millions of users. No cloud expertise required. Deploy an app frontend with easy Git-based workflows and support for any server-side web framework. Zero-config Next.js and Nuxt deployments offer global availability, reliability, and lower latency from the Amazon CloudFront Global Edge Network in
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
Open Cloud Tools (タナカジ～ノ) プロジェクト日本語トップページ - OSDN
Amazonの提供するWebサービス群(Amazon EC2/S3/EBS/SQS)をEclipseから利用するためのツールを提供するプロジェクト。 と言いつつもなんやかんやで、今のとこ、Eucalyptusで使える最もシンプルなGUIクライアント。 インストール Install Eclipse AWS Tools This project provides some Eclipse based tools for Amazon Web Service and so on. First, I provide a tool for Amazon Elastic Computing Cloud(EC2) called Tanacasino Tanaca... インストール方法を見る
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
Product Advertising API用リバースプロキシ
Amazon Web ServicesのProduct Advertising API用の認証処理を代行するプロキシ(amazon-auth-proxy仕様準拠)の負荷分散を行うリバース・プロキシです。 上記のエンドポイント宛にProduct Advertising API（旧：Amazon アソシエイト Web サービス）のRESTエンドポイント用クエリを付けて送信すると、登録されているプロキシの中からラウンドロビンに選択して要求を中継し、応答を返します。 ■リクエスト例 http://honnomemo.appspot.com/rpaproxy/jp/?Service=AWSECommerceService&AssociateTag=sample-22&SubscriptionId=12345678901234567890&Version=2007-10-29&Operation=It
Amazon API認証のPROXYを書いたよ(2) - ただのにっき(2009-07-06)
■ Amazon API認証のPROXYを書いたよ(2) amazon-auth-proxyの仕様 (2009-07-07:URL形式の仕様追加。レスポンスについて仕様追加。) (2009-07-23:レスポンスとして302リダイレクトを強く推奨。) (2009-07-29:Styleパラメタ対応について追記。) 先月公開したamazon-auth-proxyだが、実は満足に動いてなかった(笑)。というか、単純なPROXYになればいいと考えていたけど、ちょっと複雑な事情があったので、仕様をもう少し確定する必要があった。コードは引き続きGitHubから: amazon-auth-proxy とりあえずこれで、手元のtDiaryは動いてる。 仕様的には、これくらい決めておけばいいかなー、と: 提供するURLは「http://(任意)/(locale)/」とする。(locale)はca、de、f
【埋】Amazon APIが電子署名必須の「Product Advertising API」に変更、その目的は？
Amazon APIが電子署名必須の「Product Advertising API」に変更、その目的は？ 2009/05/09 ■Amazon.co.jp Product Advertising API ライセンス契約 https://affiliate.amazon.co.jp/gp/advertising/api/detail/agreement.html 一部で話題になっていますが、AmazonのWebサービスAPIが変更になり、 「Product Advertising API」 になるそうです。具体的には 8/15以降は署名を付けていないAPIコールは受け付けなくなるようです。 具体的なやり方などは以下のサイトでまとめてくださっていますので、 AmazonのWebサービスAPIを使ってシステム開発をされている方はぜひ ご確認ください。簡単にいうと、これからコールするAPIのパラ
Amazon Web Services Developer Community : Making Secure Requests to Amazon Web Services
Communication on the Internet is susceptible to eavesdropping and malicious tampering. Amazon Web Services recommends you take action to protect the API requests you send. AWS Products Used: Amazon SQS, Amazon EC2, Amazon S3, Amazon Mechanical Turk, Amazon FPS, Amazon SimpleDB, Amazon DevPay This article outlines recommendations for making secure requests to Amazon Web Services and includes the f
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
AWS Manager - IntelliJ IDEs Plugin | Marketplace
Twitter
Amazon Web Services Developer Community : Parsing Logs with Apache Pig and Elastic MapReduce