suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
私がクックパッドの画像配信野郎です - 昼メシ物語
一年ほど前にヤフーを退職した私ですが、その後なにをやっているかというと、クックパッドに入社して画像配信をしています。私が入社する前から動いていた画像配信の仕組みは設計が古くてなにかと困っていたので、より良いシステムを開発してリプレースというのをやっています。前職ではなかなかこういう基盤システムを一人でイチから作って運用までするという体験はできなかったので、でかい仕事をできるチャンスに恵まれて大変充実した毎日です。 入社当初はサービス開発の担当だったんですが、開発に必要な基盤システムを作り始めたらどんどんエンジニアリングのレイヤーが下がってきて、気づけばインフラチームに所属していました。 まあそんな話はさておき、この画像配信関連の成果をいくつかの勉強会で発表したので、その資料を紹介します。 サイバーエージェントxクックパッド合同勉強会（amepad） 弊社オフィスで開催された、サイバーエージ
s3cmd で東京リージョンを指定する - usualoma's blog
「--bucket-location」に「ap-northeast-1」を指定すると東京リージョンを利用できます。 s3cmd mb s3://bucket-at-tokyo --bucket-location=ap-northeast-1MacPorts や apt-get で入れると 0.9 系が入ることがあるようですが、US/EU 以外のリージョンを指定できるようになったのは 1.0.0-rc1 からなので注意が必要です。 http://s3cmd.org/
AWS News Blog
New Solution – Clickstream Analytics on AWS for Mobile and Web Applications Starting today, you can deploy on your AWS account an end-to-end solution to capture, ingest, store, analyze, and visualize your customers’ clickstreams inside your web and mobile applications (both for Android and iOS). The solution is built on top of standard AWS services. This new solution Clickstream Analytics on AWS a
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
S3を使う時のベストプラクティス（を訳してみた） - サーバーワークスエンジニアブログ
最近子どもの水いぼを取る際に、麻酔テープが健康保険適応内である事を知った小室＠福岡です。 AWSのドキュメントの一つに、Articles & Tutorialsという物が有ります。これはAWSの中の人、また使っているユーザーがこのように使うといいよ、とAWSをよりよく使える方法を教えてくれる場所です。 サーバーワークスでは、日々のAWSのドキュメントの確認だけではなく、このようなArticles & Tutorialsを読みより深くAWSのサービスについて理解を深めようと個々に担当し、社内発表会を行っています（始めたばかりだけどね！）。 今回私が訳してみたのはこちらです。 Best Practices for Using Amazon S3 この記事は2008年に投稿(更新2009年)されており、現在とは少し違うかもしれませんが、とても参考になりましたので、ご紹介したいと思います。 ※これ
S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)）
S3ってなんじゃ？（s3cmd syncではなくinotify+s3cmd sync (or put)） 追記 2012/02/06：1ファイルずつなので普通にアップするだけならinotify + s3cmd putでいいかもと思い、題名変更しました。 以前に s3cmdの記事 を書きましたが、先日s3cmdで困った場面に遭遇したので、そのことを書きたいと思います。 問題 WEBサーバーからS3へのファイル同期にs3cmdを使ったプロジェクトがありました。 linuxのサーバーからS3へファイルを同期するのにs3cmdのsyncコマンドを使用しており、その同期がとても遅いというのです。ローカルで1ファイルを追加したとしても同期の度に数時間かかっているようでした。 状況を確認すると、同期対象のS3バケットの中には数百万ファイル存在していて、どうやらそれが問題のようです。 今回はそれを調べてみ
cloudpackブログ - s3cmd (& xargs)で多重度を変えてS3にアップロードしてみる
以前紹介した方法「Linuxで指定したサイズのファイルを指定した数だけ作成する」にて、10MByteのファイルを 30個用意します。 そしてs3cmdを使い、これらのファイルを様々なパターンでS3にアップロードしてみようと思います。 まずはsyncでアップロードします。 # time s3cmd --no-progress sync ./ s3://www.suz-lab.com/tmp/ File './test-000001' stored as 's3://www.suz-lab.com/tmp/test-000001' (10485760 bytes in 0.8 seconds, 12.33 MB/s) [1 of 30] ... File './test-000030' stored as 's3://www.suz-lab.com/tmp/test-000030' (1048
AmazonS3に並列アップロード - 橋本詳解
http://d.hatena.ne.jp/shokai/20100220/1266646461 をgearmanで並列化した upload-worker.rb #!/usr/bin/env ruby require 'rubygems' require 'gearman' require 'aws/s3' BUCKET = "your-bucket-name" GEAR_TASK = 'upload-awss3' if ARGV.size > 0 (ARGV.first.to_i-1).times do pid = fork break if !pid puts "fork pid:#{pid}" end end AWS::S3::Base.establish_connection!(:access_key_id => "your-key", :secret_access_key =>
Amazon S3に大量のファイルを超高速にアップロードする方法（Perlで並列アップロード) · DQNEO日記
このケースでは15並列が最も速かったです。 環境（画像の大きさや数、マシンのスペック、ネットワーク速度）によって、最適な並列数は変わってくると思います。 いろいろ試してみてください。 ソースコード モダンPerlじゃなくてすいません。 upload.pl #!/usr/bin/perl package Amazon::S3::Uploader::File; use strict; use warnings; use base qw( Class::Accessor ); __PACKAGE__->mk_accessors( qw(local_path remote_dir bucket ) ); sub new { my $class = shift; my $path = shift; my $remote_dir = shift; my $bucket = shift; bless {
S3のダウンロード速度を1.5〜4.5倍高速化する怪しげな方法 - 昼メシ物語
バケットのIPアドレスを適切なものに固定することで、期待値でいうと1.5倍、最大で4.5倍程度高速にダウンロードできます。 この方法は非常に効果が高いですが、非公式なものであり、ある日突然破綻する可能性もありますので自己責任でお願いします。 S3のバケットとエンドポイント まずは前提知識として、S3の名前解決について説明します。 S3のバケット "mybucket" というバケットを東京リージョンに持っているとします。するとそのバケットのドメイン名は mybucket.s3.amazonaws.comになります。これをエンドポイントと呼びます。このバケットの中にあるファイル "hello.txt" にアクセスする場合には、 http(s)://mybucket.s3.amazonaws.com/hello.txtというようなURLを用います。*1 エンドポイントのIPアドレス この myb
AWS EC2へApacheセットアップ、RDSのセットアップまとめ
今回は、私の備忘録のような内容ですが、これからEC2・RDSを使う方のためにも、これまでのセットアップをまとめておこうと思います。 ■EC2上にApacheを立ち上げるまで ※AMIは、Amazon Linux 64bit。 【タイムゾーン設定】 # cp -i /usr/share/zoneinfo/Japan /etc/localtime インスタンスを立ち上げた時点でタイムゾーンは、USになっているようなので。 【デベロッパーツールあれこれ】 # yum install gcc gcc-c++ make zlib-devel openssl-devel mysql mysql-devel curl-devel libxml2-devel libjpeg libjpeg-devel libpng libpng-devel install freetype freetype-devel
料理を楽しくする画像配信システム
「料理を楽しくする画像配信システム」 クックパッド株式会社 成田 一生（@mirakui） 2011/5/25 クックパッドxサイバーエージェント合同勉強会（#amepad）で発表しました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20120319 aws meister-reloaded-s3