LocalStack/MinIO を導入して開発者体験が捗った話 - BASEプロダクトチームブログ
はじめに この記事はBASEアドベントカレンダー8日目の記事です。 LocalStack/minioを導入して開発者体験が捗った話 こんにちは、BASE 株式会社 BASE BANK Division でソフトウェアエンジニアをしています。 @glassmonkeyこと永野です。 最近ではAWS上にVPCから環境を作っては、壊したりしています。 今回の記事では、AWSのサービスを使ったアプリケーション開発における、開発者自身のPCにおける開発、いわゆるローカル環境での開発者体験をあげた話をします。 YELL BANKについて 私が担当しているサービスであるYELL BANKは、BASEでショップを運営しているオーナー様に「気軽な資金調達」を提供するプロダクトになります。 yellbank-lp.thebase.com 現在のYELL BANKのアーキテクチャは以下のように複数のシステムコン
設計パターンのベストプラクティス: Amazon S3 のパフォーマンスの最適化 - Amazon Simple Storage Service
Amazon S3 のストレージに対してアップロードおよび取得を行う際に、アプリケーションはリクエストのパフォーマンスとして 1 秒あたり数千のトランザクションを容易に達成できます。Amazon S3 は、高いリクエストレートに自動的にスケールされます。例えば、アプリケーションは、パーティショニングされた Amazon S3 プレフィックスごとに毎秒 3,500 回以上の PUT/COPY/POST/DELETE リクエストまたは 5,500 回以上の GET/HEAD リクエストを達成できます。バケット内のプレフィックスの数に制限はありません。並列化を使用することによって、読み取りまたは書き込みのパフォーマンスを向上させることができます。例えば、Amazon S3 バケットに 10 個のプレフィックスを作成して読み取りを並列化すると、読み取りパフォーマンスを 1 秒あたり 55,000
s3fsよりも高速に使えるgoofysを試してみた | DevelopersIO
西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey System for Amazon S3 written in Go 前提パッケージのインストール 今回はAmazon Linux(Amazon Linux AMI 2015.09.1 (HVM), SSD Volume Type)環境で検証を行いました。golangとfuseパッケージが前提として必要となりますので、下記のようにインストールします。 $ sudo yum install golang
Amazon CloudFront の障害に備えてフェイルオーバーを設定する - Qiita
日本時間 2014/11/27 の AM9時〜AM11時頃まで、全世界的に Amazon CloudFront に障害がありました。 CDNとして CloudFront を利用しつつ、障害時にはフェイルオーバーする方法をまとめました。 S3 CloudFrontのOriginがS3でない場合は、この項の設定は関係ありません。 CloudFrontのOriginとしてS3を使う場合、以下のようにします。 file.example.jp のような、使いたいドメイン名で S3バケット を作る Static Website Hosting を有効にしておく ドメイン名のバケットで Static Website Hosting が有効になっていないと、後述の Route53 の Alias Target に設定できません。 Health Check Route53 の Health Checks を
Amazon S3のGlacierアーカイブ機能を活用する | DevelopersIO
よく訓練されたアップル信者、都元です。話題は攫えないと分かりつつも、また小ネタいきます。 数ヶ月前のネタですが、Amazon S3において「自動的にGlacierにアーカイブする」という機能がリリースとなりました。Glacier単体では正直利用しづらかったものが、S3を介してGlacierを使えるようになったことで非常に使いやすいものになりました。とは言え、実際にこの機能を使った事がないと、使いどころのイメージも付けづらいと思います。 S3とGlacierのデータ保存コスト 実は、筆者は個人的に、このS3とGlacierの連携機能を利用しています。自宅で利用しているNAS QNAP TS-219P II には、ファイルを1日1回自動的にS3にアップロードしてバックアップを取る機能があります。この機能を利用して、家族の写真等、消えたら精神的打撃が大きなデータを 99.999999999%（イ
Amazon S3で301リダイレクトを設定する方法
よつばラボのホームページはAmazon S3で静的ファイルを配信するようにしているのだけれど、一応「http://www.428lab.jp/」でも同じページにアクセスできるようにしておきたいな、と思ったので設定した。ちなみに「428lab.jp」のDNSはAmazon Route 53を利用中。 手順は次の通り: 「www.428lab.jp」という名前でS3に空のバケットを作成 既にある（配信に利用している）「428lab.jp」とは別に作る「Static Website Hosting」の設定で「Redirect all requests to another host name」を選択、「428lab.jp」にリダイレクトするようにして保存Route 53で「www.428lab.jp」のAレコードを作って、今作った空の「www.428lab.jp」のS3バケットを参照するようにA
Amazon Route 53のDNSフェイルオーバー機能を利用したリージョンを跨いだバックアップサイトの構築（EC2 to S3編） | DevelopersIO
Amazon Route 53のDNSフェイルオーバー機能を利用したリージョンを跨いだバックアップサイトの構築（EC2 to S3編） [2013/02/15]記事のタイトルを変えました。 プライマリサイト（EC2ベース）からセカンダリサイト（S3ベース）へのDNSフェイルオーバーの記事となります。 Route 53へのフェイルオーバー機能とヘルスチェック機能の追加 先日のAWSよりRoute 53へのフェイルオーバー機能とヘルスチェック機能の追加に関しての発表がありました。 AWSでWebサイトなどをホストする場合、障害発生時に一時的にSorry Pageを表示したり、バックアップのWebサイトに切り替えたりといったことを自動的に行うことはこれまで比較的難しいかったと思います。 今回、Route 53にフェイルオーバー機能が追加されたことにより、プライマリサイトがダウンした際に、自動的に
boto を使って Amazon S3 へのアップロード
boto を使って S3 へアップロードする時、東京リージョンなど、US Standard 以外のリージョンのバケットへのアップロードが失敗するという事象に遭遇しました。エラー内容は Broken pipe 。 >>> from boto.s3.connection import S3Connection >>> conn = S3Connection() >>> bucket = conn.get_bucket('mybucket') >>> k = Key(bucket) >>> k.set_contents_from_filename('myfile') --------------------------------------------------------------------------- error Traceback (most recent call last)
AWS News Blog
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
bucket容量を監視してみた - log4moto
S3関連でよく聞かれる質問に、bucketでquota設定ができるか、という物がある。 書き込み制限まではしないまでも、容量監視くらいはしたいというニーズもあると思うので、実装してみた。 実装方法 実際にS3にアクセスし、各bucket毎のobjectのサイズを合計して、CloudWatchのcustom metricとしてputします。 以下の仕様があります。 大文字などドメイン名として成立しないbucketを無視します アクセス権のないbucketを無視します VersioningやMulti Part Uploadで使用している領域は考慮していません bucket名を指定しない場合には、全てのbucketに対して監視を行い、合計バイト数も監視します 月額メトリック数 × $0.5 の費用がかかりますので、本当に監視したいbucketだけを監視した方がよいと思います コード pytho
S3のファイルへのアクセスをRefererで制御する - karasuyamatenguの日記
無敵のオンラインストーレッジ、アマゾンのS3は画像置き場として重宝する。しかし、いくら安価といっても画像などを無関係のサイトに埋め込まれ転送量を課金されるのはつまらない。そこで、Refererによってアクセスを制御したい。しかしS3のアクセス制御は通常のウェブサーバの設定とはちょっと違う。 ここではRefererにより特定のサイトからの参照を拒む設定をメモする。注意： Refererによる制御はホットリンクを防ぐだけで、ブラウザを直接向けたら誰でも見れる。プライバシーを守るアクセス制御としては全く機能しない。 S3のBucketレベルのアクセス制御ポリシーの概要 jsonで記述されたポリシーをアップロード 基本的な述語を限られたブール理論で組み合わせる これをPOSTするとポリシーが有効になる JSONによるポリシー定義の実例 注意： C言語風コメント /* */ は解説のためで合法のJS
s3cmdを使う。 - 設計と実装の狭間で。
s3cmd Ubuntu 10.04.2 でs3cmdを使うます。10.10じゃない理由は、AWSのUbuntuが10.04だからです。 sudo apt-get -y install s3cmd s3cmdな理由は、id:shot6がs3fsを使っていたからです。 Access KeyとSecret Keyをゲトしておきます。そうしておいて、 s3cmd --configure 新しいバケットを作ります。 s3cmd mb s3://mybacket バケットにファイルを送ります。 touch test.txt s3cmd put test.txt s3://mybacket バケットのファイルを上書きします。 s3cmd put test.txt s3://mybacket/test.txt バケットのファイル一覧を取ります。 s3cmd ls s3://mybacket バケットとロ
Dayload - 5分でつかえるAWSリソースモニタリング
Dayload is a hassle-free usage and statistics report service for Amazon Web Services. Collect statistics automatically and send report via iOS and Android ready HTML mail.Create a reports...Input your Amazon Web Services access keys, region and time zone. Receive everyday!You'll receive a daily usage report via HTML mail. Of course iPhone and Android ready! Sample here
Amazon S3 に自動で定期的にDB のバックアップをとるようにしました
Amazon S3 は利用量の上限がないですし、費用も割と安いので、バックアップ用のオンラインストレージとしては結構便利だと思います。SCP などの今まで使い慣れていたデータ転送の仕組みを使えないのが少し面倒に感じるかもしれませんが、それもシェルスクリプトなどで一度自動化してしまえば問題ありません。S3 へのデータ転送にはRuby 製のs3sync を使っていますが、これに関しては他に詳しい記事がございますのでそちらを参照してください。 S3sync について S3Sync.net - S3Sync Wiki Amazon EC2/S3を使ってみた - 8.EC2とS3のデータを同期させる(S3Syncを使う) バックアップを自動化 基本的に直近2ヶ月間は毎時バックアップを残し、それ以前は月初のデータだけ永続的に残すというポリシーで運用しようと思いますので、今回は以下の作業を自動化しました
動画、資料あり。7/14Amazon EC2/S3セミナー内容全公開！｜ 日本発！クラウドコンピューティング情報発信サイト CLOUD news（クラウドニュース）
2009年07月23日 7/14に開催しましたAmazon EC2/S3実践セミナーの動画、資料を公開します。 セミナーは、学びing、シェイクソウル、ハートビーツの3社共同で開催しました。 これまでのセミナーと比べても、人気がとても高く、セミナー開催の告知後、ほんの数日ですぐに定員になり、当日は欠席者も大変少なく、Amazon EC2/S3へのニーズの高さを伺えるものでした。 そのセミナーの内容を全部公開します！ ※動画が見づらいところがありますが、動画を再生して音声を聞きながら資料を見ることをお勧めします。 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 1部 学びing「けんてーごっこでの実利用」 クラウドコンピューティングってなんだろう クラウドコンピューティングの分瑠璃 クラウドコンピューティングのメリット Amazon EC2/S3の実例 Amazon EC2/S3の
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jpetrucciani/bucketstore: A simple library for interacting with Amazon S3.
Improve S3Boto Django-Storages Performance with Custom Settings | laurii
流行りのクラウドサービスを操ってみよう！Amazon EC2/S3環境構築のすべて一覧
