ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
jenkinsでバックアップとってs3に置くのがアツイ - webネタ
s3プラグイン インストール まずはプラグインをjenkinsにインストールします。 Jenkinsの管理 -> プラグインの管理 -> 利用可能 -> フィルターでs3で検索 https://wiki.jenkins-ci.org/display/JENKINS/S3+Plugin 設定 Jenkinsの管理 -> システム設定 -> Amazon S3 profiles access keyは、awsコンソールで右上メニュー内のSecurity Credentialsから落とせます。 ジョブの設定 てきとうにフリースタイルでジョブを作ります。 シェルでバックアップ内容を書きます。 シェル実行後に、どれをs3にupするか指定します。 upするものはカンマ区切りで複数指定できます。 送り先のディレクトリに、BUILD_IDなどの環境変数が使えます。 送り先のリージョンは東京なら画像の通り。
Summary of the Amazon S3 Service Disruption in the Northern Virginia (US-EAST-1) Region
We’d like to give you some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on the morning of February 28th, 2017. The Amazon Simple Storage Service (S3) team was debugging an issue causing the S3 billing system to progress more slowly than expected. At 9:37AM PST, an authorized S3 team member using an established playbook executed a com
s3 — AWS CLI 1.34.10 Command Reference
Description¶ This section explains prominent concepts and notations in the set of high-level S3 commands provided. If you are looking for the low level S3 commands for the CLI, please see the s3api command reference page. Path Argument Type¶ Whenever using a command, at least one path argument must be specified. There are two types of path arguments: LocalPath and S3Uri. LocalPath: represents the
S3とCloudFrontを組み合わせた構成を作る
CloudFrontは世界中にあるキャッシュサーバーを利用して、アクセスするユーザーに対して最短距離でコンテンツを配信するコンテンツデリバリネットワーク（CDN）のサービスです。このCloudFrontと、オンラインストレージサービスの「Amazon S3」を組み合わせることで、素早く、そして簡単に画像や静的なコンテンツを配信する仕組みが作成可能です。 Amazon S3でバケットを作成 Amazon S3へファイルを保存するには、まずバケットと呼ばれる入れ物を作成する必要があります。マネジメントコンソールからAmazon S3を選択して、「Create Bucket」をクリックします。 Bucket NameにはWebサイトで利用するドメイン名を入力します。入力後、「Create」をクリックします。 S3でWebサイトホスティングの設定 続いて、S3をWebサイトとして使用するための設定
アクセス解析を始める前に知っておきたいS3→BigQueryのこと。 - Qiita
この記事について 株式会社うるるでは、2014年からTreasure DataとAWS S3に運営サービスのアクセスログを流し込んでいます。今回はアクセスログをS3からBigQueryに流し込み、サービス退会者の動向を探ってみました。 BigQueryを採用した理由 BigQueryとはGoogleが提供するビッグデータのストレージサービスです。RDBMSのような体裁を持っているため、クエリを発行してログを検索することが可能です。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita アクセスログを外部サービスに流し込むとき、既にFluentdを利用するのがディファクトスタンダード。Fluentdのbigqueryプラグインを使えば、オンタイムでBigQueryにアクセスログを流し込む事ができます。 fluent-pl
[nginx]S3をバックエンドにngx_small_lightで画像を動的にリサイズ
S3 で公開しているバケットをバックエンドに nginx モジュール ngx_small_light を利用して画像をリサイズする方法をメモ http://d.hatena.ne.jp/akishin999/20130619/ にローカルの画像を対象にした画像変換手順が書かれているので、そこに S3 バックエンドを追記しただけとも言える。 ngx_small_light について github で公開 https://github.com/cubicdaiya/ngx_small_light pixiv の中の人が開発した nginx モジュール Apache 向け mod_small_light の nginx 移植 https://code.google.com/p/smalllight/ 画像変換エンジンは ImageMagick/Imlib2/GD から選択可能 構成 client
![[nginx]S3をバックエンドにngx_small_lightで画像を動的にリサイズ](https://cdn-ak-scissors.b.st-hatena.com/image/square/558d53bd8632c04537f9b0ff297877a64b26b110/height=288;version=1;width=512/https%3A%2F%2Fsiguniang.files.wordpress.com%2F2014%2F01%2Fbenchmark1.png)
Using Amazon S3 to Store your Django Site's Static and Media Files | Caktus Group
Storing your Django site's static and media files on Amazon S3, instead of serving them yourself, can improve site performance. It frees your servers from handling static files themselves, lets you scale your servers easier by keeping media files in a common place, and is a necessary step to using Amazon CloudFront as a Content Delivery Network (CDN). We'll describe how to set up an S3 bucket with
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://dl.acm.org/doi/10.1145/3477132.3483540
S3 - Boto3 1.35.40 documentation
https://jp.techcrunch.com/2017/03/03/20170302aws-cloudsplains-what-happend-to-s3-storage-on-monday/
curlでs3に直接imageをアップロードする方法 - Qiita