現代ITインフラの王道をゆくLinuxパッケージ管理の基本構成 | 外道父の匠
RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした
Amazon S3 Parallel MultiPart File Upload - DZone
In this blog post, I will present a simple tutorial on uploading a large file to Amazon S3 as fast as the network supports. Amazon S3 is clustered storage service of Amazon. It is designed to make web-scale computing easier. Amazon S3 provides a simple web services interface that can be used to store and retrieve any amount of data, at any time, from anywhere on the web. It gives any developer acc
Uploading and copying objects using multipart upload - Amazon Simple Storage Service
Multipart upload allows you to upload a single object as a set of parts. Each part is a contiguous portion of the object's data. You can upload these object parts independently and in any order. If transmission of any part fails, you can retransmit that part without affecting other parts. After all parts of your object are uploaded, Amazon S3 assembles these parts and creates the object. In genera
春のJAWS-UG 三都物語 2013@大阪へ参加してきました | sugitaku.net
昨日は、JAWS-UG（AWS User Group Japan）主催の「春のJAWS-UG 三都物語 2013」へ参加してきました。12時開始でしたが、少し遅れて13時からのセッションから参加しました。AWS を利用していて工夫していることや苦労したことなどのお話が聞けて非常によかったです。 3つのセッションに参加してきました。 ChatWork 14万ユーザーを支えるインフラ、AWS 活用事例のご紹介 ベータテスト100人からアジア350万へ。無制限にスケールし続ける写真共有 SNS を構築するケーススタディ「Snapeee」 AWS Elastic Beanstalk ハンズオン ChatWork 14万ユーザーを支えるインフラ、AWS 活用事例のご紹介 ChatWorkの藤原吉規さんがお話されました。インフラ、モバイルアプリの開発を担当されておられます。 まず、ChatWork で
CDP:Direct Object Uploadパターン - AWS-CloudDesignPattern
解決したい課題 写真や動画の共有サイトでは、多数のユーザーからサイズの大きいデータがアップロードされる。アップロード処理はサーバー側の負荷（特にネットワーク負荷）が高く、ある程度の規模のサイトでも、アップロード専用の仮想サーバーが必要になるケースがある。 クラウドでの解決/パターンの説明 アップロード処理をインターネットストレージに任せる。つまり、クライアントから、仮想サーバーを経由することなく、インターネットストレージに直接アップロードする。これにより、Webサーバーでアップロード処理の負荷を考えなくてもよくなる。 実装 Webサーバー（EC2）上で、S3へのアップロードを行うHTMLのフォームを生成する。 アップロードフォームを使用し、ユーザー側からS3へ直接ファイルをアップロードする。 S3にファイル転送を終了した後にフォームに指定してあるURLへリダイレクトされるので、リダイレクト
Amazon S3 再入門 – AWS IAMでアクセスしてみよう！(Cyberduck 編) | iret.media
こんにちわ、cloudpack の @dz_ こと大平かづみです。 Prologue 3年前の記事 Amazon S3の利用とCloudBerry Explorerのインストール を、IAMユーザーを使った内容でリバイバルしてみました！ 参考元の記事では、ブログ等で使う画像を S3 に置いて利用する手順が紹介されています。 これを、 AWS IAMユーザーでの認証 を使って対応する手順についてまとめました。 今後、AWS IAM を利用する運用が主流となってくるので、ここでしっかり最初の一歩を押さえておきたいと思います。 作業の流れ IAMユーザーを作成 IAMユーザーに、ポリシーを設定 IAMユーザーに、パスワードの初期設定 IAMユーザーで sign-in Amazon S3 に、Bucket を作成して、AWSコンソールからファイルをアップロード デスクトップクライアント Cyber
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
Amazon S3をFTP経由で利用するテンプレート | アドカレ2013 : CFn #22 | DevelopersIO
こんにちは。たけかわです。『アドベントカレンダー2013：AWS CloudFormationビッグバンテンプレート』22日目です。 昨日は、望月さんのGitlab編でした。 S3とFTPサーバー S3をお客様に説明するとき「FTPアクセスできないの？」とよく言われます。今回は FTPサーバーを作成し、S3をマウント、ユーザーがFTP経由でS3にアクセスできるCloudFormationテンプレートを作成しました。 前回、「s3fsでAmazon S3をファイルシステムとして扱う」で作ったテンプレートを進化させて、FTPサーバーのインストールとユーザーの作成をおこないます。 FTPサーバーはvsftpdを利用しました。こちらは、Amazon Linuxではyumコマンド一つでインストールできます。s3fsの設定は前回のテンプレートでおこないましたので、行なうことはFTP用の設定のみとなりま
Amazon S3のAuthenticating RESTについて « 東京データネットワーク エンジニアブログ
Amazon S3には、下記４通りのアクセスコントロールの方法が存在します。 バケットポリシー ACL IAM クエリ文字列認証 今回は、4番目のクエリ文字列による認証のお話しです。 この機能を利用すると、「期間限定でS3バケットのオブジェクトにアクセス可能なURL」を生成できます。 [ご参考] http://docs.amazonwebservices.com/AmazonS3/latest/dev/RESTAuthentication.html 下記は、期間限定のS3用URLを生成するPerlスクリプトの例です。 #!/usr/bin/perl use strict; use warnings; use Digest::HMAC_SHA1 qw(hmac_sha1); use MIME::Base64; use URI; my $AccessKeyId = 'XXXXXXXXXXXXX
オブジェクトのダウンロード - Amazon Simple Storage Service
このセクションでは、Amazon S3 バケットからオブジェクトをダウンロードする方法について説明します。Amazon S3 では、オブジェクトを 1 つ以上のバケットに保存できます。各オブジェクトの最大サイズは 5 TB です。アーカイブされていない Amazon S3 オブジェクトには、リアルタイムでアクセスできます。ただし、オブジェクトがアーカイブされている場合は、ダウンロードする前に復元する必要があります。アーカイブされたオブジェクトのダウンロードの詳細については、「アーカイブされたオブジェクトのダウンロード」を参照してください。 Amazon S3 コンソール、AWS Command Line Interface (AWS CLI)、AWS SDK、または Amazon S3 REST API を使用して 1 つのオブジェクトをダウンロードできます。コードを記述したり、コマンドを
AWS-CLIでAmazon S3を操作・管理する
AWS-CLIの基本的なセットアップを行うで、AWS-CLIを使う前の準備について解説しました。このページでは実際にAWS-CLIでAmazon S3を操作するチュートリアル的な解説を行ってみます。 検証したライブラリのバージョン aws-cli 1.2.10 S3にバケットを作成/削除する # バケットの作成 # --region でリージョンを指定 aws s3 mb s3://yourbucket aws s3 mb s3://yourbucket --region us-west-1 # バケットの確認 $ aws s3 ls 2014-01-17 23:38:56 yourbucket1 # バケットの削除 # 1つでもオブジェクトがあるバケットを削除するには --forceが必要 aws s3 rb s3://yourbucket aws s3 rb s3://yourbu
Amazon S3でjava.util.concurrentを使って高速アップロードを実現する | DevelopersIO
Amazon S3で大量のファイルを高速にアップロードしたい 前回の記事で、Amazon S3でオブジェクトをまとめて削除する機能が追加されたことをご紹介しました。その際に作ったプログラムではファイルのアップロードに時間が掛かっていました。今回は、このアップロードを高速に行います。 AWSのAPIは処理が独立している まず始めにどのような方法で高速にアップロードしようか考えました。まずはAPIリファレンスを見て、「bulk upload」とか「batch upload」とか「multi upload」などのキーワードを探しました。結果、Multipartファイルアップロードが見つかりましたが、これは1つの大きなファイルを分割してアップロードする高レベルの機能でした。そこで、APIとして提供されていないならば、呼び方を工夫すればよいのかなということで、並行処理に行き着いたわけです。 以下は完
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Simple Storage Service
Amazon EMRのベストプラクティス