Amazon S3クライアント機能を搭載した、オープンソースのWindows対応FTPクライアント「WinSCP 5.13」リリース。FTPサーバのようにAmazon S3を操作
Amazon S3クライアント機能を搭載した、オープンソースのWindows対応FTPクライアント「WinSCP 5.13」リリース。FTPサーバのようにAmazon S3を操作 オープンソースで開発されているWindows対応のFTPクライアント「WinSCP」の最新バージョンである「WinSCP 5.13」がリリースされました。 WinSCP 5.13の最大の特徴は、Amazon S3をサポートしたことです。FTPサーバと同じようにAmazon S3に接続し、ファイルのアップロードやダウンロードが手軽にできるようになります。 WindowsやMacから利用できるAmazon S3クライアントには、CloudBerry ExplorerやCyberduckなどがすでに存在しています。WinSCPも日本語化された使いやすいAmazon S3クライアントの1つとして、これらのソフトウェアに並
The mystery of the hanging S3 downloads
A coworker was experiencing a strange problem with their Internet connection at home. Large downloads from most sites worked fine. The exception was that downloads from a Amazon S3 would get up to a good speed (500Mbps), stall completely for a few seconds, restart for a while, stall again, and eventually hang completely. The problem seemed to be specific to S3, downloads from generic AWS VMs were
Amazon S3ダウンの原因、コマンドの入力ミスで多数のサーバを削除。サブシステム再起動に時間がかかり障害が長引く。AWSの報告を読み解く
AWSの米国東部リージョン（US-EAST-1、バージニア北部）において2月28日に発生したAmazon S3の障害の原因と対策などについて、AWSが報告を公開しました。 Amazon S3がダウンした直接の原因は、Amazon S3課金システムのデバッグ作業中に入力したコマンドのミスによって多数のサーバが削除されたことでした。また、それによって引き起こされたサブシステムの再起動に時間がかかったことが、障害を長引かせる要因になっています。 この記事ではAWSの報告内容を整理し、発生した出来事を時系列でみたあと、障害の背景にあった技術的な要因と対策を紹介します。 コマンドの入力ミスで多数のサーバを削除、復帰にも長時間かかる そもそもの障害の発端は、Amazon S3課金システムの処理速度が想定よりも遅くなっていたため、Amazon S3チームがデバッグ作業を行っていたことでした。 2月28日
Amazon WorkSpacesとSAMBAで研究環境を構築する - サーバーワークスエンジニアブログ
はじめに 2015年4月入社の白鳥です。ほぼ10年ぶりの、晴れたすがすがしい冬を満喫している今日この頃です。 私は、サーバーワークスに入社する前は、北の試される大地にて、博士課程の学生として研究をしていました。この記事では、私が使っていた研究環境と同等以上の環境を、AWS上に構築してみます。まず、私が研究中にどのような用途でPCを使っていたかを説明します。研究をどんな手順で進めていたか、その過程でどんなソフトを使っていたかなどについて具体的に述べます。次に、AWS上に構築する研究環境の構成を示します。AWS上の仮想デスクトップであるAmazon WorkSpacesを使い、SAMBAでLinuxのEC2と連携させる構成を提案します。この構成の長所や短所についても述べます。最後に、この環境を構築する手順を示します。構築中のスナップショットや使用したコマンドを使いながら手順を示します。 私が使
AWS LambdaとS3で全世界ファイルサーバを作ってみた 〜おじさんの夢をかなえたろかスペシャル〜 - サーバーワークスエンジニアブログ
こんにちは。サーバレスアーキテクチャにハマっている高橋です。 以前にご紹介したとおり、Amazon S3にクロスリージョンレプリカ機能が追加されました。 S3クロスリージョンレプリケーションで全世界ファイルサーバの夢を見る このブログを読んで頂ければ分かるのですが、クロスリージョンレプリカは2つのバケットでしかレプリケーションができず、Zabbixおじさんの夢であった全世界ファイルサーバはできませんでした。 そこで今回 AWS Lambdaを利用し、全世界ファイルサーバを構築して、Zabbixおじさんの夢を叶えてみました。 おじさんの構想~なにができたか、できなかったか~ そもそもZabbixおじさんは何をやりたかったのでしょうか。下の図をご覧ください。 3つのリージョンにバケットを作成し、全世界でクロスリージョンレプリケーションのリングを組んで、全世界で同じファイルが見える低レイテンシー
S3のイベント通知機能（S3 Event Notifications）に対するユースケースを考える - プログラマでありたい
日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambdaについてはまだ触っていないので何ともいえない部分がありますが、発表内容を見る限りインフラの在り方を変えるような存在かもしれません。そして、S3のEvent Notifications。これ、めちゃくちゃ便利です。S3のイベント（現在は、putとpushとcopy）が発生したら、SNSやSQSに通知を送れるという機能です。何が便利かというと、ファイルのアップロードをトリガーに処理を書けるということです。頭に浮かんだユースケースを1つ書いてみます。 S3 Event Notificationsを使ったクローラ
AWSのストレージサービス「Amazon S3」と、その周辺のサービス
関連キーワード Amazon EC2 | Amazon | Amazon Web Services | ストレージ | バックアップ | クラウドコンピューティング | クラウドサービス これまでの連載 第1回：AWSを導入する上で知っておきたい基礎知識 第2回：AWSの仮想サーバ「Amazon EC2」と、使える周辺サービス 第3回：AWSのストレージサービス「Amazon S3」と、その周辺のサービス 第4回：AWSの3大ネットワーク機能を理解する 連載インデックス：徹底解説！ 初めてでも分かるAmazon Web Services Amazon S3の概要 「Amazon Simple Storage Service」（Amazon S3）は、クラウドストレージサービスだ。マネジメントコンソールやSDKなどを利用して、Web上のどこからでも容量に関係なくデータを格納、取得できる。これ
AWSでできることって？ AWSを導入する上で知っておきたい基礎知識
関連キーワード Amazon Web Services | Amazon EC2 | クラウドコンピューティング | 仮想マシン（VM） Amazon Web Services（AWS）を使ったWebサービスの公開事例が後を絶たない。最近ではバーチャルプライベートクラウドというサービスも登場し、業務で使用するようなミッションクリティカルなシステムもAWSに移行しやすくなった。しかし同時に機能やサービスが豊富なAWSがよく分からない、難しそうだ、という声も耳にする。 このような背景を踏まえ、本連載では全6回にわたってAWSの用語や考え方、各サービスの機能と設計指標について解説する。第1回の本稿ではAWSの基本的な部分を解説する。 連載インデックス 第1回：AWSを導入する上で知っておきたい基礎知識 第2回：AWSの仮想サーバ「Amazon EC2」と、使える周辺サービス 第3回：AWSのスト
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
【新バージョン】AWSに簡単に構築できるクラウドストレージ対応ファイルサーバ『MagFS』を試用してみた - サーバーワークスエンジニアブログ
『クラウドファイルサーバースターターパック 大容量NAS Suite』として展開しておりますMagFS（MCSPと名前が変わりました）をいつぞや試してみたのですが、新バージョンがリリースされたとのことで、こちらを試用してみました。 MagFSの特徴は… クラウドストレージで広域同期ファイル共有を実現 メタデータサーバと独自キャッシュ技術によりアクセスが高速 非同期に、各拠点やクライアント間でデータを共有できる AES256ビット暗号化処理でデータ保護はセキュア Active Directoryとも連携でき、アクセス制御の一元管理が可能 ストレージはAmazon S3に対応 クライアントは、Windows、Mac OSX、Linux、iPad等モバイルに対応し、ネットワークドライブの感覚で利用可能 なのですが、これに加え新バージョンは、 CDN（CloudFront）を使ったキャッシュ機能の
Bees with machine gunsを使って負荷テスト - プログラマでありたい
静的サイトの運用であれば、現状ではS3 Web Hosting機能が最適と考えています。OSやミドルウェアのアップデートも不要で、かつ仮想サーバを起動するより圧倒的に安価です。一方で、ほぼ無敵のS3といえども、一定時間で過剰なアクセスがあった場合はスロットリング（throttling）といって、規制されてアクセス制限が掛かる可能性があります。しかし、その閾値がどれくらいなのか、謎です。（全体のリソース状況によるので、一定ではないとのこと） ちょっと試してみたかったので、負荷テストをおこなってみました。S3に対する負荷テストの場合、そんじょそこらの負荷では太刀打ち出来ません。そこで、複数のサーバから負荷を掛けてみることにしてみました。と言っても、複数のサーバをコントロールするのは面倒臭いので、Bees with machine gunsを使ってみました。 Bees with machine
Amazon RedshiftにSQL Workbenchから接続してみた - サーバーワークスエンジニアブログ
こんにちは。 寒い夜には芋焼酎のお湯割りもいいけど、芋焼酎の燗もいいよね、と思うセールスチーム 永淵（@Nagafuchik）です。 さて、前回のエントリーに続きAmazon Redshiftをテーマに投稿します。 今回は自身のPCにあるSQL WorkbenchからAmazon Redshiftに接続してサンプルデータを取り込んでみます。 SQL Workbenchのセットアップ方法はこちらのリンクに詳しく記載されています。 1. SQL Workbenchのインストール こちらのページ：http://www.sql-workbench.net/からパッケージをダウンロードし、ローカルにインストールします。 インストールしたSQL Workbenchを起動すると、こんな画面が表示されます。 2. SQL Workbenchの起動 「Manage Drivers」から「PostgreSQL
Cygwinとs3cmdとOctopressでブログを作ってみた - サーバーワークスエンジニアブログ
こんにちは。「Cygwinなんか捨ててMacに来いよ」とカウンター勧誘された竹永です。 フルスペックMac Proがホシイナァー（棒読み） せっかくCygwinにs3cmdをインストールしたので、今度はOctopressもガガッとインストールしてS3にブログを作ってみましょう。 前提条件 s3cmdがインストールされている Gitがインストールされている Ruby 1.9.3がインストールされている bundlerがインストールされている Web Hostingが有効になっているS3 Bucketがある S3 BucketのWeb Hostingを有効にする方法は、過去に素晴らしい記事が投稿されているので、ぜひ参考にしてください。 ちなみに、rbenvでRubyのインストールが出来ないなぁ…という時は、コマンドの頭に LANG=C をつけるとインストールできるかもしれません。 さっそくイン
Cygwinでs3cmdを使えるようにしてみた - サーバーワークスエンジニアブログ
こんにちは。「カラオケ行くー」と言ったら「ひとりで？」という返事が返ってくるようになった竹永です。 みなさまはCygwinを使ったことはありますか？僕はなかなか気に入っています。 社内のWindowsな方々に「Cygwin使いましょう！」と布教していますが、基本的な返事は「いらない」です。 でも正直なところ、仮想マシンにLinuxを入れるかMacを買ったほうが手っ取り早いです。しょうがない。 さて、使い始めてから気がついたのですが、G○○gle先生にCygwinのことを聞いてもあまり答えてくれません。 今回のs3cmdのインストールも、その1つです。 WindowsでUNIXライクな黒い画面の選択肢がCygwinくらいしかないのにこれはひどい。 ということで、インストールして使うところまでをまとめてみました。 必要なパッケージのインストール Cygwinの公式サイトからダウンロードできるs
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
家庭内ストレージ／NASのあれこれ。保存方法からバックアップ対象まで - プログラマでありたい
はてブを見てると、NASやクラウドドライブなどストレージ関係のエントリーが幾つかあがっていました。私は、家庭内ストレージには比較的うるさいので一言いわせて頂きます。 家庭内でのストレージの種類 まずは一般的に家庭内のストレージはどういった種類があるのか整理してみましょう。主に下記の5種類くらいに分類出来るのではないでしょうか？ パソコンのローカルストレージ（HDD/SSD） スマフォ／タブレットのデータ領域 NASなどのネットワーク接続型共用ストレージ Dropboxなどローカル同期型のクラウドストレージ Amazon S3やBitcasaなどのローカル非同期型のクラウドストレージ ストレージを考える上でのポイントは、速度・容量・価格の3点です。 まず速度については、パソコンからファイルを読み取るスピードです。小さいサイズのファイルだと余り問題になりませんが、動画系など大きなファイルだとこ
QNAP TurboNASの新作、Turbo NAS TS-x21とTS-x20シリーズが出たよ〜 - プログラマでありたい
一家に一台のNASは常識だと思いますが、NASのバックアップは未だ難しい問題です。別エントリーに詳しく書いていますが、個人的にはAmazon S3+（Glaicer）が今のところ最善だと思います。そうなるとNAS自体にS3へのバックアップ機能があればベストです。現状の選択肢の中では、QNAPが中々良い製品ではと考えています。そんな中でQNAPが2年ぶりに新モデルの発表をしています。これは、夏のボーナスで買わないとダメですね。 QNAPとは？ QNAPは、NASです。しかし、NASの割には保存用のディスクがついていないという珍しいNASです。少し触ってみて解ったのですが、QNAPの実体はUbuntuベースのサーバです。普通にsshでログインすることも出来ます。UbuntuのサーバにWebのユーザインターフェースをつけて、筐体にディスクを追加出来るようにしているのがQNAP TurboNASで
s3fsの何が悪いのか？ - プログラマでありたい
awsでシステムを組んでいると、一度は使ってみたくなるのがs3fsです。まずs3ですが、これはAmazonが誇るオンラインストレージです。容量の拡張も思いのままで、ほぼ無限の領域を使える夢のようなサービスです。一方で、現在のところAmazonのデフォルトのサービスでNASにあたるものは提供されていません。AWS上でシステムを組む上で、ここが制約になる場合があります。それであれば、s3をファイルシステムとして扱えば良いじゃないかというのが、s3fsプロジェクトです。 コンセプトが解りやすく、上手くいけばAWSのサービスを保管する素晴らしいプロジェクトに思えます。しかし、実際のところ中々運用ベースで使うのが難しいのが、このs3fsです。理由としては、遅い・安定しないの2点に尽きます。何故なのでしょうか？s3fsのアプリとしての成熟度の問題でしょうか？ということで、アーキテクチャレベルで考えてみ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
