メリット1: 複数人による共同作業 メリット2: ウェブサービスへのコミット デメリット1: サーバー負荷 デメリット2: コードを共有しない貢献がしにくい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー/スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処するため、全インスタンスの約10%にあたるインスタンスに対して段階的にリブートを行うメンテナンスを実行していました。 リブートをユーザーが回避する手段はなく、AWSから事前に通知を受けたユーザーはリブートによってデータを失ったりシステムがダウンしたりしないように、何らかの処置をする必要がありました。 AWS上で大規模なシステムを運用しつつもこのメンテナンスリブートを難なく乗り切ったのが、米国で動画配信サービスなどを運用するNetflixです。その理由は同社が開発したChaos Monkeyというツールにありました。 同社のブログにポストされた記事「A State of Xen - Chaos Monkey & Cassandra」で、その顛末が紹介されています。 Chaos Monkeyによっ
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
7 月に開催された「JAWS-UG 三都物語 2014」でも発表したとおり、自分が関わっているプロダクトをオンプレミスから AWS に移行しました。 JAWS-UG 三都物語 2014 に登壇しました 移行して 2 ヶ月ほど経ちましたが、目立った障害もなく安定した運用を続けています。スライドでも少し触れていますが、これまでのやり方を大きく変えるキッカケにもなりました。 今回は「オンプレミスから AWS に移行して変えた 3 つのこと」と題して、社外に公開できる範囲でご紹介します。 稼働中のサーバに変更は加えない いわゆる Immutable Infrastructure の考え方を取り入れました。最初は流行りに乗りたかったという気持ちが大きかったのですが、今では昔のやり方にはもう戻れません。 オンプレミスでは本番稼働中のサーバにログインして何か変更するということが当たり前に行われていました
cloudpackエバンジェリストの吉田真吾(@yoshidashingo)です。 昨日、DevLOVE現場甲子園2014東日本大会に参加して現場目線でのAWSセキュリティあるある的な話をして来ました。 その際にAWSのセキュリティ全般について知りたい場合に何を読めばいいか質問されたので、こちらで紹介しておきたいと思います。 AWSセキュリティセンター 1. AWSセキュリティ概要 ストレージデバイスの廃棄**の章では、ストレージデバイスが製品寿命に達した場合に、DoD 5220.22-M または NIST 800-88 に記載されている技術を用いてサニタイズを行ってから廃棄されるということが書かれています。 2. AWSセキュリティのベストプラクティス AWSの共有責任モデルを知る (1) Infrastructure servicesにおける共有責任モデル (2) Container
[AWS]AWS(Amazon Web Services)を使え!メリットあるけど簡単じゃないよ!覚悟ある?AWS どんなサービスでも使うだけなら簡単なんですけどね。 AWS(Amazon Web Services)みたいにサービスが拡張するようなものを有効に使って行くのは難しいです。 ここは個人的メモ。 全体の見通しを良くする目次ページにしようと思います。多分… (^^ゞ [AWS 0]AWSアカウントを取れ AWSホームページに"無料アカウント作成の流れ"というページがあるので、ここを参照してアカウントを取得します。 説明の中に書かれていますが、自動音声電話による身元確認が行われます。 なんらかの着信拒否設定をしている場合、この時だけは着信拒否設定を解除しておいてください。 [AWS 1]AWSアカウント取得後にする大切なこと!先ずIAMへ行け! AWSアカウントを取得したあと、IAM
AWSアカウントを安全に運用したいなら最低限これだけはやっとけというTIPSです。 0.AWSのアカウントの種類 AWSアカウントを作ったときには、AWSのrootアカウントしか存在していません。 このままだと「メールアドレス」「パスワード」で「AWSリソースの操作が何でも」できてしまいます。 そこで管理コンソールへのログインはMFA(Multi-Factor Authentication)を利用したうえで、root以外にIAM Userというアカウントを作成し、限定した権限で利用することが強く推奨されています。 rootアカウント:AWSアカウント作成時に作成される何でもできるユーザー IAMユーザー:権限を限定して設定できるユーザー 1.Authyのセットアップ 2段階認証を導入するためにハードウェア型のMFAデバイスか、ソフトウェア型のVirtual MFAが使用可能です。今回はVi
AmazonクラウドのCTO「クラウドネイティブなアーキテクチャには4つの戒律がある」。AWS re:Invent基調講演(Day2 AM) クラウド時代のアーキテクチャは、それ以前の時代のアーキテクチャとは異なる。Amazon.com CTOのWerner Vogels氏は、Amazon Web Servicesが先週ラスベガスで開催したイベント「AWS re:Invent」2日目午前中の基調講演で、新しい時代のアーキテクチャとはどういうものなのか、聴衆に向けてたっぷりと解説しました。 クラウドによってリソースの制約から解放され、サーバやネットワークを含む冗長性までプログラミング可能になった新しい世界では、どのような考えによってソフトウェアを構築すべきなのか。 Vogles氏の話を紹介しましょう(本記事と、後編の「Amazonは1時間に最大1000回もデプロイする。クラウドネイティブなデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く