Using spot instances for application servers
Spot Instances in Cookpad #CookpadTechConf 2017
Using spot instances for application servers
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
EC2拡張ネットワーキングの性能と設定手順 | 外道父の匠
AWS VPC内のLinuxでは、拡張ネットワーキング（Enhanced Networking）という機能が使えます。利用条件はあるものの、この機能を有効にするだけでネットワークが速くなるので有用なのですが、何がどれくらい速くなるのか気になったので計測してみました。 この機能自体は2013年末に発表されたものなので、目新しくはないです。ただ、公式の説明やその辺の情報を調べても、イマイチ情報がわかりやすくまとまっていない部分があったので、設定についてもまとめ直してみました。 デフォルトと拡張ネットワーキングの性能比較 この機能のON/OFFによって、変化するのは通信のレイテンシであり、最大Bandwidthが変わるわけではありません。また、インスタンスタイプによってレイテンシの変化量が変わるわけでもありません。 そのため、ここで載せるのは１つのインスタンスタイプにおいて、バージョン違いを含め
マネージド Open-Source Elasticsearch および OpenSearch 検索とログ分析 – Amazon OpenSearch Service – Amazon Web Services
Amazon OpenSearch Service を使用すると、インタラクティブなログ分析、リアルタイムのアプリケーションモニタリング、ウェブサイト検索などを簡単に実行できます。OpenSearch は、Elasticsearch から派生したオープンソースの分散検索および分析スイートです。 Amazon OpenSearch Service は、OpenSearch の最新バージョン、Elasticsearch の 19 バージョン (1.5〜7.10 バージョン) のサポート、および OpenSearch ダッシュボードと Kibana (1.5〜7.10 バージョン) を利用した視覚化機能を提供します。Amazon OpenSearch Service は現在、数万のアクティブなお客様を抱え、数十万のクラスターが管理され、毎月数百兆のリクエストを処理しています。
JAWS-UG IoT専門支部 IoTサロン 2015-09 (2015/09/30 19:00〜)
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
AWS Data Pipelineをcron代替のジョブスケジューラとして利用、AWS外のワーカーで動かす - パラボラアンテナと星の日記
AWS Data Pipelineをスケジューラとして使う - Qiita やクラスメソッドさんのブログなどを読み、前から気になってた AWS Data Pipeline を利用してみました。 無理やりDocker使ってますが、ワーカーを複数立ち上げるためのツールとして使ってるだけなので、Dockerはあまり関係ありません。 1日しか触ってないので、なにか間違いとかあれば、教えて欲しいです(いつものことながらすいません) 使う前の印象 「 … Google Cloud Dataflowみたいなやつ？」 「でも AWS Data Pipelineをスケジューラとして使う - Qiita とか読むと、『 Crondの代替としてスケジューラとしても使える』のかな？」 使った後の印象 「完全にCrondの代替です 本当にありがとうございました」 ↑これは言い過ぎかもしれませんが。 先述した記事にも
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
複数のAWSアカウントの利用料金を代表1アカウントで支払う「Consolidated Billing」の設定方法 - Qiita
はじめに AWSアカウントを複数持っているが、支払いは代表して1アカウントで統一したいなんて需要があると思います。そんなときは Consolidated Billing を使ってみましょう。 どういう人向け？ 特定のシステムの「本番/ステージング用アカウント」「開発アカウント」「検証(Sandbox)アカウント」を代表アカウントで支払いたい 自社のエンジニアに勉強のためにAWSアカウントを作らせているが、その料金は会社で払ってあげたい（が、コーポレートカードの情報などは渡したくない） 一家言 本番アカウント／開発アカウント／検証アカウントをまとめる場合、いずれのアカウントもリソースが利用される前提であるため、どれかを代表アカウントにするのではなく、支払い専用のアカウント（EC2やRDSなどのリソースは使わない）を別途開設して管理するほうがよいでしょう。 親アカウント：まとめて支払いを行うア
AWSのリソース構成をServerspecのようにテストする "awspec" をつくった - Copy/Cut/Paste/Hatena
AWSのリソース構成をServerspecのようにテストできる "awspec" をつくりました。 github.com 例えばEC2インスタンスであれば、以下のように書けます。 describe ec2('my-ec2') do it { should exist } it { should be_running } it { should_not be_stopped } its(:instance_id) { should eq 'i-ec12345a' } its(:private_ip_address) { should eq '10.0.1.1' } it { should have_security_group('my-security-group-name') } it { should belong_to_vpc('my-vpc') } it { should belon
【AWS】VPC環境構築ノウハウ社内資料 2014年4月版 | DevelopersIO
よく訓練されたApple信者、都元です。 以前、【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみるという記事を書きましたが、そこから半年経ち、状況も変わって来ましたのでアップデートを行いたいと思います。 以前のエントリーを読んだ方は、忙しい場合は下記の「2013年10月版からのアップデート」だけを読むといいかもしません。 VPCを利用する理由 AWSは、あらゆる規模のプロジェクトに対応するインフラを提供しています。前述のサーバ数千台規模のプロジェクトしかり、1台構成しかり。大規模プロジェクトであれば当然、オンプレミスと同様にネットワークインフラについての設計を綿密に行う必要がありますが、では、中小規模のプロジェクトにおいてはネットワークの設計をする必要はないのでしょうか。 AWSでは、VPCという「ネットワーク環境」を構築するサービスを提供しています。しかもVPCの利用
クラウド（AWS)、Docker時代のサーバサイドエンジニアに素早く脱皮するための資料まとめ - tehepero note(・ω<)
2015-07-24 クラウド（AWS)、Docker時代のサーバサイドエンジニアに素早く脱皮するための資料まとめ AWS Docker クラウド チームに新しいメンバーが入ってきていて、クラウドやDockerが初めてなメンバーも結構いるので抑えておくべき書籍とかWeb文献をまとめなきゃなーと思ってたんですが、社内でドキュメントに残すよりもブログに書いたほうが良い気がしたのでブログに書きます。 ※あくまでAWS寄りの話です AWS Amazon Web Services クラウドデザインパターン実装ガイド 改訂版 Amazon Web Services クラウドデザインパターン実装ガイド 改訂版作者: 大澤文孝,アマゾンデータサービスジャパン玉川憲,アマゾンデータサービスジャパン片山暁雄,アイレット鈴木宏康,日経SYSTEMS出版社/メーカー: 日経BP社発売日: 2015/03/05メデ
「サーバにログインしない・させないサービス運用」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモった。間違い等あるかもしれませんが、その場合はごめんなさい。 Gunosy 2011.09リリース 現在900万DL突破 エンジニアは現在26名 2014.11は16名、2013.11は7名、2012.11は4名 クライアント+QAは5名、Web+APIまわりは5名、インフラは1名とかとか Gunosyの開発 API: Golang パートナー・広告主への管理画面: Rails バッチ・内部向け: Django or Python バージョン管理: GitHub 構成管理・デプロイ: Chef (+OpsWorks) 開発の特徴 小さい単位で作ってすぐ捨てる マイクロサービス的な 機能が増えすぎたら分割 メンテするよりリプレース サーバにログインされて困る事 信頼できないビルド・デプロイ 開発者の手元でビルドすると、どの断面なのかわからずトラッキングできない プロダクションに上がってい
【新サービス】Amazon Machine Learning(機械学習サービス) がAWS Summits 2015 San Francisco で発表されました。 #AWSSummit | DevelopersIO
日本時間2015年04月09日に米国サンフランシスコで開催された『AWS Summits 2015 San Francisco』。 AWS Summits 2015 | San Francisco 以下は基調講演のつぶやきをまとめたものです。(※海外版Togetterを使いました) Keynote - AWS Summits 2015 San Francisco #AWSSummit - Chirpstory 以下は基調講演のYouTube動画です。 サービス概要紹介 - イベントハッシュタグのTweetより抜粋 その基調講演がLive Streamでも中継されていたので観ていたのですが、そのセッション内で非常に興味深いサービスの発表がありました。それが当エントリで紹介する『Amazon Machine Learning』です。 Andy Jassy anounces Amazon Mac
AWS Lambdaのカレンダー | Advent Calendar 2014 - Qiita
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
Amazon CloudWatch Logsによるログの収集とフィルタとアラーム設定 | DevelopersIO
AWS Summit NYCが始まりました！ オランダ負けて残念だったね〜、で始まりました、AWS Summit NYCです！そして、早速新機能の発表です！その名もCloudWatch Logsです。 CloudWatch Logsとは？ CloudWatch Logsは、独自のアプリケーションやAWSサービスのログを収集して解析する機能です。EC2にエージェントをインストールしてログを飛ばす事ができます！この仕組みは、Amazon Kinesisの機能を使って実現しているようです。 主な機能は以下の２つです。 アプリケーションとシステムのログをリアルタイムにモニタリングすること ログデータのアーカイブ CloudWatch Logsのコンセプト CloudWatch Logsの全体像を理解するためにコンセプトとなるキーワードを並べてみます。 ログイベント：ログイベントは、監視されているア
ばあちゃんにひ孫の写真をAPIで印刷＆郵送する(AWS Lambda x Amazon S3 x Lob.com) - Qiita
ひ孫の写真をAmazon S3にアップロードすると、AWS Lambdaがそのイベントをとらえて、Lob.comのAPIをたたき、自動的に写真が印刷されて、ばあちゃんの家に郵便で届く、という人間的に暖かみのあるシステムを作ってみたいと思います。 うちでは、ばあちゃん(98歳)が健在なのですが、ひ孫(私の子供)の写真を一日中見て喜んでくれているようなので、API経由でとったばかりの写真をタイムリーに印刷＆郵送するともっと喜んでくれるかもしれません。 Lob.comとは Lob.comは、Printing API (印刷API)を提供しているサンフランシスコのサービスで、APIを通じて実際に写真や印刷物の印刷と郵送を依頼することができます。APIをたたいてから2、3営業日で印刷され、米国のみならず日本にも郵便物を配送できます。値段はこちらで、写真を日本に送る場合は1枚で$1.84です。 全体の
Amazon VPCを使ったミニマム構成のサーバ環境を構築する | DevelopersIO
よく訓練されたアップル信者、都元です。AWSにおいては、ネットワーク環境をあまり気にせず、数クリックで簡単にサーバを構築できるのは一つのメリットだと言えます。しかし、本格的に運用するシステムに関しては、ネットワーク環境をコントロールする需要も出てきます。AWS Virtual Private Cloud (VPC)を使えば、AWS上に仮想ネットワークを定義し、その上に各種サーバを配置することができます。 深く考えずに非VPC環境に構築してしまったAWSサーバ環境は、簡単にはVPC環境に移行することはできません。従って弊社では、小さなシステムであっても、最初からVPC環境にシステムを構築することを推奨しています。「非VPCが許されるのは小学生までだよねー」とボスが申しておりました。かといって、ネットワークの構成をゼロから考えて構築するのもひと苦労であるため、本エントリーでは、システムの初期段
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CloudFrontをかますとキャッシュなしのAPIコールでも速くなるようだ : sonots:blog
AWS Lambda ハンズオン 2-Tier アーキテクチャで未来へ
conma.me
