AWS ALBに長いリクエストURLでGETすると414や500でエラーになる - YOMON8.NET
AWS ALB(Application Load Balancer)に長いURLリクエスト投げてみたら、以下のテーブルのように、ある長さのリクエストからエラーが出ることを発見しました。 URLの長さ(Byte) HTTPレスポンスコード 〜16446 200 OK 16447 500 Internal Server Error 16448〜 414 Request-URI Too Large AWSのサポートに聞いたら以下のような制限があることを教えてもらいました。仕様なのでパラメータ等での変更はできないようです。また、旧ELB(Classic Load Balancer)にはこの制限が無いようです。 HTTP headers for Application Load Balancers have the following size limits: Request line: 16K S
AWS事業部の採用方針について | DevelopersIO
主にクラスメソッドメンバーズにおけるサポートサービスとフートシリーズ（運用保守オプション）を担当するグループです。運用保守、システム監視、セキュリティ監視、継続的コンサルティングと、システム稼動後のお客様インフラを24時間365日体制で安定した状態に保つために日々お客様とやりとりしています。 このように、一つの部の中に担当業務が違う複数のグループがありますが、部全体のビジョンはただ一つ、「AWSに関する圧倒的な量のノウハウを用いて、AWSインフラを安く早く構築し、AWSのことをまるっとお任せしてもらうことで、お客様のビジネスに貢献する」です。そして同じビジョンを掲げたチームとして、採用方針もグループ毎に分けず、部として統一しています。 今回はAWS事業部の採用方針をご紹介します。 AWS事業部の採用方針 AWS事業部の採用方針は以下の3つです。 技術が好きな人を採る クラスメソッドはエンジ
S3のデータを機械学習で自動分類する「Amazon Macie」発表
Amazon Web Servicesは8月14日に開催された「AWS Summit 2017 New York」において、機械学習を用いた新セキュリティサービス「Amazon Macie」を発表した。 Amazon Macieは機械学習によって、Amazon S3のバケット内にあるデータから個人情報や機密情報を特定し、データの侵害や情報漏えいを防ぐセキュリティサービス。S3バケットへのリクエストとCloudTrailイベントを確認し、新しいオブジェクトの分類をほぼリアルタイムで行なえるという。 分類作業においては、過去のパターンやデータに対するユーザー認証、アクセス場所、時間などを把握。これらのアクセスパターンを動的に分析する予測分類アルゴリズムも利用し、学習によって疑わしいふるまいの可能性を知らせてくれる。また、CloudWatch EventsやLambdaによってレポートされた問題
AWS Lambdaにおける「ステートレス」なキャッシュ利用 - エンタープライズギークス (Enterprise Geeks)
AWS Lambda は、AWSが提供するイベントドリブンなプログラム実行環境であり、昨今ではサーバーレスアーキテクチャの実現手段として注目を集めている。 AWSの公式ドキュメントによると、AWS Lambda の関数はステートレスな実装にする必要がある。一方でステートレスな実装を追求すると、外部サーバからのデータ取得処理が増え、結果として処理パフォーマンスが悪化することが多い。 本稿では、データの性質に応じたAWS Lambda での状態保持（キャッシュ利用）の可否について考察し、キャッシュに関する実装や運用の一例を示す。 1. Lambda 関数に求められる「ステートレス」の意味 AWSの公式ドキュメンテーションによると、AWS Lambdaの関数は、ステートレスな実装にする必要がある。 コードは必ず「ステートレス」なスタイルで書く必要があります。 ～中略～ 関数をステートレスにするこ
［速報］Amazonクラウド、インメモリの高速なBIツール「Amazon QuickSight」発表。クラウド内のデータソースを自動検知し接続。AWS re:Invent 2015
［速報］Amazonクラウド、インメモリの高速なBIツール「Amazon QuickSight」発表。クラウド内のデータソースを自動検知し接続。AWS re:Invent 2015 Amazon Web Servicesのイベント「AWS re:Invent 2015」がラスベガスで開幕しました。初日の基調講演に登場したのは、同社シニアバイスプレジデントAndy Jassy氏。 Jassy氏は「技術者ではない社内のスタッフも、データを分析して何が起きているのかを知りたいはずだ」とデータ分析の重要性を訴えた上で、もっと使いやすく安価なサービスが求められているとし、新サービス「Amazon QuickSight」を発表しました。 「とても高速で使いやすい、クラウドのパワーを用いたBIツール。今日からプレビュー公開だ」（Jassy氏） Amazon QuickSightはデータソースを自動検知し
microインスタンスはlimitかけると大きくパフォーマンスが向上する（※再追記あり） - アルパカDiary Pro
※2014/07/02 T2インスタンスタイプとの比較 を追記しました。 ※2014/03/13 他インスタンスタイプとの比較／m3.mediumの検証 を追記しました。 こちらの記事の二番煎じです。 cgroupで、お手軽CPU使用率制限 なるほど。 リソースにLimitかけるとstealを防げるためパフォーマンスも上がるというわけですね。 どのくらい変わるのか実験してみました。 cgroup前準備 sudo yum install libcgroup sudo chkconfig cgconfig on sudo service cgconfig start cgroup設定 上記参考URLとほぼ同じ設定です。 実行時はcpu.cfs_quota_usを変動させて比較してみました。 sudo vi /etc/cgconfig.conf # 以下を追加 group limittest {
Distributed Neural Networks with GPUs in the AWS Cloud
by Alex Chen, Justin Basilico, and Xavier Amatriain As we have described previously on this blog, at Netflix we are constantly innovating by looking for better ways to find the best movies and TV shows for our members. When a new algorithmic technique such as Deep Learning shows promising results in other domains (e.g. Image Recognition, Neuro-imaging, Language Models, and Speech Recognition), it
Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
よく訓練されたアップル信者、都元です。今回のお題は久しぶりにVPCです。 この記事は、アップデート版が存在します。最新情報は【AWS】VPC環境構築ノウハウ社内資料 2014年4月版を参照してください。 VPCを利用する理由 弊社で構築するAWSのサーバ環境は、一部の例外を除いて全てVPCを利用しています。 突然ですが、筆者はあまり大規模なシステムに携わった経験がありません。大規模なプロジェクトだと「数百数千台のサーバがラッキングされ、それが論理的なネットワークで区切られていて」「複数のデータセンターが冗長化された専用線で結ばれて」等、正直ちょっと想像つかない世界があるんだと思います。よくわかんないですが。 (c)John McStravick. (CC BY 2.0 Licensed) 逆に、小さなシステムであれば、月々数万円でレンタルサーバを借りて「1台のマシンの中にWebサーバとDB
第18回 AWS User Group – Japan 東京勉強会 に参加してきた #jawsug | DevelopersIO
第18回 AWS User Group - Japan 東京勉強会(一般枠) - JAWS-UG東京支部 | Doorkeeper 2013/10/04 第18回 AWS User Group - Japan 東京勉強会 #jawsug - Togetter この日で18回目の開催を数えるJAWS-UG 東京。今回はテーマを『DB縛り』とし、RDSやRedshift、Redis等興味深いテーマをぎっしり詰め込んだ内容となりました。発表者陣も超豪華。 開催会場は前回に引き続きフューチャーアーキテクト株式会社＠大崎。いやはや、こちらの会場は設備外観等含め、本当素晴らしいですね。 フューチャーさんいつもながらマジフューチャー #jawsug — ARAKI Yasuhiro (@ar1) October 4, 2013 今回も開催前にはDJが皿を回しておりました(＝曲を掛けておりました)。『あま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An Amazon Data Center In Virginia Caught Fire
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習