Amazon Elastic Container Service for Kubernetes | Amazon Web Services
Amazon Web Services ブログ Amazon Elastic Container Service for Kubernetes 私の同僚 Deepak Singh が、コンテナに関してたくさんお伝えしたいことがあります！ – Jeff; AWS 上で Kubernetes を利用している多くのお客様がいます。実際、Cloud Native Computing Foundationによると、Kubernetes のワークロードの63％が AWS 上で動作しています。AWS は Kubernetes を実行するうえで人気の場所ですが、お客様が Kubernetes クラスターを管理するためには、依然として多くの手動設定が必要となります。Kubernetes のマスターをインストールして運用し、Kubernetes のワーカーのクラスターを構成する必要があります。Kubernet
AWS Systems Manager – クラウドとハイブリッドリソースの管理用の統合されたインターフェース | Amazon Web Services
Amazon Web Services ブログ AWS Systems Manager – クラウドとハイブリッドリソースの管理用の統合されたインターフェース AWS Systems ManagerはクラウドとハイブリッドIT環境を管理する新しい方法です。AWS Systems Managerは、リソースとアプリケーション管理を簡素化し、運用の問題を検知して解決する時間を短くし、セキュアに大規模なインフラを運用および管理することを容易にします。こちらのサービスは機能のすべてが含まれています。リソースに跨ったオペレーションを可能にするために、Amazon EC2 Systems Manager (SSM)のような製品の機能を使ってグルーピングや可視化、問題への対処することができます。 先にお伝えしように、こちらのサービスには多くのパワフルな機能があります。それらのすべてについて深く説明しませ
AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 | Amazon Web Services
Amazon Web Services ブログ AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 コンテナは、開発者がアプリケーションを開発・パッケージ・デプロイするのに強力な手法の１つです。AWSでは、十万以上のアクティブなECSクラスタが稼働しており、毎週数億の新しいコンテナが起動しています。これは、2016年からすると400%を超えるお客様成長率です。Amazon ECSやKubernetesといったコンテナのオーケストレーションソリューションは、コンテナワークロードのデプロイ・管理・スケールをより容易にし、敏捷性を増します。しかし、それらのどのソリューションも下回りとなるインフラストラクチャの可用性、キャパシティやメンテナンスを行う必要が依然としてあります。AWSにおいて、私たちはこれを差別化とならない重労働を取り除く機会と考えました。私たちは、コン
【新サービス】AWS FargateのコンテナをECS CLIからデプロイしてみた #reinvent | DevelopersIO
AWS Fargateでコンテナをデプロイ 新サービス「AWS Fargate」に対して、ECS CLIを使ってデプロイしてみました！ 1.1.0 からサポートしており、先ほどアップデートがありました。 ECS CLIのインストール 最新バージョンに上げます。 $ sudo curl -o /usr/local/bin/ecs-cli https://s3.amazonaws.com/amazon-ecs-cli/ecs-cli-darwin-amd64-latest $ ecs-cli --version ecs-cli version 1.1.0 (4f176a7) Fargateのクラスタを立ち上げる Fargateを使える状態にするため、クラスタを立ち上げます。 $ ecs-cli up --launch-type FARGATE INFO[0003] Created cluste
S3 Select と Glacier Select – オブジェクトのサブセットを取得 | Amazon Web Services
Amazon Web Services ブログ S3 Select と Glacier Select – オブジェクトのサブセットを取得 Amazon Simple Storage Service (S3) は、各業界のマーケットリーダーが使用する数百万のアプリケーションのデータを保存しています。セキュアで耐久性のある非常に低コストのアーカイブストレージとして、これらの多くのお客様は Amazon Glacier も使用しています。S3 では、望むだけの数のオブジェクトを格納することができますし、個々のオブジェクトは最大5テラバイトとすることができます。オブジェクトストレージのデータは、通常１エンティティ全体としてアクセスされます。そのことは、例えば 5GB のオブジェクトに対してなんらかの要求をすれば、5GB 全てのデータ取得を行うことを意味します。これはオブジェクトストレージとしては自
Keeping Time With Amazon Time Sync Service | Amazon Web Services
AWS News Blog Keeping Time With Amazon Time Sync Service Today we’re launching Amazon Time Sync Service, a time synchronization service delivered over Network Time Protocol (NTP) which uses a fleet of redundant satellite-connected and atomic clocks in each region to deliver a highly accurate reference clock. This service is provided at no additional charge and is immediately available in all publi
Amazon Time Sync Service で時間を維持する | Amazon Web Services
Amazon Web Services ブログ Amazon Time Sync Service で時間を維持する 2017 年 11 月 29 日、 Amazon Time Sync Service をリリースします。NTPで配信される時刻同期サービスで、各リージョンで冗長化している衛星接続の原子時計を使って高精度な時刻参照を提供します。このサービスは追加料金なくすぐに全リージョンのVPCの稼働中の全インスタンスで利用できます。 このサービスには 169.254.169.123 のリンクローカル IP アドレスを介してアクセスできます。つまり外部のインターネットアクセスする必要なく、プライベートサブネット内から安全にアクセスできます。 セットアップ chrony は ntpd が使用する NTP の実装とは異なり、システムクロックを ntpd より速くより正確に同期させることができます。
T2 Unlimited – Going Beyond the Burst with High Performance | Amazon Web Services
AWS News Blog T2 Unlimited – Going Beyond the Burst with High Performance I first wrote about the T2 instances in the summer of 2014, and talked about how many workloads have a modest demand for continuous compute power and an occasional need for a lot more. This model resonated with our customers; the T2 instances are very popular and are now used to host microservices, low-latency interactive ap
DNS を使って AWS Certificate Manager の検証を簡単に | Amazon Web Services
Amazon Web Services ブログ DNS を使って AWS Certificate Manager の検証を簡単に Secure Sockets Layer/Transport Layer Security (SSL/TLS) 証明書はインターネット越しのネットワーク通信を安全にし、Web サイトの身元を確認するのに使われています。アマゾンは証明書を発行する前に、そのドメイン名をあなたが管理している事を検証しなければなりません。今回、あなたが管理しているドメイン名について SSL/TLS 証明書の発行リクエストを AWS Certificate Manager (ACM) にした際に、Domain Name System (DNS) 検証を使えるようになりました。これまで、ACM はEメール検証のみをサポートしており、ドメインの所有者は証明書発行リクエストのつどEメール受け取
Cupy を用いた 非同期メモリ転送 - Qiita
CPU <-> GPU でのメモリ転送 私は Cupy を深層学習以外の目的に使っていますが、その主なボトルネックになるのは、CPU <-> GPU 間のメモリの転送です。 GPUメモリはだいたい 4GB とか 8GB とかしかないので、学習データの全てをGPUに置けないことが多くなります。 そのため、メインメモリに置いてあるデータを毎回読みだしてGPUメモリに転送して、それを使ってトレーニングするということになります。 ただし、メインメモリからGPUメモリにデータを転送するには結構時間がかかってしまうので、小さなネットワークだと訓練時間よりもデータ転送に時間がかかってしまって、CPUで計算したほうが速いなんてこともよくあります。 非同期処理を行うことでそれを解決できることがあるかもしれません。 つまり、あるミニバッチを用いてモデルを訓練している間に、次のミニバッチをGPUに転送しておくこ
すぐに使用できるマネージドルールがAWS WAFで利用可能に | Amazon Web Services
Amazon Web Services ブログ すぐに使用できるマネージドルールがAWS WAFで利用可能に 現在利用可能となりました、AWS WAFマネージドルールにより、WebアプリケーションやAPIをインターネットの脅威から簡単に保護することができます。Alert Logic、Fortinet、Imperva、Trend Micro、TrustWaveなど、業界をリードするセキュリティ専門家がAWS Marketplaceで提供する事前設定済みのルールグループから選択します。ルールは新しい脅威が出現すると自動的に更新され、OWASP Top 10リスクの軽減、悪いボットからの防御、最新のCVEに対する仮想パッチの適用などに対応します。その他にもWordPressやDrupalなどのコンテンツ管理システムを含む、アプリケーションプラットフォームを保護するための、特定領域に特化したマネー
AWS DeepLens ディープラーニングと新しいビデオカメラによるハンズオン | Amazon Web Services ブログ
Amazon Web Services ブログ AWS DeepLens ディープラーニングと新しいビデオカメラによるハンズオン 過去一度か二度お伝えしましたとおり、私は生涯学習を強く信じる人です。技術の変化は今までよりも早くやってきており、あなたの現在のスキルを追従させるためにあなたも同じことをする必要があります。 私の経歴のほとんどにおいて、人工知能は学術的なトピックであり、実用的なアプリケーションや実世界への展開は”もう間もなく”というものでした。私はコンピュータービジョンやディープラーニングといった機械学習の実用的なアプリケーションの数をもって、人工知能はもうやってきたということができると思いますし、今はハンズオンを開始し、あなたのスキルを磨く時だと思います。また、どちらもより最新で少ない時間で生まれた一方、IoTとサーバレスコンピューティングはここにあり、あなたのリストにあるべき
40人のビジネスパーソンが絶賛した「1年の振り返り」完全マニュアル | ハイクラス転職ならdoda X（デューダエックス）
doda X（旧：iX転職）は、パーソルキャリアが運営するハイクラス転職サービス。今すぐ転職しない方にも登録いただいています。 今の自分の市場価値を確かめてみましょう。 20世紀を代表する経営学者として知られる故ピーター・F・ドラッカー氏は、その著書の中で、トップレベルのビジネスパーソンであり続けるためのポイントとして、 定期的に自らを振り返り、次に向けた改善点を洗い出す。 ことを指摘しています。その中でも特に重要なのが、半年〜1年というある程度の期間をまとめて振り返り、その長期的な営みを再解釈し、新たな仕掛けについて思案を巡らせること。 そこで本記事では、さまざまな知見をもとに1年間を振り返る上で非常に効果的で、多くの気づきを得られる振り返り法をご紹介します。 そして、この振り返り法がどのくらい有効であるかを検証するために、実際に40人の現役ビジネスパーソンにお集まりいただき、4人×10
AWS Batchを本番導入するにあたって考えたことアレコレ - nisshieeのブログ
この記事は Speeeアドベントカレンダー2017の1日目です！よければ購読してやってください。 qiita.com Speee DEVELOPER BLOGもよろしくね！ TL; DR AWS Batchを本番導入したよ 結構クセはあるが、それを補って余りあるメリット（特にスケーラビリティ） 現状はAWS Batchの活かし方の知見を貯めている段階だが、今後適切な用途があれば積極的に使いたい AWS Batchとは 一言で言うと、「ECSクラスタの薄いラッパー + ちょっと賢いJOB Queue + 賢いAutoScaling（オプション）」て感じ。 ベースにあるのはECSクラスタなので、DockerImageを用意して、ジョブをDockerContainerの実行として定義して、ジョブを発行するという流れはECSと同じ。 ECSはクラスタの各インスタンスが持っている計算リソースと、事前
AWS Serverless Application Repository が登場します | Amazon Web Services
Amazon Web Services ブログ AWS Serverless Application Repository が登場します 私が想像していた以上に早くサーバレスアプリケーションはメインストリームになりました。毎日毎秒、数え切れないほどの AWS Lambda ファンクションが起動され、ビジネスクリティカルな処理を実行しています。ユーザの皆さんは その柔軟性、安定性、コスト効率の良さを好きだと言ってくれます。 私たちはすべてのAWSのお客様がサーバレスな未来へ向かえるようにしたいと考えています。AWS Lambdaのサービス提供開始後、サーバレスアプリケーションのデプロイおよび管理プロセスを簡素化するため Serverless Application Model (SAM) を提供しました。さらにサーバレスのリファレンスアーキテクチャを公開しました。現在、Web アプリケーショ
中国のあまりの変化に、驚きを隠せない〜世界が注目する中国の決済革命〜 ｜ doda X キャリアコンパス
doda X（旧：iX転職）は、パーソルキャリアが運営するハイクラス転職サービス。今すぐ転職しない方にも登録いただいています。 今の自分の市場価値を確かめてみましょう。 あなたに伝えたいことがある。 僕ら日本人は、しばらく自分たちの繁栄と過去の歴史にあぐらをかいてしまい、中国という国で激しく起きている変化にフタをし、その変化を手本とすることができずにいた。 実は、物理的に極めて近い中国でこそ、今後の日本に求められる変化への手本たる事象が起きている。そしてそれは、僕らが長年抱いていた先入観を捨て、まずはその場で経験してみることで、多くのことを学べるヒントになる。 かつて、『バック・トゥ・ザ・フューチャー3』の中で、1955年当時に生きる科学者のドクが「日本の製品？ そんなの大丈夫か？」と聞くと、1985年の未来からタイムスリップしてきた主人公はこう返した。「何言ってるんだい？ 今や『Made
OLTP Database, MySQL And PostgreSQL Managed Database - Amazon Aurora - AWS
Amazon Aurora Unparalleled high performance and availability at global scale with full MySQL and PostgreSQL compatibility Amazon Aurora provides unparalleled high-performance and availability at global scale with full MySQL and PostgreSQL compatibility, at 1/10th the cost of commercial databases. Aurora has 5x the throughput of MySQL and 3x of PostgreSQL. Aurora has broad compliance standards and
【新機能】AWS WAFマネージドルールを使ってWordPressに対する攻撃を防いでみた #reinvent | DevelopersIO
こんにちは、臼田です。 今回はAWS WAFの神アップデートであるManaged Ruleを利用して、Wordpressの脆弱性に対する攻撃を防いでみたいと思います。 WAFマネージドルールって何？ 今回発表されたAWS WAFの新機能で、下記に速報があります。 【速報】AWS WAFがサードパーティーのマネージドルールに対応しました！ #reinvent そもそもWAFマネージドルールって何がいいの？ マネージドルールがこれまでのAWS WAFのルールより優れている点は大きく2つあります。 ルールを自分で管理しなくていい これまでAWS WAFでは、攻撃に対する防御に利用するルールは自分で作成する必要性がありました。 例えば防御したいサイトに対して、SQLインジェクションの防御用のコンディションを作成し、コンディションにフィルターを追加し、コンディションをルールに適用して利用します。 こ
AWS EC2 Virtualization 2017: Introducing Nitro
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
AWS Fargateとは？ - Qiita
本記事は個人の意見であり、所属する組織の見解とは関係ありません。 こちらはAWS Fargate Advent Calendar 2017の12/1分の記事です。 AWS re:Invent 2017のKeynoteにて、Andy Jassy CEOからAWS Fargateの発表が行われました。以下がリリースブログからの抜粋になります。 AWS Fargateは、コンテナをデプロイする最も簡単な方法です。端的に言うと、FargateはEC2に似ていますが、仮想マシンを提供する代わりに、コンテナを提供します。これにより、下回りとなるインスタンス群の管理をせずとも、コンテナを基本的な計算単位として利用することができる技術です。やるべきことは、コンテナイメージ構築し、CPUやメモリの要件を指定し、ネットワークやIAMポリシーを定義し、そしてコンテナを起動することです。Fargateでは、アプリ
-Dsun.net.inetaddr.ttl=1 するよりも networkaddress.cache.ttl 使おう - tokuhirom's blog
jvm はデフォルトで DNS cache が 30sec かかっている。これはやや長過ぎると web service では判断されるケースが多い。 そこで、通常ではこれを短く設定して本番環境のデプロイをしている場合が多い。 手元のあるコードでは -Dsun.net.inetaddr.ttl=1 が指定されていたが、現在では -Dnetworkaddress.cache.ttl=1 を利用すべき。 https://www.glamenv-septzen.net/view/1346 このページが挙動について詳しい。 基本的に sun.net.inetaddr.ttl は歴史的経緯で指定されている名称であり、現代では networkaddress.cache.ttl を利用する方が良い。
Java Security Manager でセキュアなサービスを構築しよう - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 今回は Java アプリケーションをセキュアに運用する仕組みである Java Security Manager について紹介しようと思います。この仕組みは Linux の強制アクセス制御機構（SELinux や AppArmor) の Java 版に相当するもので、プログラムの挙動を制限することができます。弊社が提供するクラウドサービス cybozu.com でも有効化されています。 セキュアなサービスを提供する上では良い仕組みだと思うのですが、検索したところ Java Security Manager に関する記事があまり多くなかったため、我々が得た知見をここに記します。 Java Security Manager とは Java Security Manager (以下 JSM) とは、Java コードを安
DeepLensはAWSの新サービスてんこ盛りデバイスだった - すずけんメモ
今週はラスベガスで開催されているAWS re:Inventに来ています。DeepLensのWorkshopに先程出てきたのでメモがてら貼っておきます。 概要 DeepLens自体は次の記事が詳しいです。 AWS DeepLens – Get Hands-On Experience with Deep Learning With Our New Video Camera | AWS News Blog 私はビデオもデバイスについても特に詳しいわけではないのですが、DeepLensがすごいなーと思ったのは、それ自体が今回発表されたサービスを含め、AWSのサービスを上手くつかって構築されていることです。 SageMakerで作ったモデルを取り込む Greengrass Core上でlocal Lambdaを動かし、デバイスデータの送信とinferenceをする。 eventのpubsub管理はA
AWS Solutions Architect ブログ
2017年12月14日、目黒のAmazon Web Services (AWS) Japanオフィスにて、AWS re:Invent 2017前後にて発表されたセキュリティ関連情報を振り返るセミナーが開催されました。 AWS re:Invent 2017とは、2017年11月27日から12月1日までラスベガスで開催されたAWS最大のカンファレンスです。エンドユーザー様、パートナー様を中心に、世界中から40000人以上の来場者を集めました。re:Inventは基調講演やブレイクアウトセッション、ブートキャンプ、パートナー様ソリューション展示、参加者同士のネットワーキングなどからなります。例年同様、一人では回りきれないほど大量で多種多様なイベントが行われました。 そこで本セミナーは、セキュリティという観点に絞り、re:Invent 2017での情報を効率的に収集いただくと同時に、来年以降の日本
AWS CodeDeploy にローカルテスト機能が追加されました | DevelopersIO
ども、藤本です。 現地時間 11/16、CodeDeploy に簡単にデプロイする機能が追加されました。 AWS CodeDeploy Supports Local Testing and Debugging 早速試してみましょう。 概要 CodeDeploy はデプロイを自動化してくれるサービスです。デプロイメントグループでグルーピングしたインスタンス群に対して、マネジメントコンソールや、API からオペレーションするだけでインスタンス群に対してアプリケーションを展開することができます。非常に簡単です。 ただ今までデプロイするには上記のデプロイメントグループを作らなくてはいけない、マネジメントコンソールや、API のオペレーションをしなくてはいけない、つまり AWS の IAM を持ち、CodeDeploy の必要な権限を持つ人にしかデプロイすることができませんでした。本番環境やステージ
CORSまとめ - Qiita
今更ですが、CORS (Cross-Origin Resource Sharing)を色々試していたら、思っていた以上に色々パターンがあることに気づいたので、改めてその扱い方についてまとめてみました。 そもそも 現在のWebブラウザでは、あるWebサイトが持つ情報が別の悪意あるWebサイトに悪用されるのを防ぐために、Same-Origin Policy(日本語では同一生成元ポリシー)が適用されます。 例えば、あるWebサイト https://guiltysite.com をブラウザで表示している時に、このWebページからXMLHttpRequest(以下、XHR)やFetch APIで別のWebサイト https://innocentsite.net からHTTP(S)でデータを読み込もうとすると、エラーになる、というわけです。 しかし、アクセス元が悪意あるWebサイトならともかく、データ
[アップデート]T2インスタンスのCPUクレジットがより使いやすくなりました | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 T2ファミリーのCPUクレジットについて嬉しいアップデートがありましたのでご紹介したいと思います。 New CPU Credit allocation policy for T2 instances https://forums.aws.amazon.com/ann.jspa?annID=5196 前提知識 T2インスタンスの特徴としてCPUクレジットという考え方があります。 インスタンスサイズに応じて初期CPUクレジットを持っており、アイドル状態のときにCPUクレジットを貯めて、定められたベースラインを超えてのCPU性能を発揮させたい時はCPUクレジットを消費するという仕組みです。 詳細については以下を確認してください。 CPU クレジット 1 CPU クレジットは、1 CPU コア全体の 1 分間のパフォーマンスを表します。従来の Amazon EC
![[アップデート]T2インスタンスのCPUクレジットがより使いやすくなりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/58278067871ebaae68a873315f4dd4b9b78f6b5a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_EC2.png)
AWS FargateでNginxを動かしてみる - Qiita
本記事は個人の意見であり、所属する組織の見解とは関係ありません。 こちらはAWS Fargate Advent Calendar 2017の12/2分の記事です。 AWS Fargateを使うことで、コンテナを使ったアプリケーションにだけ集中して開発することができます。今日は、Amazon ECSのコンソールのFirst runチュートリアルを通して、簡単にNginxを立ち上げてみて、変更を加えてデプロイしてみましょう。 First runは以下のリンクから始められます。 https://console.aws.amazon.com/ecs/home?region=us-east-1#/firstRun 1セット作成してみる Step 1を見ると、Nginxのコンテナ定義はチュートリアルにあるのでそれを選ぶだけで簡単に作成できます。 Step 2では、サービスにApplication Lo
メルカリの今年1年間の機械学習の取り組みとこれから
これはMercari Advent Calendar 2017 の2日目の記事です。 昨日は @stanaka の分散ファイルシステムはブロックチェーンの夢を見るか でした。 今回は@Hmj_kd が、メルカリの機械学習の取り組みや機械学習エンジニアの今年行ってきた活動のいくつかをご紹介したいと思います。 以下、一部にて機械学習をMLと略します。 この1年間で機械学習で取り組んだこと 私が入社したのは2017/01で、社内では二人目の機械学習エンジニアでした。 その当時は speakerdeck.com にあるように、プロダクトにMLに関するものはありませんでした。 現在は、チーム全体でマネージャも含めて約10人ほどの組織になり、活発に実験や開発が行われています。 いくつかを列挙しますと - 商品出品時の価格推定とサジェスト - 一部カテゴリについて商品タグの推定 - 商品出品時のカテゴリ
システム障害なしにうるう秒を乗り切る技術の発達について｜Rui Ueyama
数年に一度、1日が1秒だけ長くなることがある。そのたびにどこかでシステム障害が起こるのだが、何回もうるう秒を経験するごとに次第にベストプラクティスも確立されつつある。ここではうるう秒問題と人々がそれにどう対応してきたかについて説明しよう。 うるう秒というのは地球の自転速度のわずかな揺らぎに対して時計を調整するために数年に一回調整される1秒のことだ。うるう秒で1秒短くなる日は23:59:59からの1秒がスキップされる。うるう秒で1秒長くなる日は、23:59:59の次が23:59:60になり、その1秒後に次の日の00:00:00になる。 というわけで公式には秒というのは数年に一度60秒目というのがありえるのだが、ほとんどのOSはうるう秒にきちんと対応していない。Linuxなどでは通常「時計を1秒戻す」という驚くほど単純な方法でうるう秒を扱っている。つまりうるう秒がある日には23:59:59.9
How a single PostgreSQL config change improved slow query performance by 50x
At Amplitude, our goal is to provide easy-to-use interactive product analytics, so everyone can find answers to their product questions. In order to provide a great user experience, Amplitude needs to provide these answers quickly. So when one of our customers complained about how long it took to load the event properties dropdown in the Amplitude UI, we started digging into it. By tracking latenc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ロードバランサ再入門
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報