[B! aws] showyouのブックマーク

Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)

Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者：関山宜孝（Amazon Web Services Japan）昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop

showyou 2020/05/22

ブックマークしたと思ったらしてなかった

hadoop
aws

リンク

[AWS]EC2インスタンスを作成し、SSH接続できるまでにつまづいたこと[ドラフト] - Qiita

AWS初心者の私が、EC2インスタンスを作成し、SSH接続できるまでにつまづいたことです。さらにいうと、秀和システムの「Amazon Web Service アプリ開発運用」という本の第３章をやっている際に、つまづいたところです。 VPCのサブネット、Internet Gatewayを自分で作る必要があった本では、VPC作成時にサブネットおよびInternet Gateway は自動で作られているようでしたが、2019/09/08現在、それらは自分で作る必要があるようでした。サブネットに関しては、EC2インスタンス作成時ににVPCを設定する際に、怒られます。 // TODO VPC Dashboard -> Subnets といって作成しましょう。 Internet Gatewayに関しては、Elastic IPをインスタンスに割り当てるときに、「Network vpc-0408fe

showyou 2020/04/22

これ引っかかった。

aws

リンク

AWSだけで独自ドメインを取得して自分のWebページを公開するまで[画像で解説] 2018冬 - Qiita

直近で取得する機会がありましたので共有しておきます。いつの間にかお名前どっとこむなどを利用せずに、AWSだけでドメインが取得できそのままRoute53に登録、全世界に公開できるようになっていました。AWSで完結させるやり方は、ドメイン料が業界最安値ではなくむしろ少し値張りしますが、非常に手軽ですばやく取得できるのでコスパは十分あると思います。なにを今更記事ではありますが、しばらくAWSを触らなくなるかもしれないので備忘録も兼ねて2018年冬版として寄稿しますこの投稿はMake IT アドベントカレンダー2018年の12月1日分として投稿しています！明日12月2日は@fumihumi が寄稿を担当します！この記事で行うこと Route53で独自ドメインを取得 DNSに登録ブラウザから独自ドメインにアクセスし確認前提 AWSに登録済みでアカウントを持っている対象読者は初学者を意

showyou 2020/04/22

AWS

リンク

業務未経験のエンジニアが「AWSソリューションアーキテクト-アソシエイト」を取得する方法 - プロエンジニア

世界シェアNo.1を誇るアマゾン社が提供するクラウドサービス、AWS(Amazon Web Services)は、国内でも採用企業が増加しており、インフラエンジニアはもちろんのこと、システム設計者やサーバーサイドエンジニアもAWSについての広い知識が必要とされる傾向にあります。このような状況下、現在、AWSが実施する各種認定試験が注目されています。AWSサービス全般についての理解が深まり、実践で役立つということから、資格取得を目指す人が急増中！本記事では、認定資格の中級レベルである、「AWS認定ソリューションアーキテクト-アソシエイト」の取得方法について解説します。 1. AWS認定ソリューションアーキテクト-アソシエイトとは？ ◆ 人気も注目度も高いAWS認定資格 AWS(Amazon Web Services)では、AWSの知識を証明する認定資格を実施しており、2019年11月時点

showyou 2020/04/21

AWS

リンク

基本的なシステム構成図を理解するためのAWS基礎をまとめてみた - Qiita

はじめに最近、AWSのシステム構成図を見ることが多くなり、AWS上で動いているシステムのシステム構成図を理解できるようになるために個人的に知っておきたいと思ったAWSの用語・サービスをまとめてみました。私自身も勉強がてら作成したので、わかりづらい部分も多くあると思いますが、AWSのサービス全くわからん→なんとなく雰囲気把握した、となっていただけたらと思います。 2018年10月に新しくなったAWSアーキテクチャアイコンを使用しています。サーバ・クライアントなどの説明についてはここではしていませんが、以下の記事でとてもわかりやすくまとめてくださっています！超絶初心者のためのサーバとクライアントの話知っておきたい用語リージョン AWSがサービスを提供している拠点（国と地域）リージョン同士はそれぞれ地理的に離れている（例えば日本とオレゴンとか）日本はap-northeast-1（

showyou 2019/07/18

aws

リンク

AWSから120万円の高額請求が来た話

筆者は2018年の夏にAWSから高額請求を受けました。とある開発合宿の夜、LaravelでS3に画像をあげ、CroudFront経由で表示させるための実装を行っていた時の出来事です。 AWSのコンソール画面とにらめっこしていた時に、ふと左サイドバーの履歴の項目に、気になる項目が目に付きました。ん？請求？普段はこんな項目出て来ないため、気になったのでクリックしてみました。その瞬間、恐ろしい現実を目の当たりにしたのです。請求を押した時に開かれた画面が、以下の通りでした。【請求画面の画像】及び10000$！日本円にして、約124万円の請求が来ていました。何かの間違えだと思ったが、少し怖くなったのでひとまず、こういった事例がなぜ起こるのか、自分に当てはまる原因がないかを調べるため、「AWS 高額請求」などでググってみました。すると、いくつか記事が早速上位にヒットしました。 htt

showyou 2018/10/24

コメントを読むべし

aws

リンク

AWS認定9冠制覇したのでオススメの勉強法などをまとめてみる

まず11位の「クラウドプラクティショナー」ですが、2018年に新設されたAWSのエントリーレベルの認定です。AWSの基本的な概念や、AWSのベーシックなサービスの特長、請求・アカウントマネジメント・料金モデルなどに関する理解が問われます。エンジニアだけでなくマネージャーや営業など様々なポジションを対象とした認定であるため、問われる知識の範囲は意外に広いです。ただ、知っていれば解ける問題が多いため、この順位にしています。 10位の「Alexaスキルビルダー - 専門知識」は、文字通りAlexaのスキル開発に関する知識が問われます。専門知識と銘打たれていますが、内容自体はそこまで難しくなく、Alexaスキル開発に関して知っていれば解ける問題が多かった印象です。これまでにAlexaスキルを開発したことがあり、クラウドプラクティショナーレベル以上のAWS知識があれば、問題なく合格できると思います。

showyou 2018/10/24

aws

リンク

AWSコスト削減をする前に読むスライド

AWS Startup Tech Meetup #013 で発表した資料です。 AWS コスト削減をする前におさえておきたい考え方を整理しました。 https://awsstartuptechmeetuptokyo13.splashthat.com/

showyou 2018/10/10

aws

リンク

10年モノのインフラを3年がかりでカイゼンした - Qiita

CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと

showyou 2018/09/27

aws

リンク

Fargateをecs-cliで運用する環境を構築する - Qiita

はじめに AWS Fargateの東京リュージョンが始まったため、既存システムのEC2をホストとしたECSからFargateへ移行したので、AWS Fargateで環境を作るための手順を書きます。手順 VPC、サブネットなどのネットワーク周りの作成 ecs-cliの初期設定 ECSクラスターの作成 CloudFormation によるALBの作成 ecs-cli によるサービスのデプロイネットワーク周りの作成 VPCの作成まずはecs-cliで作成できないVPCやセキュリティグループの作成をします。詳しい説明は省きますが、AWS CloudFormation VPC テンプレートを参考にほぼそのままの内容となっています。 AWS TemplateFormatVersion: '2010-09-09' Description: Fargate sample vpc # https://

showyou 2018/09/05

aws

リンク

AWS ECSとFargateの組み合わせが素晴らしい件 - エムティーアイエンジニアリングブログ

若者言葉を無理に使って白い目で見られるDockerおじさんの西川です。 re:Inventで発表されたFargateはECSをいじる者としてはとても気になります。 aws.amazon.com ECSクラスタを構成するクラスタインスタンス（ECS用語ではコンテナインスタンス）の管理から全く開放されるのです！マジヤバくね？（こういうところですね）ということで、AWSサポートから情報を頂きつつ、手を動かして試してみました。前提知識：そもそもECSが何をするものなのか Dockerが何か、ECSが何かというところはこちらの記事を参考にしていただけると良いかと思います。コンテナを使う動機なぜDocker（コンテナ）が期待されるのか - Qiita Amazon EC2 Container Service(ECS)の概念整理 - Qiita Fargateは何をしてくれて、私は何をしなくて

showyou 2018/09/05

>ホストのディスクに何かを置いてVolume Mountするような使い方は出来ない

aws

リンク

ECSのバックエンドをEC2からFargateに変更するにあたり知っておくとよさそうな事 - コネヒト開発者ブログ

こんにちは。インフラエンジニアの永井(shnagai)です。これまでEC2バックエンドでECSを運用してきたが、Fargateを採用するにあたり、EC2バックエンド時と比べた差分についてまとめてみました。内容は、ざっくり下記5項目について。 NW(aws vpc) タスク定義サービス AutoScalling メトリクス/ログ Fargateをやってみたというのは出たての頃にやったので、今回は本番運用を考えるにあたり知っておいたほうがよさそうな点についてまとめてます。 tech.connehito.com NW(aws vpc) アーキテクチャ的に一番大きく変わるのは、NWの部分だと思う。 EC2上で、タスクを動かすときはデフォルトだと「bridge」が指定されるので、ホスト経由で外部と通信を行っていた。同一タスク(コンテナのリッスンポートが同じもの)を効率的にEC2上で動かすために、動

showyou 2018/09/05

aws

リンク

GPUインスタンスを自動で停止してコストを削減する - Qiita

機械学習、特にディープラーニングではGPUを搭載したマシンを使って学習を行うことが当たり前になっています。最近はクラウド上のGPUインスタンスが使われることが多くなっていますが、GPUインスタンスは高額なので、学習していないときに動かしっぱなしだとコストの無駄です。そのような場合、自動で停止させるとコストを削減できます。本記事ではAWSを対象に、アイドリング状態の高額なインスタンスを自動で停止する方法を紹介します。概要としては、インスタンスの起動を検知したら使用状態を監視するアラームを自動で設定し、アラームがあがったらインスタンスを自動で停止します。この動作は Lambda と CloudWatch を使うことでサーバレスで実現できます。全体像は以下のようになります。以下の手順を踏んで実現しましょう。 IAM ロールの作成 Lambda 関数の作成 CloudWatch Event の