GitHub - juhofriman/aws-profile-bash-prompt: Simple bash wrapper for using aws cli with defined profile
When having more than one AWS account, switching between different accounts can be painfull. This is super simple, yet pretty efficient, way of handling multiple AWS profiles. With properly configured AWS-CLI, you can execute commands to various AWS accounts using --profile switch. I personally consider this extremely dangerous approach, because it is really easy to run commands to a completely wr
GitHub - awslabs/amazon-emr-cli: A command-line interface for packaging, deploying, and running your EMR Serverless Spark jobs
So we're all working on data pipelines every day, but wouldn't be nice to just hit a button and have our code automatically deployed to staging or test accounts? I thought so, too, thats why I created the EMR CLI (emr) that can help you package and deploy your EMR jobs so you don't have to. The EMR CLI supports a wide variety of configuration options to adapt to your data pipeline, not the other w
AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する - sambaiz-net
Amazon EMRはEC2やEKS上にSparkやHive, Prestoのクラスタを構築するサービス。 SparkのマネージドサービスであるGlueと比べると、Glueはサーバーレスで手軽にSparkによるETL処理をを行えるのに対して、EMRはスポットインスタンスなどを利用したコストパフォーマンスの良さと詳細なチューニングを行うことができるという特長があるが、EMR Serverlessがリリースされたのでその差は少し縮まっているように感じる。Glueにはスキーマを指定する必要がないDynamicFrameや前の続きから実行できるBookmarkといった便利な機能もあるが、重い処理を立て続けに実行するとコストが嵩んだりDPUなどのクォータに引っかかることもあるので適宜使い分けていきたい。 AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う - sambai
ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表
ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表 オープンソースの検索エンジンElasticsearchは、ログ解析による運用監視やセキュリティインシデントの発見、データ分析などに使われている人気のソフトウェアです。 その開発元であるElasticは、Elasticsearchのクライアントライブラリに対して変更を加え、AWSが提供しているElasticsearch互換のサービス「Amazon Elasticsearch Service」に対して接続を拒否する機能を追加しました。 今後、Elasticsearchのクライアントライブラリを用いたアプリケーションはAWSのElasticsearch Serviceを使えなくなってしまいます。 そこでAWSはElasticsearchクライアントライブラリ
AWSをElasticが名指しで非難 ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ」（2021年1月21日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 オランダに本社を置くElasticは、オープンソースで開発してきたElasticとKibanaのライセンスをそれまでのApache License 2.0から、商用サービス化を制限する「Server Side Public License」（SSPL）と「Elastic License」のデュアルライセンスへ変更することを発表しました。 その目的は、AWSが勝手にElasticsearchとKibanaをマネージドサービスとして提供できないようにするためであると、同社CEO Sha
技術的なお問い合わせに関するガイドライン | AWS サポート
AWS サポートでは、お客様の課題の解決を効率的かつ迅速に行いたいと常に考えています。本ページでは、お客様が技術的なご質問をサポートケースに起票いただく際に、早期解決に役立つポイントをまとめました。例文も掲載していますのでぜひご参照ください。 なお、サポート全般についての一般的な情報は、AWS サポートをご参照ください。 サポートレベル毎の技術サポートへのアクセスについては、AWS サポートのプラン比較をご参照ください。 基本情報の入力について サービス／カテゴリー お問い合わせ内容に最も近い項目をご選択いただくことで、適切な回答が早期に得られる可能性が高まります。 お問い合わせ言語 日本語を選択します。英語での技術支援をご希望の場合には English を選択します。 連絡方法 多くの場合、Web を推奨します。連絡方法の詳細については、連絡方法（Web、電話、Chat）の選択についてを
Arm、プロセッサの設計や検証などにAWSを活用 作業効率が6倍向上
米Amazon Web Services（AWS）は12月10日、半導体設計大手の英Armがプロセッサの設計や検証などの作業にAWSのクラウドサービスを導入すると発表した。Armはプロセッサ設計や検証などの作業のうち、電子回路設計の自動化処理の大部分をAWSに移行した結果、作業効率が6倍も向上したとしている。 Armが利用しているインスタンスは、Amazon傘下のAnnapurna Labsが開発したGraviton2プロセッサを使用したもの。Graviton2は、Armが開発した「NEOVERSE N1」を基に、Armv8.2-A命令セットアーキテクチャに対応するプロセッサコア64基搭載し、DDR4-3200に対応するメモリコントローラーを4チャンネル備えている。 一般に、プロセッサの設計や検証などの作業には、その企業が自身で持つサーバ群を利用する。しかし、半導体製造技術がどんどん進化し
［速報］AWS、クラウド障害をわざと起こす「AWS Fault Injection Simulator」発表。カオスエンジニアリングをマネージドサービスで実現。AWS re:Invent 2020
Amazon Web Services（AWS）は、開催中のオンラインイベント「AWS re:Invent 2020」で、アプリケーションに対してクラウド障害のシミュレーションを行える新サービス「AWS Fault Injection Simulator」を発表しました。 クラウド上で稼働するアプリケーションの耐障害性などを高めるために実際にクラウド障害をわざと発生させて問題点をあぶりだす手法は、「Chaos Enginieering（カオスエンジニアリング）」と呼ばれています。 Netflixが2012年にカオスエンジニアリングのためのツール「Chaos Monkey」を公開したことで広く知られるようになりました。 参考：サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 今回発表された「AWS Faul
Azure、AWS を使って不幸になっている方々は今すぐ GCP を使うと幸せになれる - クラウドは GCP 一択 - 強まっていこう
シリアルコンソール接続が無いクラウドなんてゴミだと思っています。どうも皆さん、元気ですか、僕です。 AWS、Azure で何かしらトラブルが起こると完全に詰むんですよね、コンソール接続が無いばかりに。 起動に失敗したら、もうサポートセンター行きですもの。AWS、Azure どちらとは言いませんが、サポートと何時間もやり取りした結果、イメージをコピーして、VM を作り直してくれ、なんてこと言われるんですよ。 ゴミみたいに呪われた、どう頭をこじらせたらこんなもの作れるんだ？と開発者の脳みその出来を疑う人類史上最低の Shell、Power Shellを叩きまくることになるんですよ。あ、どっちかバレた。 GCP にはコンソール接続があります。iptables で変な設定を入れて SSH が切断されたとしても、どうにでもなります。 昔はさくらインターネッツにもコンソール接続がなくて「再起動してくだ
【禁忌解放】WordPressのコンテナイメージをLambda上で動かしてみた #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。 この記事はServerless Advent Calendar 2020の13日目 です。 先日ブログでご紹介したように、Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 というわけで、WordPressのコンテナイメージを作成してLambda実行環境上で動かしてみます。 注意事項 このブログはネタです。アンチパターンをバリバリ利用しています。このブログを参考にWordPressの本番環境をLambda上に構築するのは一切オススメしませんので、ネタとして割り切って読んで頂ければと思います。 Lambda上でWordPressを動かす際の課題 普通にApacheやNginxなどのWebサーバーを立ててWordpressを動かす場合と比べて、Lambda上でWordpressを動かすためにはいくつかクリアすべき課題があ
AWS Lambdaがコンテナイメージをサポート 関数として実行可能に
この記事は新野淳一氏のブログ「Publickey」に掲載された「［速報］AWS Lambdaがコンテナイメージをサポート、関数として実行可能に。AWS re:Invent 2020」（2020年12月2日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は12月1日（現地時間）、オンラインで開催中の年次イベント「AWS re:Invent 2020」で、AWS Lambdaのコンテナサポートを発表しました。 AWS Lambdaはサーバレスコンピューティングを実現するサービスです。ファイルの保存やHTTPの通信などのイベントに対応した関数を、あらかじめJavaScriptやJava、Phthon、Goなどのプログラミング言語で記述しておくと、イベントが発生した時にその関数が実行されるというもの。 今回発表されたAWS
AWSがHabana「Gaudi」搭載のEC2インスタンス提供へ
Amazon Web Services（AWS）は、AWSのクラウドサービスに用いられるHabana Labs製AI（人工知能）トレーニング用チップ「Gaudi」ベースのEC2インスタンスを提供する。これは、Intel傘下の新興企業であるHabanaにとって大きな勝利といえる。 Amazon Web Services（AWS）は、AWSのクラウドサービスに用いられるHabana Labs（以下、Habana）製AI（人工知能）トレーニング用チップ「Gaudi」ベースのEC2インスタンスを提供する。これは、Intel傘下の新興企業であるHabanaにとって大きな勝利といえる。AWSでCEOを務めるAndy Jassy氏は、同社主催のカンファレンス「re:Invent」（2020年12月1日［米国時間］）の基調講演で、AWSが独自のAIトレーニングチップ「Trainium」を開発したことも発表
AWS Lambda Powertoolsが便利すぎた #serverless #python | DevelopersIO
aws-lambda-powertools-pythonの実際の使い方をサンプルコードと一緒に紹介します。 こんにちは、クラスメソッドの岡です。 この記事は AWS LambdaとServerless Advent Calendar 2020 の7日目の記事です。 AWS Lambda Powertoolsとは？ Lambdaでの実装をサポートしてくれるライブラリです。 現在、ライブラリが提供されているのはPythonとJavaの2つになります。 ちなみに、DAZNからNode.js用の DAZN Lambda Powertools もでています。 動作確認環境 Python: 3.8.5 aws-lambda-powertools-python: 1.8.0 Serverless Framework: 2.15.0 主な機能 Logging LambdaのContextを埋め込んだログの
老兵のようなRDBMSからの解放を AWSが手がけるデータストアの再発明
オンラインで開催されているAWS最大のグローバルカンファレンス「AWS re:Invent 2020」。12月2日に行なわれたAWS CEOのアンディ・ジャシー氏の基調講演では、データストア分野にもフォーカス。ストレージとデータベースの新サービスは、コスト削減と高い性能を求める顧客の声に応えた正常進化と言えそうだ。 もはや古いデータストアでは対応できない 3時間におよぶアンディ・ジャシー氏の基調講演において、コンピュート分野に続いて解説されたのがデータストアの分野だ。ここではデータを利活用するストレージの技術革新に加え、データベースへの取り組みも披露された。 まずゲストとして登壇したのは、2006年のAmazon S3ラウンチ当時にいち早くデータを格納したSmugMugの創業者であるドン・マクスキル氏。S3にデータをホストしたことで、最新の分析やデータ管理ツールを利用でき、1日数十億枚とい
「AWS Lambda Extensions」発表。AWS Lambdaにモニタリング用エージェントなどが組み込めるように
「AWS Lambda Extensions」発表。AWS Lambdaにモニタリング用エージェントなどが組み込めるように Amazon Web Services（AWS）は、サーバレスコンピューティング基盤を提供する「AWS Lambda」の新機能「AWS Lambda Extensions」を発表しました。 New #AWSLaunches! Amazon Inspector has expanded operating system support for Red Hat Enterprise Linux (RHEL) 8, Ubuntu 20.04 LTS, Debian 10 & Windows Server 2019 AWS Lambda Extensions: a new way to integrate Lambda with operational tools (in p
AWS、独自開発したARMベースの「Graviton 2」プロセッサを、「Amazon ElastiCache」のデフォルトプロセッサに
AWS、独自開発したARMベースの「Graviton 2」プロセッサを、「Amazon ElastiCache」のデフォルトプロセッサに Amazon Web Services（AWS）は、同社がマネージドサービスとして提供するインメモリキャッシュサービスの「Amazon ElastiCache」において、プロセッサの選択肢のデフォルトが「Graviton 2」プロセッサになることを明らかにしました。 これは、AWSが10月8日付で公開した「Amazon ElastiCache が、M6g および R6g Graviton2 ベースのインスタンスをサポートするように」の発表の中で、「Graviton2 インスタンスは、ElastiCache のお客様のデフォルトの選択肢になりました。」とさりげなく発表されたもの。 この発表の中でAWSは、Graviton 2ベースのインスタンスを用いたAm
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mauropelucchi/aws-emr-docker-integration: AWS EMR Docker integration
Using Docker Images on EMR
AWSの基礎を学ぼう 特別編 最新サービスをみんなで触ってみる MWAA (2021/02/20 12:15〜)
AWS S3 Multipart Upload/Download using Boto3 (Python SDK)