MacにNode.jsの環境を構築するメモ。 その前に ※以下の方法もオススメです！ MacにNode.jsをインストール（anyenv + nodenv編） 上記の場合はプロジェクト毎（フォルダ毎）にNodeのバージョンを指定して実行ができます。 フォルダを変えるごとに、いちいちバージョンを切り替える作業がいらないので、複数のプロジェクトを持っている方にはおすすめです。 nodebrew使いたいって人は無視して以下を進めてください。 インストールの流れ Homebrewのインストール nodebrewのインストール Node.jsのインストール ・Homebrew HomebrewはMac用のパッケージマネージャ。 ツールのインストールとか諸々を管理してくれます。 http://brew.sh/index_ja.html nodebrewをインストールするためにHomebrewを使います

I'm using iterm2 v 3.0.15 on Mac Sierra. I'm having trouble cutting and pasting from other places (e.g. text on a web page) into my terminal. For instance, I highlight some text from a web page, press Command + C, go to the terminal, and then press Command + V, I get localhost:myproject nataliab$ 00~on the next01~ Notice the "00~" and "01~" in front of and behind my text. I do not see these charac

Amazon Web Services ブログ AWS Lake Formation と Amazon RDS for SQL Server の統合  ビジネスを成長および発展させるには、無数のソース (リレーショナルデータベース、NoSQL データベース、クリックストリーム、IoT イベントなど) からデータを収集し、分析を用いてそのデータを組み合わせて洞察を抽出する必要があります。AWS Lake Formation により、さまざまなソースからのデータを Amazon S3 に基づくデータレイクに取り込むことがでるようになります。さらに、Lake Formation を使用すれば、単一の場所からこのデータへのアクセスが制御できます。 この投稿では、Lake Formation ブループリントを使用して Amazon RDS から Amazon S3 のデータレイクにデータを取り込む

Amazon Web Services ブログ AWSのコストを削減する９の方法 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン シニアエバンジェリストの亀田です。 昨今、世の中の状況の変化に伴い、ITリソース使用量の増減の振れ幅が大きく、また予測が難しい、通常とは異なるビジネスの状況に多くのお客様が直面しています。また、その状況に対応するためリソースの流動性を確保するためにシステムをクラウドへ移行するケースが増えています。既存システムのクラウド移行にはいくつかのアプローチがありますが、稼働中のシステムを移行させる場合、移行作業の影響を最小限にするため、Lift & Shiftという手法がとられます。システムアーキテクチャやアプリケーションへの変更を極小化したなるべく同じ状態でクラウドへシステムを移行し、稼働後必要に応じて適宜アーキテクチャ、アプリケーションなどを最適化していく

Javaのクラス名の表現方法で 「全部同じじゃないですか」 「ちがいますよーーっ」 「これだからしろうとはダメだ！もっとよく見ろ！」 をやっている🤔— なぎせ ゆうき (@nagise) April 14, 2020 Java言語を扱っていると何通りかのクラス名の表記法を見ることがある nagise.sample.Hoge.Piyo nagise.sample.Hoge$Piyo nagise/sample/Hoge$Piyo [Lnagise.sample.Hoge.Piyo これらの違いは何なのか。 Javaのクラス名関連の専門用語を調べ直してみた。 用語 日本語 概要 Identifier 識別子 識別に用いるもの全般を指した抽象度の高い表現 Class Name クラス名 一般に言うクラス名。比較的曖昧な表現。文脈によってはInterfaceも含む。ネストしたクラス、内部クラスの

成功者がどのようにNew Relicを使用してKubernetesのパフォーマンスを4倍に向上させ、拡張性とスループットを改善したかをご覧ください。

前提条件 X-Ray初心者向け。なんとなくは知ってるけど、具体的に何がどこまでできて、どうやって実装するかを色々試してみながら確認した記事。 環境としては、Spring Boot＋MavenでWebアプリを実装している。依存関係の解決方法以外はGradleも同じはず。 X-RayのDockerコンテナイメージを作る。 まずは、適当なEC2とかでコンテナイメージを作る。 今回は、AWSのサンプルをベースに作ってみよう。

NRIネットコム社員が業務で利用している幅広い技術やナレッジについて紐解くブログメディアです。

他のAWSアカウントに接続するときはいつも接続される側のIAMをもらってInternet経由でアクセスしていたのだけど、VPC Endpointを使ってAWS内部経由でアクセスできるんかいな？と思いやってみた。 結論から言うとできた。 VPC Endpointとは VPC エンドポイントに記載がありますが、「インターネット、NAT デバイス、VPN 接続、または AWS Direct Connect を経由せずに、VPC と他の AWS サービスとをプライベートに接続できるサービス」です。 VPC Endpointで他のAWSアカウントに接続する 今回はs3でやってみました。awsアカウント作るのはタダだしs3の費用とec2一台を1時間動かすのはお小遣いから出費しても痛くないレベル。 検証 準備 AWSアカウント2つ(今回はA,Bと呼ぶ) A側のAWSアカウントにVPC Endpoint(

Amazon Web Services ブログ 自宅で学ぼう！AWS 初学者向けの勉強方法 6ステップ！ 2024 年 4 月追記：本記事の内容は 2024 年 4 月に公開された  AWS 初学者向けの勉強方法 6 ステップ！2024 年版！ という記事にてアップデートされています。リンクの最新化と勉強方法の追記を行っておりますので、アップデートされた記事をご確認ください。 こんにちは、AWS トレーニングの講師を担当しているテクニカルトレーナーの西村航です。 皆さん、もしくは皆さんの周りでこんな方はいませんか。「在宅勤務中に AWS を勉強するように先輩から言われているけど、どこかに勉強方法がまとまってないかな？」という悩みを抱えている方、または「同僚や部下に AWS の自宅での勉強を促しているけど、ちょうど良い無料の教材とか無いかな？」という悩みを抱えている方。 本記事は、そういった

いつも忘れないように、コンセプトから。 コンセプト ・お金かけてまでやりたくないのでほぼ無料でAWSを勉強する →ちょっとしたサービスを起動すると結構高額になりやすい。 ・高いレベルのセキュリティ確保を目指す →アカウントを不正に使われるととんでもない額を請求されるので防ぐ いろいろ忙しかったので久しぶりにお勉強をはじめました。コロナでリモートワークなので通勤時間分は空いているはずなんですが、その分勉強するかというとやってないですね。。。朝起きてちょっとして仕事をはじめ、終えて寝る。時間はちょっとずつありますが、ダラダラ過ごしてしまい、良くないなと思う今日この頃です。 AWSブログ(セキュリティ) さて、先週末にちょっと興味深いAWSブログが公開されてました。DoDというのはアメリカ国防総省ですが、そこでセキュリティのレベル認定を行っていて、そのレベル４をパスしたサービスが追加されたという

AWSで機械学習を行うときに、役に立つサービスを紹介します！ なお当記事の読者として、以下の知識がある方を想定しています。 ・ EC2、S3及びRDSといったAWSの基本的な機能 ・ 機械学習のおおまかな流れについて ・ Jupyter notebookとは？ この記事では、特に使用頻度の多い「SageMaker」「Athena」「Glue」の三つのサービスについて、それぞれの特徴と使用場面をざっくり理解していただけたらと思います！ AWSで機械学習を行うメリット ライブラリを標準装備しているため、環境設定を行う必要がない 学習に時間がかかる場合でも、インスタンスの性能を引き上げることで高速化が可能 既にAWSを使っていて、S3などのストレージに学習データがある場合、処理がスムーズ データベースや学習の実装、デプロイまでを一貫してAWS上で行うことができる ローカルマシンではなく、AWS上

はじめに AWS認定 機械学習 - 専門知識にスコア849点で合格しました。勉強期間は約1ヶ月でした。 私が実践した勉強方法を共有しますので、これから受験する方の参考になれば幸いです。 私とAWSと機械学習 AWS歴は約4年です。 機械学習を業務で扱ったことはありません。機械学習系のAWSサービスで言うとAmazon PersonalizeとAmazon Forecastのハンズオンセミナーに参加したことがあるくらいです。 元々の機械学習に関する知識もほぼ皆無でした。絞り出すとしたら、以下くらいです。 教師あり学習と教師なし学習というものがあるらしい 最近は強化学習というものも注目されているらしい がっつり学習しようとすると高性能なマシンが必要になるらしい こんな感じの人が以下の勉強方法で約1ヶ月勉強したら合格できたと思ってください。 私が実践した勉強方法を共有します。基本的に上から順番に

動機 部屋に長くこもっているとだんだん眠くなって集中力が落ちてくるのは酸素が薄くなっている(≒二酸化炭素濃度が上がっている)からなのでは？と思い調べたらやはりそういう研究結果があるらしい。 参考: https://www.excite.co.jp/news/article/Rocketnews24_259718/ 室内では1000ppmを超えない方が良いらしいけど自宅の家電で測れないので換気のタイミングがわからない。 => Raspberry PiにCO2センサーくっつけてデータをクラウドに送ったら色々出来るだろうし、AWS IoTとAWS IoT Greengrassのハンズオンがてらやってみよう。 目標 以下のような構成で、Raspberry Pi上のCO2センサーデータ取得し、Kibanaでデータを可視化します。 さらにCO2濃度が閾値を超えたらSlackに通知するようにします。 A

Amazon Web Services ブログ ソートキーを使用して、Amazon DynamoDB でデータを編成する  Amazon DynamoDB テーブルにデータを入力することは難しくありません。さらにデータの整理に頭を悩ませることなく、データ検索オプションを後で制限することができます。 データ検索のためのデータの編成とプランニングは、テーブルを設計する際に大切な手順のうちの一つです。適切なデータ編成がない場合、データを取得するための唯一のオプションは、パーティションキーによる検索かテーブルのフルスキャンしかありません。これらの検索方法では、テーブルは高価となり、パフォーマンスは限られたものになります。 この記事では、ソートキーを使用した、データを取得するための最適化テーブルの実際の例について検討します。ソートキーを使用すると、データをグループ化し編成するだけでなく、テーブル内

概要 ここ数年、AWSのNoSQLの1つのサービスであるDynamoDBを利用する上で設計の知見が溜まったので書いていこうと思います。NoSQLは最初の設計をミスると後から回収するのが大変です。なので慎重に設計する必要があると感じました。 それと、DynamoDBはkey-valueのNoSQLなので検索やインデックスの貼り方がとても難しいとも感じました。SQLしか設計したことがなかったので初めは苦戦しました。 でも、なぜそこまでしてDynamoDB(NoSQL)を使いたいのかは、「DynamoDBを使いこなして精神的安定を手に入れた」こちらの記事を読んでいただければと思います。また、基本的な用語などがわからないときも読んでみてください。 では、検索にどのような癖があるのかを説明し、どの様に設計すれば回避できるのかを説明します。設計に良い影響を与えられると思うので、ぜひ読んでみてください。

FiNC Technologies（以下FiNC）で SREグループのマネージャーをしている@ryok6tです。 今回は Infrastructure as Code（IaC）のお話です。 今や IaC、すなわちインフラの構成管理はコードで、というのが当たり前になっています。 しかし、以前のFiNC では全くインフラがコード管理されておらず、約50のマイクロサービスが持つ数千のAWSリソースが全て手動で作成された状態でした。 これにより生じた多くの問題に対処するため、Terraformを導入し、現在ではマイクロサービスごとに独立したstateを持った状態でコード管理されています。 この記事では、 既にある大量のインフラを、後から Terraform 管理下に入れた方法マイクロサービス x Terraform の運用Terraform の CI の運用などについて書いていきます。 *今回は「

Amazon Web Services ブログ 新サービス – CloudWatch Synthetics を使用してサイト、API エンドポイント、ウェブワークフローなどをモニタリングする 今日のアプリケーションには、コンテナ、マイクロサービス、レガシー内部サービス、サードパーティサービスなど、数百または数千の可動パーツが含まれます。各パーツの正常性とパフォーマンスをモニタリングすることに加えて、許容できるカスタマーエクスペリエンスを提供するために、パーツが確実に噛み合うようにする必要があります。 (AWS re:Invent 2019 で発表した) CloudWatch Synthetics を使うと、サイト、API エンドポイント、ウェブワークフローなどをモニタリングできます。パフォーマンスと可用性の可視性が向上したアウトサイドインビューが表示されるため、これまでになく迅速に問題を認

Amazon Web Services ブログ AWSのコストを削減する９の方法 第二回 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン シニアエバンジェリストの亀田です。 前回こちらのブログ記事でAWSのコストを削減する方法をお届けしました。今回は第2回としてその4からその6までをお届けします。 #1　未使用状態のAmazon EC2やAmazon RDS インスタンスへの支払いを止める #2　未使用状態の Amazon Redshift クラスターへの支払いを止める #3　Amazon S3 Intelligent-Tieringを有効にする #4　Amazon DynamoDB にはオンデマンドのキャパシティーモードを利用する #5　十分に活用されていないEC2 インスタンスへの支払いを止める #6　十分に活用されていないネットワークリソースを削除する #7　EC2 スポ

CX事業本部@大阪の岩田です。 CloudFormationのAWS:Includeを使うと、CloudFormationのテンプレート内に別テンプレートの中身を読み込むことができます。私も以下の記事を参考にSwaggerの定義を分離するのに愛用しています。 CloudFromationのAWS::Includeを利用してAWS SAMからインラインSwaggerを分離して管理する このAWS:Include、恥ずかしながらリソースのプロパティを定義する際にしか利用できないと思いこんでいたのですが、実はもっと色々な場所で利用できることに気付きました。ご存知の人も多いかもしれませんが、改めてご紹介します。 AWS:Includeとは？？ S3上に置かれたファイルの中身をCloudFormationのテンプレート内に読み込むためのマクロです。公式ドキュメントに記載されているように、プログラミン

こんにちは(U・ω・U) AWS事業部の深澤です。 皆さん、サービスディスカバリはご存知でしょうか。こちらはサーバ側で提供しているサービスを利用する時、そのサーバのドメインなりIPアドレスなりを知り参照をする必要があるのですがこの辺りの参照と解決をどう実現するかがサービスディスカバリです。最近ではマイクロサービスを構築するにあたり特にこの辺りが課題になってきています。特に内部の通信ですね。少し前だとインターナルのロードバランサを配置されたりして実現されていたかと思いますが、最近ではAWS Cloud Map（以降、Cloud Map）と呼ばれるよりクラウドネイティブなサービスディスカバリを実現するサービスがあります。 マイクロサービスを構築するにあたり必要なコンテナやlambda、DynamoDB、Kinesisといったサービスをお互いに連携する仕組みを提供してくれるサービスです。本ブログ

はじめに このリソースってどのCloudFormation(CFn)スタックから作られたやつだっけ・・・ AWS環境が大規模になってくるとこんなケースが出てくるかもしれません。 CFnから作られたリソースには aws:cloudformation:stack-name タグが付くので そこから分かります。 が、タグ情報は書き換えられる可能性はゼロではないですし、 複数のスタック間の複数のリソースを俯瞰したいケースもあるかと思います。 そこで表題の CFnの全スタック・全リソースの情報を表示するPythonスクリプト を作ってみました。 スクリプト 以下パッケージを使います boto3 pandas( >= 1.0.0) ./print_all_cfn_resources.py import sys import boto3 import pandas as pd def print_all

はじめに CloudFormationスタック作成及び更新でエラーが発生する度に管理コンソールを開いていましたが、 CloudFormationのメニューを開く スタック一覧から該当のスタックを選択する イベントからエラー詳細を確認する と中々深いところまで開く必要があります。 管理コンソールを開いたまま定期的に更新する手もありますが、エラー部分だけを見るためのスクロールもまた手が忙しいものです。 だんだんと面倒になってきたので、気になった時に実行して確認するためのエラー詳細出力スクリプトをこしらえてみました。 ダウンロード GitHub Gistに公開しています。 curl https://gist.githubusercontent.com/haoyayoi/548c4bd492c4b1e25eabf681a4bb205a/raw/check_stack_error.sh > chec

困っていた内容 不要になった CloudWatch メトリクスがマネジメントコンソール上に残り続けています。 どのような状態になれば、対象のメトリクスが削除されますか？ どう対応すればいいの？ メトリクスの手動削除は現状（2020/04/06時点）ではサポートされていませんが、 対象メトリクスの新しいデータが発行されない場合、15 か月後に自動的に有効期限切れになり削除されます。 参考情報 Amazon CloudWatch よくある質問 Q: メトリクスは削除できますか? CloudWatch ではメトリクスの削除はサポートされません。メトリクスは上記の保存期間スケジュールに基づいて、有効期間が切れます。 Amazon CloudWatch の概念 メトリクスは削除できませんが、それらに対して新しいデータが発行されない場合、15 か月後に自動的に有効期限切れになります。

CloudFormationとAWS CLIでFargateのBlue/Green Deployment環境を構築する #Fargate 同じVPC内に複数のFargateを複数構築するときに使えるCloudformationテンプレートをBlueGreen Deploymentできるように変更しました。 こんにちは、コカコーラ大好きカジです。 以前、VPC構築済みの環境や、同じVPC内に複数のFargateを複数構築するときに使えるCloudFormationテンプレートを作成し公開しました。 上記のCloudFormationテンプレートで構築した環境をBlue/Green Deploymentへ変更しようとした際に、現在マネージメントコンソールから変更できず、解決した方法を記載しておきます。2020年3月時点、上記ブログのCloudFormationから作成したECSのサービス更新か

ECSタスク定義をコンソールから作って後悔した後、コード管理するため最速でJSON登録可能にする超愚直な方法 ECSのタスク定義、マネジメントコンソールから登録するの最初はわかりやすいんです。ただ、項目が増えてくるとJSONで管理したくなります。そんなあなたの気持ちに寄り添う記事です。 いつもこってりしたリード文を書く自分ですが、今日はもう、全部タイトルに書いた。 小ネタなのにタイトル長くない？! ( ﾟдﾟ)　ｶﾞﾀｯ /　　 ヾ ＿_L| /￣￣￣/＿ ＼/　　　/ せやな。 ECSのタスク定義登録は項目が多くて大変 ECSのタスク定義は、長年のECSの機能拡張に伴い設定可能な項目が非常に多くなっています。そんな複雑なタスク定義ですが、登録方法は大きく分けて3つあります。 マネジメントコンソールから登録 タスク定義のJSONを作成し、AWS CLIからregister-task-def

Kinesis Data AnalyticsではApache Flinkを使ったストリームデータに対するリアルタイム処理が可能です。 Kinesis Data Analyticsでは以下のブログで紹介されているようなSQLアプリケーションを使ったリアルタイム分析が可能です。 リアルタイム分析がやりたい！はじめてのKinesis Data Analytics | Developers.IO それだけではなく、Kinesis Data AnalyticsではApache FlinkベースのJavaアプリケーションでのリアルタイム分析も可能です。 新発表 – Amazon Kinesis Data Analytics for Java | Amazon Web Services ブログ という訳で、今回はKinesis Data AnalyticsのJavaアプリケーションの開発の流れを知ること

AWS CLIからCloudFormation でユーザとロールを作成して、流れるようにスイッチロールの確認をしてみた 最近は、ABACばっかりやってるAWS 事業本部 梶原＠福岡オフィスです。 ABAC(属性ベースのアクセスコントロール ）を実施する際、ポリシーは同一にして、スケールすることができるのですが、ユーザやロールの確認作業は必要になってきます。 とはいえ、様々な属性値のユーザの確認作業を手作業でやるのは結構大変です。 ということで検証作業を楽にするため、ユーザー作成、ロール作成部分をTemplate化しました。必要に応じて修正（タグ値を追加など）して、ご自由にお使いください また流れで、ロールの検証を行いたいため、スイッチロールを楽にするために認証情報を取得しやすくしています。 credentialsの設定や、configの設定って微妙にはまりがちなのでなるべく簡単に定型作業で

前回のブログでAWS Lake Formationを少し触ってみましたが、イマイチ概念がつかめなかったのでこちらのチュートリアルもやってみようと思います。 チュートリアルは2つ用意されているのですが、今回は Tutorial: Creating a Data Lake from an AWS CloudTrail Source をやっていきます。 ※個人的にわかりやすい手順にまとめているので、実際のステップと異なる部分がありますが、ご了承ください。 Lakeformationとは？ 個人的に押さえておきたいポイントは次の3つです。 IAMを拡張した独自のアクセスコントロールモデルによるきめ細かなアクセス制御が可能 AWS Glueの拡張機能（データカタログ、ジョブ、クローラー、ワークフローなどの実態はGlueのそれ） AWS Lake Formation自体は無料だが、配下のサービス利用費

DA事業本部のsutoです。 特定のタグがついたリソースに対して定期バックアップの設定がしたかったので、Cloudformationテンプレートをささっと作ってみました。 要件 AWS Backupのボールト、プラン、ルール、リソース割り当てを新規作成 日本時間のAM4時に日次バックアップを取得 復旧ポイントが作成されてから削除されるまでの日数は14日とする テンプレート 要件を踏まえたCloudformationテンプレートは以下となります。 AWSTemplateFormatVersion: '2010-09-09' Description: AWS Backup Setting Parameters: MyBackupName: Description: Backup plan name Type: String Default: '' Cron: Description: Time

前回の CloudWatchイベントバージョンです。Chaliceを使ってCloudWatch EventsをトリガーにLambdaを起動してみたいと思います。 環境 macOS Catalina 10.15.4 Python 3.7.7 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.4 BuildVersion: 19E287 $ python3 -VV Python 3.7.7 (default, Mar 10 2020, 15:43:33) [Clang 11.0.0 (clang-1100.0.33.17)] やってみる 仮想環境の作成 今回は Python で標準機能の venvを利用します。 $ mkdir chalice-example && cd chalice-example $ python3 -m venv

AWS CloudFormation(CFn)は AWSリソースを JSON, YAML形式で表現するためのサービスです。 AWSリソースをコード(テンプレート) で表現することで構成管理を容易にしたり、 再利用性の向上などに役立ちます。 CFnの機能として、テンプレート内にいくつかの 組み込み関数 を記述することができます。 文字列内に変数の値を代入する Fn::Sub や、 他のCFnテンプレートで作られたリソース(スタック)を参照するための Fn::ImportValue などがよく使われます。 今回は組み込み関数 Fn::FindInMap を使って AWSアカウント毎に異なるパラメータを指定する CFnテンプレートを作成してみます。 目次 組み込み関数 Fn::FindInMap 擬似パラメータ AWS::AccountId AWSアカウント毎に異なるパラメータを指定したい 例: