GitHub Actionsを使ってEC2に自動デプロイ - Qiita
GitHub Actionsを使ってEC2への自動デプロイをやります。 本やり方ではセキュリティグループのIP制限問題にも対応しています。 画像を多めに使って初めて構築する方にもわかりやすくまとめています。 はじめに Github Actionsを使用してCI/CD（Continuous Integration/Continuous Deploy）環境のCD（自動で本番環境にリリースを行う）部分についてやり方をご紹介します。 元々やっていたやり方は直接EC2サーバ内にSSH接続で入ってgit pullを直接実行していました。サーバは1台なのでまだいいのですが、頻度が多くなってくるととても面倒です。 これが負荷分散によってサーバが増大したりすると1台ずつ対応は現実的に難しいですね。 それを解消するために自動デプロイの方法を実装しました。 実装することの概要 developブランチへのマージ・
GitHub アクションを使用したデプロイ - AWS Serverless Application Model
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 GitHub アクションを使用したデプロイ AWS SAM アプリケーションの構築とデプロイを自動化するようにGitHubパイプラインを設定するには、まずホストに AWS SAM コマンドラインインターフェイス (CLI) をインストールする必要があります。 GitHub ワークフローのGitHub アクションを使用して、この設定に役立てることができます。 次の GitHub ワークフロー例では、一連の GitHubアクションを使用して Ubuntu ホストを設定し、AWS SAMCLIコマンドを実行してAWS SAMアプリケーションを構築してデプロイします。 on: push: branches: - main jobs: deploy: runs-on: ubu
On-demand Container Loading in AWS Lambda | USENIX
Marc Brooker, Mike Danilov, Chris Greenwood, and Phil Piwonka, Amazon Web Services Awarded Best Paper! AWS Lambda is a serverless event-driven compute service, part of a category of cloud compute offerings sometimes called Function-as-a-service (FaaS). When we first released AWS Lambda, functions were limited to 250MB of code and dependencies, packaged as a simple compressed archive. In 2020, we r
AWSによるクラウド入門
真野 智之 (Tomoyuki Mano) <tomoyukimano@gmail.com> version 1.0, 2020-06-19
【初心者必見】AWSにおけるデータレイクとは｜伊藤忠テクノソリューションズ
【初心者必見】AWSにおけるデータレイクとは 投稿日: 2020/08/21 はじめに 最近データレイクという言葉を聞く機会が増えたかと思います。そもそもデータレイクとはなんなのか？データの湖？？本ページではそこから解説していき、AWSで実装するデータレイクの代表的な構成をお伝えしたいと思います。 「データレイク」とは データレイクは、規模にかかわらず、すべての構造化データと非構造化データを保存できる一元化されたリポジトリです。データをそのままの形で保存できるため、データを構造化しておく必要がありません。また、ダッシュボードや可視化、ビッグデータ処理、リアルタイム分析、機械学習など、さまざまなタイプの分析を実行し、的確な意思決定に役立てることができます。 AWS社のページには上記のように記載されています。要約すると「データを1箇所に保存しておき、使いたいときに使えるようにしておく場所」と理
機械学習のためのDockerと、AWS SageMakerを最低限使うための本を書いた - Qiita
機械学習のためのDocker/AWS 入門/SageMakerの統一的な本を書いたので紹介していきたいと思います。 Dockerとは？機械学習との関わりとは？ Dockerとは、「コンテナ仮想化を用いてアプリケーションを開発・配置・実行するためのオープンプラットフォーム」（Wikipediaより）です。 Dockerの基本的な説明は多数解説記事があるので割愛しますが、Dockerの大きな特徴として「使い捨てできる環境」が紹介されることがあります。機械学習での使い捨て環境といえば「Google Colaboratory」があり、「Colabで十分だからDockerいらないのでは」と思っている方も一定数いるでしょう。 Colabは非常に有用で、「とりあえずテスト感覚でコードを動かしてみる使い捨て環境」としては便利です。「使い捨てではない」本番を見据えた開発や、「ハイパーパラメーターやビッグデー
AWS シンプルアイコン - AWS アーキテクチャーセンター | AWS
アーキテクチャダイアグラムは、設計、デプロイ、トポロジーを伝達する手段として優れています。このページでは、AWS 製品アイコン、リソース、およびダイアグラムの作図に役立つその他のツールを含む AWS アーキテクチャアイコン (旧称シンプルアイコン) の公式セットをご覧いただけます。 AWS は、お客様やパートナーがアーキテクチャダイアグラムを作成するために以下のリソースを使用することを許可します。これらのアイコンは、ホワイトペーパー、プレゼンテーション、データシート、ポスター、または技術資料などのダイアグラムに取り入れやすいよう、シンプルなデザインになっています。 AWS リファレンスアーキテクチャダイアグラムを閲覧し、AWS アーキテクチャセンターの専門家によるガイダンスとベストプラクティスを利用しながらより効率的かつ効果的に AWS で設計する方法を学びます。
なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape
2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して
Developer Preview – EC2 Instances (F1) with Programmable Hardware | Amazon Web Services
AWS News Blog Developer Preview – EC2 Instances (F1) with Programmable Hardware Have you ever had to decide between a general purpose tool and one built for a very specific purpose? The general purpose tools can be used to solve many different problems, but may not be the best choice for any particular one. Purpose-built tools excel at one task, but you may need to do that particular task infreque
AWS から FPGA 搭載 IaaS
Amazon EC2 F1 Instances (Preview) https://aws.amazon.com/jp/ec2/instance-types/f1/ いやぁ、Azure が先行するかと思ってたのですが、Amazon の方が先に使える事になるんですかね。 という訳で、自分の中で想定してた諸々と想定して無かった諸々を書いてみたいと思います。 ネットワークトラフィックの前さばきには使えない https://aws.amazon.com/jp/blogs/aws/developer-preview-ec2-instances-f1-with-programmable-hardware/ The New F1 Instance の構成要素を見ると PICe x16 で CPU と接続されている以外は 288bit-wide な 64GiB DDR4 ECC メモリが接続されているとな
Amazon AWSがFPGA対応してしまった - SANMAN
かなり長い re:Invent 2016の発表はかなり衝撃的だった。 AmazonのクラウドコンピューティングサービスであるAWSがFPGAもつかえるようになってしまった。 MicrosofがAzureでサポートするのが先だと思っていたのでびっくり。 ということで、以下のページより最大構成のf1.16xlargeで今すぐサインアップしてみた。 aws.amazon.com 「FPGA開発経験があったり、興味がある方は今すぐサインアップ」って書いてあったので。 なんか勤め先情報とか聞かれるも、XilinxなどHW系のアカウントはホビー用途で作る時も聞かれるので気にせず送信してしまったがまあ大丈夫だろう。 ゴリゴリ使うというよりか、どういう感じの環境かを詳しく知りたいだけなので。そもそもAmazonから使用許可が降りるかもわからん。 インスタンス起動できなくてよいからちゃんとしたデータシートや
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
CloudFormationでAWS上にステージング環境を必要な時だけ一発で立ち上げる。
今月は、AWSの環境整備に時間を使っています。 シロクが現在運営しているサービスは6つほどで、それぞれにAWSアカウントがあり、それぞれ似たような構成をとっています。 その最小構成のコストが、だいたい月額10万円から15万円くらいです。サービスを増やしていくと、売上があるかどうかに関わらず発生する固定費の10万円の負担が大きくなっていくので、この最小構成を見なおしています。 ステージング環境にコストを割きたくない 最小構成には、開発したサービスの動作確認に使っている「ステージング環境」も含まれています。 ステージング環境はだいたい、ELBが2台、EC2が2台、RDSが1台というような構成になっています。 プロダクション環境のような冗長構成をとっていませんし、インスタンスも動作可能な範囲で最低ランクのものを使いますが、それでも1万円〜2万円程度の支出になります。 1万円〜2万円は、少ないよう
【新機能】AWS LambdaがPythonに対応しました #reinvent | DevelopersIO
2015/10/11 下記内容を修正しました boto3パッケージは含まれていた 外部ライブラリはzipの直下にある必要があった Handlerの設定手順漏れ はじめに 藤本です。駆け出しのPythonistaです。 Pythonistaのみなさま、ついに来ましたね。AWS Lambdaの対応言語にPythonが追加されました。ということで、早速、触ってみました。 まずはHello world まずは設定方法を確認してみます。 LambdaのDashboardからLambda Functionを作成します。 Pythonのblueprintを確認すると、早速7つ用意されています。 今回はhello-world-pythonを選択します。 Pythonで利用可能なバージョンは現在、2.7系のみです。 コードはcodeエディタにインラインで記載しても、ローカル、S3にあるZIPファイルをアップ
ブラウザ上で稼働するIPython実行環境『IPython Notebook』をAmazon EC2上でサーバ稼働させて使う | DevelopersIO
ブラウザ上で稼働するIPython実行環境『IPython Notebook』をAmazon EC2上でサーバ稼働させて使う 先日、『PyData.Tokyo Tutorial & Hackathon #1』という、Pythonでデータの前処理と機械学習についてハンズオンで学ぶ勉強会に参加して来ました。その中で、Pythonを実践する上でとても便利な環境の存在を知りましたのでその共有と、その環境をAWS上で構築・設定した際の作業記録を備忘録として残しておきたいと思います。 目次 IPython Notebookとは EC2インスタンスの準備 IPython実行環境のインストール IPython Notebook Serverの起動 まとめ IPython Notebookとは The IPython Notebook — IPython IPython Notebookとは何ぞや？という部
【AWS】Amazon Machine Learningチュートリアルやってみました - 歩いたら休め
AWS上で楽に機械学習できるAmazon Machine Learningというものが話題になっています。 Amazon Machine Learning は、どのスキルレベルの開発者でも、機械学習テクノロジーを簡単に使用できるようになるサービスです。Amazon Machine Learning では、複雑な機械学習（ML）アルゴリズムおよびテクノロジーを学習する必要なく、 ML モデルの作成プロセスを説明する仮想化ツールおよびウィザードを提供します。 www.gixo.jp 今回はそのチュートリアルを通してやってみたので、ちょっとしたメモ書きを残しています。 英語が苦手な私でも、画面キャプチャーと太字以外を読み飛ばして40分くらいで終わったので、気になっている方は一回やってみると良いです。 すぐに使えるようになると思います Tutorial: Using Amazon ML to Pr
GoogleスプレッドシートからAWSを操作する
最近、TerraformやCloudFormationみたいに、JSONや独自DSLなどでかっこよくAWSを管理するツールがいろいろ出てきてます。 こういうツールは便利そうだなとは思うんですが、なんかふと、ユーザがホントに求めているものはコレなんだろうか？と思いました。 なんだかんだ言って、一番多く使われているサーバ管理ツールは『Excelサーバ一覧』なのではｗ？ じゃあExcelで同じようなことが出来ればそれが一番いいのでは？と。 というわけで、Excelは手元になくてキツイので、今回はGoogleスプレッドシートでAWSのサーバ構成管理をやってみました。 使い方 事前準備 サンプルのスプレッドシートをコピーする 『ツール』 -> 『スクリプトエディタ』 -> config.gsを編集 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEYにAWSのアクセスキーを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Virtual Platform On AWS FPGA — NVDLA Documentation
「AWS EC2 F1について、みんなでワイワイ調べる会」に参加した - なひたふJTAG日記
https://www.zhihu.com/question/53179060?from=profile_question_card