Googleの「Cloud Run」が正式サービスに。KnativeベースでDockerコンテナをサーバレスとして実行
Cloud RunはHTTPでアクセス可能なステートレスなサービスを提供するコンテナを、サーバレス環境で実行可能なサービスです。 すなわち、負荷がない場合にはサービスはまったく起動されず、負荷に応じて自動的にスケール。Dockerコンテナであれば、どんな言語で作られたサービスであっても関係なく利用できます。 課金もおよそ100ミリ秒ごとに、起動しているサービス数などによって計算されます。 また、Cloud RunはKubernetes上でサーバレスコンピューティング環境を実現するフレームワークとしてGoogleがオープンソースとして開発しているKnativeをベースにしています。 Anthos Cloud Runによりマルチプラットフォーム上でサーバレス Googleは、Kubernetesをクラウド基盤の抽象化レイヤとして用いることで、コンテナ化したアプリケーションをオンプレミスとクラウ
CodePipeline で ECS にデプロイできるようになり、Docker 環境の継続的デリバリも簡単になりました | DevelopersIO
ども、藤本です。 現地時間 2017/12/12、CodePipeline のデプロイにて、ECS を選択できるようになり、ECS Service にデプロイできるようになりました。 AWS CodePipeline Adds Support for Amazon ECS and AWS Fargate 早速、試してみました。 概要 AWS CodePipeline は AWS や AWS 以外の SaaS を繋ぎ合わせて継続的デリバリを実現、モニタリングするサービスです。今まで CodePipeline が連携可能なデプロイサービスには CodeDeploy、Beanstalk、CloudFormation、OpsWorks の 4つがありました。ここに ECS が加わりました。ECS へのデプロイには、今までの EC2 上のコンテナにも可能ですし、先日の re:Invent 2017
無料で脆弱性検査！Dockerfileに4行追加で導入できるmicroscannerを試してみた
microscannerは、CVEベースでDockerイメージの脆弱性検査をするツールです。簡単に導入できかつ有用なので、導入方法と利用上の注意事項などをまとめました。 先日レポートした「Docker漬けの一日を共に〜Docker Meetup Tokyo #23」は、情報量がてんこ盛りで、学び多くて楽しくてワッセロイだったんですが、その中で、とく(@CS_Toku)さんがLT発表されていた「KubeCon報告とmicroscanner試してみた」のmicroscannerが、面白そうだったので早速触ってみました。 Dockerfileに4行追加するだけで、CVEベースの脆弱性検査が無料で利用でき、既存のイメージビルドに組むこむのもお手軽そうなので、これからコンテナ導入しようと思っている人も、既に本番でガンガンコンテナ使っている人も、一度導入を検討してみてはいかがでしょうか。 __ （祭）
DockerCon参加報告 (`docker build`が30倍以上速くなる話など)
1. Copyright©2018 NTT Corp. All Rights Reserved. NTT ソフトウェアイノベーションセンタ 須田 瑛大 DockerCon参加報告 (`docker build`が30倍以上速くなる話など) Docker Meetup Tokyo #24 (2018/07/19) https://slideshare.net/AkihiroSuda 2. 2 Copyright©2018 NTT Corp. All Rights Reserved. • コンテナ関連OSSのメンテナ(いわゆるコミッタ)を務めている • Docker Moby メンテナ (2016年11月～) • 2017年4月，OSSプロジェクトとしてのDockerはMobyに名前が変わった • 商用製品としてのDockerはMobyをベースとして開発されている • Moby BuildKi
RailsアプリをECSにのせてecs-cliでデプロイとかをする - sometimes I laugh
RailsのECS移行事例なんて既に山ほどあるので、特に書くつもりは無かったのですが、実際にやってみると 時代が進んで、より便利なものが出てきている デプロイどうするのよ、となったときに各自が最強のECSデプロイツールを作っていて、参考にならない といった体験をしたので、最近やったECS移行の話を書くことにしました。 社内Qiitaに書いたポエムです pic.twitter.com/yDlWGhhkF1— wata (@wata727_) 2017年8月31日 もちろん、この記事も古くなると何の役にも立たないと思うので、古くなったら、みなさん頑張って調べてください。 ECS移行で考えるべきこと まず前提として、移行対象はシンプルなRailsアプリで、WebサーバとWorkerからなります。デプロイはCapistranoなどのいわゆる「Push型」で行っていたものとします。Railsに限定し
Rails on GKEで運用するWebアプリケーションの紹介
1. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. Jun 9, 2018 Spring_MT DeNA Co., Ltd. Rails on GKEで運用するWebアプリケーションの紹介 2. Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved. 自己紹介 • 自己紹介 2 2008年 DeNA入社 2010年 エンジニアになる 2011年 DeNA退社 -> 福岡へ 2013年 DeNAに出戻り 2016年 ゲーム事業本部 2017年 コマース&インキュベーション事業本部 GitHub https://github.com/SpringMT T
［速報］Docker EEでAWS、Azure、GCEのKubernetesを一元管理。クラウド間でアプリケーションの移動や複製、ロードバランスなど実現。DockerCon 2018
［速報］Docker EEでAWS、Azure、GCEのKubernetesを一元管理。クラウド間でアプリケーションの移動や複製、ロードバランスなど実現。DockerCon 2018 サンフランシスコでDockerのイベント「DockerCon 2018」が開幕しました。 初日の基調講演の最後に発表されたのは、Docker Enterprise Edtion（以下Docker EE）の新機能として、AWSやAzure、Googleが提供するKubernetesのマネージドサービスやオンプレミスのKubernetesなどをDocker EEが一元管理し、クラウド間のコンテナの移動などを実現する、というものでした。 Docker EEによるオンプレミスや任意のクラウド上のKubernetesに加え、Amazon Elastic Container Service for Kubernetes（
Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。 ※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基
Distributed TensorFlow を Google Cloud Platform で動かしてみる - Qiita
さて前々回、前回とDistributed Tensorflowの仕組みを学んできましたが、いよいよGoogle Cloud Platform(GCP)上で動かしてみます。無料枠の\$300を突っ込んでvCPUインスタンスをたくさん作れば貧乏人にも高火力の鱗片が見れるのでは？という期待がモチベーションでした。 最初にネタばらししてしまうと、GCPの無料アカウントでは1regionにつきvCPU8個までに制限されていることがわかりましたので、それほどの高火力にはなりませんでした。今回はインターフェイスとマスタサーバに１個ずつvCPUを当てたので、vCPU6個での並列化となります。それでも、もちろんちゃんと速くなりました。 Dockerイメージの作成 GCPのContainer Engine で動かしたいので、まずDockerイメージを作ります。 先日ビルドしたTensorflowサーバのみを入
TensorFlowを使った為替(FX)のトレードシステムを作るチュートリアル ～システムのセットアップからトレードまで～ - Qiita
機械学習ライブラリ「TensorFlow」と、オープンソースのシステムトレードフレームワーク「Jiji」を組み合わせて、機械学習を使った為替(FX)のトレードシステムを作るチュートリアルです。 システムのセットアップからはじめて、機械学習モデルの作成、トレーニング、それを使って実際にトレードを行うところまで、具体例を交えて解説します。 システム構成 次のようなシステムを作ります。 Jijiのバックテスト機能を使ってトレードデータを収集。これをTensorFlowに入力してモデルをトレーニングします。 予測する内容については後述。 訓練したモデルを使って予測結果を返すREST APIを作り、トレード時にJijiから呼び出して使います。 レート情報の取得やトレードには、OANDA REST API を利用 トレード状況の確認やアルゴリズムの管理は、ブラウザ or スマホアプリで 外出先でも状況
docker container / image コマンド新旧比較 - Qiita
概要 2017年1月18日にリリースされた Docker v1.13 以降（今日現在の v17.03.0-ce ）は、 docker コマンドラインの命令体系が再編成されました。本記事では変更に至った背景と、新旧コマンド体系の比較情報を整理します。 新しいサブコマンド体系の導入と背景 新しいコマンド体系の導入に至ったのは、docker のトップレベル・コマンド群が 40 を越える状況（当時）となったためです。コマンドには頻繁に使うものもあれば、使わないものもあり、再編成されることになりました。 v1.13から論理オブジェクト単位にコマンドが再編成されました。これは、「何」（コンテナやイメージ、ネットワーク）を、「どうするか」（作成、一覧、起動、停止）で扱います。そのため、従来よりもコマンドの利用目的が分かりやすくなります。たとえば、コンテナを管理する docker container サブ
Google、「App Engine flexible environment」正式版に。自由にコンテナを持ち込んで運用を任せる。Node/Ruby/Javaなど、ASP.NET Coreも
Google、「App Engine flexible environment」正式版に。自由にコンテナを持ち込んで運用を任せる。Node/Ruby/Javaなど、ASP.NET Coreも GoogleはGoogle App Engineで提供している「App Engine flexible environment」が正式版になったことを発表しました。 App Engine flexible environmentは、もともと「Managed VM」と呼ばれていたもので、App Engineの環境の下で仮想マシンを走らせることにより、開発者はアプリケーションの仮想マシンイメージを持ち込むと、あとは負荷に応じたスケールやフェイルオーバーといった運用の面倒をApp Engineが見てくれるというものです。 Managed VMは2014年にDocker対応となり、Dockerコンテナのイメー
Jupyter の Docker イメージを使ってみる - Qiita
【更新】Jupyter 5 系のアップデート版の記事が別にあります。 JupyterのDockerイメージまとめ - Qiita IPythonはバージョン4.0から Project Jupyter に統合されるようになりました。JupyterはPythonだけでなく、R, Julia, Scalaからも使えるようになり、データ分析の核となるツールと言えます。40を超えるプログラミング言語から使えるだけでなく、Jupyter Notebook Viewer を介して共同作業を促したり、Apache Spark と統合することも可能です。ちょっと SciPy Stack を試してみようかな、と思って IPython Notebook を使う世代とは一線を画すものになっています。 これまではNumPyやpandasと言えばインストールが大変な印象でしたが、Jupyterは複数のDockerイメ
hakoのoneshotを使う - so what
hakoで、バッチ系の一発処理用のoneshotコマンドを使ってみる。 hakoのバージョンは>= hako-0.20.2（要Ruby 2.3） $ ruby -v ruby 2.3.0p0 (2015-12-25 revision 53290) [x86_64-darwin15] $ gem install hako ... Fetching: hako-0.20.2.gem (100%) Successfully installed hako-0.20.2 5 gems installed まず、例のごとくECSクラスタとEC2インスタンスを準備する。 ecs-cli configure -r ap-northeast-1 -c hello-hako-oneshot ecs-cli up \ --keypair winebarrel \ --capability-iam \ --vpc
Matt Murphy
batch jobs with aws lambda and docker I’ve been working a lot with scheduling batch jobs at work, which isn’t the most exciting thing in the world; however, I’ve been spending a lot of my own time playing with AWS. It turns out AWS is a convenient place to run batch jobs. There are plenty of batch scenarios where a file turns up, triggers a program to do some work, which in turn might produce some
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Optimizing Generic File System Sharing from Bind Mounts
Home
Home
https://github.com/jupyter/docker-stacks/tree/master/datascience-notebook
ECS を利用したデプロイ環境 - Speaker Deck
