最近の砂場活動その2: ECS/Fargate/AWS Batch編 - yasuhisa's blog
ゴールデンウィークということもあり、前回に引き続き砂場活動をやりました。前回はCloudFormationを使い、ElastiCache/RDSを立てて、EC2の上でWebアプリを動かすところまでをやりました。 今回はECSやFargate、AWS Batchなどコンテナの恩恵をより受けられるようにしてみようと思います。大分モダンになってきた。 コンテナ化 ECSで動かす on EC2 ECSを構成する概念 ECS用のEC2の準備 タスク定義/サービス定義 オートスケール ECSで動かす on Fargate Batch処理 困ったこと まとめ コンテナ化 ECSで動かすことを見越して、Webアプリをコンテナ化しました。といってもDockerfileを書く程度なので、大したことはない。中間ファイルに吐いていたような状態はRDS/ElastiCache/S3などの外部のDBやストレージに持た
【新サービス】AWS Fargate のネットワークについて考察してみた #reinvent | DevelopersIO
はじめに AWS Fargate を利用することで、コンテナを実行するために必要だった EC2 (ECS) インスタンスの管理作業から解放されます。なお本サービスは、現状 US East (バージニア北部) リージョンのみで利用可能となります。 弊社の速報記事および ECS CLI からのデプロイ検証記事については、以下のリンクからご参照ください。 【速報】新サービスAWS Fargateが発表されました！！ #reinvent ｜ Developers.IO 【新サービス】AWS FargeteのコンテナをECS CLIからデプロイしてみた #reinvent ｜ Developers.IO 公式ドキュメントは、以下のリンクからご参照頂けます。 Introducing AWS Fargate – Run Containers without Managing Infrastructure
AWS FargateとDocker Composeで簡単分散RSpec | GREE Engineering
AWS Fargate早く東京に来てくれという願いをこめて、東京で1つでも事例を増やそうと記事を書いていたら公開する前にAWS Fargateが東京に来ることが先日発表されました！めでたいです。アリネ事業部の平田です。 今日はARINEで使っていく(かもしれない) AWS Fargate を使ったRSpecの実行環境の話と、Docker Compose使っているならFargateいいかもしれませんよ、という話をします。 背景 アリネ事業部では、なりたい自分がきっと見つかる美容メディア ARINE を運用しています。 ARINEのサーバサイドはRubyで書かれており、ウェブアプリケーションフレームワークはRuby on Railsを採用し、テストにはRSpecを使っています。 テストは徐々に増えており現在テストが1000件ほどで、テストにかかる時間も徐々に長くなり、完走するのに10分以上かか
ネットワーク視点で見るAWS ELB(Elastic Load Balancing)のタイプ別比較[NLB対応] | DevelopersIO
ども、大瀧です。 本日、新しいELBとしてNLB(Network Load Balancer)がリリースされました。 NLB自体の使い方については大栗の以下の記事をご覧ください。ここでは全部で3種類になったELBをネットワークの視点から区分けしてみたいと思います。 [新機能]静的なIPを持つロードバランサーNetwork Load Balancer（NLB）が発表されました！ ｜ Developers.IO また、機能面の比較はAWS公式の以下のページが詳しいです。 Elastic Load Balancing Product Details ELBの種類と特徴 現在利用できるELBは以下の3種類で、一般名称と対応付けてみました。 [NEW!!]Network Load Balancer(以下NLB) : L4 NATロードバランサ Application Load Balancer(以下
![ネットワーク視点で見るAWS ELB(Elastic Load Balancing)のタイプ別比較[NLB対応] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b07c14e4de020f5df93317ab3fa2c1b519d7aad7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Felastic-load-balancing.png)
AWS re:Invent 2017で発表されたコンテナ関連サービス(EKS、Fargate)のまとめと自社サービスへの活用 – PSYENCE.MEDIA
AWS re:Invent 2017で発表されたコンテナ関連サービス(EKS、Fargate)のまとめと自社サービスへの活用 大島 雅人 2017.12.01 113 18323924 この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2017 の投稿記事です。 こんにちは、開発支援Gでインフラ運用をしている大島です。アドベントカレンダー 2017 の記念すべき1日目は AWS re:Invent in ラスベガス からお届けします。 AWS re:InventはAmazon Web Service, Inc.が毎年開催している技術とマーケティングののカンファレンスで、今回は6回目の開催となります。新しいサービスや機能のアップデートが基調講演で発表されたり、1000以上のセッションが行われたりするなどお楽しみが盛り沢山な5日間のイベントです。
Amazon Elastic Container Service for Kubernetes (EKS)の所感 - Qiita
ついにAWSのマネージドKubernetesサービス「EKS」が発表されましたね！ この記事では、これまでKubernetes on AWSに取り組んできた @mumoshu の観点でEKSについてまとめてみたいと思います。 @mumoshuって誰？ Kubernetes Incubatorのひとつ、kube-awsというKubernetesクラスタのプロビジョニングツールのメンテナです。 Kubernetes on AWSのつらみ これまでKubernetesをAWSで運用する場合の最も大きなつらみ（と思われていた）は、Kubernetesを自前でAWSにデプロイすることでした。 例えば、AzureやGCPにはそれぞれAKSやGKEといったKubernetesのマネージドサービスがあります。 AKSやGKEは「クラスタを作成する」という操作をすればKubernetesが使い始められたり、
WEB+DB PRESS vol.105の特集「実践サーバレス」を寄稿しました #wdpress - JX通信社エンジニアブログ
VPoEの小笠原(@yamitzky)です。技術評論社出版「WEB+DB PRESS」の今月号の特集「実践サーバレス」にJX通信社のエンジニア３名で寄稿しました。WEB+DB PRESSで初めてのサーバレス特集とのことです。発売日は6月23日（土）です。 WEB+DB PRESS Vol.105｜技術評論社 きっかけ 今年の春頃、デブサミ2018でNewsDigestのサーバレスに関して発表させていただいたのですが、資料をご覧になった技術評論社の担当者の方にお声がけいただきました。 www.wantedly.com 特集の構成と見どころ 前半は導入、中盤は実践、後半は運用、といった構成になっています。 第1章：サーバレスとは何か・・・メリットと制限を正しく知る 第2章：サーバレス環境の作り方・・・AWS LambdaでHello World 第3章：サーバレスなAPIを作ろう・・・APIの
Python使いのためのBigQuery連携 - Qiita
PythonとBigQueryのコラボ データ分析を行う上で、PythonとBigQueryの組み合わせはなかなかに相性がよいです。 Pythonは巨大すぎるデータの扱いには向いていませんが、その部分だけをBigQueryにやらせてしまい、データを小さく切り出してしまえば、あとはPythonで自由自在です。 問題はPythonとBigQueryをどう連携するかですが、これは大きく2つの方法があります PythonのBigQuery連携ライブラリを使う Google Cloud Datalabを使う 2は特にJupyter Notebookを使い慣れている人におすすめです。 1.PythonのBigQuery連携ライブラリを使う オススメのライブラリ PythonからBigQueryを叩くためのライブラリはいくつかあります。 例えば、BigQuery-Python、bigquery_py な
pandasからBigQueryを扱う - Qiita
pandasをからBigQueryに保存されているデータを扱うとき、わざわざCSVやJSONを経由したくない場合があります。pandasでは新たにライブラリなどを入れる必要もなくread_gbqを使うだけで簡単にBigQueryからデータを読み込むことができます。 必要なもの 適切な権限の付与されたサービスアカウント (もしくは個人アカウント) private key (JSON) google-api-python-client 事前準備 サービスアカウントの作成と private key のダウンロード 権限の与えられたアカウントと対応する private key がない場合は作成しておきます。 Google Cloud Platform の「IAMと管理」のメニューから「サービスアカウント」を選択 「プロジェクトを選択」から対象のプロジェクトを選択 「サービスアカウントを作成」でアカ
Interactive C++: Jupyter上で対話的にC++を使う方法の紹介 [Jupyter Advent Calendar 2017] | LESS IS MORE
共通事項 すべて、clang/llvmをC++インタプリタのベースにしています。Cxx.jl以外は、C++インタプリタであるclingをベースに、さらにその上にjupyterカーネルを実装しています。 1. cling clingは、いわずとしれた（？）C++インタプリタ実装です。後述するROOTという data analysis framework の一部として、CERNによって開発されています。(20年くらい前の) 古くからあったCINTというC++インタプリタ実装が、clangを使って書き直された、という歴史があります。clingプロジェクトの一環としてJupyterカーネルが開発されています。 良いところ clingの起動が速いのでストレスが少ない 5 イマイチなところ IPythonだと使える %time のようなマジックはない cling本体で良いのでは？感が否めない。clin
![Interactive C++: Jupyter上で対話的にC++を使う方法の紹介 [Jupyter Advent Calendar 2017] | LESS IS MORE](https://cdn-ak-scissors.b.st-hatena.com/image/square/30305c278f50a8a35b512fe1c5e02d0b2bf1fe04/height=288;version=1;width=512/https%3A%2F%2Fr9y9.github.io%2Fmedia%2Ficon_hu71488a41e9448d472219f1cc71ecc0ad_259818_512x512_fill_lanczos_center_3.png)
C++のコードから簡単にmatplotlibを使ってグラフを作成する方法 - MyEnigma
Pythonデータサイエンスハンドブック ―Jupyter、NumPy、pandas、Matplotlib、scikit-learnを使ったデータ分析、機械学習posted with カエレバJake VanderPlas オライリージャパン 2018-05-26 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに C++からmatplotlibのグラフ描画機能を使うヘッダライブラリ: matplotlib-cpp コンパイル方法 Makefile CMake matplotlib-cppの使い方 標準的なPlot関数の使い方 複数のプロットをする グラフの凡例の表示 グラフの表示範囲を設定する 軸のタイトルやグラフの名前を設定する グラフを保存する アニメーションを表示する方法 最後に 参考資料 MyEnigma Supporters はじめに C++で複
DNN推論用ライブラリ「Menoh」リリースについて - Preferred Networks Research & Development
Python以外も使いたくないですか？ 特にDeepLearning界隈で． Menoh開発者の岡田です．この記事ではMenohの紹介と開発に至った動機について説明します． Menohのレポジトリ： https://github.com/pfnet-research/menoh Menoh（メノウ）は学習済みのDNNモデルをONNX形式から読み込んで動作させる推論専用のライブラリです．実装はC++で書きましたが，C言語のインターフェースを持たせて，他の言語用からもその機能を呼び出しやすくしてあります．リリース時点でC++版ラッパーとC#版ラッパー，Haskell版ラッパーがあり，Ruby版ラッパーとNodeJS版ラッパー，Java（JVM）版ラッパーが開発中です．バックエンドにはIntelの開発しているMKL-DNNを採用し，GPUが無くてもIntel CPUが使える環境で高速にモデルの
nginxでhttpメソッドによるアクセス制限 - Qiita
2016年のnginx advent calendarです。 ギリギリまでトピック決まらず、簡単な内容になってしまいました・・・ nginxでのアクセス制御 なんらかのAPIのフロントエンドにnginxを使用している場合、パブリックなセグメントからは特定のHTTPメソッド(POSTやDELETEなど)を禁止し、GETのみを許可したい場合があると思います。 サーバーをパブリック用とプライベート用に分けるという事も考えられますが、今回は同一サーバーにてパブリックなアクセスを制限書けたいと思います。 前提 前提 1 このような形で、httpのリクエストをTCP80番でリクエストを受け、backendに流すという構成を想定します。便宜上backendはどのメソッドのリクエストも200で返すようになってます。 前提 2 セグメント CIDR プロダクション(制限を書けたくない) 10.XX.0.0/
kerasを使ったMuti-task Learning(CNN + Autoencoder) - Qiita
最新のモデルでは一般的になってきているMuti-taskなモデルについて取り上げたいと思います。 Multi-task Learningとは Muti-task Learning(MTL)とは、１つのネットワークで複数のタスクを解くモデルです。 MTLの内容はこちらの記事にわかりやすくまとめられています。 直感的な理解としては、人は新しいタスクを学習しようとするとき、これまでの知識を活用することでスムーズに新しいタスクを学習することができます。例えば、将棋ができる人とできない人が新しくチェスを覚えようと思ったとき、将棋ができる人の方が覚えが早いことが多いと思います。 このように別の分野の知識を複合的に学習することで、学習のスピードや最終的な精度を上げようということがMTLのモチベーションです。 今回のモデル CNNによるクラス分類とAutoencoderを同時に解くモデルを紹介します。 デ
定番のConvolutional Neural Networkをゼロから理解する
Convolutional Neural Networkとは何か CNNで解決できる問題 Convolutional Neural Networkの特徴 畳み込みとは 合成性 移動不変性 Convolutional Neural Networkの構成要素 ゼロパディング（zero padding） ストライド Fully Connected層 Fully Connected層の問題点 Convolution層 Pooling層 TensorFlowによる実装 TensorFlowのインストール CNNでMNIST文字認識する 参考 近年、コンピュータビジョンにおける最もイノベーションと言えるのはConvolutional Neural Networkといっても過言ではない。 コンピュータビジョンの業界におけるオリンピックとも言えるコンペティションがImageNetである。 そのコンペティシ
Pythonの並列・並行処理サンプルコードまとめ - Qiita
Pythonで同時に2つ以上の処理をする方法を紹介します スレッド スレッドプール プロセスプール イベントループ（コルーチン） スレッド (threading) スレッドを使えば、複数の関数を同時に動かすことができます。 threading.Thread クラスに target として関数を渡し、start() で開始すると動きます。 import time import threading def func1(): while True: print("func1") time.sleep(1) def func2(): while True: print("func2") time.sleep(1) if __name__ == "__main__": thread_1 = threading.Thread(target=func1) thread_2 = threading.Thr
ソーベルフィルタでMNISTデータの画像のエッジ検出 - 人工知能・ロボティクス・and so on 工学系ブログ
今回は空間フィルタの一つで、エッジ検出に用いられるソーベルフィルタを使ってみたいと思います。 1. ソーベルフィルタ ソーベルフシルタは空間フィルタの一種で使用されるもので、以下のものが代表的です。 ぱっと行列を示されるのもあれなので、順に簡単に説明します。 1.1 エッジ検出と微分 我々人間も画像でエッジを検出するときには色の変化の度合いを見ますよね。コンピュータにおいても同様で、画素と画素の間における画素値の差の大きさを見るのです。例えば以下行列を画像にしてみます。 >>> ex = np.array([[0,0,0,0,0], [1,1,1,1,1], [1,2,3,4,5], [5,4,3,2,1], [1,1,1,1,1], [0,0,0,0,0]]) >>> plt.imshow(ex, cmap=plt.cm.gray_r, interpolation='nearest')
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Athena
テーブルデータを Cloud Storage にエクスポートする | BigQuery | Google Cloud