機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 - にほんごのれんしゅう
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告やマーケティング業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その日の予算消化が異常の場合、アラートを鳴らすシステムを外注開始、2016年10月に納品 2017年9月半ばに進捗率が芳しくないことが判明した。終わる見込みが立たなかったので、私が解決に当たる （ついでに"Machine Learning: The High-Interest Credit Card of Technical Debt[2]"と呼ばれる負債化してしまう機械学習のシステムとはという評価軸があったので、これらから今回使えそうなプラクティスを取り出して適応してみたいというモチベーションが
AKIBA.aws 第1回 基礎編：「EC2の基礎 – パフォーマンスを100%引き出すオプション設定 -」で発表しました | DevelopersIO
こんにちは、菊池です。 昨日、8月31日にAWSをテーマにした勉強会、AKIBA.awsの第1回目を開始しました。 AKIBA.aws AKIBA.awsは、AWSを利用しているエンジニアを対象とした勉強会です。 日々進化を続けるAWSの技術動向を追い、参加者が相互に情報交換し、スキルを高めていくことができる場所にしたいと思っています。一方的に情報提供をするのではなく、発表を通じて質問やディスカッションを行い、発表者・参加者の双方で議論を深めていくことをイメージしています。 第一回は「基礎編」 初回ということで「基礎編」として、ELB、Route53、EC2といったAWSのベーシックなサービスを取り上げました。 「基礎」といっても「AWSとは」「EC2とは」のような、「入門」ではなく、すでにAWSを使っている前提で、改めて基本をしっかり押さえることでより上手にAWSを使えるようになるという
任意のパラメータを格納できる EC2 Systems Manager「パラメータストア」を試したら便利だった - kakakakakku blog
re:Invent 2016 で発表されたけど，オンプレ関連だと勝手に思い込んでいて，今まで試していなかった Amazon EC2 Systems Manager の中に「パラメータストア」というサービスがあり，試してみたらこれが非常に便利だった．簡単に言うと，任意のパラメータをパラメータストアに格納することができて，アプリケーションと環境変数を完全に切り離すことができてしまうというもの．The Twelve-Factor App を実現できるぞ！ Amazon EC2 Systems Manager (Amazon EC2 とオンプレミスシステムの設定と管理) | AWS パラメータストアとは？ 任意のパラメータをパラメータストアに格納することができる データタイプは3種類ある String String List Secure String (パラメータを KMS で暗号化して格納する
趣味でディープラーニングするための GPU 環境を安上がりに作る方法 - Qiita
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
Serverless Anti-Patterns
1. Serverless Anti-Patterns Keisuke Nishitani (@Keisuke69) Amazon Web Services Japan K.K. Mar 09, 2017 Photo via VisualHunt.com 2. Profile Keisuke Nishitani Specialist Solutions Architect, Serverless Amazon Web Service Japan K.K @Keisuke69 Keisuke69 ✤ RESTおじさん ✤ 餃⼦の王将エヴァンジェリスト（⾃称） ✤ ⾳楽が好きです、フジロッカーです、今年も⾏きます ✤ ブログ: http://keisuke69.hatenablog.jp/ Keisuke69 Keisuke69Keisuke69x
0から始めるAWS入門：概要 - Qiita
研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Datab
はじめてのsystemdサービス管理ガイド | DevelopersIO
はじめに MarketplaceでCentOS 7 AMIがリリースされましたね！(ex. Amazon EC2 CentOS 7 AMIファーストインプレッション) ということで、これはもう本格的にsystemdを学ばないとあかん、という危機感に駆られた次第です。systemdは"system and service manager"なので、電源やロケールなどのシステム部分の管理も可能ですが、差し当たってEC2で使う上で最低限押さえとかなければいかないのはサービス管理になるでしょう。そこでsystemdを操作するためのコマンドであるsystemctlを使って、サービスを管理する方法についてまとめました。 systemdサービス管理 systemdでは、これまでサービス起動スクリプトで定義されていたものがUnitという形で定義されますので、サービスの管理=Unitの管理となります。 有効化
AWS News Blog
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAME, DNAME, or Alias chain). Let’s walk through this in nontechnical terms for those unfamiliar with DNS. Why use DNS Firewall? DNS Firewall provides protection for outbound DNS requests fro
EC2を停止して開始した時はELBに再登録する | DevelopersIO
こんにちは、虎塚です。 今日は、ELBに紐づけたEC2を停止・開始した時に、EC2をELBに再登録する必要があることについて書きます。 これはELBを使い始めるとすぐに遭遇する問題のため、お客様からのお問い合わせが多い話題です。今月（2014年9月）すでに2件の問い合わせがあったので、書いておくことにしました。 現象 ELBと紐づけたEC2が、ELBから正しく認識されていて、リクエストを分配できる状態の時、ELBのステータスは「In Service」となります。ELBにEC2を紐づけてすぐの状態だと「Out of Service」ですが、数分たつと「In Service」になりますね。 ところが、ELBと紐づけたEC2を停止して、一定時間後に開始した後、「Out of Service」のままになることがあります。 公式ドキュメントによる解説 公式ドキュメントでは、この件について次のように書
プログラムではアクセスキー/シークレットキーを使わずにRoleを利用する | DevelopersIO
渡辺です。 最近は、システムの開発支援としてAWS環境構築などに関わる事が多いです。 そこで、開発者側視点で押さえておきたいAWSのノウハウや基礎知識を書いて展開してみたいと思います。 今回はEC2で動くプログラムがアクセスキー/シークレットキーを使わずにRoleを利用すべき、という話です。 Roleとは？ RoleはIAMの機能のひとつで、アクセスキー/シークレットキーを使わずに各種AWSリソースにアクセスすることができます。 例えば、EC2インスタンスからS3にオブジェクトを書き込んだり、SNSにメッセージを送信したりする場合に利用できます。 アクセスキー/シークレットキーとの違い ひとことで言えば、Roleはアクセスキー/シークレットキーに比べ、キーの管理をする必要がありません。 ただし、EC2インスタンスにしか割り当てることしかできません。 キー管理が不要 アクセスキー/シークレッ
[EC2]５分でできる！？ WireSharkのリモートキャプチャー | DevelopersIO
はじめに Amazon LinuxをはじめとするEC2インスタンスはグラフィカルログインが提供されていませんのでWireSharkによるリアルタイムキャプチャーができません。そのため、EC2の入出力パケットをキャプチャーをするにはtcpdumpでキャプチャーして、そのファイルをローカルのPCにダウンロードしてWireSharkで確認します。この方法は、手間が多いだけでなく、ネットワークに流れるパケット情報をリアルタイムで調査できるWireSharkの長所が失われてしまします。 キャプチャー対象となるEC2インスタンスの設定変更と添付したシェルの設定項目を書き換えのみで、リモートキャプチャーできるランチャーを作成しましたのでご紹介します。 ５分で手早く利用したい方は、下記のシェルと設定ファイルをコピーして、図を参考に設定を置き換えることで動作できるでしょう。 WireSharkのリモートキャ
![[EC2]５分でできる！？ WireSharkのリモートキャプチャー | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fd4e7bee249c97d151c0e5350794553cde01b61e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F08%2Fwireshark_icon.jpg){kind=icon}
インフラエンジニア向け、Cisco CSR1000V on AWS を使ってみる | DevelopersIO
こんにちは、梶です。 本日はインフラエンジニア向け、第２弾として、Cisco CSR1000V on AWS を使ってみたいと思います。 Cisco Cloud Service Router(CSR)とは Cisco Cloud Service Router (CSR) 1000Vとは、ソフトウェアルータです。他にも有名なものでいうとVyattaや、SEIL/x86などがあります。 詳細はここ ＊ESXiのみと書いてありますが、現在は複数のハイパーバイザーに対応しているようです。 VMware ESXi (5.0, 5.1)、Citrix XenServer (6.0.2, 6.1)、RedHat KVM (RHEL 6.3, RHEV 3.1) Amazon Web Services (AWS) CSR1000Vのライセンスは以下の組み合わせになってます。 期間→１年、３年、５年 機能→
Amazon EC2(Linux)のネットワーク設定でハマったときに見るメモ | DevelopersIO
ども、大瀧です。 LinuxのEC2インスタンスでちょっと変わったネットワーク設定をしようとすると、思う通りに動かなかったり設定が見えなかったりと、オンプレミスとは雰囲気の異なる振る舞いをすることがあります(本質的にはオンプレミスとなんら変わらないのですが)。自身で経験したケースをメモ書きとして残しておきます。 想定するLinux OS : Amazon Linux, CentOS 6.x, RHEL 6.xなどRed Hat系ディストリビューション /etc/resolv.confを変更したのになぜか元に戻ってしまう DHCPクライアントによるものです。DHCPクライアントは定期的にIPアドレス更新の問い合わせをDHCPサーバーに行いますが、そのときに付随するDNSの情報を元にデフォルトで/etc/resolv.confファイルを上書きします。これを無効にするためにNICの設定ファイル/
Amazon EC2から負荷テストを行うときの落とし穴と対策 | DevelopersIO
ども、大瀧です。 ここのところ新機能を追いかける記事ばかりだったので、今回は少し毛色の異なるノウハウ系を書いてみます。 負荷テストの前置き(読み飛ばし可) 「Webサイトがテレビ番組で紹介されることになった！大幅なアクセス増がやってくる！」という場合に、ロードバランササービスのElastic Load Balancing(ELB)やCDNのCloudFrontなどスケールするサービスを組み合わせ乗り切るというのは、クラウドらしい柔軟性の高さを活かせる典型な例かと思います。実際、弊社の事例でも多くのお客様に提供し、ご好評をいただいています。 これらのサービスを構成するにあたり、実際のアクセス増に耐えられるか試すため負荷テストを実施することも多いと思いますが、大規模なケースになってくると難しいのが負荷テストを実施するマシンの確保です。これについてもAmazon EC2であれば、Auto Sca
Amazon EC2再入門 2014年7月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 Management ConsoleからEC2を起動します。今回は東京リージョン(ap-northeast-1)でAmazon Linuxを起動する前提です。 本記事のアップデートとして Amazon EC2再入門 2015年1月版 を書きました。最新情報はこちらを参照してください。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 好きなOSを選択しましょう。注意点はCPUアーキテクチャ、ハイパーバイザ、ルートデバイスです。 ここではAmazon Linux AMI 2014.03.2(HVM) -
Elastic Beanstalk with Docker と OpsWorks で Node + MongoDB する
Node + MongoDB のアプリを立ち上げたい ある文脈で「HerokuはアカンけどAWSならええで」って言われたので、AWS使ってみた。 AWSでは、EC2やS3などを使ってアプリケーションの実行環境を編成するわけだが、その管理ツールとして以下のサービスが用意されている。EC2やS3がリソースなのに対して、これらはあくまでツールまたはサービスといえる。 Elastic Beanstalk OpsWorks Cloud Formation できあがった構成 いじくってみた結果、最終的には App と Batch を Elastic Beanstalk with Docker でデプロイし、MongoDB を OpsWorks で編成できた感じなので、なんとなくメモにして残す。 AZ1 - App - Batch - MongoDB Primary AZ2 - MognoDB Seco
AWS EC2 でインスタンスを作った後は動的DNSを使用すると楽チンだよ - 覚悟はいいか？オレはできてる
Amazon EC2にインスタンス（Amazon Linux）を作成して使用するには、インスタンスの作成の流れの中で公開鍵を作って、SSHでログインすることになります。 ただ、これがまた少し面倒で、EC2 Dashboardでインスタンスをスタートした後に、都度割り当てられるPublic DNS名をインスタンスのDescriptionを開いて探しにいって、値をコピーして、ターミナルのコマンドに貼付けるってことをやる必要があります。 そこで、EC2のヘルプドキュメントには「面倒だから動的DNSサービスを使ったらいいよ」ってことが書いてあります。そのドキュメントの内容をざっとなめたので、中身は同じだけど短くまとめてかつ素人が素人に説明する感じで補足いれたのでぜひ参考にしてください。 概要 ここでは、インスタンスを作るのと公開鍵の所は省略します。EC2のこちらのドキュメントを読めばできると思いま
EC2のt1.microをt2.microへ移行する : アジャイル株式会社
手順の概要は下図のようになります。 注意事項 コピー元は実稼働しているインスタンスを利用するのではなく、インスタンスのコピー（スナップショット）を作成し、これで作業するようにしましょう。 作業に失敗したりした場合、インスタンスを破壊する可能性があります。 作成するVolumeとInstanceのAvailability Zone は併せましょう。 ap-northeast-1a/1c が混在するとアタッチできなくて作業のやり直しが増えます ( 経験者談 )。 PV に grub をインストールする 移行元の t1.microインスタンス (以下 コピー元インスタンス) に grub をインストールします。 $ sudo yum install grub コピー元インスタンスのスナップショットを取得する awsのマネジメントコンソールから、EC2に移動します。 メニューから [ ELASTI
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EC2とLinuxディストロ事情
