「コンテナジャーニー」〜明日から速攻始めるAWSでのコンテナ運用〜 #cmdevio2018 ｜ DevelopersIO
「コンテナ導入ってどこからやったらいいんやろう…」 Amazon ECSがリリースされてから、早4年。Docker自体の進歩が目覚ましく、周辺のオーケストレーションツールや関連するOSSなども目を見張るような勢いで進化しています。以前は開発環境での利用が主流だったコンテナも、今では本番環境での採用事例も増えてきました。さらに、Fargateの東京リージョンリリースやEKSの一般公開など、話題には事欠きません。 アプリケーションのコンテナ化には様々なメリットがありますが、実際に本番環境に導入するには従来のアプリケーションの考え方とは違う部分もあり、簡単にはいきません。その辛さを乗り越えて「もっと多くの人にコンテナを活用してもらいたい」という想いを、このセッションに込めました。 AWSは利用しているがアプリケーションをコンテナ化するメリットがあまり感じられない人や、コンテナに関する情報量が多く
MacでcsvからExcelファイルを生成する（祝！本日公開のVisual Studio for Macを使ってみました） | DevelopersIO
MacでcsvからExcelファイルを生成する（祝！本日公開のVisual Studio for Macを使ってみました） 1 はじめに 身近で、「Windowsを使わないで、CSVからExcelファイルを生成して、一部自動化」みたいな作業があったので、ちょっとやってみました。 そして、ちょうど今日、Visual Studio for Mac（preview）も公開されたので、早速使って見ました。 Visual Studio for MAC のレビューは、今、ばりばり世界中で記事になっていると思うので・・・本記事は、単に使ってみただけです。（すいません） 2 NPOI 今回、使用させて頂いたのは、Apache POIの.NETへの移植版であるNPOIです。 Windows＋Excelの環境では、COMの開放に注意が必要ですが、Microsoft.Office.Interop.Excelを使
OpenStreetMapサーバを自作する(Install OpenStreetMap on AWS EC2/Ubuntu14.04) | DevelopersIO
OpenStreetMapサーバを自作する(Install OpenStreetMap on AWS EC2/Ubuntu14.04) 下記エントリにて、TMS(Tableau Map Service)という仕組みを使い、Tableauから背景地図の設定を追加する為の手順をご紹介しました。 TMS(Tableau Map Service)ファイルを使って表示する背景地図情報を増やす ｜ Developers.IO このエントリの最後で『アクセス負荷を掛け過ぎるとアク禁喰らうかもしれないので気を付けてね』的な文章を記載しましたが、TMSの対象リソースとなっている『OpenStreetMap』では代替策についても用意がなされていました。その手段の1つが『自前のOpenStreetMapサーバを用意する』です。(※下記リンクにその辺りの記載があります) Alternative OpenStree
Amazon VPC IPアドレス設計レシピ | DevelopersIO
はじめに AWSにはEC2やRDS、RedshiftなどVPCに対応したサービスが数多くあります。 これらのサービスを利用する場合、まずはVPCやサブネットを作成します。 VPCの作成ではIPアドレス(=CIDR)に何を指定するか迷う方が多いのではないでしょうか。 私がVPCとサブネットのCIDRを決める際に考慮しているポイントは、ざっと以下の通りです。 プライベートIPアドレス範囲から指定する VPNやDirect Connect利用時はオンプレミスとの重複に注意する VPCピア利用時はVPC間で重複できない 将来の拡張に対応可能なCIDRを選択する 最低でも/28以上が必要 CIDRブロックのうち、5IPは利用できない ELBを配置するサブネットは/27以上のCIDRかつ、少なくとも8個の空きIPを用意する それぞれの詳細をご紹介し、最後に優先順位をまとめます。 プライベートIPアドレ
【API Blueprintの使い方】Web APIの仕様書を書く・読む・実行する | DevelopersIO
【API Blueprintの使い方】Web APIの仕様書を書く・読む・実行する できればドキュメント書きたくないなー。はやくAPI実装したい！俺の頭の中に全部仕様入ってるから！俺が仕様だ！ ... その仕様、API Blueprintでドキュメントにおこしませんか？ はじめに デバイスが多様化し、その違いを吸収する統一的なインターフェースが求められる昨今、Web APIはその回答のひとつといえます。弊社でも、モバイルアプリとWeb APIを組み合わせてサービスを構築することがあります。 Web APIが登場する開発では、モバイルアプリ（APIクライアント）メンバーと、APIサーバメンバーのコミュニケーションが不可欠です。開発を円滑に進めるために、APIの仕様書 が必要になります。お互いがAPIの仕様を想像して勝手に開発を進めたのでは、いざ結合したときに悲惨な結果になることが目に見えてい
Dockerを使ってSwaggerの環境を整えてAPI Gatewayにインポートする | DevelopersIO
API Gatewayを使いこなしたい そろそろAPI Gateway使いこなしたい今日このごろですが、API Gatewayには、Swaggerの定義ファイルをインポートというボタンがあって、こっちを先にやってみようと思いました。環境周りの整備には以前学んだDockerを使えそうですので、試してみたいと思います。 Swagger Editorで編集する エディタの環境を整えます。 docker pull swaggerapi/swagger-editor docker run -d -p 8001:8080 swaggerapi/swagger-editor ここで作成したJSONとかYAML形式のファイルをエクスポートして保存しておきます。 Swagger UIのインストール Swagger UIは、Swaggerの定義ファイルからキレイな公開用のAPI確認サイトを作ってくれます。 $
PlayFramework-Scala + (EC2 + ElasticIP + CloudFront) で LINE BOT オウム返し | DevelopersIO
PlayFramework-Scala + (EC2 + ElasticIP + CloudFront) で LINE BOT オウム返し はじめに LINE BOTは、いろいろな動作環境が提案されていますが、今回は表題のものを使ってささっと構築してみたいと思います。ちなみに、私自身は普段どちらかというとサーバサイドのコードを書いている時間が長く、AWSはまだそんなに触っていません。それでもなんとか動くところまでこぎつけたのでハードルは高くないと思います。 LINE BOTについては、AWS Lambdaを利用した方法でも実装することが可能なようです。弊社せーのの記事をご参照ください。 用意するもの LINE BOT BOT API Trial Account https://business.line.me/ja/products/4/introduction 何をするにもまずはBOTの
APIアグリゲータのKongでマイクロサービスを統合管理する | DevelopersIO
ども、大瀧です。 「これからのWeb開発はマイクロサービスアーキテクチャだ！」とそこかしこで言われる昨今ですが、実際にマイクロサービスでAPIサーバーを実装しようとすると面倒な部分がいろいろ出てきます。例えば以下のような。 サービス毎にAPIが異なっていて統一性が無い サービス毎に認証機構を実装するのがつらい サービス毎にログの形式が異なる、アクセスログが残らないものがある DoS攻撃が来たらどうしよう これらWeb APIサービスに求められる課題をまとめて解決してくれるのが、APIアグリゲータです。(下図はAPIアグリゲータなしとAPIアグリゲータとしてKongを用いる場合) Kongとは Kongは、商用APIアグリゲータのMashapeのOSS版としてGitHubで開発が進めらているAPIアグリゲータです。 Kong - Open-Source API and Microservic
初めてのLambda | DevelopersIO
言語はnode.jsを使います。 今回の目標 EC2を1台用意し、webサーバーとして起動する Lambdaでhttpポートを監視する（5分に1回チェック） 監視で異常があった場合SNSへ通知する SNSは携帯電話へメールを送信する では早速構築していきます。 webサーバーを用意する AmazonLinuxのインスタンスを作成する インスタンスタイプはt2.nano、EBSはマグネティックというケチケチ構成で 開けるポートはsshとhttpの二つのみ。 起動したらsshでログインしてapacheをインストールする sudo yum install httpd24 viで監視用のファイルを作ります。内容は「OK」だけでOK sudo vi /var/www/html/check.html apacheを起動してブラウザで確認する sudo service httpd start
[自動化]GitHubで管理しているドキュメントをGitBookでPDF化し、Backlogの共有フォルダにアップロードする | DevelopersIO
モバイルアプリサービス部の五十嵐です。 私が担当するプロジェクトでは、GitHubでドキュメントを管理し、それをGitBookでPDFファイルにしてお客様へ提供しています。GitBookを使ってGitHubのドキュメントをPDFにする方法は、以前、藤村が紹介しました。 GitBook 環境を準備してみる ｜ Developers.IO 私もこの方法で何度かPDFファイルを作っていたのですが、環境準備さえしてしまえば数コマンド打つだけ・・・とはいえ数コマンドを覚えておくのも面倒ですしゴミファイルを消したりとか色々やることがあります。そこで、この一連の操作をスクリプト化しました。また、PDFファイルはBacklogの共有ファイルにてお客様へ提供しているので、その作業も合わせてスクリプト化しました。 スクリプトは、将来的にはGitHubのMerge PRイベントをトリガーにJenkinsなどで動
![[自動化]GitHubで管理しているドキュメントをGitBookでPDF化し、Backlogの共有フォルダにアップロードする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e673a2692e4ae8f6c24573a53abda1396f809278/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F11%2Fgithub.jpg)
EMR上でZeppelinとSparkを使ってレコメンデーション | DevelopersIO
AWS Big Data Blogで Building a Recommendation Engine with Spark ML on Amazon EMR using Zeppelinというエントリーがあったので、そちらを実際に試してみたレポートになります。 内容としてはMovieLensのデータを使ってレコメンデーションエンジンを作るというものです。Spark Summit 2014にAdvanced Apache Spark Workshopというものがあったようで、そちらのMLlibのハンズオンをEMR上でZeppelinを使ってやってみるというものでした。 なお、Spark Summit 2014のハンズオンとAMP Camp 5 - big data bootcampをベースに日本語化したサイトがありました。今回のエントリーに対応するのは4. MLlib(機械学習)になります
これからAWSを使ってIoTをやってみたい人が抑えておくべき10のキーサービス & 7つのキーワード #reinvent | DevelopersIO
こんにちは、せーのです。 今回はAWSの沢山あるサービスの中から、Re:InventのIoT系のセッションに参加した結果「これはやっといた方がいいなあ」というAWSのサービスとAWS以外のキーワードについて重要度順にご紹介したいと思います。 AWS サービス AWS IoT 今回初登場したAWS初のIoT系サービスです。 IoTでネックになりがちなMQTTSによるセキュアな通信や、スケールするブローカーによる振り分け、オフラインになったデバイスとのステータスSync等をAWS側で一手に引き受けてくれる、フルマネージドのサービスになります。 デバイス側にもSDKが提供されていますので、すごくシンプルにデバイスとAWSをつなげることができます。一方で「Shadow」や「Rule」等AWS IoT特有の考え方もあるので、ここはきっちり抑えておきましょう。 公式APIリファレンス: AWS IoT
あきんどスシロー様とAmazon Machine Learningを用いた待ち時間予測の精度向上を実施しました ｜ Developers.IO
株式会社あきんどスシロー様とクラスメソッド株式会社はAmazon Machine Learning(以下、Amazon ML)を用いて、機械学習を用いた店舗混雑時の待ち時間予測の精度向上に取り組んでいます。 直近の取り組みでは、今までの方法では予測が困難であった一部の店舗に対して新手法で予測を行い、精度を向上することができました。今回はこちらの取り組みについて紹介したいと思います。 概要 券売機やスシローアプリなどに表示される入店までの待ち時間を予測するため、チケット情報・店舗の状態などからデータ分析を行い、特徴を抽出した上で機械学習を行いました。 各店舗では既に待ち時間予測のための仕組みが導入されていますが、商業施設内などの一部の店舗ではユーザが他店舗とは異なる行動をするため、別の切り口から予測を行う必要がありました。 今回は、この一部店舗を対象にTableauを用いてチケットデータ等の
【運用保守】構成管理サービスAWS Config利用のすゝめ【ITIL】 ｜ DevelopersIO
弊社にはAWS狂が結構いるのですが、AWS Configはあまり注目されていません。 AWS公式ドキュメントでも日本語化されておらず、AWS Configについて触れた記事は数えるほどしかありません。 使えるサービスなんだよ！というのを訴えるためにドキュメントの翻訳ベースでAWS Configの魅力をお伝えします。 実際の設定手順はこちらやこちらを御覧ください。 Configとは AWSリソースの設定を可視化するサービスです。 現在のAWSリソースの設定値を見られるだけでなく、AWSリソース毎の関係性やどのように設定変更がなされたかを見ることが出来ます。 AWSリソースとは AWSが提供しているサービスで管理されるリソースを指します。 Configが対応しているAWSリソースは以下のとおりです。 Amazon Elastic Compute Cloud（EC2） EC2 instance
【技術トレンド】Technology Radar 2015年5月版を読み解く【ThoughtWorks】 | DevelopersIO
よく訓練されたアップル信者、都元です。ThoughtWorks社のTechnology Radarをご存知でしょうか。 Technology Radar ThoughtWorks社はグローバルに展開するソフトウェア開発やコンサルティングを行っている会社です。オブジェクト指向やアジャイル開発に数多くの貢献をしている、マーティン・ファウラー氏が所属していることでも有名です。 この会社では年に1〜2回、最近の技術トレンドとなるキーワードをカテゴリ毎にいくつかピックアップし、評価した情報を発信しています。 Technology Radar（以下TR）では各キーワードを「blip」、カテゴリを「quadrant」、評価した結果の位置づけを「ring」と呼んでいます。 quadrants（カテゴリ） quadrantsは図における上下左右の4象限で表されています。 Languages & Framew
【Amazon S3 Streaming】AWS CLIを使って標準入出力とS3を直接つなぐ【小ネタ】 | DevelopersIO
よく訓練されたアップル信者、都元です。ひさびさのブログになってしまいました。リハビリも兼ねて、小ネタにて。 ローカルファイルシステムと標準入出力 まずは基礎的過ぎる話から。linuxシェル上で、ローカルファイルシステム上のファイルを標準出力に書き出したい時、例えばこんなコマンドを使いますね。 $ cat foo.txt 次に、シェルからちょっとしたテキストファイルを作成したいとき、下記のようにechoとリダイレクトを使って書き込みをすることがあると思います。 $ echo foobar >foo.txt 複数行に渡るファイルであれば、ヒアドキュメント *1を使ってこんな感じでしょうか。 $ cat << _EOF_ >bar.txt aaa bbb _EOF_ ローカルファイルシステムとAmazon S3 さて一方で。AWS CLIでは、下記のようにs3 cpサブコマンドで、S3とローカル
[Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO
はじめに Apache Sparkの用途の一つとして、ストリーミング処理があります。今回はその例として、Twitterから直近の人気のハッシュタグを取得する処理を取り上げてみたいと思います。 処理の流れと用語について ソースをお見せする前に、大まかな処理の流れと、用語について説明したいと思います。先ず処理の流れですが、以下のようになります。 Streamの作成 ハッシュタグを持つRDDの取得 DStreamの取得 DStream内のRDDよりハッシュタグを取得 見慣れない用語ばかりかと思いますが、以下で処理の流れに沿って解説したと思います。 1.Streamの作成 データを連続して取得するためのStreamを作成する処理です。今回はTwitterよりデータを取得するストリームを作りますが、他にも Kinesis、Kafka、Flume、ZeroMQ、TCPなどから取得することが出来るようで
![[Apache Spark]ストリーミング処理で直近の人気ハッシュタグを取得する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/976e6989ab538c58fa5b64a03837c916f8d9ba11/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FApache_Spark.png)
systemd超入門 | DevelopersIO
これはとある勉強会用の資料です。スライド作るのが面倒臭くなったのでブログにすることにしました。 Systemdとは Systemdは、Linuxの起動処理やシステム管理を行う仕組みです。 Linuxの起動処理 Linuxの起動はざっくりと以下の4段階によって行われます。 電源投入によりBIOSが起動する。 BIOSからブートローダーが呼び出される。 ブートローダーがLinuxカーネルを起動する。 Linuxカーネルがinitプロセス(PID 1)を起動する。 このinitプロセスが、Linuxの起動処理を司ります。古くから使われていたのがSysvinitで、Sysvinitの代替えとして近年Ubuntuなどで採用されていたのがUpstartです。そしてFedora 15やCentOS 7、Red Hat Enterprise Linux 7で採用されたのがSystemdです。 System
2015年3月 AWS IAMポリシーのチェック厳格化への対策 | DevelopersIO
ども、大瀧です。 本日、AWSより2015年3月にIAMポリシードキュメントの文法チェックが厳格化するというアナウンスがありました。具体的にどんな対策をするべきか、まとめてみました。 確認方法 まずは、対策が必要かどうかを確認します。IAMのDashboard画面(https://console.aws.amazon.com/iam/)にアクセスして、画面上部に「Fix Policy Syntax」の警告が表示されたら対策が必要、表示されなければ対策は不要です。 警告が表示されたら、早速警告文末尾にある[Fix Syntax]リンクをクリックしてPolicy Validatorを表示します。 Policy Validatorによるポリシードキュメントの修正 Policy Validatorのリストには、修正が必要なポリシー一覧が表示されます。ポリシー名をクリックすると、自動修正前と修正後の
Amazon EC2 Container Service (ECS)を試してみた | DevelopersIO
2104/12/20更新 : Dockerの動作に一部不具合があり、ECS-Optimized Amazon LinuxのAMIが更新されました。「3. ECS-Optimized Amazon Linuxの起動」のAMI IDを変更しました。 ども、大瀧です。 AWSのイベント、re:Invent 2014で発表されたDockerコンテナを扱うサービスEC2 Container Service(ECS)のプレビュー申請が通ったので、ドキュメントのチュートリアルを試した様子をレポートします。 1. IAMロールの作成 まずは、Dockerコンテナを実行するEC2インスタンス(ECSインスタンス)からECS APIにアクセスするためのIAMロールを作成します。IAMの管理画面から[Roles] - [Create New Role]で作成ウィザードを表示し、ロール名に「ecs-ec2-rol
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
