ウィスキー、シガー、パイプをこよなく愛する大栗です。 全国1億3000万人のCloudFormation職人の皆様！先程CloudFormation始まって以来の大きなアップデートが来ました。そうです、YAMLでCloudFormationテンプレートが書けるようになりました。よくJSONは『人間が書くものじゃない』と言われますが、人間が書けるYAMLで記述できるようになりました！ AWS CloudFormation Introduces YAML Template Support and Cross Stack References AWS CloudFormation Update – YAML, Cross-Stack References, Simplified Substitution | AWS Blog JSON形式の内容 先日のブログ（CloudFormationで再起動

EBSのディスクサイズを縮小するやり方はググると色々出てくるものの、なぜか現在のEBS Backedなインスタンスだと日本語の情報の手順ではできなかったのでメモ。 普通にゆっくりインスタンスを止められる状況でのやり方です。（スナップショット取って新しいVMでやることなどで停止時間は短くすることは可能） 1. 新規のEBSを作成 まず目的のサイズのEBSを持ったEC2インスタンスを作り、そのEBSボリュームをデタッチすることで作成する。 というのもこうしないと Partition に BIOS Boot Partition が無くて立ち上がらないため。 そしてこのボリュームのVolumeIDをメモっておく。VMはこの時点で用済みということで削除。 2. 作業用EC2を作成 t2.smallインスタンスで十分ぽい。 以下作業は全て root にて。 数百ギガだと rsync でのコピーが長く

こんにちは、せーのです。今日はAPI Gatewayに追加された３つの新機能をご紹介します。 今回の新機能はいずれも「APIを簡単に、手早く作りたい」という方たち向けの機能となっております。3つもあるので実際にやってみながらご紹介することにします。 やってみた まずはAPIをひとつ作ります。 次にリソースを一つ作ります。 ここからが一つ目の新機能となります。 Catch-allパス変数 まず一つ目は「Catch-allパス変数」です。これは本来個別に規定されているAPIのパスをまとめて設定してしまう、というざっくり時短な機能です。 このように{proxy+}というパスを設定するとそのリソースより深いパスは全てここでキャッチしてくれます。上の例でいうと/test/{proxy+}となるので/test/1でも/test/seinoでも/test/seino/updateでも全てここで処理してく

Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.

このポストは個人のメモであり、私の所属する組織を代表するものではありません。 概要 EMRのスニペット、いつも同じようなものを書いてしまうのでここにまとめていくことにする。 SparkとPrestoをインストールされたClusterを起動する aws emr create-cluster \ --name Spark_and_Presto \ --ami-version 3.4.0 \ --applications Name=Hive Name=Hue \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c3.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=c3.xlarge \ --ec2-attributes Subnet

DataPipelineには、定義したActivity実行するかどうかを判断する前提条件機能（Precinditons）があるのですが、あまりそこに関するドキュメントが多くない気がしたので、ちょっと書いてみます。 前提条件機能についてはこちら。 今回利用したのが、S3KeyExistsとShellCommandPreconditionの2つになるので、そちらのご紹介です。 S3KeyExists 該当のファイルがs3に存在するかチェックします。 動作としては、指定のs3キーが作成されるまでチェックを行い続け、作成が確認できたらActivityを実行するという挙動になります。 設定の画面はこんな感じです。 S3KeyにチェックしたいS3のキー名を記述します。 毎日実行したいバッチだったりすると、S3のファイル名にも日時が入ってきそうです。 例えば、前日の日付がついたファイルの存在確認は下記の

最近、AWSのCDNサービス「CloudFront」をオンプレな環境のフロント側に導入する機会がありましたので情報を載せてみたいと思います。 今回、CloudFrontを導入したサイトは、現在のサーバ構成ではアクセス集中時の負荷が耐え切れずにサイトが閲覧しづらい時間帯が発生しているため、オリジンサーバ側の負荷を抑えるとともに、サイト閲覧の問題を解消するために、CloudFrontを導入しました。 導入構成としては次の図の通り。 CloudFrontを部分的に導入ではなく、サービスドメインごとCloudFrontに向けています。そのため、オンプレミスサーバへアクセスするためのドメインとして別のドメインを適用し、CloudFrontからアクセスさせるようにしました。 結果、これまでアクセスしづらかった時間帯にもサクサクで同時接続ユーザ数も大幅に増え、リクエストがだいぶ捌けるようになりました。

(2016/12/15追記) この記事はDeprecatedです。 Reduxの概念をRxJSとTypeScriptで理解する ver.2 が最新版になります。 GitHubリポジトリはこちら → ovrmrw/understanding-redux-with-rxjs git cloneしたらnpm installしてnum run tsですぐに動かせます。 (注: Reactの話は一切出てきません) Reduxとは Redux公式 アプリケーション全体で状態(state)を一つのJSONツリーの構造で持ち、それをActionがキックされる度に全体更新して配信するという概念。 僕は最初FluxとかReduxとかよくわからなかったけど、色々参考にしながら自分で書いてみたらようやく理解できました。 Middlewareという概念はよくわからなかったし今でもよくわかりません。 ロガーとか便利な

ども、大瀧です。 昨日Cloudformationの大規模アップデートが有り、YAMLサポートや新しい関数などと共に異なるスタックのリソース参照機能が追加されました。 今回は異なるスタックのリソース参照機能について試してみた様子をレポートします。 これまでのスタック間参照 これまでCloudFormationには、独立したCloudFormationスタック(単一のCloudFormationテンプレートから作成されたリソース一式)同士でリソースを参照する方法はなく、リソース名やリソースIDをパラメータに入力するか、テンプレートにハードコードしていました *1。 シェルスクリプトで複数のCloudFormationスタック作成を自動化するときは、aws cloudformation describe-stack-resourcesのレスポンスをパースして次のスタック作成のパラメータに代入な

はじめに 清水です。Amazon Elastic TranscodeにCloudWatchモニタリングの機能が追加されました！ Amazon Elastic Transcoder Now Publishes Operational Metrics to Amazon CloudWatch これまでElastic TranscoderはCloudWatchに対応しておらず、ジョブの状態などはAPIを叩くか、Management ConsoleのElastic Transcderの画面から確認する必要がありました。本日9/21早朝のこのアップデートにより、Elastic TranscderがCloudWatchに対応し、ジョブやトランスコード時間、待機時間などのメトリックスが活用できるようになりました。これらのメトリックスは自動的にCloudWatchに送信されてるとのことです。 さっそくこの

こんにちは、バックエンドエンジニアののびすけです。みなさんはインフラ選定時は何を基準にしていますか？ Web界隈では、インフラにAWSを選ぶことが多いと思います。Web上での情報量が圧倒的なことと、社内ナレッジもAWSを使ってるケースが多いのが理由ではないでしょうか。これまで僕もとりあえずAWSを選択していましたが、最近ではGoogleの「GCP」やIBMの「Softlayer」、Microsoftの「Azure」なども登場していて選択肢は広がっています。 バックエンドエンジニアのづやさんの記事にもあるように、「Azureは詳しい人がAWSより少なさそうなので、詳しくなればその筋で有名な位置を狙えるかも」という不純な動機もありつつ、僕も最近Azureに触り始めました。ということで今回は最も多いであろうAWSユーザーが、Azureも使い始められるようにAzureの使い方を紹介します。 Azu

Ansibleを使い始めてから、少し考えた点などをメモとして残しております。適宜、追記。 Best PracticesでRole使用時のtask, handler, varsに関して - hosts: all remote_user: root vars: admin_name: admin tasks: - name: Add a new user user: name={{admin_name}} groups="wheel" state=present

@methane です。「この技術部には問題がある！」というチーム名で @kizkoh (インフラ担当), @mecha_g3 (アプリ担当) とともに ISUCON 6 に参戦し、予選をトップスコアで通過しました。 恒例のふりかえり記事を書きます。 ふりかえり 残念ながらスコアは記録してないのですが、時系列順にやったことをまとめます。 アプリのコードは methane/isu6q-app で公開しているので、興味がある方はコードを確認してください。 strings.Replacer を使う 使用言語は最初から Go と決めていたのですが、Goの初期実装は遅すぎてタイムアウトで最初からスコア無しでした。 top でアプリのCPUが支配的なのはすぐ判りましたし、コードを読めばなにが遅いのかも一発で判りました。そんなに長くないので関数全体を張ります。 func htmlify(w http.R

以前から c-archive は作れたけど DLL にするとシンボルが被ったりして上手く DLL が作れなかった。 Big Sky :: golang の Windows 版が buildmode=c-archive をサポートした。 だいぶ時間が掛かった様ですが、ようやく buildmode=c-archive が Windows でも使える様になりました。 cmd/go: -buildmode=c-archive should ... http://mattn.kaoriya.net/software/lang/go/20160405114638.htm cmd/go: -buildmode=c-shared should work on windows · Issue #11058 · golang/go · GitHub https://github.com/golang/go/i

Golangのbundleコマンドに関する困惑をTwitterで見かけた．おそらくRubyのbundlerと名前が衝突するためだろう． ただこのコマンドはおそらく多くのひとは今後使うことはないため気にする必要はない．これはGo1.6でHTTP/2をぶっ込むときにx/toolsに入れられたパワー系コマンドである（もともとはRuss Cox氏が作っていた）．インストールしているのはおそらくこの対応の経緯を追っていた人だと思う（ちなみに僕はこれをインストールしたのを忘れていてRubyのbundleを実行したつもりがGolangのほうを実行してしまったことがある）． bundleコマンドとは何か? bundleはパッケージを別パッケージとして1つのファイルにするコマンド．以下のように使われる． 上記のコマンドを実行するとgolang.org/x/net/http2パッケージをnet/httpパッケ

プログラミングの勉強にあたってよく言われるのは、「流行に左右されるような技術の尻を追いかけるよりも、土台となる技術を身につけることが大切」ということです。 例えば、ウェブブラウザで動くJavaScriptを書くときは、流行しているライブラリの書き方を暗記するよりも、 ブラウザがどのようにCSSやHTMLを解釈してスクリーンに文字や絵を描き出していく（レンダリングしていく）のかを理解することが大切です。 さもないと、ライブラリの流行が変わるだけで勉強したスキルが失われてしまいかねません。 データベースでも同じことがいえます。SQLの文法を学ぶことよりも、データベースがどのようにスケジューリングを行い、 どのようにデータを探索していくのかを学ぶほうが、パフォーマンス・チューニングのコツなどもひらめきやすくなるでしょう 1 。 「土台となる技術を身につける」を、もう少しちゃんと言い換えれば、「今

20180824 DLLab推論ナイト_深層学習モデル推論ライブラリ「Menoh」の紹介/Python以外でDeepLearningPreferred Networks

pyconjp 2016で発表したこと 複数の言語を組み合わせる際に考えるべきこと，現状不足している技術について議論した．

PyConJP2016 トークセッションで発表予定 https://pycon.jp/2016/ja/schedule/presentation/18/ ##訂正## P20の　sudo pip install djangoは　正しくは sudo pip3 install django　です。 https://goo.gl/knGYJX

1. Pythonを含む多くのプログラミング言語を 2016年9月21日 PyCon JP 2016 招待講演 Pythonを含む多くのプログラミング言語を 扱う処理フレームワークとパターン扱う処理フレームワークとパターン 鷲崎 弘宜 わしざき ひろのり 鷲崎 弘宜 早稲田大学グローバルソフトウェアエンジニアリング研究所長・教授 国立情報学研究所 客員教授、株式会社 システム情報 社外取締役 ISO/IEC/JTC1/SC7/WG20 Convenor, SEMAT Japan Chapter ChairISO/IEC/JTC1/SC7/WG20 Convenor, SEMAT Japan Chapter Chair IEEE CS Japan Chapter Secretary http://www.washi.cs.waseda.ac.jp/ 研究遂行・資料協力: 坂本一憲、李 菊花ほ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Use the left and right arrow keys or click the left and right edges of the page to navigate between slides. (Press 'H' or navigate to hide this message.)

サービスが使えない状況があってはいけない 近年、私たちは有料無料を問わず、さまざまなサービスを利用できます。外出するときには地図で目的地を確認し、公共交通機関の経路を検索するか、車で通る経路を検索するのではないでしょうか。公共交通機関での移動中には、SNSやゲームをして友人達と交流を深めていることでしょう。仕事でも、会社内で承認を得るための申請サービスなどを使用しているのではないでしょうか。 これらのサービスは、たくさんのユーザーからのリクエストを、短時間で返さないといけません。もし、サービスが満足に使えなくなると、一部のユーザーがSNSで拡散し、その結果ニュースに掲載されてサービスのイメージが低下することもあります。サービスのイメージ低下はサービス提供者のビジネスに影響を及ぼすため、あってはなりません。そのため、サービス提供者は問題の発生をできる限り予防し、問題が発生した場合には即時に対

概要 java.util.Calendar を使っていた日付処理のコードを、Java SE 8 で追加された Date and Time API を使って書き直してみたところ、そこそこ使い方がわかってきたので、記事にまとめてみました。 背景 Java で日付操作をするクラスには Calendar と Date があります。Java SE 7以前から Java を使っている場合は、このクラスの使い方を習得して使いこなしている方が多いのではないかと思います。 さて、Java SE 8 では Date and Time という新しい日付操作用のライブラリが追加されました。これまでの Calendar や Date との互換がない、思い切った新設計のライブラリです。そのため、「いまある Calendar や Date で問題なくプログラミングできているのに、わざわざ得体のしれないものを使う意味がわ

例えば、Level.CONFIGを設定するとログとして出力されるのは、「構成」「情報」「警告」「重大」という風に、設定レベル以下が表示されます。 Level.ALLはその名の通り、全てを表示させます。 コード package com.test.logging; import java.io.File; import java.io.FileNotFoundException; import java.io.IOException; import java.util.logging.ConsoleHandler; import java.util.logging.FileHandler; import java.util.logging.Level; import java.util.logging.Logger; import java.util.logging.SimpleFormatt

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

A Practical Guide for Docker Docker has proven itself as a great containerization technology. It has lots of press, a growing community, and overall a great piece of technology. If you're interested in what Docker is or how to get started with it, this course is for you! Get started now

社内でDocker化を進めていますが、現在Tomcat上で動かしているJava製WebアプリをDocker化する方法を検討しています。 調べた限りでは何通りか方法があるのですが、本番稼働から開発環境までを通して期待する方法がなかったため、自分なりの方法を考えてみました。 まだ実践していませんが、こうすればできそうという方法ができたのでまとめてみました。 目標とした要件は以下の通りです。 Tomcatで動作させること HTTPとAJPの両方に対応すること Dockerイメージのビルドがややこしくならないこと 開発環境もDockerで実行させること 開発時にコードの変更を簡易に素早く反映させられること なるべく現状の動作方法を維持しつつ、開発環境にも対応させることを目標としています。 実現方法 早速、実現方法について紹介します。 紹介する方法はビルドにMaven、IDEにIntellij Id

Dockerの普及に伴い、昨今ではDockerを使ったさまざまなクラスタ構築ツールが登場している。今回紹介するKontenaもそのようなクラスタ構築ツールの1つで、多機能かつ構成が容易で、またさまざまな環境で利用できるのが特徴だ。 多機能でかつ構成が容易なDockerクラスタ構築ツール Linuxによるインフラ関連において、ここ数年で最も注目されていると言っても過言ではないDockerだが、開発当初は単一のサーバーでの利用にのみフォーカスして開発が進められており、複数のマシンを連ねたクラスタ環境でDockerを利用するためには、サードパーティ製のツールが必要となっていた。その代表的なものに以前にも紹介した「Kubernete」や「CoreOS」があるが（過去記事：「CoreOSを使ってDockerコンテナを動かす——15分でできるCoreOSクラスタの作り方」、「kubernetesによる

デバッグのため、Dockerホストにログインし、docker psで実行中のコンテナーを調べて、対象となるコンテナーのIDを取得し、最後にdocker exec -it $cid bashなどでコンテナーの中に入り、デバッグなどをします。 例えば（例１）： $ docker ps | grep post d448ca916642 postgres "/docker-entrypoint.s" About an hour ago Up About an hour 5432/tcp cocky_kare $ docker exec d448 hostname d448ca916642

経緯 Amazon ECSをインフラに利用したNode.js+expressのWEBアプリケーションを開発している過程でECSタスクが頻繁に強制停止されては再起動する事象に遭遇。 原因を調べるとコンテナインスンスタンス（Dockerホスト機）のメモリ不足でログ書き込みに失敗していた。 しかし、ECSタスクに割り当てているメモリは512MB程度でコンテナインスタンスの搭載メモリ上限には達していいないのになぜ…？ コンテナインスタンス上で動作しているプロセス一覧を確認するとNode.jsのプロセスが40個近く動作しており、それらがコンテナインスタンスのメモリを食いつぶしていた。 疑問 docker psの結果からみて起動しっぱなしのコンテナは存在しない。 docker ps -aを実行するとSTATUS=Createdなコンテナがたくさん残っていた。 これは何？ Dockerはコンテナが停止さ

PythonでもPythonじゃなくても使える汎用的なMicroservice実行環境 / nikkei microservice

PyCon JP 2016 で発表したときのスライドです https://pycon.jp/2016/ja/schedule/presentation/41/

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Pythonで作るWebクローラ入門の発表資料 https://pycon.jp/2016/ja/schedule/presentation/32/

PyCon JP 2016で行った「基礎から学ぶWebアプリケーションフレームワークの作り方」のスライド資料です

1ワールドで済ますというチャレンジ Nianticの求人を見ていて、凄く驚いたのは、「Software Engineer - Server Infrastructure」での次の項目。 all on a single, coherent world-wide instance shared by millions of users. 対訳 全ての(アクション)は、数百万のユーザーに共有された単一の一貫した(サーバ群で行われる) つまり、ポケモンGOは１ワールドで構成されている。MMOのサーバを作ったことがある人なら5それがどんなに大変かピンとくるだろう。特に、ポケモンGOの様に一日に数百万人とかが遊ぶゲームで、1ワールドでゲーム世界を構築するのは、結構大変だ。6 MMOで1ワールドがなぜ大変か(データストレージとの戦い) MMOの様なオンラインゲームで、1ワールドがなぜ大変かを図示する。

現役エンジニアが教える！優秀なWebエンジニアへと引き上げてくれる10のツール これからエンジニアとして活躍したい人必見の10のツールを紹介。優秀なWebエンジニアになるためには実務の経験やプログラミング言語の知識だけでなく、世の中の便利なツールも知っておきたいものです。作業効率もあがるのでぜひチェックしておきましょう。 テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　 調査手法：インターネット調査 本稿は、Codementorのブログ記事を、了解を得て日本語翻訳し掲載し

Dockerホットデプロイ運用の話 / Operations for Zero Downtime Docker Deployment

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回