@methane です。タイトルの通り、 ISUCON でとうとう優勝してきました。 チームメンバーは、(予選と同じく) @kizkoh (インフラ担当), @mecha_g3 (アプリ担当) でした。 私は予選のときはガッツリとアプリを書いていたのですが、本戦では netstat -tn (←老害), top, dstat -ai, sudo perf top などをみつつ指示をだしたり、方針を決めたり、完全に未経験だった node.js & react.js 対策をしたりが主な仕事で、あとは序盤のインフラのタスクが大量にあるときに MySQL を docker から外して基本的なチューニングを入れたり Go を100行程度書いただけです。 結果的には優勝できましたが、メンバーの2人がよく準備し本番でも実力を発揮してくれたのに対して 僕の戦略ミスで中盤から全くスコアを上げられなかったので
Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独
はじめに LiteStream がアツいですね。LiteStream は SQLite データベースのレプリカを作るシステムです。これを使う事で、アプリケーションが更新した SQLite データベースを S3 ストレージに瞬時にバックアップする事ができます。 はい... LiteStream を使ったサイドカー構成 LiteStream を使い、コンテナの起動前にデータベースをリストアし、アプリケーションが起動した後にレプリカを行えば、コンテナは何時でもホストから消し去る事ができる様になります。 以下に、/data ボリュームにリストアを行い、アプリケーションの起動後にレプリカを開始する docker-compose.yaml を示します。 version: '2' services: restore-container: image: litestream/litestream cont
ローカルで開発していたアプリをDocker化してみた（nginx+Flask+postgres） - Qiita
はじめに ローカルで作った簡易的なブログサービス（こちらの記事を参照）をDocker化してみました。正直この規模だと単一コンテナで十分だと思いますが、折角dockerをお勉強する機会なので、nginx（Webサーバ）とgunicorn+flask（APサーバ）とpostgre（DBサーバ）でコンテナを分けて、docker-composeで全コンテナの統合管理をします。 docker構成 ディレクトリ構成 ローカルの任意の場所にこの構成で作ります。 TutorialBlog ├docker-compose.yml ├nignx/ │ ├nginx.conf │ └Dockerfile ├app/ │ ├templates/ │ │ └(略) │ ├static/ │ │ └(略) │ ├app.py │ ├models.py │ └Dockerfile ├postgres/ │ ├initd
Jenkinsでビルドのパイプラインを作るぞー！(2016年2月版) - Mitsuyuki.Shiiba
と思って色々見て回った。 Jenkinsでビルド・パイプラインを作る | Ryuzee.com Jenkinsのビルドパイプライン系plugin3種比較 - knjnameのブログ kakakikikekeのブログ: Jenkins の Workflow Plugin を使ってみた Jenkins Workflow Pluginを使ってみました - Qiita 川口耕介氏，Jenkinsプロジェクトの現状やWorkflow Pluginの特徴を説明 ～Jenkinsユーザカンファレンス2015東京 基調講演：レポート｜gihyo.jp … 技術評論社 とか、色々。 Pipeline Plugin (旧Workflow Plugin) が良さそう Pipeline Plugin - Jenkins - Jenkins Wiki Build Pipeline Pluginとか、Delivery
この記事は何か イメージやコンテナなどの基本からdocker-compose、docker-machine, docker swarmなどのDocker周りの様々な概念の全体像を整理して、Dockerの仕組みを理解するための記事 対象読者 ・Dockerって何？ ・Dockerちょっと勉強したけどDocker compose？ Docker machine？ Docker Swarm？ 色々ありすぎて意味不明 という方 後編では「Docker Machine、Docker Swarm」について書いて行きます。 前編はこちら 中編はこちら ⑦ Docker Machine Docker Machineは、Docker Engineを搭載した仮想マシンの管理(作成、起動、停止、再起動など)をコマンドラインから実行できるツールです。 Mac OSの場合は、仮想化ソフト(Virtual Box)を
原文：Compose file version 3 reference https://docs.docker.com/compose/compose-file/ docker-compose.yml で定義される各々のサービスは、特定の image か build を指定する必要があります。その他のキーはオプションであり、docker run コマンドラインのものと似ています。 docker run と同様に、Dockerfile で指定されたオプションがデフォルトとして尊重されます（例：CMD,EXPOSE,VOLUME,ENV）。そのため、docker-compose.yml で再び定義する必要はありません。 image タグや image ID の一部です。ローカルでもリモートでも構いません。ローカルに存在しなければ、Compose はイメージを取得（pull）します。
社内PCでホスティングされていたRedashをFargateに移行してみた - ZOZO Technologies TECH BLOG
こんにちは、最近気になっている哺乳類はオリンギートな、開発部の塩崎です。 私の所属しているMarketingAutomationチームではRealtimeMarketingシステムの開発運用を行っております。 このシステムはZOZOTOWNのユーザーに対してメールやLINEなどのコミュニケーションチャンネルを使い情報の配信を行うものです。 メルマガの配信数や開封数などの数値は自動的に集計され、BIツールであるRedashによってモニタリングされています。 このRedashは社内PCによってホスティングされていましたが、運用面で辛い部分が多々あったためパブリッククラウドに移行しました。 移行先のクラウドはawsを選択し、RedashをホスティングするためのサービスはECS/Fargateを選択しました。 この記事ではawsに構築した環境や、移行作業などを紹介します。 移行前のRedash 移
「Visual Studio Code」の「Remote Development」用のテンプレート を作ってみたので、簡単に紹介したいと思います。 主にテンプレートの使い方について解説していきます。 目次 目次 はじめに 準備 「Visual Studio Code」のインストール 「Dev Container」用の拡張機能のインストール 使い方 テンプレートコードの取得 セットアップ ベースイメージの変更 表示名の設定 .gitignore の調整 「Dev Container」の起動 うまく動かないときは 「docker-compose.extend.yml」の「command」フィールドをチェック Compose ファイルのバージョンをチェック その他のテンプレート Python 開発環境 Node.js 開発環境 C 言語開発環境 まとめ はじめに 「docker-compose.
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」 - kakakakakku blog
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」を使うと，簡易的な「Shadow Proxy」を構築することができる．例えば，本番環境のリクエストの一部を開発環境に流せるようになる．この「ngx_http_mirror_module」は nginx 1.13.4 で実装された機能で，2017年8月リリースなので，最近のバージョンだとデフォルトで使えるようになっている．今回は「リクエストの複製」を試すため，Docker Compose を使って検証環境を構築した． nginx.org 検証環境 今回 Docker Compose を使って，nginx と Sinatra を起動する検証環境を構築した．コンテナは計3種類で，以下の構成図にまとめた．基本は Frontend と Backend でリクエストを処理し，今回は Mirror にもリクエス
docker-compose を使って WordPress テーマ開発環境を構築しよう | Recruit Tech Blog
2017年10月10日 nginx + PHP-FPM7 + HTTP/2 版の解説エントリを公開しましたので、そちらをご覧ください。 docker-compose で作る nginx + PHP-FPM7 + HTTP/2 に対応したモダンな WordPress 開発環境 はじめに 久々に WordPress を使って web サイトを作成する機会があったので、これを期に Docker を使った WordPress 環境を構築する手順を学んでみることにしました。単に WordPress を動作させるだけの手順であればググればいくらでも出てきますが、テーマ開発に適した構成や WP プラグインインストールの自動化などがまとまった情報がイマイチ見当たらなかったので、備忘録として残しておくとします。今回は docker-compose を使って複数のコンテナによる構成を組んでみましょう。 doc
Docker Desktop for Linuxを開発中とDocker社が表明。有料化の発表が好評だったとして機能強化など加速
Docker Desktop for Linuxを開発中とDocker社が表明。有料化の発表が好評だったとして機能強化など加速 Docker社は、Docker DesktopのLinux版となる「Docker Desktop for Linux」の開発を進めていることを明らかにしました。 Did you catch our latest news? Based on the overwhelming support we received, we are accelerating delivery of new features including Docker Desktop for Linux, Docker Compose v2 and more --> https://t.co/2g9KupocpE #Docker #Developers #containers #Linux
【アップデート】ECSタスク定義を利用したローカル環境でのテスト実行が可能に！ | DevelopersIO
完全独自仕様だったECSのタスク定義はローカル環境で使うのが難しかったのですが、それがめっさ簡単になるという超絶アップデートです。 「Docker ComposeとECSタスク定義の2重管理めんどくさい(TдT)」 ECSはフルマネージドのコンテナコントロールプレーンとして、AWS上のコンテナワークロードのデファクトスタンダードと言えます。ただ、EKSとは違ってECSは完全にAWS独自仕様のため、ローカル環境やAWS以外の環境で、その設定情報をそのまま流用できないのが難点でした。 今回、ECS CLIのローカルテスト機能が、思いっきりアップデートされました。 Amazon ECS now offers improved capabilities for local testing 今回のアップデートで、ECSのタスク定義をシームレスにDocker Compose仕様に変換したり、ローカル環
AWS Fargate早く東京に来てくれという願いをこめて、東京で1つでも事例を増やそうと記事を書いていたら公開する前にAWS Fargateが東京に来ることが先日発表されました！めでたいです。アリネ事業部の平田です。 今日はARINEで使っていく(かもしれない) AWS Fargate を使ったRSpecの実行環境の話と、Docker Compose使っているならFargateいいかもしれませんよ、という話をします。 背景 アリネ事業部では、なりたい自分がきっと見つかる美容メディア ARINE を運用しています。 ARINEのサーバサイドはRubyで書かれており、ウェブアプリケーションフレームワークはRuby on Railsを採用し、テストにはRSpecを使っています。 テストは徐々に増えており現在テストが1000件ほどで、テストにかかる時間も徐々に長くなり、完走するのに10分以上かか
OSXでdockerを使いたいだけならVagrantを捨てdinghyを使ってみるといいかもしれない - Qiita
OSXでdockerを使った開発環境を組もうとすると、docker入りのVagrant boxを自作しないとならなかったり、docker-machineのファイル共有をセットアップする必要があったりと、開発を始めるまでの手間が多い。 dinghyは上記のような手間を省略し、OSXとdocker環境をシームレスにしてくれるプロダクトで、次の特徴がある。 ホストマシン(OSX)側のファイルをコンテナにマウントできる マウントだけでなくファイルシステムのイベントもサポートする。つまり、webpackなどのファイル更新を検出してタスクを走らせるツールと相性がいい。 DNSを内包しているので、Macの/etc/hostsを書き換えたり等、自前で名前解決が不要。 HTTPプロキシを内包しているので、1つのVMに複数のウェブアプリを簡単に起動できるようになっている。 docker-compose.yml
はじめに 前回 akito0107.hatenablog.com どちらかというとこっちが本編。 前回の記事ではTest Sizesについて紹介したが、今回の記事はその分類が実際の開発にどう役に立っているのかをまとめたいと思う。もちろん用語の統一も大きな意味を持つが、それ以外のことを書いていきたい。 具体的には、CIでテストのパイプラインを組む時にこの分類どおりに組んでいくと綺麗に整理でき、CI全体のスループット向上にも効果がでているという話だ。今回の話は僕たちのチームに特化した内容になるが、1) Test SizesごとにTestの起動コマンドを分ける、 2) Smallから順に実行していき、落ちるべきテストはできるだけ早期に落とす、というポイントはどこにでも使えるものだと思う。 コンテナ技術とテスト 僕たちはローカルの開発環境だけではなく、本番環境やCI環境でコンテナ技術（主にDock
とってもRailsライクなサーバーレスフレームワーク「Ruby on Jets」を本番環境に導入した話 - LiBz Tech Blog
はじめに 経緯 構成 技術選定 Lambdaのランタイム(言語)は何で実装するのか？ サーバーレスアーキテクチャの構成管理に何を利用するのか？ Jetsをちょっとだけ解説 プロジェクトの作成 ルーティングの設定 コントローラー 必要なIAMポリシー シークレットキーなどの扱い方 デプロイ方法 最後に おまけ はじめに こんにちは！先日26歳を迎え、30歳への恐怖感が着々と増してきた渡邊です。 今回が３回目のブログ投稿になります。 前回のKubernetes(GKE)にお安く入門するではたくさんのブックマークをいただきありがとうございました。 今回は実際に業務での利用をしはじめたRailsライクなRuby製 サーバーレスフレームワーク 「Ruby on Jets」について書きます。 経緯 自分が開発を担当しているプロダクトには、求職者の方と弊社のキャリアアドバイザーがLINEを介してメッセー
1. 1 Engineer / Technology Evangelist, SAKURA Internet, Inc. @zembutsu 前佛 雅人 ZEMBUTSU Masahito 2017年9月22日(金) Developers Summit 2017 KYUSYU Docker CEの最新動向等What’s new in Docker for Developers (2017 Fall version) 3. とある事例 Docker Engine "swarm mode" (SwarmKit)≠ Docker Swarm ・「簡単にアプリケーションを実行できる環境を提供」する目的 ・swarm mode はクラスタを簡単に組める、manager と worker の role ・swarm モードではIngress Network と Routing mesh、サービスディス
Professional Rails on ECS (rails developer meetup 2017) - joker1007’s diary
このエントリはRails developer meetup 2017で発表した内容をブログとして書き出したものです。 サンプルのスニペットが多いので資料の代わりにエントリとして公開します。 スライド用のmarkdownを元に起こしたものなので、少し読み辛いかもしれませんがご容赦ください。 ECSとは Dockerコンテナを稼動するためのクラスタを管理してくれるサービス 使えるリソースを計測し、自動でコンテナの配置先をコントロールしてくれる kubernetesではない。最近、kubernetesが覇権取った感があって割と辛い 今はEC2が割とバックエンドに透けて見えるのだが、Fargateに超期待 ECS or EKS :tired_face: RailsアプリのDockerize オススメの構成 実際にデプロイするimageは一つにする 例えばstagingやproduction等のデプ
マイクロサービスの学習に使えるサンプルアプリケーション「Sock Shop」 - kakakakakku blog
個人学習用にマイクロサービスを体験できるサンプルアプリケーションを探していたら，Weaveworks から公開されている「Sock Shop」を発見した．「Sock Shop」は名前の通り「靴下 EC サイト」で「ユーザー登録／商品閲覧／カート／ウィッシュリスト／購入（ダミー）」など，EC サイトに必要な機能が一通り実装されている．ドキュメントに以下の記載があり，マイクロサービスを体験したり，デモに使ったり，トレーニングに使ったりする用途に適している．良さそう！ Sock Shop can be used to illustrate microservices architectures, demonstrate platforms at talks and meetups, or as a training and education tool. microservices-demo.g
こんにちは!!こんにちは!! インフラエンジニアのyamamotoです。 Let's Encrypt、いつも活用させていただいております！ ただ、証明書を取得するときにサーバー上でいろいろ作業をしなければなりません。さらにdocker環境上ではどうするんだ！？となるかと思います。 そこで、dockerコンテナでもLet's Encryptを簡単に使えるように整備してみました。 既存のイメージでLet's Encrypt組み込み済みのものもありますが、ここではあえて自前で作ってみます。 Dockerfileまわり dockerイメージは、nginxのオフィシャルイメージを元に、Let's Encryptで必要なプログラムのインストールと、ちょっとひと工夫入れた起動スクリプトを組み込みます。 Dockerfile FROM nginx:latest ENV LETSENCRYPT_HOSTS
paizaの中の人による2016年のDocker本『Docker実戦活用ガイド』が本日発売！ - paiza times
こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 paizaでは、軽量コンテナ環境Dockerを使った独自のオンラインジャッジシステムを構築し、エンジニアの転職スキルチェックサービスやプログラミング学習などで利用しています。 月間200万以上のDockerコンテナを作っており、Docker利用事例としては屈指の規模です。 本日より、このpaiza開発で培ったDockerやオンラインジャッジシステムのノウハウを詰め込んだ書籍『Docker実戦活用ガイド』(マイナビ出版)を出版します! Docker純正ツールが出揃った2016年唯一の本格的Docker書籍出版となります! Docker実戦活用ガイド 作者: 吉岡恒夫,paiza出版社/メーカー: マイナビ出版発売日: 2016/05/30メディア: 単行本（ソフトカバー）この商品を含むブログを見る Docker実戦
Dockerについて深くまとめてみた - その2 Docker周辺ツール(Docker Compose,Kubernetes)編 - ecbeing labs（イーシービーイング・ラボ）
※本記事は下記の記事の続編となっておりますが、Dockerに関する基礎知識があれば本記事単体でもお楽しみいただけます。 blog.ecbeing.tech 「Dockerって名前だけは知ってるけどよくわからない」「前回記事が気になる！」という方は、ぜひ上記記事をご一読ください。 はじめに こんにちは! ecbeing新卒1年目の浦です。 前回は「Docker〜概要編〜」ということで、Dockerに関することをざっくりとまとめてみました。 ちなみに前回記事はとってもご好評?だったようで…。 はてなブックマークや暖かなブックマークコメントをたくさん頂きました…!もう本当に筆者冥利に尽きます…!! 今回記事も前回記事に負けないくらいボリューミーなのでぜひぜひ! さて気を取り直しまして…。 今回は「Dockerを取り巻く外部サービス編」ということで、Dockerと密接な繋がりがあるツールやサービス
Wantedlyを支える技術をギュッと１冊の本にして技術書典に出展しました | Wantedly Engineer Blog
技術書典というイベントに、社内の技術的ノウハウを集約した”WANTEDLY TECH BOOK”という本を作り、それを出展してきました。 技術書典とは6月25日(土)に秋葉原の通運会館にて「技術書典」という、技術書オンリーイベントが開催されました。技術書というと一般の書店に流通している出版社の書籍が思い浮かぶかも知れませんが、このイベントでは自分たちの持つ技術を世に広めたい人達や共有したい人達の技術系サークルやコミュニティの技術書が数多く出展されました。頒布される書籍や冊子を見に来た来場者の方も多く、出展者と来場者を合わせると約1400人という大きなイベントでした。 公式サイト：技術書典 頒布した書籍私達は”WANTEDLY TECH BOOK”という本を150部頒布させて頂きました。内容は社内の技術的ノウハウ、いわばWantedlyを支える技術をまとめたものです。 世の中の移り変わりは早
※Linuxはもちろんですが、Docker for Mac(M1 Mac含む), Docker for Windows で動作します。 Dockerの勉強をしたい方向け ハンズオン形式の記事を書いてるので、DockerでLaravel環境する方法を一から勉強したい人はこちらの記事がおすすめです。 【初心者向け】20分でLaravel開発環境を爆速構築するDockerハンズオン 概要 Docker, Docker Compose を使って、nginx, php-fpm, MySQLの実行環境(LEMP)を構築して、最強のLaravel開発環境を構築する記事です。 Laravelが最低限動作して、シンプルで軽量かつベストプラクティスなコンテナ、ディレクトリ構成を考えました。 最小限の構成なので、DockerイメージのビルドはLaradockより10倍以上高速にビルド完了します。 リポジトリ h
はじめに 研究室で借りているさくらのVPSがあって、研究で使うアプリケーション以外にgitlabとかjenkinsを動かしている。Dockerをローカルでしか動かしたことが無かったので、リスクの低いこういうところで実際にDocker使ってみる。 これまでは AnsibleGalaxyで人気のRole を探して中身も読まずにインストールしちゃっていたけど、さっき触ってたらどうインストールされてるのか混乱したのでDockerで分離できたら良さそうっていうのが2つ目の理由。 準備 環境はさくらのVPSにCentOS 6が入ってます。 https://docs.docker.com/installation/centos/ を参考にDockerをインストール。 # yum update # cat >/etc/yum.repos.d/docker.repo <<-EOF [dockerrepo]
最近、「webサービス開発における良い開発環境とは何か？」を自問する機会があったため、その内容を記事としてまとめました。 筆者が考える良い開発環境の条件と、それを実現するための具体的な方法を交えて記載していきます。 （もちろん、記載している条件に合致していることが全てのケース/シーンで「良い」ものであるとは限りませんが） 誰かが新規に開発環境を作る際、また、既存の開発環境を改善する際の参考になれば幸いです。 前提 下記のようなサービス開発を前提とします。 webサービスの開発 OSSではない1 VCS2によって管理されている 開発環境とは以下の2つを内包する ローカルマシンまたは仮想環境上でソースコードを編集し、テスト/静的解析を実行する ローカルマシンまたは仮想環境上でサービスを起動する また、技術的な開発環境についてのみ言及します。 開発フロー、コーディング規約、はてはオフィス環境まで
2018年8月25日紙版発売 2018年8月25日電子版発売 山田明憲 著 B5変形判／424ページ 定価3,718円（本体3,380円＋税10%） ISBN 978-4-297-10033-9 ただいま弊社在庫はございません。 →本書の新版が発行されています。 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 話題のコンテナ技術，Docker/Kubernetesの基礎から実際にアプリケーションを作るまでを解説した入門書です。Docker/Kubernetesを実際の現場で活用している著者が最新情報や実践スキルをわかりやすく解説します。ローカル環境での検証はもちろん，Google Kubernetes EngineへのデプロイやAWS Fargateの活用などクラウドでの実践にも触れています。Docker/Kubernetesをきちんと本番で使うための王道的な
AWS and Docker collaborate to simplify the developer experience | Amazon Web Services
Containers AWS and Docker collaborate to simplify the developer experience Developers can now use Docker Compose and Docker Desktop to deploy applications to Amazon ECS If you were to ask any developer who has worked with containers, you find out they have used or are aware of Docker Desktop and the Docker CLI for building applications on their desktop. They’ve also most likely used Docker Compose
Elastic Stackで簡単！Dockerコンテナ監視ダッシュボード作成 - Taste of Tech Topics
こんにちは、CI/CDツールなどを活用し、DevOps推進活動などに携わっている横山です。 本記事は、Docker Advent Calendar 2018 - Qiitaの20日目です。 はじめに Elastic Stackを使うと、簡単にDockerコンテナの監視ダッシュボードが作成できるので、今回はその紹介をしたいと思います。 きっかけとしては、「開発環境で立ち上げている複数コンテナの問題調査を楽にしたい」というのがあります。最近、開発環境に複数のコンテナを立ち上げて開発メンバーに提供していますが、開発メンバーから「重たいので環境を確認してほしい」といった声が上がってきます。その際、どのサーバのどのコンテナに問題が発生しているのか確認したいですが、その都度サーバに入って、docker statsなどのコマンドで確認するのはやや面倒です。 そこで、コンテナの監視ダッシュボードを作って、
経緯 今流行りのRancherを使ってdockerコンテナを管理しています Rancherには「CATALOG」というdocker-compose.ymlのサンプルがあります。それを元に作成しました。 またどんなサービスかいつも気になってたので、どうせなら使いこなしたいので備忘録として 色々なサービスのdocker-composeがあるので参考になるかもしれません また、glusterFSのように消えてしまう前のメモとしても 使い方 ${xxx}は適宜、値を代入してください。 特におすすめ Consul Elasticsearch Hadoop + Yarn Datadog wordpress docker-composeサンプル Alfresco ファイル内全文検索・タグ付けでファイルが非常に探しやすい ドキュメントの参照/更新履歴が可視化されてチームコラボレーションしやすくなる 全文検
Dockerで開発環境のMySQLと同じデータを手軽にローカル環境でも利用する - tehepero note(・ω<)
2016 - 06 - 20 Dockerで開発環境のMySQLと同じデータを手軽にローカル環境でも利用する Docker MySQL DevOps Microservicesを運用していると、サービス毎にDBを持つことになってどうしても扱うDBや スキーマ が多くなってしまいます。 開発環境の MySQL （ AWS ならRDS）に直接接続するならまだしも、DBはローカルにもって好き勝手に使ったり、汚したりスクラップしたりしたいですよね。 というわけで、Dockerを使ってカジュアルにその環境を作ってみました。 やりたいこと やりたいことを以下の図のような感じ。 docker runで MySQL のコンテナを起動する コンテナ起動時に任意のRDSから ダン プを取得し、コンテナ内の MySQL にリストアする（もちろんRDSでも AWS でもなくて良い） 使う 再度docker run
EC2 Container Service(ECS)を管理して、Blue-Green Deploymentを実現するツールを書いた - tehepero note(・ω<)
2015-07-22 EC2 Container Service(ECS)を管理して、Blue-Green Deploymentを実現するツールを書いた AWS Docker ECS 最近は暑いのでめっきり外に出なくなりましたが、相変わらずDevOpsのOpsばっかりやっています。 さて、今やってるプロジェクトではAmazon EC2 Container Service(ECS)で完全にDockerベースでの開発をしています。本番運用を見越したオペレーションの作り込みをやってるわけですが、今回はBlue-Green Deploymentを実現してみたよってお話。 材料 必要な材料は以下の通り。 VPC Route53 EC2 ELB AutoScaling Group ECS 方式 最近ELBがAutoScaling Group単位での切り替えができるようになったので、これを利用します。基
そろそろ歳も40近くなり、老いについて考えることが増えてきた。たとえば10ヶ月も続く在宅勤務の中で少しでも運動をサボると左膝がすぐに痛みだしたり、うっかり水分を摂り忘れたりすると頭痛がきたりする。もちろん体重は史上ピークを記録し続けている。身体の老いについては、まあそういうものであるし、特に外見などに気を遣って生きてきたわけでもないからそんなには気にしていない。しかしながら、人間の人間たる由来はその精神や振る舞いにあると思っているから、そちらでの老いの方が問題だ。 前職までは大抵、わたし自身は年齢が1番か2番めくらいに若い職場で仕事をしていることがほとんどであった。ほとんど同年代か、10から20くらい上であることが多かったように思う。単に物理的な年齢もあるが、職業経験も私より長い人たちばかりであったので、教わることの方が多かったから、物事の考え方が揃っていたことが心地よかったということには
個人的な感触ですが、ECSとEKSを並べてみた場合、ものすごい単純に以下の感想でした。 「できることはEKSのほうが多い。けど、そのぶん習得がECSより難しい」 よく考えるとこの「難しい」という単語、簡単に使ってしまいがちなんですが使い方を間違えると非常に危険な言葉だとも思ってます。それは「誰にとっての難易度か？」という観点が抜け落ちがちだから。 AWSにおいてコンテナワークロードを展開しようと検討する人は様々いると思いますし、その組織や担当者の技術スタックも千差万別でしょう。kubernetesの経験は豊富だけれどAWSの経験はあんまりない、またはその逆、もしくはDockerは散々さわっているけれど、オーケストレーションツール自体が初めての人など。 自分の現場経験はECSのほうがEKSより圧倒的に多く、今でも「EKSってやっぱりなんか敷居高いなぁ」と感じてます。でも、よくよく思い出すと最
文学部歴史学科出身の社会人がエンジニアになるまでやった事/やらなかった事 - Studio Andy
早いものでエンジニアとして働き始めてから今月でもう1年です。 1年前は時給1,000円ちょっとのバイトと派遣をやっていました。 先日ようやく正社員としてプロエンジニアになれたので、この機会に文学部出身のぼくが勉強し始めてからの3年半でやった事/やらなかった事を備忘録的に残していきたいと思います。 対象読者 文系だけどIT業界ではたらきたい学生 これからプログラミングを勉強してIT業界への転職を考えている社会人 すでにプログラミングを勉強中の社会人(←エラい) 未来の自分 ただの備忘録ではありますが、これからIT業界を目指す誰かの参考になれば嬉しいです。 サマリー ~1年目: HTML/CSS/Wordpress ~2年目: JS/Ruby/Python ~3年目: モダンJS/Perl/Docker ~現在: React Native/ML/Vue.js エンジニア以前 タイトルにもある通
本記事ではElasticsearchとBERTを組み合わせて類似文書検索を行う方法について紹介します。Elasticsearchでは最近、ベクトルに対する類似文書検索の機能が実装されました。一方、BERTを使うことでテキストを固定長のベクトルに変換することができます。つまり、BERTを使ってテキストをベクトルに変換すれば、Elasticsearchを使って類似文書検索ができるということになります。 本記事では以下のアーキテクチャでElasticsearchとBERTを組み合わせた検索システムを実現します。Dockerを使ってアプリケーション、BERT、Elasticsearchのコンテナを分けることでそれぞれをスケールしやすくする狙いがあります。記事中では重要な部分のみ提示しますが、システム全体はdocker-composeのファイルとして記述しこちらのリポジトリに置いてるので、参照してく
この記事は、ドワンゴ Advent Calendar 2022の8日目の記事です。 N予備校では、過去の記事でも触れた通りAWS CodeBuildを日常に利用しています。 この記事では、導入した経緯や実際の利用例などについてご紹介できればと思います。 AWS CodeBuildを導入した経緯 開発当初についてはGo製のCIツールであるDroneを利用しており、v0.5からv0.8まで利用していました。 Droneを利用していた際にはたびたび以下のような事象に遭遇しました。 サーバーがなんらかの理由でやたら停止してしまう cacheがよく壊れる エージェント数が十分に確保できておらずビルド開始まで待たされる 構築したインフラ起因での問題も多数ありましたが、開発を進める上で障害にはならないもののやや開発者体験を損なうという、なかなかイマイチな環境の中で開発していたかと思います。 Drone自
概要 Elasticseachに分散表現のベクトルに対する類似文書検索が実装されたということで、以下のElasticのブログ記事を参考に類似文書検索を試してみました。 Text similarity search in Elasticsearch using vector fields | Elastic Blog 類似文書検索とは、与えられたクエリの文書と似ている文書を文書集合内から検索する技術です。この際に必要となるのが「似ている」という概念で、計算機上でどうやって2つの文書間の類似度を数値として表現するかがポイントになります。例えば、互いの文書に出現する単語の一致度や重複度合いを測ったり、TF-IDFやBM25などで文書をベクトル化して比較する方法があります。ただしこれらの方法では、言い換え表現や表記の違いにより同じ意味の単語が異なる単語だと判定されたり、文書の中では重要でない単語に
RESTful APIをシュッと作る技術 - PythonとFastAPIでバックエンドを5時間ちょいで作ってみた - Lean Baseball
久々に開発ネタです. 大晦日ハッカソン2019 #大晦日ハッカソンで, 野球のデータをシュッと見るためのDashboardを作る（理由は後ほど）. そんなDashboardのBackend APIをシュッと開発する. を目標に立て現在進行系でやってるのですが, 午後の進捗その2 Docker化が特に滞りなく完了. API Docも見れるとかFast API強すぎぃ 昨日の夕方から開発してたAPIはアッサリ1st Ver.できたので, 大晦日の買い物終わったらフロントエンドを除夜の鐘が鳴るまでになんとかするぞ #大晦日ハッカソン pic.twitter.com/wWMiSvQDKu— Shinichi Nakagawa (@shinyorke) 2019年12月31日 Backendを昨日（12/30）の18:00から着手して（実質作業時間）約5時間ちょいで完成させてしまいました. 本年最後
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ISUCON6 で優勝しました : DSAS開発者の部屋
Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita
LiteStream をサイドカー構成にしたデータベース永続化
【図解】Dockerの全体像を理解する -後編- - Qiita
Docker Compose - docker-compose.yml リファレンス - Qiita
【VS Code】Remote Development テンプレートを作ってみました！ - mlog
AWS FargateとDocker Composeで簡単分散RSpec | GREE Engineering
CIとTest Sizesの話 - asterisc
Docker最新動向2017秋＋セキュリティの落とし穴
docker環境のWebサーバーでLet's Encryptを使う - アクトインディ開発者ブログ
最強のLaravel開発環境をDockerを使って構築する - Qiita
DockerでVPS上にgitlabとjenkinsサーバをたてる - c-bata web
webサービス開発における良い開発環境 - Qiita
Docker/Kubernetes 実践コンテナ開発入門
【Docker】これは役に立つ!! docker-compose.ymlの例まとめ - Qiita
Old Brains - kuenishi's blog
EKSは本当にECSより難しいのか？ | DevelopersIO
ElasticsearchとBERTを組み合わせて類似文書検索 - Ahogrammer
N予備校で利用しているAWS CodeBuildについて - ドワンゴ教育サービス開発者ブログ
Elasticsearchで分散表現を使った類似文書検索