Kubernetes at GitHub
EngineeringKubernetes at GitHubOver the last year, GitHub has gradually evolved the infrastructure that runs the Ruby on Rails application responsible for github.com and api.github.com. We reached a big milestone recently: all web… Over the last year, GitHub has gradually evolved the infrastructure that runs the Ruby on Rails application responsible for github.com and api.github.com. We reached a
色々あってDockerした。さっくりとアプリ作るならHerokuも便利なのだけど、Dockerをサポートする他のPaaSも使えた方が便利そうな風潮を感じたので。 1. インストール＆導入 Mac OS X - Docker Documentation Releases · boot2docker/osx-installer からpkgインストーラをダウンロードして実行。適当にはいる。 boot2docker Mac OS X上で、Dockerを走らせるためのLinuxなVMを boot2docker で立ち上げられる。（boot2docker/boot2docker はpkgインストーラに含まれている） boot2docker init boot2docker up boot2docker init で初期化 boot2docker up で起動。dockerコマンドにホストを教えるための
サーバ管理ツールのエージェント みたいなソフトウェアをインストールしやすくするために、rpm / deb パッケージを作りたい。 しかし、rpm / deb パッケージ化するためには、それぞれ CentOS(RedHat)、Debian(Ubuntu) 環境でパッケージ化することになる。 社内ではこれまでパッケージ化の専用ホストがいて、そこで spec ファイルや init スクリプトを置いて rpmbuild コマンドとか debuild コマンドを叩いてパッケージを作成していた。 さらに、アプリケーションエンジニアからインフラエンジニアに依頼するという形をとっていた。 この方法の問題点として、以下の3つがある。 spec ファイルや init スクリプトなどをプロジェクトの Git リポジトリで管理しづらい。つまり、レビューとかがやりにくい。 リリースフローを自動化しづらい。具体的には
こんにちは、AIShift バックエンドエンジニアの石井(@sugar235711)です。 AIShiftでは去年の11月からAI Worker[1]という新しいサービスの開発が始まりました。（以下AI Worker） 本格的に開発が始まり3ヶ月弱経ったので、その間に試してきた技術やチームの取り組みについてまとめてみたいと思います。 はじめに この記事では、AI Workerのおおまかな概要・設計を説明し、それらのバックエンドを実現する上でどのような技術を試してきたのか、技術以外でのチームの取り組みについてまとめます。 少し分量が多いので、ライブラリについての情報を求めている方は、目次から気になる部分を読んでいただければと思います。 何を作っているのか ざっくりまとめると、Microsoft Teams/Web上で動くAIを活用した業務改善プラットフォームを作成しています。 GPTとRAG
概要 前提 規約 コンテナはエフェメラル(短命:ephemeral）であること .dockerignoreを有効活用する 不要なパッケージのインストールを避ける コンテナ毎に1つのプロセスだけ実行 レイヤーの数を最小に 複数行の引数はアルファベット順、改行すること Docker network 概要 bridge none host overlay ipvlan macvlan Docker Volume 概要 bind mount volume tmpfs mount Dockerfileを扱う まずはDockerfileを作成する！ FROM:ベースイメージを作成 RUN: 任意のコマンドを実行する WORKDIR: ワークディレクトリを追加する レイヤーの確認 コンテナの生成と停止 imageを作成 runでコンテナを起動 stopでコンテナを停止 pruneでDockerのお掃除
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。7月29日（月）～8月4日（日）〔2024年8月第1週〕のトップ30です*1。 順位 タイトル 1位 新卒の子に「とりあえずこれ」と伝えたら生産性が10倍になったメモ（なのに1万字越え）｜やまだくにあき 2位 「クレカを止めても不正利用が止まらない」のメカニズム【鈴木淳也のPay Attention】-Impress Watch 3位 とある博物館の売店を運営することになった話 – icoro 4位 夫の作る麻婆豆腐が絶品 5位 全部ア段にすると古典インドっぽくなる言葉 6位 【読書感想】「叱れば人は育つ」は幻想 ☆☆☆☆☆ - 琥珀色の戯言 7位 「黒字、出ちゃいました」 独立から半年、デイリーポータルZの今 林雄司に聞く (1/4) :: デイリーポータルZ 8位 スイカはこう切って！種が一気
以前、 OpenVz コンテナだった私の” ホームクラウド “と、 私があらゆるビルドに関して”ビルドサーバ”のリビルドを推奨するようになったワケ について書きました。 Docker はあっという間に私のお気に入りのツールに仲間入りしました。限りなく静的なサーバ環境を作り出す繰り返し可能なビルドを作成するという考え方が気に入ったからです。 今回は、私がDockerを使用する中で繰り返し現れるようになったいくつかのパターンを説明します。どれも特段に目新しいものでも非常に驚くようなことでもありませんが、皆さんにとってそれが役立つものであり、また皆さんがDockerを使用する中で遭遇するパターンについても聞くことができれば幸いです。 私がDockerを使って色々なことを試す根本にあるのは、データを喪失することなくDockerコンテナそのものが自由に再作成できるよう、ボリュームにあり続ける状態を維
Dockerを使ってJenkinsのジョブごとにテスト実行環境を分離する - orangain flavor
はじめに JenkinsでJVM上で動かない言語（PythonやRubyなど*1）を使っていると、ジョブごとに環境が分離されていないことが問題になる場合があります。 Pythonにおける virtualenv やRubyにおける Bundler を使えば、ジョブごとに利用するライブラリを分離することができます。しかし、C拡張ライブラリをインストールするためには、ジョブが実行されるノードに開発用のファイルが存在している必要があります。例えば、Pythonモジュールの lxml のインストールにはlibxml2やlibxsltの開発用ファイルが必要です。 *2 このようなファイルが必要になるたびにJenkinsのノードにインストールするのはスマートじゃないですし、実行に必要な環境はコードの形で明文化されているべきです。 ジョブでaptやyumを使ってインストールするのもセキュアじゃないですし、
GitHub - hexops-graveyard/dockerfile: Dockerfile best-practices for writing production-worthy Docker images.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
しばらくiOSアプリのクライアントサイドばかり開発していてサーバサイドプログラムにご無沙汰だったのだけど、 最近またGoでアプリのサーバサイドを書くようになった。 ちょうど xhyve が話題になっているのもあって、OS X の仮想環境がアツい感じだったので、 ひさしぶりに Docker で開発してみよう、と思いたち、Dockerを使ったアプリ開発をやってみている。 docker-compose を使って依存ミドルウェアも一緒に立ち上げる docker-compose [1] というのを使うと、複数のコンテナを同時に立てられ、それぞれにリンクも良い感じにやってくれる。 開発環境を作るにはもってこいのツールだ。 GoのWebアプリ サンプルとして以下のようなアプリを考える。 // main.go package main import ( "fmt" "log" "net/http" "gi
こんにちは、インフラ部の id:sue445 です。私事ですが先日GCPの Professional Cloud Architect を取得しました。 そういうわけで今日はGCPではなくAWSの話をします。 tl;dr; 劇的ビフォーアフター 構成 移行のモチベーション パフォーマンス向上 コスト圧縮 アーキテクチャの採択理由 やったこと 1. DB作成 2. MySQL 5.7 -> 8.0 MySQL 8.0でハマったこと MySQL 8.0からデフォルトの認証がcaching_sha2_passwordになった RDSのMySQL 8.0からMariaDB 監査プラグインがなくなった 3. 本番用のDockerイメージを作成 困ったこと：CodeIgniterがログの標準出力に対応していなかった 4. ECS + Fargate + CodePipeline構築 5. CDN作成 6
Dockerについて網羅してみた（ハンズオンあり）
Dockerコンテナの概要と利点 コンテナでぐぐると、「仮想サーバー技術がうんたらこんたら〜」と出てくるが、それは忘れていいというのから衝撃を受けた。笑 それから入る情報が多かったので、（正直意味不だった） 一言で、コンテナとは「互いに影響しない隔離された実行環境を提供する技術」 もっとシンプルに考えていい。難しく考えようとしていた →システムの実行環境を隔離した空間のこと 例）システムAとシステムBは、コンテナがあれば例えば、共通のフレームワークをアップデートしたりしても互い影響はない コンテナの特徴は、「独立」していること（ここで言う独立とは単体で完結していること） １台のサーバーにシステムが複数あっても競合しないこと コンテナを実現するソフトの代表が「Docker」 DockerはLinux上で動作するソフトで、Linuxに「Docker Engine」をインストールするとDocke
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Docker Hub公開のアナウンスがあったので、早速Docker HubとGitHubを連携させてmod_mrubyの実行環境をDockerイメージとして作った上で、それをMac上のVagrantで動くCoreOS内のDocker環境にデプロイしてみました。 本エントリではmod_mrubyとしていますがここは重要ではなく、自身が開発しているGitHubのアプリケーションに置き換えて読んで頂けると、便利さが見えてくるかと思います。 試してみると、非常に簡単にDockerイメージを作成できた上に、迅速にmod_mrubyの軽量な実行環境をデプロイできたので、その流れを簡単に紹介したいと思います。 Docker Hubにアカウントを作ってGit
ども、大瀧です。 今週金曜日にあるDocker Meetup Tokyo #2という勉強会でLTすることになりまして、大慌てでDocker触ってます。Dockerの開発は非常に活発で、新機能や仕様変更が続々と出ており刺激的なのですが、手元の開発環境として使っているMBAでのセットアップ方法が以前と変わりすぎていたので、備忘録としてまとめておきます。 Dockerの実行方法はVagrantを使う方法などいくつかありますが、今回はDocker公式ドキュメントをベースに、Homebrewで簡単にインストールする方法をチョイスしてみました。すぐに陳腐化する恐れがありますので、そこんとこオナシャス！です。 必要なソフトウェア OS X Mavericks(DockerはSnow Leopard以降をサポート) VirtualBox Homebrew VirtualBoxおよびHomebrewのインス
システムプラットフォームチームで SRE をしている id:masayoshi です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の7月号です。先月は id:chaya2z さんの AWS ECS で実行するバッチ処理を Cluster Auto Scaling を使ってコスト最適化する でした。 今月は、社内で最近始めたSREへの研修についてお伝えします。 SREの研修 SREの研修は新卒入社のSREや、中途採用でインフラエンジニアやアプリケーションエンジニアからSREにジョブチェンジした方を対象に実施しています。 SREの研修は主に以下の2つに分かれます。 SREの原理原則やSLI/SLOに関する研修 インフラ構築、運用、CI/CD環境の構築に関する研修 基本的にはどちらも受けてもらうことになりますが、受講者の経験によってはどちらかだけになることもあります。 ま
Why People Want Microservices.md マイクロサービス化が進む背景について考えてみた 最近マイクロサービスって流行ってますよね。バズってると言ってもいいくらい。 個人的には、「マイクロサービスって結局何なの？」とか、「SOAと何が違うわけ？」とかいう議論は苦手です。 でも「なんでみんなマイクロサービスで作りたいのか？なんでマイクロサービスで作られるサービスが多いのか？」にはすごく興味があるんです。 僕は今、シリコンバレーにある日系SIerの小さな子会社で駐在員をやっていますが、このエリアに居ると、とにかく最近、 「サービス全体が、独立した小さなサービスの集合で構成されるようになってきている」 という流れがあるのは実感できます。もうそれが前提みたいになってるくらい。普通サービスって依存サービスを幾つか呼び出しますよね？ってところから始まるのが普通なくらい。 この記
1. DockerCon SF19 で発表の、基礎→マルチ・ステージ・ビルド→最新動向まで Sakura Internet, Inc. Masahito Zembutsu @zembutsu Docker Meetup Kansai #3 #dockerkansai May 24, 2019 Dockerfileを改善するための Best Practice ２０１９年版 2. DockerCon SF19 での発表に基づく内容 • Dockerfile Best Practices https://www.slideshare.net/Docker/dcsf19-dockerfile-best-practices 2 • 動画もご覧ください https://www.docker.com/dockercon/2019-videos?watch=dockerfile-best-practice
このブログはEmacs Lispで書かれていて、CoreOSが入ったマシンにDockerコンテナとしてデプロイされ、動いてる。あなたがこのブログのページをロードする度に、Dockerコンテナ内で走っているEmacsがリクエストをハンドリングして、org-modeで書かれた記事ファイルをhtmlに変換し、用意されたviewに差し込み、レスポンスを返している。elnode というEmacsをウェブサーバー化するプロダクト見つけて、気持ちが高まってしまったのが動機。 記事はorg-modeで書けて、いい感じ。ソースコードは github.com/supermomonga/darui.io にあります。Emacs Lispによるウェブアプリケーション開発、ある程度知見が貯まったので次はSinatra風ウェブアプリケーション作って、その後ドッグフーディングしてちゃんとしたブログエンジンとして書きなお
Docker, Mesos, Sensu等を利用したBlue-Green Deploymentの仕組み - $shibayu36->blog;
本番環境のBlue-Green Deploymentの仕組みのプロトタイプを作っていた - $shibayu36->blog; 開発合宿でDockerとMesosを使っていい感じにリソース提供とデプロイするやつを作ってた - wtatsuruの技術方面のブログ Docker + Mesos + Marathon + Graphite + Fluentd + Sensuを組み合わせたデプロイ管理ツールの話 - ゆううきブログ この辺に書いたとおり、id:wtatsuru, id:y_uuki, id:hagihala と一緒に、DockerやMesosなどを利用してBlue-Green Deploymentのプロトタイプのようなものを作っていた。この前は非常にざっくりと書いただけだったので、もう少し中身に突っ込んで書いてみる。かなり長くなったので時間があるときにでもどうぞ。 デプロイや運用の
機能変更、お知らせなど - はてなブックマーク日記 - ブックマークデータのエクスポート機能の公開について
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。8月12日（月）～8月18日（日）〔2024年8月第3週〕のトップ30です*1。 順位 タイトル 1位 いつか役に立つやつ - Togetter [トゥギャッター] 2位 ブラウザの履歴を操作して「戻る」ボタンで広告を出すやつについて – コーヒーサーバは香炉である 3位 そこそこ借金して「俺が考える最強のタスク管理・時間管理サービス」作った。どうか使ってみてほしい｜jMatsuzaki🔥 4位 ひとりの書店主として、伝えたいこと とうとう危惧していたことが現実になってしまった。｜二村知子 隆祥館書店 5位 【速報中】岸田首相会見 自民党総裁選挙に不出馬を表明 首相退任へ | NHK | 自民党総裁選 6位 人事制度の脆弱性を衝いて給料UPする『人事制度の基本』: わたしが知らないスゴ本は、きっ
Docker 社のユースケースでもあげられているように、CI/CD で Docker を使うというのは、プロダクションシステム以外で Docker の特性を活用できる良い場所だと考えています。ヌーラボではBacklog でのプルリクエストの提供以降、CI のジョブの実行のために Docker を利用しています。ここではその運用から学んだ５つの Tips を紹介したいと思います。 ヌーラボの CI 環境の全体図 これがヌーラボの CI 環境の全体図です。 CI には Jenkins を利用しており、Jenkins のジョブのトリガーとなるのは左側の Backlog や Typetalk です。実際には Jenkins Backlog Plugin や Jenkins Typetalk Plugin を利用してジョブを処理しています。これらのプラグインの詳細については本ブログ末に参照先をのせて
Qiitaに書きました。 GUIでDockerがサクサク使えるKitematicが便利 - Qiita Kitematic便利。Dockerの敷居がまた一段下がったので是非使ってみるといいです。 ここではコラム的にDockerを自分のマシンにインストールするとどのようなメリットがあるのか？個人ユーザーに何をもたらすのかについて雑多に考えてみます。 人の作ったアプリを試すのに便利 KitematicのようなGUIツールを使うことでもっとも便利になるところです。 IRuby notebookのような複雑なアプリケーションを動かすときもホスト環境を汚さずに試すことが出来ます。IRuby notebookとIPython notebook、どっちがいいのかなぁと比較するのもとても簡単です。 DockerHubやGitHubからよいDockerfileのコンテナを探す能力が重要になりそうです。 デプ
機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
こんにちは、オジュウチョウサンです。既にTwitterでは告知してますが、8/25（土）に技術評論社から「Docker/Kubernetes 実践コンテナ開発入門」を出版します。 8/25発売「Docker/Kubernetes 実践コンテナ開発入門」の詳細でました！コンテナ未経験でも最速で本番活用できるようになる内容です💪#kubernetes はもちろん、ポータビリティある軽量イメージの作り方やスペシャルTIPSまで、コンテナライフを豊かにする一冊です🎉https://t.co/Br0l3wdsgW #docker pic.twitter.com/aYd00j2HH9 — す (@stormcat24) August 2, 2018 執筆の経緯とか、どのように進めていったかについては別のエントリを用意するつもりなので、本エントリでは本書の見どころを紹介しておきたい💪 本書の目的
Docker Advnet Calendar 2014の6日目の記事となります. 今日は, ｢DockerでオレオレVPSを作った話｣というタイトルで, 最近作った｢Pocker｣という名前のアプリケーションを紹介したいと思います. どうしてそのようなアプリケーションが必要になったのか, その中でのDockerの使い方や, 利用したテクニックなどについてお話できれば, と思っています. あらすじ 自分は昔から｢さくらのVPS｣を愛用していて, 趣味で作った小規模な自分用ウェブアプリのようなものを, VPSの上に複数個設置していました. さくらのVPSは非常に安価で, しかも価格が固定という事もあり, 小規模なウェブアプリを共存させるには最適だったのですが, 1つのVPSに複数のWebサービスを設置してくると, ｢ゴミが溜まってくる｣という問題が出てきます. つまり, うまく管理していないと
かつて、窓の杜や Vector へウキウキでダウンロードしに行ったような「フリーソフト（フリーウェア）」たち。これら「フリーソフト」たちの中には、利用についての明示的な許諾がないソフトが多く存在する。 これらの公式な入手手段が生きている間は何も問題はない。しかし最近は、サイトが閉鎖されるばかりか、連絡先すらわからず困るケースが多くなっている。このように公式の配布手段が失われると何が困るのか。そこには大きく2つの問題がある。再利用の許諾を欠くことと、ソースコードがないことだ。 2022/12/29 追記: unasuke が「コードを公開する側」から見て同じ話題を解説した記事を公開しているので、私の記事とは別な視点が欲しい、あるいは疑問を持った方がいれば是非こちらも参照して欲しい。 blog.unasuke.com 問題1. 再利用の許諾がない（あっても曖昧） 再利用の許諾が書かれていなけれ
Google Cloud Next '19で発表された新機能を紹介します！ (Cloud Run, BigQuery Storage API, Cloud Data Fusion) - ZOZO TECH BLOG
こんにちは！ App EngineのスタンダードランタイムにRubyが追加されて喜んでいるバックエンドエンジニアのりほやん（高木）と、オレンジ色のチンアナゴは実はニシキアナゴという別種だったことに驚きを禁じ得ない塩ちゃん（塩崎）です。 4/9, 10, 11の期間で開催されたGoogle Cloud Next '19にZOZOテクノロジーズから高木と塩崎が参加しました! GCPの新しい機能や活用についての事例が多く紹介されました。 その中でも2人がカンファレンスで気になった技術を紹介します。 Cloud Run Cloud Runとは Cloud Runの特徴 実際に使ってみる 1. アプリケーションの準備 2. コンテナイメージをビルドする 3. Cloud Runにサービスを作成する App Engineとの違い サービスの比較 各サービスの概要 App Engine Cloud Ru
何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
開発合宿でDockerとMesosを使っていい感じにリソース提供とデプロイするやつを作ってた - wtatsuruの技術方面のブログ
3日間の開発合宿で、Docker と Mesos を使ってリソース管理からテスト・デプロイ管理までするやつのプロトタイプを作ってた。 4人チームで3日間みっちりやって、それなりにいい感じにはできたと思う。id:shiba_yu36 が既に書いてるけど、自分の視点から感想だけ書いておく。 本番環境のBlue-Green Deploymentの仕組みのプロトタイプを作っていた - $shibayu36->blog; 経緯 最近忙しくてあまり触れてない、Immutable Infrastracture みたいなのを作ってみたかった。 Docker を開発に使うのはいい感じだけど、実際の運用に組み込むには、というイメージをつかみたかった。 というのをラーメン屋で話してたら4人集まったので風呂敷を広げてみた。 どんなものを作ったか アプリケーションは Docker コンテナとして動かす。 Debia
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。7月22日（月）～7月28日（日）〔2024年7月第4週〕のトップ30です*1。 順位 タイトル 1位 うまく騙されないように、人の思考のクセを知っておこう。 | Books&Apps 2位 職場のADHDのAさんが辞めてくれて嬉しい1 3位 中年が人生に輝きを取り戻す、唯一のコツ | Books&Apps 4位 19人育てた里親｢親のない子はこんな残酷なことになるのか｣里親から引き離される晩に小2男の子が言ったこと ｢生きるのをやめようと思ったけど､この家があるから生きることにした｣ | PRESIDENT Online（プレジデントオンライン） 5位 2024年版のDockerfileの考え方＆書き方 | フューチャー技術ブログ 6位 カフェで食べたカレーが美味しくて店員さんに「すごい秘密があ
Vagrant1.6のDocker provider
Vagrant1.6のDocker provider Feature Preview: Docker-Based Development Environments Vagrant 1.6からDocker providerがサポートされた．つまり，VagrantでVMだけでなくコンテナも管理できるようになった． この機能はネイティブでDockerをサポートしてないOSXでも使え，この場合は裏側でProxy VM（boot2docker box）が勝手に立ち上がって，その上でコンテナが立ち上がる．つまり，以下のようになる． OSX -> (Proxy VM) -> Docker Container OSXの場合，これは今までboot2dockerを使ってやってきたのと変わらない．ただ，Docker providerを使うと，boot2dockerの立ち上げまで面倒を見てくれる． 何が嬉しいのか
Rust開発時の便利ツールたち
前書き Rustを書くときに便利なツールをまとめた記事が無い気がしたので作成。(ちゃんと探してないので既にあるかも) 公式ツール cargo パッケージマネージャ 基本だけどとても便利なツール 一度はThe Cargo Bookを読んでおくことを推奨。 rustfmt フォーマッター cargo fmt でもフォーマットの修正が出来る。(こっちを使うことが多い) clippy lintツール こう書いたほうが良いよという提案もしてくれるので便利。 cargo clippy --fix を使うと自動で直してくれる。 rust-analyzer Language Server rls もあるが、(最近は?) rust-analyzer の方がメジャーな気がする。 追記 : RLSは非推奨になりました。RLS Deprecation 非公式ツール cargo-watch ソースコードの変更を検知
Docker + Jenkins + travis.yml parser 作って Travis っぽいものを作った話 - from scratch
年末にDocker触ってて、これをうまく活かせば、副作用を無視した使い捨てのテスト環境が作れるんじゃねーかな、という意識が高まったのですが、手を付けられずにうにゃうにゃしてました。 そうこうする内に yahooのデベロッパーの方からJenkins with Dockerというタイトルの発表があり、ほぼ僕のやりたい事のベースができていたので、これをforkして、travis.yml parserや若干のバグフィックスを入れてもう少しだけTravisに近づけてみました。 ちなみにこれは 社内 Immutable Infrastructure ハッカソンした時の成果物です。 Immutable Infrastructure Hackathon at :D を開催したら、configspec の敷居が高いのでコミッタになっていました - sonots:blog 今回の成果物に関して、詳しくはここを
これだけはやっておきたい〜マイクロサービスのデプロイメント - クラウドワークス エンジニアブログ
Scala大好きインフラエンジニアの九岡(@mumoshu)です。マイブームはConcourse CIですが、今日はマイクロサービスの話をさせていただきます。 TL;DR; 「サービスの負荷上がってきたし、マイクロサービス化しよう。マイクロサービス化って、Railsアプリ分割して、それぞれCapistranoでデプロイしておけばいいんでしょ？」*1 マイクロサービス化をするためには、アプリケーションだけでなくインフラや運用のことも考える必要があります。 この記事では、クラウドソーシングのクラウドワークスが来るマイクロサービス化に向けて認識しているデプロイメント上の問題とその対策を紹介します*2。 テストからデプロイまでがめんどくさいよ問題 →Dev/Prod Parity、Infrastructure as Code、CI、ビルドパイプライン リリースに1時間かかるよ問題 →ビルドキャッシ
やってみたいこと javaとかpythonとかtexとかの開発環境をLinuxベースにしたい（Office周りとか普段の作業はWindowsで） CUIだけじゃなく，GUIも含む開発環境をコンテナベースで利用したい それぞれの開発環境は独立に管理したい jdkのバージョンをUPしたいとか，pythonは2と3を別々に作りたいとか，texは日本語用と英語用を作りたいとかの状況に個別に対応したい 編集対象のファイルはホスト（Windows）で一括管理したい バックアップをまとめて取りたい 特定のファイルに複数のコンテナからアクセスできるようにしたい 編集対象のファイルを持ち歩くだけで，開発環境はDockerさえあればどこでも動かせるようにしたい やってみること Docker for Windowsを使って個別の開発環境を導入したLinuxコンテナを立ち上げる Xをコンテナから飛ばしてWindo
Docker 公式のセキュリティ診断ツール「Docker Bench for Security」を試した - kakakakakku blog
最近 Docker 関連のセキュリティツールを調査する機会があり，今回は「Docker Bench for Security」を試したログを残しておく．「Docker Bench for Security」は Docker から公式に提供されているセキュリティ診断ツールで，具体的には「CIS Docker Community Edition Benchmark v1.1.0」をサポートしている． github.com コンテナ実行 「Docker Bench for Security」を実行する方法は複数ある．1番簡単なのはコンテナを実行する方法で，Docker イメージ「docker/docker-bench-security」が Docker Hub に公開されている． https://hub.docker.com/r/docker/docker-bench-security 注意点と
Intel MacからM1 Macの移行を想定。実際にはIntel MacからM1 Pro Macへ移行をしたのでその忘備録です。出来る限りというのは手動作業が存在するため。移行セットアップを利用せずにクリーンインストールを行う。 なぜクリーンインストールなのか CPUアーキテクチャがarm64に変わるからです。TimeMachineやThunderboltケーブル経由での移行を行ったとしてもM1に最適化されたアプリケーションやミドルウェアではなく、Intel環境下のファイルとarmアプリケーションが入り混じってグチャグチャになった環境を直すよりもクリーンインストールで綺麗な状態でセットアップをしたほうが利点が大きいと考えている。 逆に言えばアーキテクチャが同じであれば良いので、見ている方がいるかわからないがM1 MacからM1 Pro・Maxへの移行はThunderboltケーブル経由で
想定読者 この記事は「Vimって便利だけど、覚えたてだと局所的にしか使えなかったりして、実際に本格的にWeb開発するのは難しいし、モチベーションも続かないなあ…」という人のために書きました。 工夫した点 TODOサンプルアプリを用意して「Vimの設定適用 → リアルなコードを使って実際にVimを動かす」という感じで少しずつ便利になる体験をしながら実際のWeb開発でも使えるVimを使った操作や設定などを覚えていけるステップアップ構成 特定のプラグインを使うケースは類似プラグインを紹介し、他のプラグインも選択できるように。（これこそVimの楽しいところ。好きなものを好きなように自分で組み合わせて使う。） 注意点 Vimの説明になります(Neovimではありませんのでご注意ください)。 Vimはバージョン8.2を使っています。 Docker上のUbuntuでVimを動かす想定になっています。イン
Railsアプリの開発環境向けDockerfile + docker-compose.yml - アジャイルSEの憂鬱
人に説明するときに記事あると便利なので、開発環境向けのDockerfileとdocker-compose.ymlを書いておく。 Dockerfile FROM ruby:3.0.0 WORKDIR /app # Using Node.js v14.x(LTS) RUN curl -fsSL https://deb.nodesource.com/setup_14.x | bash - # Add packages RUN apt-get update && apt-get install -y \ git \ nodejs \ vim # Add yarnpkg for assets:precompile RUN npm install -g yarn # Add Chrome RUN curl -sO https://dl.google.com/linux/direct/google-ch
こんにちは！エンジニアの内藤 (@kakipo) です。 ディレクター 1 名、デザイナー 1 名、エンジニア 1 名の小さなチームでYknot（ワイノット）というサービスの開発、運用を行っています。 この記事では Yknot（ワイノット）で利用している技術やサービスについてお話いたします。 前半は技術的な内容を中心に、後半は運用が楽しくなる便利なサービスをご紹介いたします。 基本に忠実に、そして良い外部サービスは積極的に利用することを心がけています。 小規模チーム開発におけるシステム構成の参考になれば幸いです。 はじめに: Yknot（ワイノット）とは 企業向けサービスのクチコミサイトです。 食べログの BtoB サービス版です。 「今年はやたらと Slack っていうチャットの記事を目にしたけど、実際どうなんだろ。」 「サーバ監視のサービスって色々あるみたいだけど、なにがいいんだろう。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker を Mac で使ってみた（Nodeアプリ例）
Docker を用いた rpm / deb パッケージ作成の継続的インテグレーション - ゆううきブログ
新規サービスのバックエンド開発で3ヶ月経ったので、試した技術や取り組みをまとめてみた
Dockerの"分からない"を簡単にメモ - Qiita
はてなブックマーク開発ブログ
8つのDocker開発パターン | POSTD
Dockerを使ったGolang開発環境 - unknownplace.org
Herokuから ECSに 移行した - pixiv inside
Docker HubとGitHubを連携させてmod_mruby実行環境をDockerで簡単にデプロイ
はじめてのDocker on Mac OS X | DevelopersIO
はてなで最近実施しているSRE研修の紹介 - Hatena Developer Blog
マイクロサービス化が進む背景について考えてみた
Dockerfileを改善するためのBest Practice 2019年版
Emacs Lispでブログエンジン書いた
Docker で「速くてウマイ」な CI 環境を構築するための 5 つの Tips | 株式会社ヌーラボ(Nulab inc.)
Dockerは個人ユーザーに何をもたらすのか - ブログのおんがえし
Docker/Kubernetes 実践コンテナ開発入門 出版に寄せて
DockerでオレオレVPSを作った話 - Masteries
失われた「フリーソフト」の哀愁と、今を生きる開発者への願い。 - Zopfcode
Dockerでデータ分析環境を手軽に作る方法 - 天色グラフィティ
はてなブックマーク開発ブログ
DockerでポータブルなLinux開発環境(GUI付き)を構築する - Qiita
Intel MacからM1 (Pro・Max) Macへ(出来る限り)滑らかに開発環境を移行する
Vimで本格的にWeb開発したい人の為のステップアップガイド
Yknot（ワイノット） を支える技術 - Yknot 開発ブログ