障害対応からOSSへコントリビューションを行った時の話 | Recruit Tech Blog
Pulling xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/xxxxx:latest (attempt 3 of 3)... Error response from daemon: Get https://xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com/v2/: dial tcp: lookup xxxxxxxxxxxx.dkr.ecr.ap-northeast-1.amazonaws.com on 172.18.0.3:53: read udp 10.254.0.122:48372->172.18.0.3:53: i/o timeout デプロイまでのフローは ボタンクリックすると、 git clone -> docker build -> docker push -> k8
TerraformでFargateのSidecarを実現しよう - Tech Blog - Recruit Lifestyle Engineer
こんにちは！リクルートライフスタイルの共通クラウド基盤でリードクラウドアーキテクトをしている須藤です。 この記事は AWS Advent Calendar 2018 の2日目の記事です！( リクルートライフスタイル Advent Calendar 2018 2日目の記事でもあります) リクルートライフスタイルの共通クラウド基盤では、サービスごとにアカウントを払い出して、サービス開発者がその環境を構築する、というスタイルです。クラウドアーキテクトチームはCCoE(Cloud Center of Excellence)であり、TerraformやFargateを使いたい、という開発者に対しては、ペアプログラミングやアーキテクチャレビューなど、規範的・助言的な活動を通して成長しあっていく、という活動をしています。 当然、re:Invent 2018で発表された トランジットゲートウェイ や AW
コンテナ未経験新人が学ぶコンテナ技術入門
最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コードをから」 => 「終了コードから」 p.39: 「HTTPSが利用できない」=> AWS上では、SSL終端するLBがサポートされています。https://kubernetes.io/docs/concepts/services-networking/service/#ssl-support-on-aws p.40: 「ユーザがingress controllerをmaster上にセットアップする必要」 => master上にセットアップしなければならないという制約はありません。例えばGCEのingress controller(GLBC)はPodとして動作します。https://gi
Jupyter だけで機械学習を実サービス展開できる基盤 - Tech Blog - Recruit Lifestyle Engineer
こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な
Kubernetes活用に至るまで――リクルートテクノロジーズがコンテナを大規模システムの本番環境へ適用した事例
Kubernetes活用に至るまで――リクルートテクノロジーズがコンテナを大規模システムの本番環境へ適用した事例：先行事例に学ぶKubernetes企業活用の現実（2） 本連載では、サービスの開発、提供のアジリティ向上の一助となることを目的として、企業における「Kubernetes」の活用について解説する。今回は、リクルートテクノロジーズにおいて筆者が取り組んだ事例を基に、コンテナ仮想化技術を本番環境で利用する際の取り組み、成果と課題、「なぜ最終的にKubernetesを活用する決断に至ったか」を説明する。 コンテナ仮想化技術を本番環境で利用する際の3つのフェーズ 昨今、コンテナオーケストレーションツール「Kubernetes」に注目が集まっています。本連載「先行事例に学ぶKubernetes企業活用の現実」では、サービスの開発、提供のアジリティー向上の一助となることを目的として、企業にお
「Jenkins X」発表。Git/Docker/Kubernetesに特化したことでCI/CD環境の構築運用を自動化
「Jenkins X」発表。Git/Docker/Kubernetesに特化したことでCI/CD環境の構築運用を自動化 ソフトウェアの開発プロセスにおいて、「Jenkins」はビルドやテスト、デプロイなどを自動化してくれるツールとしてよく知られています。 そのJenkinsの派生プロジェクトとして、「Jenkins X」が発表されました。Jenkins Xは、Git、Docker、Kubernetesの環境を前提とすることで、Jenkinsの設定、運用などを大幅に自動化し、より簡単な導入と運用を実現するものです。 Jenkins Xは、Git/Docker/Kubernetes環境に特化 オリジナルのJenkinsは汎用的なビルドやテストの自動化ツールとして、さまざまな環境やツールと連係できるように作られています。そのため柔軟なコンフィグレーションが可能になっていますが、一方でそれが導入や
GitLab 10.4リリース。WebIDE搭載開始、Dockerイメージの静的セキュリティ解析、アプリケーションの動的セキュリティテストなどの新機能
GitLab 10.4では、デプロイ前のDockerイメージに対して静的セキュリティ解析を行うツールや、動的にセキュリティ解析を行うツール、そしてWebブラウザから利用できる統合開発ツールなどが搭載された。 主な新機能として、アプリケーションをDockerコンテナとしてパッケージしたあとで静的セキュリティ解析を行う「Static Application Security Testing (SAST) for Docker Containers」、Webアプリケーションに対して動的なセキュリティテストが可能な「Dynamic Application Security Testing (DAST)」、そしてWebブラウザでコードを編集できるWebIDE機能などが搭載されました。 clairを用いてコンテナの静的解析 GitLabには、コードの静的解析を行う「Code Quality」機能がすで
Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。 ※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基
マルチホストでのDocker Container間通信 第1回: Dockerネットワークの基礎 - Uzabase for Engineers
こんにちは。SPEEDA開発チームの鈴木です。 調べてみるとなかなか興味深い技術であるマルチホストでのDocker Conainer間通信。 これをどのように実現しているのか説明したいと思います。 が、その前に今回の投稿では、まず基礎知識的な話としてDockerのネットワークについて順を追って説明をします。 Dockerのネットワーク docker0 docker0に接続されているネットワーク・インタフェース veth ネットワーク名前空間 Docker Containerのネットワーク名前空間を参照する ルーティング シリーズ Dockerのネットワーク docker0 Dockerをインストールしたあと、ifconfigやip addr showするとdocker0なるものが表示されるようになるので、気になっていた人もいるかと思います。 これは一体何者なのでしょうか。 [kenji@a
【参考訳】LinuxKitの公開：安全、無駄のない、ポータブルなLinuxサブシステム - Qiita
概要 4/18(現地) DockerCon2017 で、Docker から LinuxKit (https://github.com/linuxkit/linuxkit) の公開とオープンソース化の発表がありました。ブログにも該当の解説記事が公開されており、例によって内容の把握用に、雑に訳しました。参考程度に留めて頂ければ幸いです。 原文 Announcing LinuxKit: A Toolkit for building Secure, Lean and Portable Linux Subsystems - Docker Blog https://blog.docker.com/2017/04/introducing-linuxkit-container-os-toolkit/ LinuxKit の公開：安全、無駄のない、ポータブルな Linux サブシステム 去年、私たちが皆さんか
Docker multi stage buildで変わるDockerfileの常識 - Qiita
Dockerイメージのサイズを1バイトでも削りたい皆さんに朗報です。 もうすぐリリースされるDocker 17.05でmulti stage buildという機能が導入される予定です。 こいつはこれまでのDockerfileの常識を覆す革新的な機能なのです。 Docker 17.05は本稿執筆時点では2017/05/03リリース予定となっており、現在はRC版が出てるので、気になる新機能を一足早くで試してみた。(2017/05/07追記:最終的に2017/05/04に正式リリースされました) とりあえずこの新しいシンタックスのDockerfileを見てほしい。 FROM golang:alpine AS build-env ADD . /work WORKDIR /work RUN go build -o hello main.go FROM busybox COPY --from=buil
JAWS-UG コンテナ支部 入門編 #4 いってきたメモ＆感想 - ほげほげふがふがもぐもぐ。
JAWS-UG コンテナ支部 入門編 #4 いってきたメモ＆感想 https://jawsug-container.connpass.com/event/51776/ いってきたので感想が薄いけれどメモを残しておく。 19:00-19:40 『DockerとDockerHubの概念と操作』 zembutsu さん https://www.slideshare.net/zembutsu/docker-container-image-command-introduction-2017-03 今日伝えること 技術と仕様 技術 コンテナ 仕様 docker どうしてdocker? サービス、アプリを作ったり、動かしたい でも、みんな手元とリモートの環境違ってて困ってない？ そこでdocker コンテナ？ 20世紀最大の発明とも言われてる linux kernelのコンテナ化技術 docker en
Using Docker, Neo4j, and Spring Cloud for Developing Microservices
This document outlines a presentation about using Docker, Neo4j, and Spring Cloud for developing microservices. Specifically, it discusses using these technologies to build an application that ranks Twitter profiles using the PageRank algorithm. It provides code examples and descriptions of how to connect Neo4j and Apache Spark to run PageRank jobs on the graph database, create Spring Data reposit
JAWS-UGコンテナ支部 #3 (2015/11/20 19:00〜)
【開催概要】 日時: 11月20日 (金) 18:30～ 受付開始 場所: DeNA セミナールーム (東京都渋谷区渋谷2-21-1 渋谷ヒカリエ) 参加費: 無料 (当日はLTのタイミングからお飲み物と軽食のご用意がございます。愛のある一口1,000円のカンパをお待ちしております！) 【スケジュール】 18:30 受付開始 19:00-19:05 挨拶 19:05-19:20「ECSアップデート情報 (仮)」 AWSJ 岩永亮介さん (@riywo) 19:20-20:00「Next FRESH! Applications with Amazon ECS (仮)」 株式会社サイバーエージェント @stormcat24 さん 20:00-20:10 休憩 20:10- スーパーLTタイム (お一人5分程度でお願いします！) ・「毎日2000個のコンテナをstartする鯖が突然死して僕が驚愕
Oracle、Docker対応クラウド「Oracle Container Cloud」発表。IaaSの新機能「Oracle Elastic Compute Cloud」も。Oracle OpenWorld 2015
Oracle、Docker対応クラウド「Oracle Container Cloud」発表。IaaSの新機能「Oracle Elastic Compute Cloud」も。Oracle OpenWorld 2015 米オラクルはサンフランシスコで開催中のOracle OpenWorld 2015で、同社のIaaS型クラウドサービスを提供するクラウドプラットフォーム「Oracle Cloud Infrastructure」の新機能を発表しました。 「Oracle Elastic Compute Cloud」は、スケールアウトするElastic Computeに加え、他の顧客とのリソース分離を明確に行える「Dedicated Compute」が利用可能。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Container Networking Deep Dive
GitHub - GoogleContainerTools/skaffold: Easy and Repeatable Kubernetes Development
JapanContainerDays v18.12
JAWS-UGコンテナ支部 入門編 #4 で登壇しました #jawsug_ct | 技術畑 | 情報畑でつかまえて
OpenStackとDockerの未来像
