Mercari advent calender の21日目を担当します@sanposhihoです。現在大学の学部4回生で、メルカリでは内定者インターンとして、メルカリのホーム画面などのバックエンドを担当するチームに所属しています。 また、最近は個人的にKubernetesやその周辺のOSSにコントリビュートをしていて、特にKubernetesのコントロールプレーンのコンポーネントのうちの一つであるkube-scheduler周りを触ってることが多いです。 後で詳しく説明しますが、kube-schedulerはPodをどのNodeで実行するかを決定しているコンポーネントです。NodeAffinityや比較的新しいものだとPod Topology Spread Constraintsなど、Podのスケジュールの制約を指定できる機能も基本的にこのkube-schedulerに実装されています。
先日、Visual Studio Code Remote Developmentが発表されました。これを使うと拡張機能や実行環境をリモートで完結きます。 NuxtでVSCode Remoteを使うメリット ローカル環境にNode.jsやyarnをインストールせずに開発でき、ローカル環境を一切汚さずに開発できる。 Node.jsのバージョン管理をしなくてよくなる。 拡張機能をリモート環境に事前にインストールできるため、一緒に開発する人の環境を統一できる。 ESLintやPrettierやデバッグ環境の設定を個々人で設定しなくていい。 パッケージをインストールするとき、OS依存パッケージを考慮しなくていい。 Dockerが使えるのでCI/CD環境と開発環境が統一でき、k8sやCloud Runにデプロイするときも楽。(AppEngineやCloud FunctionsもVSCode Remot
2017年にもうコンテナの未来・一つのカタチはもう確定したと言え、今更感があるものの、改めてDockerとコンテナについて。 今更こんなことを書くのは、情報が溢れてくる今こそ、正しく理解し、正しい順序で学習することが重要だと切に思うから。 内容についてのお断り How Toはかきません あくまでも2018年時点の私見 目新しい情報はない、2016年頃に書けたレベル Dockerをこう使えとか、こうするのがいいとかの話ではなく、コンテナとDockerに関して大きな視点で現時点で私の考えを書きます。また、私自身はかなりのコンテナ推進派です。 Dockerをよくわかっている人には意味のない記事となります。 コンテナ(Docker)のメリット 何故コンテナがいいのか、コンテナをある程度の学習コストを払ってでもやる理由 コンテナとDocker コンテナ技術はDockerが生まれる前から存在する技術で
Pull Requestをすぐ動作確認！ マイクロサービスでのプレビュー環境の作り方 - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 最近、マイクロサービスアーキテクチャを採用した環境でプレビュー環境の実現方法についていくつかのパターンを比較し整理する機会がありました。 今回の記事では、プレビュー環境を構築するための要件をなるべく特定の技術に依存せずに紹介したあとで、ArgoCD、Istio、OpenTelemetryを使用した実装例をご紹介します。 目次 目次 プレビュー環境とは プレビュー環境の構成要素 PRごとのアプリケーションやルーティングの設定のデプロイ ヘッダ伝播 および ヘッダによるルーティング 実装例 ArgoCD ApplicationSet Istio OpenTelemetry Baggageヘッダ挿入用Proxy 動作確認 まとめ 補足: 実装例で考慮していないこと 画像等のCORS DBのアクセス権限 参考 プレビュー環境とは ここでのプレビュー環境とは、Pull
となっています。 構成図 クラスタを構成するものを図にすると以下のようになります。 この中の一部コンポーネントは次節以降で登場します。 Kubernetes基盤 クラスタの基盤部分についてどのような構成になっているのか説明します。 kubeadm クラスタの構築自体については kubeadm を利用しています。 kubeadm を利用したクラスタの構築方法については公式のドキュメントが参考になります。 Static Pod と systemd kubeadm でデプロイすると kube-apiserver 等は Static Pod で、kubelet は systemd 以下で動作するようになります。 kube-apiserver は意外にメモリを食ってしまうのでそのまま動作させているとメモリ不足になることがあります。（ありました） なので kube-apiserver と etcd の
kubernetesでもぷよぷよがしたいので同じ色のPodが4個くっついたらdeleteされるcustom controller「くべくべ」を作った - Qiita
kubernetesでもぷよぷよがしたいので同じ色のPodが4個くっついたらdeleteされるcustom controller「くべくべ」を作ったGokubernetes Kubernetes使ってると、Nodeにえらい数のPodが溜まってくじゃないですか。消したくなりますよね。連鎖してほしいですよね。なりません？なので、4つ同じ色のPodが4個くっついたらdeleteされる、爽快感のあるカオスエンジニアリング用のcustom contollerを作りました。 deleteされるだけでは寂しいので、deleteされていく様子を見るためのkubectl pluginも作りました。合わせて使うとこんな感じになります。 左側の●のひとつひとつがPodです。Nodeが列に対応してます。6Node構成です。各色8個ずつpodを立てていて、右側にreplicasetの増減を置いてみました。 レポジト
AWS で Kubernetes クラスタを構築して学ぶワークショップ「aws-workshop-for-kubernetes」 - kakakakakku blog
Kubernetes を学ぶため，AWS から公式に公開されているワークショップ資料「aws-workshop-for-kubernetes」を試した．Kubernetes を学ぶためのコンテンツが網羅的にあるため，今回はワークショップの紹介と，実際に試した一部のコンテンツをまとめたいと思う．既に Kubernetes を詳しく知っている人であれば早く進められるかもしれないけど，Kubernetes 初心者だと，理解しながら進めることになるので，全コンテンツを終えるのはかなりの時間が必要になる気がする．ワークショップ資料は全て GitHub に公開されていて，誤植などがあれば，プルリクエストを送ることもできる． github.com なお，ワークショップ資料は AWS Technical Evangelists の「グプタ先生」がメインで作成されていて，それだけでもうモチベーションが上がる
外出先でも快適なお家k8sクラスタを構築する
1 なぜお家Kubernetesクラスタか2 Workerのハードウェア構成と価格3 マシンにUbuntuサーバをインストールする3.1 Live USBの作成3.2 インストーラの進化3.3 LVMのディスク容量を増やす4 Kubernetesの構成検討と構築4.1 cri-oのセットアップ4.2 kubeadmによるクラスタ構築4.2.1 事前準備4.2.2 Master/Workerの構築4.3 ciliumのCNIプラグインを適用する4.4 MetalLBの構築5 CloudflareのArgo経由でSSHする5.1 Server設定5.2 Client設定5.3 Cloudflare Accessでアクセスユーザを制限する6 kubeadmによるクラスタアップグレード6.1 CNIプラグインのアップグレード 1 なぜお家Kubernetesクラスタかなんでもクラウドサービスな時代
この記事を読んだらできること Mobyをビルドしてruncとcontainerdを動かせます。 runcとcontainerdを使ってコンテナを動かすことでなんとなくコンテナの理解が深まります。 夏休みの自由研究にコンテナを動かす仕組みを自分で深く調べたくなります（たぶん)。 記事の背景 Dockerを使い、なるべく小さい薄いコンテナを作っていく中でDockerの中身を詳細に知りたいと思ったので、DockerのソースコードであるMobyをビルドしてコンテナ実行のコアの基盤ソフトであるrunc、containerdを動かしてみました。 1. コンテナのアーキテクチャと用語解説 まずMobyを動かす前にコンテナのアーキテクチャと用語を理解しておく必要があります Docker Desktop(mac版)を俯瞰した図が上記となります。実際はDocker DesktopはKubernetes(k8s
Kubernetes Novice Tokyo #27 で発表した資料です。 https://k8s-novice-jp.connpass.com/event/293144/ 発表のライブ配信はこちら。 TODO スライドで紹介した参考リンク集: https://bells17.medium.com/things-you-should-know-about-reading-kubernetes-codes-933b0ee6181d https://www.amazon.co.jp/dp/4297104385/ https://www.amazon.co.jp/dp/4297118378/ https://go.dev/tour/welcome/1 https://gopherdojo.org/studyroom/ https://www.amazon.co.jp/dp/4621300253
世界同時接続数130万人超の話題ゲーム『パルワールド』はたった1人の24歳化け物エンジニアがワンオペで捌いているらしい
Takuro Mizobe | Craftopia, Palworld @urokuta_ja (株)ポケットペア代表 代表作: Palworld, AI: Art Impostor, Craftopia, Overdungeon, Coincheck Founder ゲーム開発の全職種で積極採用中です！ インタビュー: bit.ly/2ObnR2k store.steampowered.com/app/1307550/Cr… Takuro Mizobe | Craftopia, Palworld @urokuta_ja ポケットペアはやばい会社なので、全世界同接110万人ゲームをネットワーク兼インフラエンジニア1人が捌いています 確か彼もまだ24歳ぐらい・・ 彼が1人で協力プレイ、専用サーバーの構築（サーバー1000台近く建ててるので自動化必須。k8s）、通信最適化などを支えています 彼
「経験の浅いソフトウェア開発者が気になっていること」という募集への反応のまとめ - 覚書
数日前にブログや記事、書籍執筆ネタ集めのためにこういうtweetをしました。 [ゆるぽ] 経験の浅いソフトウェア開発者が気になっていること、とくにすでにそれなりのキャリアを積んだ人に聞きたいこと もっというと別に(ソフトウェア技術者としての)私個人について聞きたいことでもいいです— sat🧊 (@satoru_takeuchi) 2020年2月28日 その結果、返信および引用RTで数十個のネタが寄せられたので、まとめてみました。その場で回答したものについては回答一緒に書いています。それに加えて、私がわからないと言ったことについて別のかたから回答をしていただいたものについても書きました。さらに、既に経験豊富なかたがたから「経験の浅いソフトウェア開発者が気になっていそうなこと」や「知っておいてほしいこと」のようなネタもいただいたので、こちらもまとめました。 文面は基本的には改変せずにそのまま
k8s のCDツールがいくつかあるので、それらの特徴についてまとめる。 一応CDツールの定義は"k8sにWebアプリケーションをデプロイするツール"を想定しているが、 k8sにおけるデプロイはマニフェストファイルを apply することなので、 そういったものはすべてCDツールとみなして調べた。 すべてのツールをちゃんと調べたわけではないので、ものによってはサラッとした紹介になっている。 Flux Tekton(Tekton Pipeline) Jenkins-X PipeCD GCP Cloud Deploy AWS Code Pipeline Spinnaker Pipeline & Stage 動的なパイプライン Managed Delivery Spinnaker を使いこなせるか? ArgoCD Single Source of Truth(SSOT) 複雑なCDパイプラインは作
「入門 継続的デリバリー」は継続的デリバリーを学ぶのに最適な教科書だった. - Lean Baseball
最近読んだ「入門 継続的デリバリー」がとても良かったので紹介しますね, というエントリーです. 入門継続的デリバリー良かったです. 「継続的デリバリー（Continuous Delivery）」とか「DevOps」ってどこから学ぶかわからんな！？ というのは割とあるあるだと思っています, そもそもめちゃくちゃ難しい話なので（ちゃんと学ぼうとすると）. そんな中, 「入門 継続的デリバリー」がよく説明できてて良かったので感想と関連する書籍を紹介できればと思っています. TL;DR 入門 継続的デリバリー 我々はなぜCDをするのか? 具体的なプラクティス 入門後に読むべき良著 Kubernetes CI/CDパイプラインの実装 継続的デリバリー チームトポロジー 結び - 我思うCDとDevOps TL;DR 「入門 継続的デリバリー」は継続的デリバリーの大切さと概念, 手法を現実にありそうな
Mac の Docker の x86-64 エミュにプッツンした勢いで、余ったパソコンをリモート Docker サーバーにした
Mac の Docker の x86-64 エミュにプッツンした勢いで、余ったパソコンをリモート Docker サーバーにした ARM Mac で Docker Desktop や Lima を使っていて、 docker build --platform x86-64 .... や docker run --platform x86-64 .... が、いきなりクラッシュしたり、途中まで進むけど特定の箇所でコケたりで困ったことはありませんか。 私はしょっちゅう困ってます。いよいよ我慢の限界になり、部屋でホコリを被ってた x86-64 なパソコンを使ってどうにかすることにしました。 これはホコリをはたいてキッティング中の様子です。 前準備 x86-64 なCPUを搭載したパソコンを調達する Intel でも AMD でもどっちでもいいです。私は手元に転がってた Lenovo M75q-1 を
簡単にローカルKubernetes環境を構築できるツール「Minikube」 | さくらのナレッジ
Dockerなどのコンテナ技術を使ったクラスタ環境構築ツールとして広く使われているのが「Kubernetes」だ。しかし、Kubernetes環境を自前で構築するのにはやや骨が折れる。そこで今回は、仮想化技術を使って開発・テスト向けのKubernetes環境を構築するツール「Minikube」を紹介する。 Windows/macOS/LinuxでKubernetesのテスト環境を構築 Kubernetesはオープンソースで開発されているコンテナクラスタ構築ツールだ。Googleが積極的に推進していることもあり、昨今では広く使われるようになっている（図1）。 図1 KubernetesのWebサイト このKubernetesを使ったクラスタ環境の構築については以前の記事でも紹介しているが、Linux環境が必須であるほか、実運用環境に近い構成にしようとするとさまざまな設定が必要になる。Kube
この記事は別にチュートリアルとかではなくて所感を書いてるだけ。 だいぶ長くフロント沼やってきて、主観ではあるが、だいぶ落ち着いてきた。落ち着いてきたというか、自分は一通りキャッチアップ済みなので後は差分だけ抑えていけばいいという状態。PWA周りは色々あるが、各種標準化を寝て待って方がはやい。どうせ各自IE11が死ぬ2020まで特に大きな動きは取れまい。外から今フロント何やればいいのって聞かれたら、 とりあえず typescript + react + redux + styled-components + prettier 余裕あったら react-native(expo) やっとけって言う…。 というわけで、停滞してる今こそ他のジャンルに手を出すチャンスだ、と思って、横から動向を眺めつつそろそろかなーと思っていたのが docker + k8s と keras + tensorflow の
Amazon EKS の構築・運用のエッセンスを学べる「 Amazon EKS Workshop」の紹介 - 継続は力なり
タダです。 Amazon EKS(以下、EKS)が昨年東京リージョンに対応しました。 aws.amazon.com 東京リージョンに EKS がきたことで利用検討されている方も多いのではないでしょうか？ 今回は、EKS の実践的な使い方を学べるワークショップに触れてみたので、ワークショップでどんなことを学べるのかを紹介します。 eksworkshop.com TL;DR ワークショップの詳細 Kubernetes の基本的な用語とアーキテクチャ Kubernetes のアーキテクチャ概要 Kubernetes の管理ツール EKS の概要 料金 事前準備 参考情報 EKS クラスターの作成 管理画面の起動 サンプルアプリケーションのデプロイ レプリカのスケールアウト Kubernetes のパッケージ管理ツール Helm の導入 Helm を使って Jenkins をデプロイする EFK
はじめに ユビーでエンジニアをしているおおいしつかさです。 これは、Ubie Engineering Advent Calendar 2023の12月7日の記事になります。 何を書こうかなー、最近はユビーの根幹システムのリアーキテクチャをやっているのでその辺かなーと思ったのですが、まだ仕掛かり中だということと具体な業務に直結しそうな内容なので抽象化して書くのが面倒そうだなーと思ってたところに軽いトピックが飛び込んできたので、そのことを書くことにしました。 ChatGPTはみなさん使われていると思いますが、ぼくも別の業務でOpenAI関連の機能開発に携わっています(ユビーで働くといろんな業務に携われるのがいいところです) 。 その仕事の中で、Node.js環境でメモリ肥大化の事象に遭遇したので、それをどのように発見して改善したかについてお話します。 ぼくは今も昔もRubyが大好きですが、ふだ
概要 データパイプラインの管理にワークフローエンジンを導入したいのですが、今の要件に対してどれが合っているのか判断しきれない部分があるので整理してみました 最近の導入事例や発表をみるかぎりAirflow, Argo, Digdagあたりが人気なのかなと思います ワークフローエンジンとは ワークフローエンジンとは定期的なバッチ処理をうまく処理できるように、バッチ実行を管理してくれるソフトウェアのことです 古典的な実現方法としては適当なlinuxサーバーの上でcron実行させることが考えられますが、以下のような問題があります ジョブごとの依存関係を表現できない。cronの時間指定で実現させようとすると、タスクAを１時に開始してそれが完了するとみなして依存するタスクBを２時に開始するというような書き方をすることになるが、実際にタスクAが２時までに終わらなかった場合に処理が上手く実行できない タス
注意 この記事は、実運用したことのない、Kubernetes初心者が調べた結果に基づき作成しています。 間違い・誤解などありましたら、コメントや編集リクエストでご連絡ください。 TL;DR / 結論から先に言うと コンテナをクラウドでそのまま動かそうとすると困る n台動かしたいコンテナが、今クラウド全体で何台動いているのかとか デプロイするときに、コンテナを立ち上げたり落としたりする順番・タイミングとか コンテナに割り当てるロードバランサ、ストレージなどの作成とか 他にもいろいろ Kubernetesはクラウド全体のコンテナ周りを一元管理してくれるので便利 どの環境で、どんなコンテナがどれだけ動いているかとか、把握してくれるので便利 コンテナ周りをどんな構成にしたいか、yml形式で書いてkubectlコマンドで渡す 運用者の指示した形になるように、コンテナ周りを一元的に操作してくれるので便
今年一年Kubernetes on AWSをやってきて、kube-awsメンテナ目線で、「今日から、できるだけ楽に、安定して本番運用」するための個人的ベスト・プラクティスをまとめておきます。 TL;DR EKSはまだプレビュー申込の段階。実際に動くものがあるかもわからない。 EKSとkops、kube-aws、kubesprayなどは組み合わせて使うもの。代替えにはならない。 SaaSありなら分散ログ、分散トレース、リソースモニタリングはDatadogに寄せると運用が楽 istioは安心して本番運用できるフェーズではない(Service Meshが必要なら、まだLinkerdのほうがよい) アプリケーションにPrometheusエンドポイントを生やしてメトリクスを取れるようにすべき アプリケーションはOpenTracingやZipkin、Jaegerなどのトレーサを組み込み、Zipkin
第2回 Kubernetesの歩き方
Kubernetesはどこから学ぶのがよいですか？とか、よい資料やサイト無いですか？とかよく聞かれるのでまとめてみました。(この記事はKubernetes Meetup Tokyo#5の発表内容です) あらすじ 次の6つのパターンのとき、どこを見にいくとどんな情報が置いてあるのかを紹介していきます。また、よりよい情報源があれば教えていただけると嬉しいです :) 入門する アプリケーションを管理する Clusterを使う＆作る k8sユーザの動向を追う KubernetsをDeepDiveする 困った時は 入門する Kubernetesは独自用語がたっぷり含まれているので、いきなりアプリケーションをドキュメント読みつつ構築しようとするとハマります。まずはKubernetesのコンセプトをざっくり読んだ後に素晴らしいインタラクティブなチュートリアルを触ってみるのがよいです。 Concepts
「Docker/Kubernetes 実践コンテナ開発入門」はDockerを本番で使うスキルを最短で習得できる書籍
ども、大瀧です。 8/25日に技術評論社から発売されたDocker/Kubernetes 実践コンテナ開発入門を読む機会 *1がありましたので、ご紹介します。 著者は@stormcat24さんです。 アジェンダは本人ブログにとてもナイスなものが既に公開されているので、そちらをご覧いただくのが良いと思います（面倒臭がっているわけでは無いですw Docker/Kubernetes 実践コンテナ開発入門 出版に寄せて · tehepero note(・ω<) 2.0 まずは単著にもかかわらず、コンテンツの幅広さと濃い内容に圧倒されます。「Dockerを本番で使う」というコンセプトの元、入門から構築、運用に至るまで様々な切り口での技術解説が続きます。この手のアラカルト的な書籍にありがちな"何人かの共著で、章によってレベル感や文章力のギャップが辛かったりしない?"といった心配は無用です。それどころか
これは、k8sクラスタを個人で運用する際に行った構成要素の技術選定の記録である。 技術選定の理由を書くのも見るのも楽しい、という心情のもとにここに公開する。 前提知識 以前、こんなエントリを書いた。 bitcoinのfull nodeをAWSでなるべく安く運用してみる - でこてっくろぐ ねお 上記の通り、個人でbitcoinのfull nodeという、状態をバリバリもつサービスを、AWSでのコスト面で最安を狙って作り運用を行っていた。 しかしその後、Oracle Cloudで運用したほうが安くなることに気づいたため引っ越した。 Oracle CloudではARMのVMが4台無料で使えて複数台構成が組め、AWSやGCP同様k8sのマネージドサービスもあり、また仕事でk8sを扱う部署に異動したのもあり、勉強のためk8sクラスタ上で運用することにした。 構成要素 以下の構成要素を選択している。
はじめに 本記事では、Kubernetesで実現するマルチテナントについて、2020年9月時点での現状と、将来的に利用できるであろう機能の紹介をいたします。各機能についての詳細は、参考ドキュメント等を参照していただければと思います。 本記事の要点 マルチテナントは単一のクラスター上に複数のテナントを共存させることを指す。 Kubernetesにはマルチテナントを実現するための機能が備わっている。 アクセスコントロール：RBAC セキュリティ：Namespace / Network Policy / Pod Security Policy リソースの隔離：ResourceQuota / LimitRange / Affinity / Taintなど Kubernetesのマルチテナント機能は、SIGを中心として機能開発が進められている。 Benchmarks Tenant Controlle
k8s環境のメトリクスやログを取得するマネージドサービス「CloudWatch Container Insights」が発表されました！ | DevelopersIO
k8s環境のメトリクスやログを取得するマネージドサービス「CloudWatch Container Insights」が発表されました！ 従来、EKSの監視やログ管理にはサードパーティーOSSや監視用SaaSなどがほぼ必須だったのが、CloudWatchのみで完結しそうな大型アップデートです。 現在開催されているKubeCon + CloudNativeCon Europe 2019 - Linux Foundation Eventsにおいて、Kubernetes環境のコンテナ環境のメトリクスを取得する「CloudWatch Container Insights」が発表されました！ コンテナワークロードのためのメトリクス・ログモニタリングサービス、CloudWatch Container Insights の Public Preview を発表しました！！ #KubeCon 続) pic
Cloud Native時代における Docker / Kubernetes による開発 �Developers Summit 2019 at 02/14 / devsumi2019_amsy810_k8s
今日Dockerなどのコンテナ技術は広く普及し、GCP・Azure・AWSがマネージドサービスをリリースしたことなどからも、コンテナオーケストレーションエンジンとしてはKubernetesがデファクトスタンダードだと言えます。 本講演ではKubernetesが必要な理由・機能及びコンセプト・解決できる問題について、また分散システムとしてのKubernetesの仕組みについて紹介します。あわせて、コンテナを利用した開発をするにあたり切り離すことのできない「Cloud Native」や「マイクロサービス」の考え方、最近のKubernetesを取り巻く技術動向、将来性についても紹介します。 青山 真也 株式会社サイバーエージェント アドテク本部 Infrastructure Engineer Cloud Native Days Tokyo Co-chair／Japan Container Day
コスト最適化目的で個人 AWS アカウントの整理をした
ここしばらく円安が続いているのと、結局自宅サーバのおもりがへたっぴで崩壊し続けている関係で EC2 とかばんばか使っていたら日本円コストが嵩んでしまっていた。2024/2 から Public IPv4 Address 課金も開始されるのもきっかけ。 なんとかすべく 2023 年末に休みを取って大整理をやった。サボっていたけどこのままだとさすがにキツいなと思って基本的にはしょうもない整理です。基本的には homelab として意図的に色々あそべるようにしていたのを止めたりとかになる。ご笑覧ください。 どんなもん 月間コスト 378 USD (2023/8) → 153 USD (2023/12), without tax 日本円コスト 59,099 JPY → 24,583 JPY/mo, with tax 内訳 (USD); EC2-Instances: 140.92 → 61.27 S3
社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog
はじめに 転職後の二つの喪失感への対応 所属チームの現状とMonotaROのアプリケーション/サービス共通基盤（所謂プラットフォーム） 所属チームの状況 社内プラットフォームの状況 マイクロサービス開発のためのテンプレートの導入 開発のロケットスタート：テンプレートの早期提供 テンプレート作成の5つの要点 1. ベンダー非依存なObservabilityの実装 2. CI/CDを早期に提供（特にLinterを最初期に） 3. APIプロトコルとして、JSON over HTTPとgRPCの双方をサポート 4. 最低限の薄いフレームワーク 5. セントラルProtobufリポジトリの提供 現在の取り組み (2023年10月以降)と今後の展開 さいごに はじめに はじめまして、MonotaROのCTO-Officeに所属する伊藤と申します。 github.com recruit.monotar
Twitterフォロー&条件付きツイートで「バリーくんぬいぐるみ」を抽選で20名にプレゼント！ 応募期間は2019/11/29～2019/12/31まで。詳細はこちらをご覧ください。 今すぐツイートするならこちら→ フォローもお忘れなく！ 【IIJ 2019 TECHアドベントカレンダー 12/12（木）の記事です】 久しぶりに書きました。 どうもこんばんわ。九州支社で働くとみです。お久しぶりです。 実は2016年に一つ記事を投稿したのですが、実に3年半経過した今になってアドベントカレンダーの話が聞こえてきたので、久方ぶりに書いてみることにしました。 当時はこんな記事なんかを書いてたわけですが、この記事を書いてから3年間色々あったので、その中の一つを書いてみようかなと思います。 3年間で覚えたことを並べてみる 2016年当時はTHE ON-PREMISEと言われてもおかしくないような、どイ
1周年を迎えたAbemaTVの動画配信の裏側 / The background of video distribution in AbemaTV during one year
2017/8/24 TECH PLAY CONFERENCE 2017 https://techplay.jp/contents/techplayconf2017 ・AbemaTVとは ・AbemaTVを支える技術 ・AbemaTVの生放送が視聴できるまで ・MPEG-DASH(DRM)対応 1. 1周年を迎えたAbemaTVの動画配信の裏側 TECH PLAY CONFERENCE 2017 Yusei YAMANAKA 2. 自己紹介 3. 山中勇成 @toriimiyukki 株式会社サイバーエージェント 2017年新卒 株式会社AbemaTV サーバサイドエンジニア 配信チーム こういうカメラを 持っているほどの 放送オタクです 4. 「中3で初めて生放送サービスを作った」AbemaTVで働く最年少エンジニアとは？ https://www.wantedly.com/companie
マイクロサービスアーキテクチャ向けにサービスメッシュを提供する「Istio」の概要と環境構築、トラフィックルーティング設定 | さくらのナレッジ
Istio環境の構築 さて、続いては実際にIstioを利用できるクラスタ環境を構築していく流れを紹介していこう。 前提条件 Istioの利用には、まずコンテナエンジンとしてDockerが必要となる。また、対応するコンテナクラスタはKubernetes（バージョン1.9以降）もしくはNomad＋サービスディスカバリツールConsul環境となっている。ただし、現時点ではNomadベースのクラスタでの利用は未テストというステータスのようだ。そのため今回は独自に構築したKubernetesベースのクラスタ上でIstioを利用する流れを説明する。 なお、IstioはKubernetesのServiceやPod、Deploymentといった機能と連携して動作するようになっている。そのため、利用にはKubernetesの知識が前提となる。本記事もKubernetesに関する知識がないと理解が難しい点があ
circleciのbuild/test/deployをgithub actions(beta)に移行した - 839の日記
まだ機能的に足りないところもあるが、頑張ったら使える感覚だった。 githubにもfeedbackが送れる所があれば送ろうと思う。 circleciでやっていたことはざっくり書くと以下。 test系 golangのbuild/lint/test helm chartのlint helm templateで吐き出されたyamlのlint build系(only master) base imageのbuild & push k8s上で動かすprod imageのbuild & push deploy系(only master) GKE上にhelm secrets upgrade これをgithub actionsに移行した際にcircleciとの差分を感じた機能は以下。 slack通知 自分のリポジトリでは未実装、デフォルトは失敗するとメール通知が来る 未確認だが多分いろいろな人がbeta向
以前から自宅で練習がてら作りたいwebアプリがあって、慣れたやり方で作った後、vue.jsを導入してみるとか、pythonで作り直してみるとかそういうことをしようと画策していた。それでメモがてらevernoteに構成書いていって、そろそろやるかと思って自宅のMacを取り出す。 ひとまず「いつものスタイル」みたいなのを用意してからじゃないと、新しいことを学び始めると心が折れると思ったので、MacでできるLravel+Dockerらくらくセットみたいなのをネットから拾ってきたのよ。こういうのは本当にらくらくで、「最初のページ」をブラウザで開くまではらくらくそのものなわけ。 さてブラウザでapache確認したし、まずはDBから取り掛かるかと、シコシコとmigration(コマンド一発でDBができる)を書いた。あらかた書けたのでコマンドオンってするとエラーで通らない。色々調べて2時間ぐらい経って解
[3分で読める]『Managing Kubernetes』を最速でエクストリーム輪読して学んだこと #1 - Qiita
はじめに この記事はリファラル採用を促進する『MyRefer』を運営する『株式会社MyRefer』の有志のエンジニアによって書かれました。 エクストリーム輪読会を通して、得られた知見をできるだけ簡単にまとめて、 『3分で読んだ気になれるような記事を書こう！』という趣旨で書かれています。 エクストリーム輪読会について書かれている部分があるので、本の内容だけ把握したい人は下部のまとめパートまで読み飛ばして下さい。 エクストリーム輪読会とは 一般的な輪読会は事前学習が必要な上に、発表者以外の人に知識が定着しずらいという想いがあり、それをどうにかしたいという発想から、煩雑な準備を無しにして、活発な議論が行える輪読会を開催できないかという趣旨で始まりました。 有志を募って、みんなでお昼ご飯を食べながら『60分』でインプットとアウトプットを完結させます。 今回も有志で4人のエンジニアが集まりました。
![[3分で読める]『Managing Kubernetes』を最速でエクストリーム輪読して学んだこと #1 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d84638e5f792e12fadc6c813b1f880997a09fd93/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCMyVFNSU4OCU4NiVFMyU4MSVBNyVFOCVBQSVBRCVFMyU4MiU4MSVFMyU4MiU4QiU1RCVFMyU4MCU4RU1hbmFnaW5nJTIwS3ViZXJuZXRlcyVFMyU4MCU4RiVFMyU4MiU5MiVFNiU5QyU4MCVFOSU4MCU5RiVFMyU4MSVBNyVFMyU4MiVBOCVFMyU4MiVBRiVFMyU4MiVCOSVFMyU4MyU4OCVFMyU4MyVBQSVFMyU4MyVCQyVFMyU4MyVBMCVFOCVCQyVBQSVFOCVBQSVBRCVFMyU4MSU5NyVFMyU4MSVBNiVFNSVBRCVBNiVFMyU4MiU5MyVFMyU4MSVBMCVFMyU4MSU5MyVFMyU4MSVBOCUyMCUyMzEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTdlYjA3YzI4OTVlY2U3Y2EwODE3OTUzN2ZlYmZlM2Zl%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBVRURBWVVKSSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODQ5ODQ2OGFlOTUzMDg1ZmM1OTAxMWE0MTRjNmY0MjE%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D94416bb514f6ea851999487bdf9d626a)
Kubernetes, also known as K8s, is an open source system for automating deployment, scaling, and management of containerized applications. It groups containers that make up an application into logical units for easy management and discovery. Kubernetes builds upon 15 years of experience of running production workloads at Google, combined with best-of-breed ideas and practices from the community. Pl
はじめに 最近、Dockerが大人気ですね。GoogleやMicrosoftも参入してることはもちろんですが、Oracle Weblogicのサポート対象に入ってたりとミドルウェア側、それもエンタープライズ系製品が対応してきたのは面白い動きです。 とはいえDockerって何？っていう人もまだまだ結構多いと思います。 Dockerとはvmwareなどの技術の先にある軽量な仮想マシンである、と捉えてもあまり間違ってないと思いますが、個人的にはJavaEEコンテナの類似品というか、それと同じ文脈で考えたほうがしっくりきました。 なので、自分の理解を深めるためにも、JavaEEエンジニアはどのようにDocker及びその周辺技術を理解すればいいのか、という視点でまとめてみました。 そもそもDockerって？ Dockerとvmwareのような従来の仮想化で何が違うかですが、vmwareがOSの仮想化
こんにちはあんどう(@t_andou)です。 今回はKubernetesを使って並列処理させた記録です。 まだ「とりあえずそれっぽく動くまで試してみた」という段階で、kubernetesを理解できてはいないので自分用のメモを公開しているという認識でご覧ください。 間違っている部分や、よりスマートなやり方がありましたらご指摘いただけると幸いです。 この記事の概要 機械学習に使う特徴量の作成で1週間かかりそうな処理を10分くらいで終わらせられないかと考え、GKE(=GoogleのKubernetes環境)を使い試行錯誤した記録です。 今回は一部失敗して完了時間が1.5時間になったものの、設定を上手く出来れば15分程度で終わる見込みです。 対象読者 ・Kubernetesの概要は知っているくらいのレベルの人 ・KubernetesのJobを使った並列処理をしたい人 目次 この記事の概要 対象読者
GWなのでRaspberry Pi 5複数台をクラスタリングしてGrafana on Kubernetesを構築する | DevelopersIO
はじめに 世の中ではGrafana Weekということで、Raspberry Pi 5複数台をクラスタリングしてKubernetesを作成し、Grafanaを載せてみたいと思います。 というのは冗談ですが、最近趣味で安価に常駐プロセスをデプロイできるホスティング環境に悩んでいました。常駐しないなら最近はゼロコールドスタートなV8 Isolateを使ったCloudflare WorkersやDeno Deployが無料枠が大きくいい感じです。 一方常駐プロセスはHerokuの無料プランがなくなりました。AWS AppRunnerは起動時間を人間が稼働している時間のみに絞っても10$はかかります。fly.ioは、Legacy hobby planでCPU-1x 256mb VM 3つと3 GB 永続ボリュームストレージは無料で扱えます。fly.ioはCLIもよくできているので、軽い検証の場合こ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自作して学ぶKubernetes Scheduler | メルカリエンジニアリング
【VSCode Remote】10秒でNuxt環境を構築【脱WebStorm】 - Qiita
2018年なぜ私達はコンテナ/Dockerを使うのか - 続 カッコの付け方
Managed Kubernetesサービス開発者の自宅k8sクラスタ全容
Moby(Docker)をビルドしてruncとcontainerdを単体で動かしてコンテナの基礎を理解する
Kubernetesソースコードリーディング入門
k8sの各種CDツールを比較する - pospomeのプログラミング日記
docker + k8s やってる - mizchi's blog
Node.js でメモリ肥大化の原因を特定してみた
2019年のワークフローエンジンまとめ - Qiita
10分くらいでわかる、KubernetesとEKSの何が便利なのか - Qiita
今日から始める人のためのKubernetes on AWSベストプラクティス - Qiita
個人運用k8sクラスタの構成要素の技術選定 - でこてっくろぐ ねお
Kubernetesのマルチテナントの現状を整理する - TECHSTEP
分散SNSを使って技術を覚える | IIJ Engineers Blog
おじさんプログラマの学習曲線 - フロイドの狂気日記
Production-Grade Container Orchestration
Dockerってなんですか？ それ、JavaEEで分かるよ。 - ブログなんだよもん
【Kubernetes】1週間かかる処理を1.5時間で終わらせた【並列処理】 - ニートの言葉