転職に1年1ヶ月かかった元SIerの失業保険とかの話。 #退職者アドカレ - my cognition
本稿は退職者 Advent Calendar 2019の16日目の記事です。主に元同僚であり現在も友人であるN氏に捧げます。 tl;dr 無職になったらお金関係の手続きは限りなく迅速に 転職は一瞬だった 福岡を盛り上げて行こう 自己紹介 おおよそのbioはこちらを参照ください。割とダメ人間です。 旧弊社(～2018/11) 会社に入ったきっかけ 九州工業大学大学院を中退する際に、大学のキャリアセンターを通じて、第二新卒として面接を実施いただけたいくつかの会社から、 会社の情報、技術、評判 面接の際のやりとり 東京の会社に行ってキャリアアップする（重要） 等を総合的に判断して決めました。正直、世の中でイメージされるところの就職活動は行っておらず、４，５社程度しか受けてません。 旧弊社のいいところ 非上場会社ながら、会社の年数は長く、売上も大きく、他の追随を許さない尖った技術を持った会社でした
VS Code Remote - Containers を Docker Compose で使うのだー！ - Mitsuyuki.Shiiba
VS Code の Remote - Containers プラグインを使うと Docker の中で開発ができて最高だよ、という記事を読んで面白そうなので触ってみた。 www.keisuke69.net ちょっとぐぐったら、このプラグインに関する記事がいっぱい出てきた。結構前から人気なのね。知らなかったや。 ## Remote - Containers って何なの？ は、だいたいこんな印象。Remote - Containers プラグインが VS Code Server をコンテナの中にインストールして、ローカル側の VS Code がその VS Code Server とコミュニケーションする。 それによって、実際はコンテナの中にある開発環境が、あたかもローカルにあるみたいな気持ちで VS Codeを使うことができる。だから、ローカル側に例えば PHP を入れてなくても、VS Code
SREによるElasticsearchのQCD改善！シャーディング最適化とオートスケーラー開発の取り組み - ZOZO TECH BLOG
はじめに こんにちは、SRE部 検索基盤SREブロックの花房と大澤です。普段はZOZOTOWNの検索関連マイクロサービスのインフラ運用を担当しています。 ZOZOTOWNの検索基盤では、商品検索に関わる大規模なデータを取り扱うためにElasticsearchを利用しています。Elasticsearchを運用していく中で、私たちはパフォーマンスとインフラコスト、運用トイルの問題に直面していました。本記事では、私たちが抱えていた問題と、それを解決したアプローチとしてシャーディング最適化とオートスケーラー開発の取り組みについてご紹介します。 目次 はじめに 目次 背景・課題 パフォーマンスの課題 インフラコストの課題 運用トイルの課題 解決策 シャーディング最適化 Elasticsearchのシャーディング ノードのインスタンスタイプ変更 負荷試験によるパフォーマンス検証 コスト見積 安全なリリ
ぬるぽよりにるぽ、ヘビや宝石やイルカよりホリネズミやカニやアザラシが好きです。クジラに乗っていたらとある船の航海長に出会い意気投合しました。その後、帆船と衝突し大変な目にあいました。ペンギンとは未だにわかりあえません。 はじめまして はじめまして、うちやまです。バックエンドのアプリケーション開発を主にしています。 今回はCI/CDでGitHub Actionsに移行したことについてざっくばらんにお話しようと思います。私を含めチームメンバーはGitHub Actionsを知ってるけどそこまで使ってないし知らない状態です。GitHub Actionsに怒られイライラし、最終的に仲良くなっていった流れを書いていこうと思います。GitHub Actionsの深い技術要素というより、とりあえず移行してみて動くようになったよということを書いていくので、難しい話はしない予定です (というより、できません
私がこれを書く動機 私はKaigi on Railsのオーガナイザーのひとりです。Kaigi on Rails 2023は物理会場にて開催されることが公開されました。そうなるともちろん、会場でのインターネットについてはどうなる、どうする、という問題が出てきます。それに備えて、先輩イベントであるRubyKaigiを参考にしようというわけで、自分の理解のために書くことにしました。 おことわり 私はRubyKaigi 2022のネットワークをお手伝いしましたが、ケーブルの巻き直し、APの設営、撤収時の諸々を手伝ったのみです。よってこれから言及する内容については、一般参加者に毛が生えた程度の事前知識しかありません。 またこれから読み解くコードにおいて、コメントする内容の正確性は一切ないものと思って読んでください。 RubyKaigiのネットワークについて RubyKaigiのネットワークにおけるL
放射能漏れや火山の噴火、感染症の拡大といった「怖い」ニュースに関して、ツイッターの相互フォローの多い人ほど、自分が怖く感じたニュースを多くリツイートする傾向にあることが、大阪電気通信大などの研究で分かった。災害時には、ニュースなどに交じってデマ情報が流れることもあり、誤って拡散しないよう慎重さが求められるという。 研究チームは、放射能汚染水の漏出、デング熱の可能性のある患者の発生、下痢、嘔吐（おうと）による小学校の学級閉鎖、大雨に伴う洪水警報、エボラ出血熱の拡大予防など、１０種類のニュースについて、あらかじめインターネットのアンケートで印象を聞き、「怖さ」をランク付けした。次に、そのニュースを誰がどう伝えたかを知るため、約３２００人のユーザーについて、ニュースが流れたときの対応を調べた。 その結果、相互フォローの少ない人はどのニュースも平均的にリツイートしており、ツイッターを「情報共有」の
この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム（+分散Key Value Store）の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約：素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか？ 自分は学生時代からConoHa VPS（コンビニ支払いできるのが学生にやさしい）、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK
前記事「【AI&システム開発系】おすすめAdventCalendarと記事まとめ（19年12月前半編）」の続編です。 12月後半の Advent Calendarから 本記事では、 ・私が読んでいるAdventCalendar ・12月15日から31日に投稿された、個人的におすすめの記事 を紹介します。 私のなかで、一番凄いと思った記事は うちのおかんがやってた開発手法があるらしいんですよ（※オマージュです） です。 それでは以下。 機械学習入門系 カレンダー 機械学習をどう学んだか by 日経 xTECH 機械学習ツールを掘り下げる おすすめ記事 文系学生が機械学習を学んだ半年間の軌跡 機械学習の勉強をはじめるきっかけ、実施した勉強方法、そして実際に「コーヒー豆の欠点豆の検出システム構築」までの流れが丁寧に紹介されていてます。 この記事の方のような、「何かを作りたい！」というアウトプット
Bottlerocket、Calico、eBPF で EKS ネットワークをターボチャージする | Amazon Web Services
Amazon Web Services ブログ Bottlerocket、Calico、eBPF で EKS ネットワークをターボチャージする この投稿は、Tigera, Inc. の共同創設者兼 CTO である Alex Pollitt によって共同執筆されました。 先日、Amazon は Amazon Elastic Kubernetes Service (Amazon EKS) 上での Bottlerocket のサポートを発表しました。Bottlerocket は、セキュリティ、運用、および管理性を重視した、コンテナを大規模に実行するために Amazon が構築したオープンソースの Linux ディストリビューションです。Bottlerocket の詳細については、このアナウンスブログをご覧下さい。 Amazon EKS には、Amazon VPC CNI Plugin によって、
This post is also available in: English (英語) 概要 Unit 42のリサーチャーは2020年10月から2021年2月までインターネット上のセキュアではないKubernetes（k8sとも）クラスタを定期的にスキャンして分析してきました。Kubernetesクラスタの構成上のセキュリティは強化が可能で、また必要でもあります。そのように構成されていない場合、IPやポート、APIを知っていれば誰でも匿名でこれらのクラスタにアクセスできてしまいます。私たちのチームのリサーチャーが特定したセキュアではないKubernetesクラスタは2,100個あり、それらは5,300個のノード、31,340個のCPU、75,270個のポッドで構成されていました。これらセキュアではないクラスタは、Eコマース、金融、ヘルスケアなどのセクタの組織によって運用されており、さまざ
この1年の Amazon EKS アップデートを振り返る Amazon EKS Advent Calendar 2019 の1日目です. アメリカ時間だとまだ12/1なので許して… 他の AWS サービス同様、Amazon EKS もこの1年間で多くのアップデートを発表してきました. 本記事では、ざっくりとこの1年間の主なアップデートを振り返りつつ、いよいよ本日から開催される re:Invent に備えていこうではありませんかという、そんな目論見がございます. 日付順にアップデートを追って書いていたんですが、なんだか読みにくかったのでカテゴリごとに分けて書いていきます. 目次です. Security & Reliability Regions & Versions Nodes Storage & Networking Tooling Machine Learning その他 まとめ Sec
ご注意 本ドキュメントは 2019/12 時点の状況での検証結果をまとめています。 コメントに頂きましたが 2020/9 に CloudSQL がレプリ元をFQDNで指定可能となった (ref) ようで、Aurora -> CloudSQL へ MySQL レプリケーションができるようになった可能性がありますのでご注意ください。 はじめに ZOZOテクノロジーズでSREチームに所属している@hkameです 普段はZOZOTOWNのオンプレ基盤を運用しております ZOZOTOWNはレガシーなシステムから徐々にパブリッククラウドへのリプレイスを実施していまして そのプロジェクトに関わりながら、日々クラウドやk8s・CICDのスキルを吸収している人です マルチクラウドでサービスを構築するための検証として Aurora->CloudSQLの2サービスのみで、MySQLのレプリケーションができるか
EKSクラスターへ「kubectl」コマンドでアクセスする際の認証・認可の仕組みと設定 | DevelopersIO
上記のデフォルトロールに当てはまらないアクセス権限を定義したい場合は、新たなロールを定義することになります。 例えば、ポッドの参照のみ行えるアクセス権限は、以下のロールで定義できます。 apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: pod-reader rules: - apiGroups: [""] resources: ["pods"] verbs: ["get", "watch", "list"] $ kubectl apply -f pod-reader.yaml clusterrole.rbac.authorization.k8s.io/pod-reader created ただし、実際には「ポッドの参照のみ」のアクセス権限ではできることが限られますので、実運用で利用するロール
本記事は、Gunosy Advent Calendar 2020 8日目の記事です。 前回の続きとなります。 tech.gunosy.io 今回は後編として、実際にEKSクラスター構築の途中からアプリをデプロイする環境を整える流れをご案内し、最後に運用管理フェーズで必要となるであろうオススメ監視設定についてご案内します。 クラスター構築・後編（kube-system） アプリのデプロイ編 Helm Skaffold 監視運用編 アラート設定 cloudawach datadog dashboard さいごに クラスター構築・後編（kube-system） さて、EKSクラスターとASGも用意できたので、ここから作り込みを行っていきます。 まずはkube-system環境を整えていきましょう。 用途に応じて必須なものとそうでないものがあります。それぞれ表でまとめます。 対象 要否 メモ cl
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 もう２年前のエントリになりますが、IIJがKubernetesの活用を始めたきっかけを紹介したのがこの記事でした。 ようこそ、Kubernetes沼へ。商用サービスSREの現場から このとき、「不安を感じることなく、確実にシステムをアップデートする手段をKubernetesがもたらしくてくれるものと期待して使い始めた」と書きました。今振り返ってみると、その効果は期待を上回るものでしたが、いい意味で予想と大きく異なっていたことが一つありました。それは、言い方が難しいのですが、Kubernetesが思った以上にコンフィグレ
IntroductionDuring the first ever WSLConf, which went from an onsite to online event, I did showcase Canonical Kubernetes cluster Microk8s on WSL2 The demo told a story of going from the usual local one node k8s cluster to a multi-node in WSL2. And it ended with a (huge?) surprise: everything was running on Windows Server 2019 Insider Now it’s your turn and while in the demo the first parts were a
2021/07/16追記: Server Side ApplyするときにClientで差分検出して無駄なリクエストを発生させない方法を書きました。こちらの記事もご覧ください。 前回の記事では、Reconcile処理において無駄な更新処理を発生させないさまざまな実装方法を紹介しました。 その中で、Server Side Apply方式では更新に必要のないフィールドがリクエストに含まれてしまうために、それを取り除く処理を書く必要があり面倒だと書きました。 まもなくリリースされるKubernetes 1.21では、Server Side Applyのこの問題を解決する機能が導入されるようです。 Apply for client-go's typed clients この新機能では各リソース用にApplyやApplyStatusなどのメソッドが追加されます。 例えばDeployment用のAppl
SIer/年収1000万を手放した私 ( 後編 / 挫折の章 ) 〜 webエンジニアの 挫折者 と 生存者 の狭間で過ごした1年間〜 - 毛並みの揃った話はないけれど
はじめに みなさま、お久しぶりです。 私は プレイド のエンジニアの大平 (@Victoria_Peak_) と申します。 7年勤めた野村総合研究所を辞め、2018/07〜現在まで 株式会社プレイド で勤務しています。 twitter.com 普段からつぶやいたり(プログラミング・SaaS/SIer・ロードバイク・減量など)しておりますので、本エントリを読んで興味を持たれた方は、twitterでフォロー、リプライ、メッセージなどをいただければと思います。基本すぐに回答します。 本エントリは、去年2018年12月に執筆した、 前編 と、 今年2019年9月の 中編 の続編となります。 www.taihey-blog.com www.taihey-blog.com 中編を出してからというもの、前編のときよりも多くの方にお会いすることができ、みなさまから温かな応援コメントを頂きました。ありがとう
Fundamentals of DevOps and Software Delivery is now available as an early release!
Today, I’m excited to announce my new book! It’s called Fundamentals of DevOps and Software Delivery, and it’s a comprehensive, hands-on guide to deploying and managing software in production, written for practitioners. Fundamentals of DevOps and Software Delivery is now available as an early release! Readers of Terraform: Up & Running often asked me to recommend a general, comprehensive, practica
WEARにおけるKubernetesネイティブな負荷試験基盤の導入とその効果 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部バックエンド部SREの山岡（@ymktmk）です。普段はファッションコーディネートアプリ「WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 昨年から、私たちのチームでは分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始し、先月ついにKubernetesへの移行が完了しました。 techblog.zozo.com また、Kubernetesへの段階的な移行と並行して、Kubernetesの柔軟性を活かした運用改善や開発者体験の向上に取り組んできました。その一環として、k6-operatorを活用した負荷試験基盤を作成しました。 本記事ではWEARにKubernetesネイティブな負荷試験基盤を導入した背景とその効果についてご紹介します。Kubernetes環境における負荷試験基盤の導入を検
Deepen Understanding of CNI by reading amazon-vpc-cni-k8s
仕事で amazon EKS を運用していると、時たま network 周りのエラーに遭遇します。都度都度 on-demand に調査をしているのですが、一度全体感を抑えておいた方がいいなと感じたので amazon-vpc-cni-k8s のコードリーディングを通して k8s の network 周りの理解を深めることにしました。 CNICNI とは端的にまとめると、Container Runtime が用意する network namespace に対して network interface を ADD/DEL する操作を実装する interface です。 Container Runtime の仕様となる CRI が CNI に依存して実装されるので、具体的な Network 設計を抽象化して CRI（及びその client となる kubelet）から network resourc
AWS for Fluent Bit による Kubernetes ロギング | Amazon Web Services
Amazon Web Services ブログ AWS for Fluent Bit による Kubernetes ロギング 集中ログは、Kubernetes クラスターを大規模に実行および管理するための重要なコンポーネントです。開発者はアプリケーションのデバッグとモニタリングのために、運用チームはアプリケーションのモニタリングのために、セキュリティはモニタリングのために、それぞれログにアクセスする必要があります。これらのチームには、ログの処理と保存に関する異なる要求事項があります。このブログ記事では、Amazon CloudWatch と組み合わせた AWS for Fluent Bit を使用してログを集中管理するソリューションを紹介します。 AWS for Fluent Bit は Fluent Bit 上に構築されたコンテナであり、ログフィルター、パーサー、およびさまざまな出力
Open sourcing Kube2Hadoop: Secure access to HDFS from Kubernetes
Open Source Open sourcing Kube2Hadoop: Secure access to HDFS from Kubernetes Co-authors: Cong Gu, Abin Shahab, Chen Qiang, and Keqiu Hu Editor's note: This blog has been updated. LinkedIn AI has been traditionally Hadoop/YARN based, and we operate one of the world’s largest Hadoop data lakes, with over 4,500 users and 500PB of data. In the last few years, Kubernetes has also become very popular at
WebAssembly meets Kubernetes with Krustlet - Microsoft Open Source Blog
Linux container technology has changed the face of computing, but especially distributed computing in publicly rentable servers commonly said to be “the public cloud” (like Microsoft Azure). With containers came tooling – like Docker – and systems that orchestrate potentially millions of them – with Kubernetes becoming the most widely used. Together, they have enabled millions of developers and or
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る | Wantedly Engineer Blog
Argo Workflows: 推薦基盤向けワークフローエンジンを Kubernetes で運用して1年経ったので振り返る こんにちは。Matching チームの笠井（@unblee）です。 この記事では、おおよそ1年以上前に私が新卒入社して Infrastructure チームで一番最初に取り組んだ Workflow Engine の導入プロジェクトについての振り返り・供養をしようと思います。 記事内で触れている情報・判断は全て1年以上前の時点の社内外の状況に基づいていることを前提としているため現在の最新の情報とは異なることがあります。この前提を承知した上でお読みいただければ幸いです。 Agenda問題意識技術選定PoC本番環境への導入とその障壁の解決振り返りまとめ問題意識Wantedly では以前から推薦基盤へ力を注いでおり、Wantedly Visit におけるユーザと企業の理想のマ
Introducing GKE Autopilot: a revolution in managed Kubernetes In the years since Google invented Kubernetes, it has completely revolutionized IT operations, becoming the de facto standard for organizations looking for advanced container orchestration. Organizations that need the highest levels of reliability, security, and scalability for their applications choose Google Kubernetes Engine (GKE). I
e.g. github-comment で Envoy Proxy の設定の validation に失敗したら通知 github-comment というツールを使って GitHub の Pull Request (以下 PR) にコメントをして CI の結果を分かりやすくする方法について紹介します。 執筆時点で最新バージョンは v4.1.0 です。 github-comment とは github-comment は GitHub の commit, issue, PR にコメントをしたり、コメントを非表示にする CLI ツールです。 YAML の設定ファイルにコメントのテンプレートなどを記述し、それを元にコメントします。 シェルスクリプトとコメントのテンプレートを分離できるので、メンテナンス性が高いです。 3 つのサブコマンドがあります。 post: コメントをする exec: 指定し
The Future of WebAssembly Through the Eyes of a Veteran Kubernetes Engineer | HackerNoon
Too Long; Didn't ReadTaylor Thomas is the Head of Engineering at Cosmonic. He was a core maintainer of Helm for 4 years, and co-creator of Bindle and Krustlet. He is now a contributor to, and maintainer of, CNCF wasmCloud and is helping to bring the Cosmonic distributed application development platform to market. At the Pasadena leg of Kubernetes Community Days (co-located with SCaLE 20x), I had t
久しぶりの執筆です。 最後の執筆から大分ブランクもあり、以前やっていたエンジニアリングにも大分変化があったため、振り返りをしつつ、サーバサイドからクライアントをやるようになっての心境の変化を執筆できればと思います。 時系列から読み解く 2021年 ~ 2023年前期 現在の会社に入社。入社した会社に配属された部署では、社内サービスを中心にRailsを用いたサーバサイドの開発を行っていました。 当時、2022年後半から上手くいっていない時期があり、かなり煮詰まっていた時期でもありました。 2023年後期 ~ 現在 ここから、クライアントの事をやるようになりました。正直、2022年後半から煮詰まっていた時期から、諸事情によりクライアントのことをやることになり、かなりの危機感もありました。 作業内容から読み解く サーバサイド Rails、JavaScript中心の新機能開発やサイトの保守 社内サ
Not Using Serverless Yet? Why You Need to Care about re:Invent 2019’s Serverless Launches
Why Container Devs Need to Care about re:Invent 2019’s Serverless Launches Another re:Invent is over, and an army of weary AWS employees have flown back home, their launch tasks complete. The AWS Serverless teams, including AWS Lambda, Amazon API Gateway, AWS Step Functions, Amazon EventBridge and others were especially prolific in in the run up to, and during, re:Invent. But what does it all mean
Kubernetes Security: 10 Best Practices from the Industry and Community Kubernetes requires extensive configuration, and keeping container security at the right level is always challenging. One of the best ways to tighten your clusters’ security is by implementing tactics that […] Kubernetes requires extensive configuration, and keeping container security at the right level is always challenging. O
おうち Kubernetes 向けに Synology CSI Driver に VolumeExpansion を実装した話 - @amsy810's Blog
こんにちは。 青山（amsy810 ）です。 この記事は Kubernetes Advent Calendar の 1 日目の記事です。 いよいよアドベントカレンダーが始まりましたね。1か月間わいわいしていきましょう！ どこかの誰かに実装系の記事のほうが面白いよねってフリをされたので、今年は Synology CSI Driver に VolumeExpansion を実装しつつ、内部実装の紹介 をします。 VolumeExpansion は 1日あれば実装が終わるくらいの規模感でした。 おうち Kubernetes みなさんのおうちの Kubernetes はどこにありますか？ ちなみに私は下駄箱にあります。下駄箱DC。上流スイッチもここに集約されています。 そして皆さんストレージはどうしてますか？ hostPath や Local PV で我慢してる人がいたり、Longhorn や R
GitHub - fugue/regula: Regula checks infrastructure as code templates (Terraform, CloudFormation, k8s manifests) for AWS, Azure, Google Cloud, and Kubernetes security and compliance using Open Policy Agent/Rego
Regula is a tool that evaluates infrastructure as code files for potential AWS, Azure, Google Cloud, and Kubernetes security and compliance violations prior to deployment. Regula supports the following file types: CloudFormation JSON/YAML templates Terraform source code Terraform JSON plans Kubernetes YAML manifests Azure Resource Manager (ARM) JSON templates (in preview) Regula includes a library
kube-proxy は各ノードで動作するネットワークプロキシ。Service の仕組みの一部(ClusterIP や NodePort など)を実現し、クラスタ内部または外部から Pod にアクセスできるように制御する。 参考 Kubernetes Components 参考 Kubernetes Service Service は 特定ラベルの Pod に対する仮想的なエンドポイント。Kubernetes では Pod がどのノードに配置されるかが不定(オートヒーリングやオートスケールのため)のため、サービスディスカバリの仕組みが必要になる。 Service のサービスディスカバリ機能は DNS ではなくてプロキシ方式になっている。Service に割り当てられた ClusterIP にアクセスすると、各 Pod にアクセスが分散される。そのため、Pod の IP アドレスを直接意識す
概要 Dockerを触っていく上で、何を勉強したら良いかで行き詰まることが多かったので、勉強していて特に役に立ったな、と思ったものを備忘録がてら整理してみます。 対象読者 Dockerに入門したはいいけれど、インフラもLinuxも全然わからん、でも何とかしたい、というレベルの話が中心となっています。 k8sまで踏み込んだり、Dockerをバリバリ実務で使いこなすためのベストプラクティスなどなど、深い部分は対象外としています。むしろ、そういうのがあったら読みたいです。 また、本記事では、Webアプリの実行環境をDockerで構築できるようになるために必要な知識にフォーカスしています。そのため、データベースを利用した簡単なWebアプリをつくった経験があると、Dockerを勉強するモチベーションが高まるかもしれません。 前置き 1年ほど前に、ふとしたきっかけで、Dockerやるかと思い立ちます。
Conftest で CI 時に Rego を用いたテストを行う こんにちは。青山（@amsy810）です。 実は少しだけ PLAID さんでお手伝いをしており、CI に Conftest を組み込んで Kubernetes マニフェストのポリシーチェックを行うようにしたので、その時の備忘録を書いておきます。 PLAID さんでも GKE を基盤として選定して開発しています。 Conftest とは？ Conftest は Rego 言語で記述したポリシーを用いて、JSON や YAML などがポリシーに合致しているかをチェックする OSS です。 今回は Kubernetes のマニフェストがポリシーに合致しているかどうかを判別するために利用します。 例えば下記の例では、Deployment や StatefulSet などの Workloads リソースの Selector や起動して
Data EngineeringとKubernetes Executorの話 | メルカリエンジニアリング
Cityカラムが英語表記へ統一 Temperatureカラムは摂氏(℃)へ統一 Dateのカラムは、タイムゾーンをUTCに固定し、YYYY-MM-DDフォーマットへ こうしてDataが整理されてInformationになることで、「最高気温を比較すると、UTC 11月15日の時点ではPalo Altoの方が高かったが、12月5日の時点では東京の方が高かった」といった事実を見ることができるようになります。このInformationから導き出される傾向や規則性を導出されたものが、DIKWピラミッドにおけるKnowledgeになります。そして頂点であるWisdomは、導き出されたKnowledgeに基づいて人により下される判断のことそのものを示します。 Data Engineeringの仕事は、このDataを過不足無く蓄えること、DataからInformationへの変換・蓄積する作業がメインと
Kubernetes コンテナ名を y にすると実行できなくて困った(YAML の Boolean の話)2020/2/29 k8s 環境Kubernetes 1.15 ]# kubectl version Client Version: version.Info{Major:"1", Minor:"15", GitVersion:"v1.15.3", GitCommit:"2d3c76f9091b6bec110a5e63777c332469e0cba2", GitTreeState:"clean", BuildDate:"2019-08-19T11:13:54Z", GoVersion:"go1.12.9", Compiler:"gc", Platform:"linux/amd64"} Server Version: version.Info{Major:"1", Minor:"15",
eBPF and Kubernetes: Little Helper Minions for Scaling Microservices - @kanatakita's blog
KubeCon + CloudNativeCon Europe 2020 2日目 のセッションである eBPF and Kubernetes: Little Helper Minions for Scaling Microservices についてです。 スライド 以下のような内容でした。 eBPF についての初学者向けな説明 eBPF の歴史 eBPF の Kubernetes CNI 実装である Cilium について ※ 時系列を雑に日本語で起こしましたが知らないことばかりで都度調べながらの作業でした。 結局ほとんどスライドのままな気がしますが、それでも他の記事以上に誤りが多い気がするので間違っている箇所があったら優しく指摘してください・・笑 Challenges from OS kernel side 前半は eBPF を Linux に入れるまでの話？正直良くわからなかった・・
転職します | Melody
転職することになったのでその経緯とかを書こうかなと思います。 現職ではなにをやっていたのか現職では Recruit でスタディサプリ及び Quipper Product (Quipper School, Quipper Video) の SRE をやっていました。 2019-10-01 から Quipper Japan Branch の SRE team に Join し、 Quipper Japan Branch が 2021-10-01 に Recruit に統合されてからは Recruit の SRE をやっていました。 統合されてからも携わっているプロダクトや業務内容は特に変わってないので、 2 年 9 ヶ月ほど在籍していたことになります。 https://github.com/suzuki-shunsuke/resume に職務経歴書を置いているのでそちらも参照してください。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub Actionsと仲良くなったよ | IIJ Engineers Blog
RubyKaigi 2022の会場ネットワークリポジトリを読み解く | うなすけとあれこれ
相互フォロー多いと「怖い情報」リツイート？デマに注意：朝日新聞デジタル
100台くらいスケールする“Kubernetesもどき”を自作してみた！
【AI&システム開発系】おすすめAdventCalendarと記事まとめ（19年12月後半編） - Qiita
セキュリティの不十分なKubernetesインスタンスに悪用のおそれ
この1年の Amazon EKS アップデートを振り返る
Aurora->CloudSQLへMySQLレプリケーションはできるのか - Qiita
ゼロから始めるEKS事始め（後編） - Gunosy Tech Blog
Kubernetesを止めてもワークロードは止まらない？ | IIJ Engineers Blog
WSL2+Microk8s: the power of multinodes :: ~/wsl.dev — Get your Linux On
Kubernetes v1.21で導入される型安全なServer Side Apply
Introducing GKE Autopilot | Google Cloud Blog
github-comment で PR にコメントをして CI の結果を分かりやすくする
サーバサイドからクライアントをやるようになっての心境の変化 - Qiita
Kubernetes Security: 10 Best Practices from the Industry and Community
Kubernetes ログを読んで理解する kube-proxy の仕組み
DockerのDの字も分からない状態を抜け出すためにやって良かったことをまとめてみる - Qiita
Conftest で CI 時に Rego で記述したテストを行う - @amsy810's Blog
Kubernetes コンテナ名を y にすると実行できなくて困った(YAML の Boolean の話)