設定記述言語 CUE で YAML Hell に立ち向かえ #k8sjp / Kubernetes Meetup Tokyo 29th
Kubernetes Meetup Tokyo #29 で使用したスライドです。 扱う環境やアプリケーションごとに Kubernetes Manifest の内容を変えたいとき、代表的な方法が二種類あります。 ひとつは Helm のように「穴」が空いたテンプレートを用意しておき、必要に応じて値を当てはめて最終的な YAML を生成する方法。この方法はわかりやすいですが、カスタマイズできるポイントが最初から決まっており、さらに共通した構造を持つテンプレートを階層化することもできないため、全体として自由度が乏しくなるという欠点があります。 もう一つは Kustomize のようにベースとなる YAML を用意して、必要に応じて部分的に上書きしていく方法。こちらの方法ではカスタマイズできるポイントは限定されず、さらに作成した YAML をベースにして追加カスタマイズを加えることも可能ですが、出力
cuelangを使ったgrpcのテストツールを作った話 - Qiita
本記事はGo3 Advent Calendar 2019 17日目の記事です。 背景 少し前（９月頃？）にGoogleからcueというschemaベースでコンフィグファイルなどに使えるデータ形式が発表されました。相変わらずググラビリティの低い名前ですが、jsonやymlのスーパーセットでありながら、型定義が書けたりvalidationができたりする面白いやつです。 面白いやつなので何か使えないかなーと考えていると、型定義が使えるならgRPCとかと相性が良さそうだなと思いつきました。これはGoogleでも考えられていたのか、cueの実装にはprotobufからcueファイルを生成する実装が含まれています。 ちょうど仕事で毎回 grpcurl への入力をコピペするのにも飽きていたので、この辺りを自動化するテストツールを作り始めました。 ツールの紹介と使い方 まだ出来立てで実戦に投入していません
cuelang kubernetes チュートリアル#1 - tjtjtjのメモ
cuelang を触っている。まだ入門でたとは言えない感じだが、kubernetes チュートリアルが面白い。2周目で人に説明できるくらいになってきた。 https://github.com/cuelang/cue/tree/master/doc/tutorial/kubernetes cue import オプション cue import ./... -p kube -l 'strings.ToCamel(kind)' -l metadata.name -f -R -p, --package string package name for non-CUE files 非CUEファイルのパッケージ名 -l, --path stringArray CUE expression for single path component シングルパスコンポーネントのCUE式 -f, --force f
機械学習の予測を解釈するKernel SHAPの高速性と拡張性の向上を目指したライブラリを開発した - Fire Engine
先日，協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPという手法の理論と既存のライブラリの実装についてのブログを書いた． blog.tsurubee.tech 既存のSHAPライブラリであるslundberg/shap（以下，単にSHAPライブラリと呼ぶ）は，SHAPの提案論文*1のファーストオーサーにより開発されており，多くのSHAPのアルゴリズムの実装や可視化の機能が非常に充実している素晴らしいライブラリである． しかし，私が自身の研究の中でSHAPライブラリの中のKernel SHAPを使っている際に，計算速度と拡張のしやすさの観点で改善したいポイントがいくつか出てきた．今回は，まだ絶賛開発中であるが，Kernel SHAPの高速性と拡張性の向上を目指したShapPackというライブラリのプロトタイプが完成したので，それについて紹介する． 目
よみがえるMakefile
July Tech Festa 2021 https://techfesta.connpass.com/event/213069/ 40分の資料を直前に20分に直した。。。 # July Tech Festaとは 2013年から始まったJuly Tech Festaは、ITエンジニアに情報交換と人脈構築の場を提供するとともに、ITに係るエンジニアの知的興味を満足させるための祭典です。セッション内容はIoT、AI、機械学習、クラウド最新事情、コンテナ技術、DevOpsなど多岐に渡ります。 「 ITに関わる全ての人の知的好奇心を満たすお祭りを作りたい」ーー その思いから July Tech Festa は生まれました。 興味のある技術に触れ、普段会えない人の話を聞き、 参加したエンジニアがスキルやキャリアについて考えるきっかけになる そんな場を作ろうと、July Tech Festa 2021
今知るべきATT＆CK｜攻撃者の行動に注目したフレームワーク徹底解説
「MITRE ATT&CK™: Design and Philosophy」では具体的な例として攻撃者グループであるAPT28の例を挙げています。 このようにGroupsとSoftware、TechniqueとTacticは関係付けられており、ATT&CKの重要な構成要素になっています。ここまでの説明で、攻撃に具体的に必要になる技術的な要素はTechnique（戦法、技術）とTactic（戦術）になることがお解りいただけるかと思います。 細かい説明についてはGroups/Software/Technique/Tacticsをクリックしていただくと見る事ができます。そのTechniqueとTacticをフレームワーク、PlaybookとしてまとめたのがMatricesです。 Matrices(Matrix)はラベルにTactic、そして縦にTechniqueが並べられています（この図はEnt
Choosing Your VPC Endpoint Strategy for Amazon S3 | Amazon Web Services
AWS Architecture Blog Choosing Your VPC Endpoint Strategy for Amazon S3 This post was co-written with Anusha Dharmalingam, former AWS Solutions Architect. Must your Amazon Web Services (AWS) application connect to Amazon Simple Storage Service (Amazon S3) buckets? Must the connection scale to accommodate bandwidth demands? AWS offers a mechanism called VPC endpoint to meet these requirements. This
「無料でのドメイン提供」をうたうレジストラが詐欺だったと判明、その手口とは？
インターネット上にあるコンピューターを識別して管理するための名前がドメインです。ウェブサイトを開設する際にはこのドメインを取得することが非常に重要ですが、一般的にドメインは無料ではなく、有償で提供されています。そんなドメインを無料で提供するとうたうサービスが実は詐欺だったという報告が上がっています。 HackermonDev - Freenom, the free domains website, is a scam. https://daniel.is-a.dev/blog/freenom-the-free-domains-website-is-a-scam-3 Freenom, the free domains website, is a scam | Hacker News https://news.ycombinator.com/item?id=27951785 問題となったドメイ
Amazon Route 53 アプリケーション復旧コントローラーの紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon Route 53 アプリケーション復旧コントローラーの紹介 障害から復旧するアプリケーションの能力を継続的にモニタリングし、非常に高い可用性を提供する必要があるアプリケーションの構築を支援するために、複数の AWS アベイラビリティーゾーン、AWS リージョン、およびオンプレミス環境にわたるアプリケーションの復旧を制御するAmazon Route 53 機能のセットであるAmazon Route 53 アプリケーション復旧コントローラーを本日発表できることを嬉しく思います。 AWS では、データとワークロードのセキュリティと可用性が最優先事項です。当初から AWS グローバルインフラストラクチャでは、お客様がさまざまなタイプの障害に対して回復力のあるアプリケーションアーキテクチャを構築できるようにしています。ビジネスまたはアプリ
GitHub - kenken0807/myStatusgo: A realtime monitoring tool for MySQL with status ,performance schema and etc..(terminal base)
myStatusgo is a realtime monitoring tool for MySQL with status information,performance schema(MySQL5.6+) and etc..(terminal base) This tool can monitor multiple MySQL instances. myStatusgo collects metric and display them. Normal.. Display QPS info from Com_xx of SHOW GLOBAL STATUS OS Metric.. Display QPS info and OS metric. OS metric collect from node_expoter when the MySQL server installed node_
希少価値が上昇し続けるIPv4アドレスの値上げを大手ホスティング会社が発表
IPv4アドレスの枯渇問題によって残り少ないIPv4アドレスの価値が上昇し続けていることを受けて、ドイツの大手ホスティング会社・HetznerがIPv4アドレスの値上げを発表しました。 IPv4 pricing - Hetzner Docs https://docs.hetzner.com/general/others/ipv4-pricing/ Hetznerは2021年7月28日に「ヨーロッパのIPアドレス管理機関であるRIPEは、IPv4アドレスがほとんど枯渇したため、IPv4アドレスの割り当てを停止しています。この状況によって、IPv4アドレスの価格が急騰しました」「私たちは、これまでの価格を維持するために経済的損失を受け入れてきました。しかし近年、価格が急激に上昇したため、残念ながらIPv4アドレスを値上げしなければなりません」と述べ、IPv4アドレスの値上げを発表しました。 H
GraphQLクライアントにurqlをおすすめしたい
GraphQLのクライアントといえばApollo Clientが使われることが多いと思いますが、urqlというクライアントをおすすめする記事です。 TL;DR urqlのドキュメントキャッシュはApolloみたいなキャッシュ管理が要らなくて楽だからおすすめ ドキュメントキャッシュは、Mutationの __typename を見て汚れたキャッシュを捨てる仕組み Mutationのあと refetchQueries やってるならそれはurqlが自動でやってることと同じ なぜurqlをおすすめするのか この記事ではurqlのドキュメントキャッシュというキャッシュを仕組みだけを紹介します。雑に言うと、Apolloの正規化されたキャッシュより多少効率は落ちるものの煩雑な正規化されたキャッシュの管理から解き放たれるというものです。Apolloのキャッシュの管理に疲れた人にめちゃくちゃおすすめですし、
GaudiyがAutifyを導入して手戻りコストを削減した話 - Gaudiy Tech Blog
こんにちは！エンタメ領域のDXを推進するブロックチェーンスタートアップ、Gaudiyで社員代表（笑）をしている西岡（@TakeshiNishioka）です。 今回はスタートアップ企業の社員代表がどのような役割を担っているかを、この場を借りて紹介させていただきたいと思っています。 …というのは冗談で、今回は主に業務で携わっているプロダクト開発のプロセスや、QAまわりのお話をさせていただこうと思います。 前回に永井（@sho0910K）から紹介させていただいたATDDの話にも関係する内容になりますので、併せてご覧いただけると嬉しいです。 techblog.gaudiy.com プロセスやQAまわりお話といわれても「？」と思いますので、そもそもの前提からお話しします。 Gaudiyに求められる速度と品質 Gaudiyはいわゆるスタートアップといわれる企業ですが、事業ドメインがエンタメ領域というこ
Docker Desktop on Mac の遅さはしばらくは改善しなさそうです。
こんにちは。tyamahoriです。 突然ですが、Dockerはお好きですか？僕は大好きです。 Docker Desktop on Mac を利用して、Mac上にDocker環境を構築して開発しています。 残念なお知らせ ここで突然ですが、残念なお知らせがあります。 Docker Destop on Mac の遅さはしばらくは改善されなさそうです。 ソースは？ ご安心くださいソースはちゃんとあります。 余談ですが、このGithub Issueは僕が一番気にしているIssueです。 Issueのコメントにて開発者のみなさんがDocker Desktop on Mac の遅さ対策を講じていますので参考にしてください。 で、ソースは？ ご安心ください。内容を引用します。 Hey all, sorry we have been a bit quiet on here. To be open on
SREメンバーの半数が地方勤務な話 - Kyash Product Blog
はじめに こんにちは。 KyashでSREを担当する、福岡県在住の@hikarunです。 2021年2月よりKyashに入社し、フルリモートで日々業務に邁進しております。 他の社員が技術的な話をたくさん書いているので、私の方からは弊社のリモート勤務体制やSREチームのリモート勤務の小噺をさせていただければと思います。 昨今の情勢によりリモート勤務移行へ… さて、昨今の流行病により、弊社も2020年3月頃よりリモート勤務体制へと移り変わっていきました。 リモート勤務体制になったことで対面で話をする機会が大幅に減少し、勤務中のコミュニケーションがより重要視されるようになってきました。 私が2021年2月に入社した時には、社員全員がリモートで勤務していました。 無論、私は物理出社だと飛行機通勤になってしまうので福岡で完全フルリモート、会社PCは自宅に郵送されてきました。 流行病が落ち着いたら、オ
Data Movement in Netflix Studio via Data Mesh
By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng Zeng BackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces
「コンテナ」「Kubernetes」はコスト削減のためではない――ガートナーが語る“誤解と真実”
「コンテナ」「Kubernetes」はコスト削減のためではない――ガートナーが語る“誤解と真実”：最も重要なのは「組織変革」（1/2 ページ） 2021年6月21～22日にガートナーが開催した「アプリケーション・イノベーション＆ビジネス・ソリューション サミット」で、ガートナー ジャパンの桂島 航氏が「コンテナとKubernetesをITリーダーはどのように活用すべきか」と題して講演した。その内容をレポートする。 コンテナは、ほとんどの企業が利用するテクノロジーの一つに アジャイルなど開発手法の進化と、マイクロサービスアーキテクチャの進展で、アプリケーションやインフラに求められる要件は変わりつつある。その潮流の中で大きな役割を果たしているのがコンテナ技術とオーケストレーション技術のKubernetesだ。 2021年6月21〜22日にガートナーが主催した「アプリケーション・イノベーション＆
AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化 AWS Lambdaは、Amazon Kinesis Data StreamsやAmazon DynamoDB Streamsなどのソースから取得した複数メッセージをバッチ処理できます。通常の操作では、処理を行う関数は1つのバッチから次のバッチに移動して、ストリームからのメッセージを消費します。 ただし、バッチ内のアイテムの1つでエラーが発生すると、そのバッチ内の同じメッセージ群の一部が再処理される可能性があります。新しいカスタムチェックポイント機能により、失敗したメッセージを含むバッチの処理方法をより詳細に制御できるようになりました。 このブログ記事では、バッチ失敗時のデフォルトの動作と、このエラー状態に対処するために開発者が使用可能なオプションについて説明します。
CORS(Cross-Origin Resource Sharing)について整理してみた | DevelopersIO
ブラウザからAmazon S3に直接ファイルをアップロードしたい 先日、Amazon S3にファイルをアップロードするWebアプリを作ろうとして色々調べていたところ、S3にCORSという仕様のクロスドメインアクセスの設定をすることによって、ブラウザから直接S3にアップロードをする方法にたどり着きました。ただ、この方法を使うにあたってはCORSというクロスドメインアクセスの仕様をきちんと理解しておいた方が良さそうでしたので、まずはCORSについて自分なりに整理してみました。 なお、弊社の横田がCORSとS3についての記事を以前書いていますので、S3のCORSサポートに関する概要を知りたい方はそちらをご覧下さい。 CORS(Cross-Origin Resource Sharing)によるクロスドメイン通信の傾向と対策 CORS ブラウザでAjax通信を行う際には、同一生成元ポリシー(Same
CORSの仕様はなぜ複雑なのか
Webアプリケーションを実装していると高確率で CORS の問題にぶつかります。CORSがどのようなものかはリンクしたMDNなど既存の解説を読むのが手っ取り早いと思いますが、「なぜそのように設計されたのか」という観点での説明はあまり見ないため、昔の資料の記述や現在の仕様からの推測をもとに整理してみました。 CORSとは 現代のWebはドメイン名をもとにした オリジン (Origin) という概念 (RFC 6454) をもとに権限管理とアクセス制御を行っています。その基本となるのが以下のルールです。 Same-origin policy (同一生成元ポリシー): 同じオリジンに由来するリソースだけを制御できる。 上記Wikipedia記事によるとSOPの概念は1995年のNetscape 2.02に導入されたのが最初のようです。当時のドキュメンテーションを読む限り、これはウインドウ越しに別
Docker Composeの環境変数ではなくsecretsで秘密情報を扱う - Qiita
概要 Dockerの本番環境で秘密情報を使う際に、環境変数を使うことは推奨されてません。 秘密情報を扱うには、コンテナオーケストレーションのsecret supportを使うことが推奨されてます。 Docker Composeには秘密情報を扱うために、secretsがあります。(Docker ComposeのsecretsはDocker Swarmと併用することが前提の機能です) 環境変数で秘密情報を扱う時の問題点 秘密情報を扱う時に、よくある方法として、環境変数を使う方法があります。 (この記事において、秘密情報とはパスワード、APIキーを想定します。) しかし、Dockerのドキュメントhttps://docs.docker.com/get-started/07_multi_container/ には While using env vars to set connection set
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PATCH net-next 1/3] net: napi: add hard irqs deferral feature — Netdev
TechCrunch
golang.tokyo31_Goを使ってみてホントのところ
【笠原一輝のユビキタス情報局】 巻き返しなるか!? Intelが今後4～5年で5世代分のプロセスノードを連投
Solved: Use codeowners to suggest reviewers, NOT automatic... - GitHub Community Forum
まーくん@株主優待 on Twitter: "今日は前に住んでた賃貸マンションの退去の立ち合いに行きました。 退去費用は5万円ぐらいは覚悟してたけど知識武装して臨んだらなんと0円でいけた！！親切に教えてくださった方々に感謝です。Twitterやってて良かった。教えてもらった中… https://t.co/5H2GGKrBRZ"
VOICEVOX | 無料のテキスト読み上げ・歌声合成ソフトウェア
CVE-2021-3490 – Pwning Linux kernel eBPF on Ubuntu machines - SecOperations - News