[DevOpsプラットフォームの取り組み #4] CUE言語の紹介 - NTT docomo Business Engineers' Blog
はじめに DevOpsプラットフォームの取り組みを紹介する4回目の記事です。 Qmonus Value Streamの開発チームの會澤です。 連載4回目では、Qmonus Value Streamの重要な構成要素であるCUE言語についてご紹介します。 前回の記事では、Infrastructuer as Code (以下IaC)の課題と、Cloud Native AdapterというQmonus Value Streamチームの独自技術について解説しました。 Cloud Native Adapterは、「インフラストラクチャの構成」と「ワークフロー」をCUE言語を使って宣言します。 CUE言語は、複雑なシステム構成をスケーラブルに管理できることから、近年注目を集めているデータ記述言語です。 前回の記事でご紹介したとおり、KubeVelaやDaggerなど最近リリースされたIaCソリューション
![[DevOpsプラットフォームの取り組み #4] CUE言語の紹介 - NTT docomo Business Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/109cdc3d9ab9c5de4b228709fb799a04539a752c/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fa2fa148e93e8a4a99a6fbc63ea5725b0236bfec8%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252FN%252FNTTCom%252F20220802%252F20220802094547.png)
kubectl execは禁止!? kubectl debugの勧め | IIJ Engineers Blog
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 Kubernetes 1.23から標準で利用できるようになったエフェメラルコンテナ（Ephemeral Container）をご存じですか？ セキュアにKubernetesを運用していくには必須の機能になることは間違いなく、IKE（IIJ Kubernetes Engine）では早速活用が始まっています。実利用に耐える環境が整うにはまだ少し時間がかかるかもしれませんが、今のうちから使いこなせるように紹介します。 エフェメラルコンテナ 一般的には聞きなれないかもしれませんが、IaaSを使っていればエフェメラル（Ephem
面倒くさいから nginx の LDAP 認証モジュール公開したよ | IIJ Engineers Blog
2021年11月にセキュリティ情報統括室に所属。頑固なので、ニックネームだけでもやわらかくひらがなにしてみました。普段はハニーポットで収集したDDoSの発生源であるマルウェアを対象に分析しています。 おはようございます。こんにちは。こんばんは。ふぇにっくちゅん です。 今回紹介するのは nginx で利用できる LDAP 認証モジュール（ngx_auth_mod）です。 nginx は Web サーバやリバースプロキシなどを構築でき、オープンソースとして公開されています。 nginx の詳細はこちらに記載されています。 本記事で紹介する ngx_auth_mod は CATSHAND と呼ぶ情報共有システムのモジュールとして開発したものです。 情報共有についての記事「情報を流れに乗せよう：セキュリティ調査の共有方法」も併せて一読ください。 CATSHAND のシステムは Web サーバとし
Re: NginxとApacheって何が違うの？？ - inductor's blog
これは何 以下記事のアンサーブログです。 qiita.com 以下のことはコメントに書いたんですが、書ききれなかった部分もあったり整理したほうがいいなと思い記事に起こしています。 現代のアプリケーションではC10K問題よりも先にDBやアプリケーションのボトルネックが先に来るため、C10K問題に遭遇するよりも先にやることがある ミドルウェアとしての成り立ちから設定ファイルの書き方に至るまで、それぞれのソフトウェアで思想が根本的に異なるので、単なるパフォーマンス比較をしてもあまり意味がない NginxとApacheの違いをC10K問題を中心に語るのは時代が違う この記事に限らず、多くの「Nginx vs Apache」系記事では「ApacheはC10K問題を抱えている」という論理をベースにそれぞれの違いを表現しています。 が、これは2022年においては(実際にはもっと前からですが)既に事実では
【AWS】Next.js+LaravelをECS+Fargateにデプロイする時のアレコレ | yutaro blog
最近業務でNext.js+LaravelのアプリケーションをAWSのAmazon ECS(Fargate)にデプロイするタスクを担当しているので、デプロイするにあたりNext.js側、Laravel側でやっておくこと、エラー対応などをまとめておく。 ECSへのデプロイはEC2へのデプロイに比べそもそもネットに情報が少ないECSの中でもデータプレーン（コンテナ実行環境）にEC2を使った記事が多くFargateを使った記事はかなり少ないECS+Fargateへのデプロイでも本記事のようなフロントエンド+APIの構成のデプロイ例はマジで少ない という状態で結構苦戦したので、自分で苦戦したことを残しておくとともに同じ構成でデプロイする方に向けて参考になれば嬉しいです。 ECS、ECR、Fargateについての技術説明・全体的なデプロイ作業の手順についてはこの記事では扱わないが、この記事（というかZ
Linuxのkernel TLSでnginxのSSL_sendfileを試してみた · hnakamur's blog
2021-10-31はじめにOpenSSLのSSL_sendfileとパッチを当てたnginxでLinuxのkTLSを試してみた · hnakamur’s blog を書いてから1年半経って状況が変わっていたので再度試してみました。 9日前に SSL: SSL_sendfile() support with kernel TLS. · nginx/nginx@1fc61b7 で Linux の kernel TLS を使って sendfile するコードが nginx に入っていました。 コミットメッセージによると enable-tls オプションを有効にした OpenSSL 3.0 が必要とのことです。 検証環境$ cat /etc/os-release | grep ^VERSION= VERSION="20.04.3 LTS (Focal Fossa)" $ uname -r 5.1
あなたの知らないKubernetesのServiceの仕組み | IIJ Engineers Blog
Kubernetesの主要なリソースの一つにServiceリソースがあります。ServiceリソースとはKubernetes上のPodへクラスタの外からアクセスするために使うもの、という理解をしている人が多いかもしれません。確かにそのような役割を担っているのですが、実際にはクラスタ内部に閉じた通信にも利用されていますし、実はもっといろいろな機能を持っています。 端的に説明すれば、Serviceとは「ロードバランサとDNSサーバを設定するためのリソース」です。意外に聞こえますか？ もし意外に思えたなら、ぜひこのまま読み進めてみてください。 インターナルなロードバランサを制御する Kubernetesにはクラスタ内部に閉じた通信を制御するロードバランサが内蔵されています。Kubernetesを利用するということは、ほぼ例外なくこのロードバランサを利用しているのですが、あまり意識せずに利用されて
ZeroSSL ならIPアドレスのサーバ証明書が取得できる - ASnoKaze blog
(2025/01/17) let's Encryptでも発行できるようになるようです letsencrypt.org == IPアドレスのサーバ証明書が欲しい場合があります。そうすれば、ドメインを取得せずともサーバとHTTPS通信ができるようになります。 その他にも例えばDNS over HTTPSではIPアドレスでアクセス出来るように、有効な証明書がセットされていたりします。 https://1.1.1.1 https://8.8.8.8 しかし、Let's Encryptでは、IPアドレスのサーバ証明書は取得できません ~$ sudo certbot certonly --nginx -d 160.16.124.39 Requested name 160.16.124.39 is an IP address. The Let's Encrypt certificateauthority
【ZOZOTOWNマイクロサービス化】API Gatewayを自社開発したノウハウ大公開！ - ZOZO TECH BLOG
はじめに こんにちは。ECプラットフォーム部のAPI基盤チームに所属している籏野 @gold_kou と申します。普段は、GoでAPI GatewayやID基盤（認証マイクロサービス）の開発をしています。 ZOZOテクノロジーズでは、2020年11月5日にZOZO Technologies Meetup〜ZOZOTOWNシステムリプレイスの裏側〜を開催しました。その中で発表されたAPI Gatewayによるマイクロサービスへのアクセス制御に関して、当日話せなかった内容も含めて、API Gatewayについてこの記事で網羅的にまとめました。 API Gatewayやマイクロサービスに興味ある方、「API Gateway」という言葉は知っているけど中身はよく分からないという方向けの記事なので、読んでいただけると幸いです。 はじめに ZOZOTOWNのリプレイス マイクロサービス化の目的 ストラ
Amazon EC2 を Arm に切り替えたら幸せなことしかありませんでした | CyberAgent Developers Blog
技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です👳 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 はじめに Apple M1 で Arm という単語をよく耳にし、そしてその性能に驚いた方も多いと思います。Apple M1 が搭載された Mac のベンチマークはこちら そして Amazon EC2（以下：EC2）にも Arm が搭載されたインスタンスがあります。 https://aws.amazon.com/jp/ec2/graviton/ 今回はとあるサービスの全開発環境の EC2 インスタンスを m5.large から t4g.medium へ移行したら幸せになれたので、この記事を
はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
Kubernetes でバイナリを ConfigMap (binaryData) に登録する - kakakakakku blog
今年の4月頃に「Kubernetes 完全ガイド」を読み終えたけど，まだ書評を書いていなかった．そしたら8月に「Kubernetes 完全ガイド 第2版」が出版されたため，さっそく購入して，読み直している．読みながら気になった機能を試していく．今回は ConfigMap にする． Kubernetes完全ガイド 第2版 (Top Gear) 作者:⻘⼭ 真也発売日: 2020/08/07メディア: 単行本（ソフトカバー） ConfigMap (binaryData) 「第7章 : Config & Storage APIs カテゴリ」の ConfigMap を読み直していたら，テキスト (UTF-8) だけではなく「バイナリ」を登録する内容が新しく追加されていた．拡張子 .jpg など画像ファイルを Base64 でエンコードして，nginx コンテナから HTML と画像ファイルを配信す
NginxのHTTP/3を試す (2020年6月) - ASnoKaze blog
NginxのHTTP/3対応版が公開されました。実際に動かしていきます。(なお、現在サポートしているのはHTTP/3 draft 27版です) www.nginx.com 基本的には 「README」 の通りやるだけです。 HTTP/3の詳細についてはガッツリ解説を書いたので、ご参考にしていただければ asnokaze.hatenablog.com 準備 (ちなみに環境は Ubuntu18.04 Bionicです) パッケージのインストールと、依存するboringsslのビルドをしておきます https://boringssl.googlesource.com/boringssl/+/HEAD/BUILDING.md $ sudo apt install mercurial ninja-build $ git clone https://boringssl.googlesource.com
マイクロサービス環境でのメルカリWebのリリースフロー | メルカリエンジニアリング
メルカリJP Webチームの@urahiroshiです。 Webチームでは、メルカリWebのマイクロサービス化や機能開発を行なっています。メルカリWebのマイクロサービス化の概要については、昨年のTech Conferenceの資料がよくまとまっているので、そちらを参照していただけると良いかと思います。 https://speakerdeck.com/mercari/mtc2018-web-application-as-a-microservice-3a161f5c-07fa-4dca-99e9-bd0e8feeeddf 現在、メルカリWebのトップページはマイクロサービス環境から配信されており、他のページも随時マイクロサービス環境に移行していく予定です。 この記事では、マイクロサービス環境で導入した、メルカリWebの新しいリリースフローについて記載します。 まずメルカリWebのマイクロサ
NginxでHTTP/3が動いた (Cloudflareパッチ) - ASnoKaze blog
2020/060/01 追記 nginx公式版が提供されました。こちらを御覧ください asnokaze.hatenablog.com NginxをHTTP/3対応させるパッチがCloudflareから提供されました (CloudflareのHTTP/3ライブラリ Quicheを利用しています。現状ではHTTP/3ドラフト23版の対応になります) github.com 基本的に、書いてるとおりにやればビルドできるのですが、無事HTTP/3しゃべるところまで確認できました ビルド rustインストールしておく $ curl https://sh.rustup.rs -sSf | sh $ source $HOME/.cargo/env書いてあるとおり $ curl -O https://nginx.org/download/nginx-1.16.1.tar.gz $ tar xzvf ngin
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」 - kakakakakku blog
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」を使うと，簡易的な「Shadow Proxy」を構築することができる．例えば，本番環境のリクエストの一部を開発環境に流せるようになる．この「ngx_http_mirror_module」は nginx 1.13.4 で実装された機能で，2017年8月リリースなので，最近のバージョンだとデフォルトで使えるようになっている．今回は「リクエストの複製」を試すため，Docker Compose を使って検証環境を構築した． nginx.org 検証環境 今回 Docker Compose を使って，nginx と Sinatra を起動する検証環境を構築した．コンテナは計3種類で，以下の構成図にまとめた．基本は Frontend と Backend でリクエストを処理し，今回は Mirror にもリクエス
ひとつのポートで異なる通信プロトコルを nginx の nginScript で振り分ける - OPTiM TECH BLOG
インダストリー事業本部のイチノです。リモート製品 (Optimal Remote, Optimal Second Sight, ポケットドクターなど遠隔地とコミュニケーションするための製品) で使われるコア技術をまとめた Communication SDK を担当しています。 本記事では、ひとつのポートで異なる通信プロトコルを、 nginx で振り分けたい場合に、役立つ方法を紹介します。 80 ポートや 443 ポートのみ許可しているセキュアなネットワーク環境へ、複数のプロトコルを持ったサービスを提供するといった場合に使える方法です。 nginx によるリバースプロキシの振り分け方法として、以下の6つが存在します。 IP アドレスでの振り分け ポート番号での振り分け SSL/TLS の SNI による振り分け HTTP のパスによる振り分け HTTP の Host ヘッダーによる振り分け
さぁ！コンテナを設計しよう /「分散システムデザインパターン」を読んだ - kakakakakku blog
4月に出版された「分散システムデザインパターン」を読んだ．サブタイトルに「コンテナを使ったスケーラブルなサービスの設計」とある通り，コンテナを設計／運用するときに，どのようなデザインパターンを知っておくと良いのか？という点を学べる内容になっている．関連情報と合わせて書評を書きたいと思う．なお，今回は貴重な機会を頂き，本書の出版レビューに参加することができた．オライリー本に自分の名前が載っている！という喜びもある． 分散システムデザインパターン ―コンテナを使ったスケーラブルなサービスの設計 作者: Brendan Burns,松浦隼人出版社/メーカー: オライリージャパン発売日: 2019/04/20メディア: 単行本（ソフトカバー）この商品を含むブログを見る 目次 1章 : はじめに 第 I 部 : シングルノードパターン 2章 : サイドカー 3章 : アンバサダ 4章 : アダプタ
個人で運用するKubernetesクラスタ - k0kubun's blog
Kubernetesの使用感に興味があってaws-workshop-for-kubernetesというのを先週やり、ちょうどEKSがGAになった直後だったのでEKSが試せたのだけど、まあ最初からマネージドだとあまり面白みがないし金もかかるので、個人のVPSで動かしてた奴を全部Kubernetes上で動かすようにしてみている。 まだ本番で運用した知見みたいなのが貯まってるわけではないのだが、公式のドキュメントを中心に読んでいても単に動かし始める段階で結構ハマって時間を消費したので、これから同じようなことをやろうとしている人向けに備忘録を兼ねて使用感や知見をまとめておくことにした。 Kubernetesは今でもalphaやbetaの機能が多く、今後この記事の内容も古くなることが予想されるので、なるべく公式のドキュメントへのリンクを置くのを意識して書いてある。 構成 現時点で、ConoHaで借り
KubernetesでのService公開方法に関する検証 - Ingress Controllerの活用 - freee Developers Hub
freeeでSREをしている河村(at-k)です。 freeeでは、既存・新規サービスのマイクロサービス化を推進しており、効率的なマイクロサービスの運用を実現するためにKubernetesを積極活用しています。Kubernetesはコンテナのオーケストレーションツールであり、コンテナ化されたマイクロサービスを管理・運用していく上で大きな効果が期待されます。 Kubernetesでは、複数のノード（例えばAWS EC2 Instance）を組み合わせてクラスタを構成し、そのクラスタ上にコンテナが指定された構成(manifest)で配置されます。Kubernetesはコンテナ構成を自律的に維持する機能を持ち、運用コストや耐障害率を改善します。また、クラスタに配置されたサービスに対しては、具体的などのノードにコンテナをスケールするか、といった詳細にとらわれることなく、宣言的にサービスを定義し、細
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
