はじめに 半月ほど前に、ようやく自分の VPS 環境で動いているものすべてを kubernetes クラスタに移行しました。とても満足感が高くやって良かったと思っています。 ウェブサーバ、メールサーバ、Nostr のリレーサーバや Nostr/Bluesky/Twitter で動かしている各種 bot もすべて kubernetes です。 昨日は knative を導入したので、Go や Rust や Ruby や Python や、いろんな言語のクラウドネイティブアプリを簡単に実行できる様にしました。 knative 便利 残念ながら knative は helm パッケージとして提供されていません。ArtifactHub でそれっぽい物が公開されていますが、ほぼ手作業と変わりません。 おおよそ以下の手順でインストールできます。knative ではネットワークレイヤとして以下の3つが用
JPCERTコーディネーションセンター(JPCERT/CC: Japan Computer Emergency Response Team Coordination Center)は5月10日、「JVNTA#94876636: DHCPのオプション121を利用したVPNのカプセル化回避の問題」において、VPN(Virtual Private Network)接続をバイパスする新しいサイバー攻撃手法「TunnelVision」について注意を喚起した。この攻撃手法の詳細は「VPN接続をバイパスする新しい攻撃手法「TunnelVision」、通信の傍受が可能 | TECH+（テックプラス）」にて解説している。 JVNTA#94876636: DHCPのオプション121を利用したVPNのカプセル化回避の問題 VPN接続のバイパスとは TunnelVisionは、DHCPのオプション121(クラスレ
7/13（土）に武蔵野公会堂ホールで開催された大吉祥寺.pm に行って、コンテナの話をしてきました。 会場の武蔵野公会堂ホール 吉祥寺.pm 自体や、Perl 系のイベントへの参加経験はこの日までありませんでした。それでも CFP を提出したのは、次のような理由です。 そこそこ著名なサイトで連載したり、そこそこ著名なイベントでの登壇をしていても、意外に知られていないことが多い、ということをここ何年も色々なところで感じています。吉祥寺.pm に参加される方々は、私が普段参加する勉強会やイベントに参加する層とは違う方々も多いのではないかと思い、応募しました。「コンテナ」という、今や当たり前で特に意識せずに使っている技術について、少しだけでもどんな風に動いているのかをイメージできると役に立つことがあるかなと思うからです 主催者である @magnoliak さんとは、X 上では結構ポストのやりとり
この本の概要 TCP/IP＆ネットワークコマンドの解説書。『Linux×コマンド入門』（技術評論社，2021/04），『macOS×コマンド入門』（技術評論社，2020/4）の姉妹本です。 本書では，TCP/IP＆ネットワークの今の基本を押さえ，ネットワークコマンドや各種ツールの基礎知識や作法を平易に解説。コマンドやWiresharkなどのツールを使って，TCP/IPのしくみ＆ネットワークの基本概念を手を動かして実際の動作を見ながら学べる点が特徴です。動作確認環境としてはLinux（Ubuntu）を中心に，Windows/WSL2，macOSに対応。コマンドラインがはじめての方でも試せるようにサポートサイトも用意しました。変わる基本，変わらない基本を広く初学者の方々へ。スマートフォン，Wi-Fi，無線通信をはじめとしたコンピューターネットワークの今を気軽に体感できる1冊です。 こんな方にお
Flipping Pages: An analysis of a new Linux vulnerability in nf_tables and hardened exploitation techniques
This blogpost is the next instalment of my series of hands-on no-boilerplate vulnerability research blogposts, intended for time-travellers in the future who want to do Linux kernel vulnerability research. Specifically, I hope beginners will learn from my VR workflow and the seasoned researchers will learn from my techniques. In this blogpost, I'm discussing a bug I found in nf_tables in the Linux
At Ably, we provide a realtime messaging service that aims to deliver messages between globally-distributed participants with the lowest latency possible. When powering apps that enable realtime collaboration, or require time-critical updates, low and consistent latency is essential. We recently deployed dedicated infrastructure for a new customer whose workload involved sporadic but highly time-c
CRIUによるプロセスのリストアには複数のcapabilityが必要であり、コンテナ内部で行うためには--privileged相当で起動された特権コンテナでなければいけません。例えば、TCP connection repairにCAP_NET_ADMINが必要なのは明らかですが、もっと単純なプロセスであれば非特権コンテナでもリストアできるのでは...？と考えたのが事の始まりです。 背景 仕事で面倒を見ているRailsアプリの起動が遅いという問題がありました。起動が遅いとさまざまな弊害があるのですが、その一つにオートスケールが間に合わないというのがあります。 AWS FargeteやGoogle Cloud Runといった現代的なサーバーレスソリューションでは、ひとつひとつのコンピューティングリソースは小さく、リクエスト数の増加に応じて水平にスケールします。このようなアーキテクチャでは、コン
#seccon ワークショップ＠福岡でeBPF/XDPベースのファイアウォールとロードバランサーに入門してきた | DevelopersIO
クラウドネイティブ界隈でよく耳にするCNI(Container Network Interface)・L4ロードバランサーのCilium、そしてランタイムセキュリティツールのFalcoでは、eBPF(Extended Berkeley Packet Filter)およびeBPFを活用したXDP(eXpress Data Path)の技術が非常に重要な役割を果たしています。 みんな大好き、『詳解 システム・パフォーマンス』や "BPF Performance Tools" の著者である現IntelのBrendan Gregg ニキは、eBPFとLinuxカーネルの関係はJavaScriptとウェブサイトの関係と同じだと発言しています。 近年、重要度が高まっているeBPF/XDPをワークショップ形式で学べるSECCONのイベントが地元福岡の九州大学で開催されましたので、レポートします。 ワーク
概要 Linux で動かしながら学ぶ TCP/IP ネットワーク入門を読みました。 感想を書きます。 Linuxで動かしながら学ぶTCP/IPネットワーク入門 作者:もみじあめAmazon 概要 前提 目的 事前知識 読了時間 感想 次に関連で勉強すること まとめ 前提 目的 本書を読んだ背景は以下です。 ２０２３年１０月〜１２月の目標の注力分野の 1 つにネットワーク・Linux を掲げていた SRE に関心があるので、ネットワーク周りの知見を深めたかった ネットワークの知識はほとんど初心者で、学んだ知識も読み物ベースだったので、手を動かしながら学べる内容を優先した 事前知識 ネットワークの知識は以下ぐらいです。普段は Web アプリケーションエンジニアとして勤務しているため、基本的な HTTP の知識は持っています。 ［改訂新版］3 分間ネットワーク基礎講座を読んだ Real Worl
Understanding containerization and improve debugging As I delve more into kubernetes, the more I get distracted by side quests. This is one of those. In this DLC, I try to understand containerization, how it works, and essentially learn how to debug a running docker container. I had first encountered chroot while installing ArchLinux. Basically while installation, you mount the chose partition to
この記事は 検索エンジンプロダクトを一緒に開発してた同窓会 Advent Calendar 2023 の12日目の記事です。 昨日は kazunee さんの Network Namespace上でVRFを試してみる でした。 はじめに サービスを開発運用していると日々発生する多くのエラーログを適切に監視する必要があります。 エラーログを検知した場合、都度しっかり原因調査して根本対応したりログレベルを適切に調整したりするのが理想ですが、実際には機能開発を優先して増え続けるエラーログに手が回らず消耗することも多いと思います。 ここではDatadog Error Tracking for Logsを導入することで日々の監視業務を省力化してみたいと思います。 エラーログ監視の課題 エラーログをSlackに通知した場合のよくある課題として、以下のようなものがあるのではないでしょうか。 エラーログの通
はじめに はじめまして。IIJクラウドサービスの基盤チームに所属しているshimada-kです。昨今の生成AI/LLM（大規模言語モデル）の盛り上がりはすさまじいものがありますが、遅ればせながら、私たちのチームでも様々な角度から検証を始めております。先日、同僚のt-moriyamaが、GPUサーバに関する記事（https://eng-blog.iij.ad.jp/archives/24836）を投稿しましたが、こちらはその環境を使用した後続の記事の一つとなります。私はこれまでインフラに関する仕事に携わってきたこともあり、最初のテーマとして「Ethernet上でマルチノードGPUによるDeep Learning環境を構築、動作させてみた」という内容で記事を書いてみたいと思います。 今回のゴール さて、テーマとしては上述のとおりなのですが、そもそも検証用のGPUサーバは1台しかありません（ただ
Network Namespace と Libreswan で IPsec VPN を試す (Route-based / VTI デバイス) - CUBE SUGAR CONTAINER
今回は Linux の Network Namespace で作ったネットワーク上で Libreswan を動かして IPsec VPN を試してみる。 なお、Libreswan には、いくつかの動作モードがある。 今回は、その中でも Route-based VPN using VTI と呼ばれる動作モードを利用する。 これは VTI (Virtual Tunnel Interface) というインターフェイスを作成して、そこに明示的な経路を指定することで一致するパケットを暗号化するというもの。 使った環境は次のとおり。 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=22.04 DISTRIB_CODENAME=jammy DISTRIB_DESCRIPTION="Ubuntu 22.04.3 LTS" $ uname -
ただ、network namespaceで仮想的に分割した場合、同じLinux上に"web01" network namespaceと"db01" network namespaceが同居して、Linux上の/etc/hostsを共有しています。 対処 man ip-netnsでマニュアルを見ると以下の記載があります。 For applications that are aware of network namespaces, the convention is to look for global network configuration files first in /etc/netns/NAME/ then in /etc/. For example, if you want a different version of /etc/resolv.conf for a network
はじめに KubeCon Europe 2023 で KEP-3063 Dynamic Resource Allocation (DRA) についての深い話と DRA Resource Driver の実装方法の話があったので、kubernetes-sigs/dra-example-driver をベースに触りながら検証してみました。toVersus/fake-dra-driver で公開しています。 Device Plugins 2.0: How to Build a Driver for Dynamic Resource Allocation (DRA) DRA ベースの Resource Driver も既にあり、DRA と共に絶賛開発中です。 intel/intel-resource-drivers-for-kubernetes Intel 製 GPU 用の driver NVID
![[Kubernetes 1.27] Dynamic Resource Allocation のいま](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f23ffb8d4baade7779c3de59840d7b61b3d541c/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--ezOd8Xgz--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BKubernetes%2525201.27%25255D%252520Dynamic%252520Resource%252520Allocation%252520%2525E3%252581%2525AE%2525E3%252581%252584%2525E3%252581%2525BE%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3ATsubasa%252520Nagasawa%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Q5NjQ3ZDFhMDguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
はじめに runcをはじめとするOCIランタイムの実装に興味があり実装を読んでみたのですが、一連のフローを辛うじて理解できたレベルに終わってしまい挫折してしましました。 まず自分で簡単な実装をしてからの方が理解が進むのでは、ということで今回の記事ではコンテナとして最小限の機能をRustを用いて実装してみます。 runcの一連のフローを読む上で以下の記事に大変お世話になりました。筆者の方々ありがとうございます。 https://kurobato.hateblo.jp/entry/2021/05/02/164218 https://speakerdeck.com/utam0k/xiang-shuo-ocikontenarantaimu-youki-at-di-15hui-kontenaji-shu-falseqing-bao-jiao-huan-hui Rustもコンテナランタイムも勉強中なの
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近、触っているOracle CloudのKubernetesサービスOKEにてサーバーレス機能がリリースされようとしています。関連技術としてKnativeが挙げられています。 触ったことがなかったので、サーバーレスに関するKnativeを調べて、そのメリットを考えます。 Knativeの第一印象 Knativeのドキュメントをほんの少し触って、何やらリソースをスケーリングするらしいことはわかりました。Kubernetesにはもともと水平スケーリング（HPA）がありますが、それと比べて簡単に使えて、コスト節約やアプリ開発に専念
【help wanted】CNI_ARGSの中にPodの情報を格納しているのは誰なのか？ - Walnuts
※この記事の文章はすべて、暗黙的な「たぶん」を含みます。 CNI_ARGS についての疑問 CNI プラグインが実行されるとき、以下のパラメーターが渡されます。 CNI_COMMAND: ADD、DELETE など Operation を表す CNI_CONTAINERID: Container ID CNI_NETNS: Network Namespace のパス CNI_IFNAME: ネットワークインターフェース名 CNI_ARGS: 任意の Key-Value 引数 ここで、Kubernetes 経由で CNI プラグインが呼ばれるとき、CNI_ARGSには K8S_POD_NAME K8S_POD_NAMESPACE K8S_POD_INFRA_CONTAINER_ID が入っているようです。 そこで以下のような疑問が生まれました。 これらの値を実際に格納しているのは誰なのか。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kubernetes knative でサーバレス Vim
JPCERT/CC、VPN接続をバイパスするサイバー攻撃手法「TunnelVision」に注意喚起
大吉祥寺.pm に参加し、コンテナのお話をしてきました - TenForward
TCP/IP＆ネットワークコマンド入門 ──プロトコルとインターネット、基本の力［Linux/Windows/macOS対応］
Optimizing global message transit latency: a journey through TCP configuration
criu restoreを非特権コンテナから呼ぶことはできるか - sometimes I laugh
「Linux で動かしながら学ぶ TCP/IP ネットワーク入門」感想 - msksgm’s blog
Troubleshooting containers
Datadog Error Tracking for Logsを使って日々のエラーログ監視を省力化する
マルチノードGPU通信をやってみた | IIJ Engineers Blog
network namespaceごとに/etc/ファイルを使い分ける
[Kubernetes 1.27] Dynamic Resource Allocation のいま
Rustで簡単なLinuxコンテナを実装する｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ
サーバーレス初心者が考えるKnativeのメリット - Qiita