連載の第42回 で ファイルケーパビリティは安全のためにコピーすると設定が外れます。 なんてことを書いてますが、同僚から「Arch Linux でやるとなぜか ping が実行できてしまう」という情報が。確かに Arch でやると実行できてしまいます。 $ lsb_release -d Description: Arch Linux $ cp /usr/bin/ping . $ getcap ./ping $ ./ping -c 1 127.0.0.1 PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data. 64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.025 ms --- 127.0.0.1 ping statistics --- 1 packets transmitted, 1 receiv
sysctl
カーネルパラメータチューニング項目整理.md sysctlで設定可能な項目について調査した内容。 ファイル関連.md ファイルディスクリプタ OS全体のファイルディスクリプタ数の制限値 fs.file-max で設定。 プロセス単位の制限については /etc/security/limits.conf で設定する必要がある。 これらの値はPAM認証（sudoやユーザーでログインした場合）がないと反映されないため、デーモンプロセスなどでファイルディスクリプタ数を増やしたいときには ulimit コマンドを起動スクリプト（ /etc/rc.d/init.d/ など）で指定する必要がある。 OS全体の非同期I/Oの最大数 fs.aio-max-nr で設定。 デフォルトは65536で、Oracleなどは1048576といった大きめの値を推奨している。 値が小さいとアプリケーションが起動できないとい
AWS EC2が勝手に再起動するので対応した
最近、本番環境でおかしな現象が発生していたので、書き記します。 対策して今の所、再起動は発生しなくなりましたが、ちょっと納得出来ない感じです。一つの例として、参考になればと思います。 EC2が勝手に再起動をする 2021年5月になってから、どうにも再起動をします。本番サーバがバンバン勝手に再起動します。１日2回～3回くらい。最も酷いときは１日に10回以上、30分～1時間おきに勝手に再起動していました。 2021年3月くらいに構築したサーバで、2021年4月末くらいまでは調子が良かったです。インスタンスはt2.medium。リージョンは東京です。 夜中は再起動は発生しませんでした。 なんだこれ。。。というのを対応しました。 現状を確認する OSとソフトウェアの状況 OSはAmazon Linux2の最新のやつです。2021年3月くらいにyum updateで最新の状態にしています。2021年
Noble Numbat Release Notes Table of Contents Introduction New features in 24.04 LTS Known Issues Official flavours More information Introduction These release notes for Ubuntu 24.04 LTS (Noble Numbat) provide an overview of the release and document the known issues with Ubuntu and its flavours. Support lifespan Ubuntu 24.04 LTS will be supported for 5 years until June 2029. If you need Long Term S
Time Machineが遅いときの対処方法 あまりにも極端に遅くなるので、まるでなにか別の根本的な問題がありそうに見えるのですが、単に「マシンが重いから」という理由であることが大半みたいです。 遅いというのは、だいたい、1分に数MBytes単位しか進まないぐらいです。 速度は厳密にではなく、TimeMachieの設定パネルで、現在のバックアップ済みのサイズが出力されるので、これを目視で見ています。1分に数MBytes程度の速度だと、数百Gbytesクラスのストレージのバックアップが、到底、一晩、二晩でで終わらない速度になるのですが、下記のことを一式やることにより、1分にGBytes程度まで出るようになりました。これぐらいだと、ノートなら一晩でフルバックアップが終わりますよね。 TimeMachineを妨害している処理は、だいたいはSpotlightの検索インデックス、つまりmds関連プロ
Linux Secret Memory "secretmemfd" System Call Remains Under Review - Phoronix
Show Your Support: Did you know that the hundreds of articles written on Phoronix each month are mostly authored by one individual? Phoronix.com doesn't have a whole news room with unlimited resources and relies upon people reading our content without blocking ads and alternatively by people subscribing to Phoronix Premium for our ad-free service with other extra features. Linux Secret Memory "sec
dnsdist のパフォーマンスを引き出すネットワーク設定 - Hateburo: kazeburo hatenablog
YAPC::Kyoto 2023、JANOG51 MeetingではDNSへの水責めの攻撃とその対策について話をさせていただきました。その中で DNS攻撃をフィルタリングするために利用している dnsdist についてチューニングにより大きくパフォーマンス向上できることがわかってきたので紹介します。 YAPCの記事 kazeburo.hatenablog.com JANOG51 Meetingについての記事 knowledge.sakura.ad.jp Linuxのネットワークパラメータのチューニング Linuxのチューニングでよくある設定ですが、sysctl.conf で以下のカーネルパラメータをチューニングをします。 net.core.somaxconn = 65535 net.core.netdev_max_backlog = 16384 net.core.rmem_max = 13
この記事は GMOペパボエンジニア Advent Calendar 2021 - Adventar の20日目の記事です。 概要 qiita.com 上記の記事でRedisを使う時に見積の二倍の容量が必要ということが述べられています。これについて細かく「なぜ？」を追求して深掘りしてみようと思って書いた記事です。結論としては記事でも述べられている下記になります。 redisのバックアップが走る際、おそらく現状使用している量と同じだけのallocateを要求しているために、redis自体はメモリ使用が50%強だとしても、バックアッププロセスが落ちてしまう模様。 Redisにはデータ永続化の機能が二つあって特定の時点のスナップショットを取るRDBとデータベースのWAL/REDOログのような機能のAOFというものがあります。今回はRDBの方を追っていきますがAOFのタイプでも起こりうる話となってい
Multi-VPC ENIを使って、複数VPCの通信を1つのNAT Instanceに集約してみた | DevelopersIO
先日サポートされた、Multi-VPC ENI Attachments の使い道を試してみました。SPOFを生むので、開発環境にお使いください（本番運用には向きません） こんにちは、AWS事業本部の荒平(@0Air)です。 開発環境を複数持っていたりすると、NAT Gatewayがちょっと高く感じることはありませんか？ 以下のように、令和の時代でも、NAT Instanceでコストを削減したりすることが可能です。 2023年10月26日、衝撃的な以下のアップデートが来ました。 要約すると、EC2に対してセカンダリENIのアタッチが別VPCに対しても可能になりました。 参考：Multi-VPC ENI Attachments ケチな私は思い付きます。複数のVPCに立てていたNAT Instanceを集約して節約できるのではないかと。 本エントリは、Multi-VPC ENI Attachme
このエントリは Mackerel Advent Calendar 2020 の16日目です。遅刻です。 qiita.com 昨日は kazeburo さんでした。 kazeburo.hatenablog.com 今日は Apple M1 Mac で mackerel-agent を動かす話をします。 前日の "Apple M1 Mac で Go を動かす" の続きというつもりで書き始めましたが、気がつけばあまり関連性のないエントリになりました。 blog.astj.space disclaimer 筆者 (id:astj) はこれを書いている現在 Mackerel の開発チームメンバー、いわゆる「中の人」です。 また、 Mackerel は mackerel-agent による Mac の監視を正式にはサポートしていません。開発チーム内に Mac ユーザーのエンジニアが多いことからある程度
OSSデータカタログAmundsenにRedshiftメタデータをロードしてみた | DevelopersIO
どーもsutoです。 登録したデータに対し、「Google検索」のようにデータの検索ができるLyft社製のOSSデータカタログAmundsenというデータ検出およびメタデータエンジンがあります。 今回はEC2上にセットアップしたAmundsenに、Redshift内のテーブルメタデータを読み込んでみました。 AmundsenをEC2にセットアップ 本記事ではAmazon Linux2にAmundsenをセットアップしていきます。 以下の参考記事ではローカルPC（Mac）の手順やUbuntu on EC2でAthenaテーブルを読み込む手順がありますので参考に。 まずはEC2インスタンスを作成します。作成するインスタンスは主に以下のようなパラメータで作成しました。 インスタンスタイプ： t3.medium EBS ボリューム： 20GB パブリックIP：有効化 セキュリティグループ（SG）：
k8s 1.28の新機能SidecarContainersの紹介など: Neco Weekly (2023-07-14号)
k8s 1.28の新機能SidecarContainersの紹介など: Neco Weekly (2023-07-14号) Neco Weekly (2023-07-14号) サイボウズ Neco チームでは、 Neco Weekly という「最近気になる Kubernetes や Cloud Native 関連のネタを共有する会」を社内で開催しています。 本記事は共有会の中で紹介したネタをまとめたものです。 今回は第37回目の記事となります。 👀 Notable Articles 🌟Kubernetes SidecarContainers feature is merged🌟 Kubernetes v1.28 で、サイドカーコンテナーが標準機能としてサポートされるようになります。 これまでもサイドカーコンテナーは通常のコンテナとして定義して利用することができたのですが、v1.28
これは、なにをしたくて書いたもの？ ApacheのMPMの設定…接続数やプロセス数、スレッド数まわりの設定をちょいちょい見る割には覚えていられないので、 1度ちゃんと見ておこうかなということで。 環境 今回の環境は、こちら。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.2 LTS Release: 20.04 Codename: focal $ uname -srvmpio Linux 5.4.0-65-generic #73-Ubuntu SMP Mon Jan 18 17:25:17 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux Ubuntu Linux 20.04 LTSです。 こちらにApacheをイン
Live-patching security vulnerabilities inside the Linux kernel with eBPF Linux Security Module
Live-patching security vulnerabilities inside the Linux kernel with eBPF Linux Security Module2022-06-29 This post is also available in 简体中文 and 繁體中文. Linux Security Modules (LSM) is a hook-based framework for implementing security policies and Mandatory Access Control in the Linux kernel. Until recently users looking to implement a security policy had just two options. Configure an existing LSM m
Changelog
Changelog¶ Python next¶ Release date: XXXX-XX-XX Windows¶ gh-123915: Ensure that Tools\msi\buildrelease.bat uses different directories for AMD64 and ARM64 builds. Security¶ gh-122792: Changed IPv4-mapped ipaddress.IPv6Address to consistently use the mapped IPv4 address value for deciding properties. Properties which have their behavior fixed are is_multicast, is_reserved, is_link_local, is_global,
この記事は BBSakura Networks Advent Calendar 2023 の 25 日目の記事です。 こんにちは。BBSakura でソフトウェアエンジニアをしています早坂(@takemioIO|@gtpv2) と申します。 普段はモバイル開発グループという組織でモバイルコアの開発・運用をしていますが、その傍ら技術広報活動もしています。 技術広報に関しては 1日目の記事 で弊社のみずきさん(@n0mzk|@n0mzk.bsky.social)が書いていますのでぜひご覧ください。 そして自分はこのアドベントカレンダーの主宰もやっております。 今年で（学生時代のアルバイトから数えて）3 回目の主宰ですが、なんと今回は誰かが記事を無理やり 2,3 本書かずとも無事達成しました。 今年もBBSでアドカレやります。 アドカレの主催も3回目にもなると人を集めるのにも慣れたもので、（？）
[アップデート] VPC のサブネットルートテーブルでローカルルートより具体的なルートを指定できるようになりました！ | DevelopersIO
コンバンハ、千葉（幸）です。 VPC 内部のサブネット間の通信において、アプライアンスなどを経由させる構成が取りやすくなりました。 サブネットルートテーブルと言えばデフォルトで以下のルートを持ち、それより具体的な（ VPC CIDR 範囲より小さい）ルートは追加できない、というのがこれまでの常識でした。ガラッとその前提が変わることになりました。 送信先 ターゲット 今回のアップデートで可能になった「より具体的なルート」を使用する機会は、アプライアンス製品を使用する場合など、少し特殊なケースに限定されるかと思います。とは言え、新たにできるようになったことは覚えておきましょう。 北-南のトラフィックと東-西のトラフィック 今回のアップデートを取り上げる上で切り離せないのは VPC Ingress Routing の話題です。 これはインターネットゲートウェイ（IGW）や仮想プライベートゲートウ
![[アップデート] VPC のサブネットルートテーブルでローカルルートより具体的なルートを指定できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/282e5d89940d22b7b6e85de812014aa1e9e593f2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-vpc.png)
就業型インターンで行ったGKE Autopilotの性能検証 | BLOG - DeNA Engineering
はじめに ソリューション事業本部プラットフォーム開発部で10月よりインターンをしていた石川です。 インターンの業務でGKEの新しい運用モードであるGKE AutopilotのAutoscaling性能について検証したので、本記事ではその紹介をします。 GKE Autopilotとは GKEの運用モードはStandard、Autopilotの2つが用意されています。 Autopilotは2021年2月にリリースされたばかりの新しいGKEの運用モードです。 AutopilotがStandardと大きく異なる特徴として、Nodeの管理をサービス管理者が行うか、GCP側でマネージドで提供するかという点が挙げられます。 下記の図では、Standard、Autopilotのアーキテクチャを示しています。背景が水色の部分がGKE側でマネージドで提供する機能、黄色の部分が開発者が管理する機能なのですが、S
はじめに 最近,大学院への入学祝いとして親から新しくM2のMacを買ってもらえることになりました というわけでこれを期にPCの環境をGitHubで管理したいなぁって思い、今回自分なりに構築してみることにしました!! 1. まずdotfilesとはなんぞや 皆さんのPCにはたくさんの設定ファイルが入っています,これらは全てホームディレクトリ直下に入っているはずです これらのファイルは基本.から始まるファイルのため表示はされません 見たい人は以下のコマンドを打ってみてください .から始まるたくさんのファイルが現れるわけですがあなたが使ってる色んなアプリやプログラミング言語の設定がここに書いています、そのためこれを新しいPCにもそのまま持っていけばいつでも同じ環境のPCが作れるってわけですね〜 2.というわけでディレクトリ構成 今回は以下のような構成で行なっていきます〜 . ├── .bin │
Node.js — Node v19.6.0 (Current)
Notable changes ESM: Leverage loaders when resolving subsequent loaders Loaders now apply to subsequent loaders, for example: --experimental-loader ts-node --experimental-loader loader-written-in-typescript. Upgrade npm to 9.4.0 Added --install-strategy=linked option for installations similar to pnpm. Other notable changes [a7c9daa497] - (SEMVER-MINOR) fs: add statfs() functions (Colin Ihrig) #463
Hunting a Linux kernel bug
Earlier last year, we identified a firewall misconfiguration which accidentally dropped most network traffic. We expected resetting the firewall configuration to fix the issue, but resetting the firewall configuration exposed a kernel bug! Totally resetting the firewall gave us the default CentOS configuration, which blocks all traffic except for ssh. Bringing in our previously good firewall confi
Youkiとは runc同様、OCI runtime specである。Rustで書かれている。日本語の容器が名前の由来。 なお、OCI runtime specは、1. 隔離環境の作成, 2. コンテナ実行, 3. プロセスのKill, 4. コンテナの削除、に関する明文化された仕様を指す。 メリット Rustで実装するメリットは、Goよりsystem callを扱いやすい(Cを呼び出すオーバーヘッドが少ない、ゼロコスト抽象化などの仕様のおかげ?)、Cと比べてメモリ安全、が挙げられていた。そのおかげか、Youkiは、runcより高速に動作するらしい。 仕様 現在はLinux環境しかサポートしていない。Linux以外の環境で動かしたい場合、VagrantでVMを利用する必要がある。 Youkiは低レベル container runtimeなので、Docker, Podmanなどの高レベル c
背景 先日引っ越しをした。引っ越し先のインターネット環境は一言で言えば残念で、好きな ISP と契約することができず、マンションが包括して契約している ISP 経由でしかインターネットに接続できない。悲しいことにこの ISP は各個にグローバル IP を割り当てないので、外に向けたサーバーの公開が制限されている [1]。 この問題を回避するため、外部の VPS を VPN サーバーとし、ルータとの間にVPN を張ることでサーバーを公開できるようにした。外部のユーザーは、VPS に割り当てられたグローバル IP を通して、筆者の自宅内のサーバーに接続することができる。 構成 表題の通り、VPN には WireGuard を使う。高速に動作し、設定もシンプルらしい。 図1. ネットワーク構成図 図 1 のように、ルーターには ISP からプライベート IP アドレス、10.167.X.Y/24
Network Namespaceから外部ネットワークへアクセスする - Carpe Diem
概要 前回の christina04.hatenablog.com の続きで、今回はネットワーク名前空間から外部ネットワークへアクセスできるようにします。 環境 Ubuntu 18.04 以下の状態からスタートします。 手順 ip_forwardの有効化 デフォルトだとIP FORWARDは無効になっているため、有効にしておきます。 # echo 1 > /proc/sys/net/ipv4/ip_forward 永続化したい場合は/etc/sysctl.confに net.ipv4.ip_forward = 1 を設定します。 ネットワーク名前空間のデフォルトゲートウェイをveth1に host1やhost2のルーティングテーブルを確認すると、デフォルトゲートウェイが設定されていません。 $ sudo ip netns exec host1 netstat -rn Kernel IP r
1サーバで大量の常時接続コネクションを維持するにはlinuxのfile descriptorの上限がボトルネックになるんじゃないかと思って調べた。 最初に注意として、以下に解説する設定を下手に変更してしまうとシステムが動かなくなる場合があるので変更する場合は慎重に。当たり前ですが責任は負えません。 file descriptorの上限には以下の2つがある。 1プロセスが開ける上限 システム全体で開ける上限 1プロセスが開ける上限 1プロセスが開ける上限にはsoft limit, hard limitと呼ばれる２種類ある。またこれらはプロセス毎に設定される。 自分のsoft limitは0〜hard limitの範囲で変更できる。 自分のhard limitは小さくする分には自由に変更できるが、大きくするには CAP_SYS_RESOURCE という専用の権限がいる。自分以外のプロセスの設定
drobo-5n-unbrick.md 文鎮化したDrobo 5Nは復活できるか？→復活できた！ はじめに 2022年の大晦日、10年近くバックアップ先NASとして活躍してくれていた「Drobo 5N」のファームウェアを更新したところ、文鎮化してしまいました。しかし、どうにか復活させることができたので、復活に至った過程を共有します。Droboの文鎮化で困っている人は世界中に数多く存在し、文鎮化の原因はさまざまなようですが、こちらのケースと同じ状況であれば、この作業ログが何かの役に立ちましたら幸いです。 免責 Drobo 5N本体の分解を行うと、メーカー保証は失われます。筆者は、この記事の内容に関して生じたいかなる損害についても責任を負うものではありません。 手順の概要だけ確認したい方は、まとめへどうぞ。 状況 更新前 更新後 Drobo 5N firmware 3.5.11 4.2.1 D
MPTCP
Introduction Multipath TCP or MPTCP is an extension to the standard TCP and is described in RFC 8684. It allows a device to make use of multiple interfaces at once to send and receive TCP packets over a single MPTCP connection. MPTCP can aggregate the bandwidth of multiple interfaces or prefer the one with the lowest latency. It also allows a fail-over if one path is down, and the traffic is seaml
stumpled upon a bug in openssh … did a small config change in sshd_config, deployed it with ansible … and lost connectifity to all these boxes immediately … and of course, i did a config check before reloading the sshd daemon, and the config check was fine. i can’t belife that nobody else found this before, as it’s really simple to reproduce. and it’s working with openbsd, debian, centos and mostl
はじめに Ubuntu（および多くのLinuxディストリビューション）のディレクトリ構成に関する概要です。 ちなみに、Dockerコンテナは通常、必要最低限のコンポーネントのみで構成されます。これは、コンテナのサイズを小さく保ち、起動時間を短縮するために行われます。 「ファイル・ディレクトリの一覧」は、実際にそのディレクトリに対して lsコマンドを実行した結果です。 /（ルート） すべてのファイルとディレクトリの基点です。 /root (rootユーザー) /rootディレクトリは、システム管理者（rootユーザー）のホームディレクトリです。 rootユーザーのファイルやデータを保存する場所です。 ファイル・ディレクトリの一覧 .bashrc .profile /home (ホームディレクトリ) /homeディレクトリは、ユーザーごとの個人ディレクトリが入っているフォルダです。ユーザーが作
LinuxサーバーでNFSマウントをするときにいろいろと引っかかったのでまとめておきます。 CentOS7でNFSマウント手順（クライアント側） CentOS7（redhat7系含む）でNFSプロトコルのファイルサーバをマウントする際に、エラーを図れたので、少なからず同じ事象の方がいるはずと思い、設定と対処法を以下でまとめます。 1.ローカル側でマウントするディレクトリ作成 LinuxサーバでNFSファイルサーバをマウントする際、どのフォルダにマウントをするのか必要になります。 今回はmntは以下に「hoge」フォルダを作成しておきます。 $ mkdir /mnt/hoge 2.NFSマウント 次に実際のファイルサーバーを上記で作成したフォルダにマウントさせます。 IPでアクセスの場合 $ mount -t nfs 192.168.1.1:/nfs/test/nfs-test /mnt/h
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ICMP sockets - TenForward
Ubuntu 24.04 LTS (Noble Numbat) Release Notes
Time Machineが遅いときの対処方法 - 瀧(TAKI,Yasushi)/紅呪(kohju)のBlog
【Redis】Redisを使う時に見積の二倍の容量が必要なのは何故か - 地方エンジニアの学習日記
Apple M1 Mac で mackerel-agent を動かす - 平常運転
ApacheのMPMを設定を確認する - CLOVER🍀
MPTCPのスケジューラーをeBPFで書けるようになった話 - BBSakura Networks Blog
初心者向け,PCの環境をdotfilesで一瞬で構築する方法(mac) - Qiita
Youkiの基礎知識とcontribution環境構築 - Gekko0114 備忘録
WireGuard で VPN サーバーを作り、OpenWRT から接続して拠点間 VPN を構成する
Linuxで開ける最大のfile descriptorの数について調べたメモ - Qiita
文鎮化したDrobo 5Nは復活できるか？→復活できた！
Bug in OpenSSH / Config Checker
【初学者向け】Linuxのファイル構造についてまとめてみた - Qiita
【CentOS7】NFSマウント設定まとめ | インフラエンジニアの技術LOG