ShellScriptで自動化を楽にしたい時に知っておいても良いこと | sreake.com | 株式会社スリーシェイク
はじめに こんにちは、皆さん。今日は、シェルスクリプトを使った高度な自動化のベストプラクティスとパターンについて解説します。これらは、ちょっとした知識で実行でき、作業を大幅に効率化できるTipsです。シェルスクリプトは、特にUNIX系システムでの自動化タスクに欠かせないツールです。適切に使用すれば、複雑なタスクを効率的に、そして信頼性高く実行できます。 トイルとは、反復的でマニュアルな作業のことを指します。これには、例えば、手動でのシステムのスケーリングや、エラーのトラブルシューティング、ルーティンなメンテナンス作業などが含まれます。トイルを特定し、それを自動化することで、エンジニアはより創造的なタスクやプロジェクトに焦点を合わせることができます。 トイルを判別する方法としては、以下のような基準が挙げられます： 手作業であること 完全な手作業だけでなく、「あるタスクを自動化するためのスクリ
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
80年代、Microsoft製のUNIXが存在していた POSIXサブシステムは2012年までサポートが続いた 現在のWindows 11では、Windows Subsystem for Linux（WSL）が動作するため、（それ自体はUNIXではないものの）UNIXからのアプリケーションを簡単に動作させることができる。 かつてMicrosoftは、x86版UNIXのライセンスを持っており、XENIXと呼ばれる製品を販売していた。また、Windows NTに「POSIXサブシステム」、のちに「Windows Service for UNIX（SFU）」と呼ばれる機能があった。そういうわけで、WindowsとUNIXは切れない“縁”があったのだ。 Windows NTのPOSIXサブシステムやその搭載理由などに関しては、過去記事（「Windows Subsystem for Linuxの中身
Ubuntu Weekly Recipe 第824回Dockerコンテナをダイレクトに動かせるようになった「Incus 6.3」を、Ubuntu 24.04で試す 世間はDocker一色と言っても過言ではない中、本連載では何度も、LXDとそのフォークであるIncusを紹介してきました。そのIncusのバージョン6.3では、Dockerコンテナを直接起動できるようになりました。今回はUbuntu 24.04 LTSに最新安定板のIncusをインストールして、Incusのシステムコンテナと、Dockerのアプリケーションコンテナを共存させる方法を紹介します。 昨今のコンテナ事情 IT業界にいると、避けては通れない技術トピックというものがいくつか存在します。Linuxやサーバーの分野では、ここ数年はやはりコンテナでしょう。 コンテナについて簡単におさらいしておくと、特定のプロセスを、ホストO
はじめに コンピュータのアーキテクチャ プログラムの構造 あとがき 執筆者 : 小田 逸郎 はじめに 筆者は自分のことを OS 開発者 (OS屋) だと思ってます。最近は、OSにあまり深く関われていないのですが、筆者が若かりし頃に情熱を注いだものであり、筆者の基盤をなしているものであることには間違いないです。 筆者が OS (UNIX) の開発に携わり始めたのは、1986年のことなので、もう40年近く経ってしまいました。その間に OS の規模も随分大きくなってしまったようです。 筆者が始めた頃の UNIX は、デバイスドライバを除くと、20K行くらいだったと記憶しています。 全コードをラインプリンタで出力、コピー、製本し、皆で読み合わせて、勉強会をしたりしていました。そんなことができる分量だったのです。 今の Linux の規模はどれくらいでしょうか。筆者たちが「Linuxカーネル 2.6
本エントリでは、PHP の内部実装（php-src）から OPcache のオペコードキャッシュの仕組みを見ていきます。 OPcache にはいくつかの機能がありますが、ここでは共有メモリへのオペコードキャッシュと preload が対象です。ファイルベースのキャッシュと JIT については触れません。 サマリ オペコードキャッシュ preload オペコードキャッシュと preload の比較 オペコードキャッシュ キャッシュデータレイアウト グローバル変数、マクロ キャッシュデータ構造体 オペコードキャッシュ: ZCSG(hash) キャッシュエントリ: zend_accel_hash_entry キャッシュデータ初期化 OPcache 処理の有効化 PHP ファイルコンパイル処理でのキャッシュ制御 persistent_compile_file() の主な処理 zend_accel_
米Meta（メタ）が2024年7月23日（米国時間）に、オープンソースの大規模言語モデル（LLM）の最新版「Llama 3.1」を公開した。同社のMark Zuckerberg（マーク・ザッカーバーグ）CEO（最高経営責任者）は同時に公開した書簡で、LLMをオープンソース化する理由を説明しているので、その意図を解説しよう。 最先端モデルがオープンソースに 今回メタが公開したLlama 3.1には、機械学習モデルの規模が4050億パラメーターにも達する「Llama 3.1 405B」が含まれている。メタによればLlama 3.1 405Bは、米OpenAI（オープンAI）の最新モデルであるGPT-4oに匹敵する性能を有するのだという。 従来のLlamaシリーズは、オープンAIや米Anthropic（アンスロピック）などがクラウドサービスとして提供する最高性能のモデルと比べて、モデルのサイズは
The New Internet
WireGuard is a registered trademark of Jason A. Donenfeld. Avery Pennarun is the CEO and co-founder of Tailscale. A version of this post was originally presented at a company all-hands. We don’t talk a lot in public about the big vision for Tailscale, why we’re really here. Usually I prefer to focus on what exists right now, and what we’re going to do in the next few months. The future can be dist
Unboundでお手軽DNSシンクホール
背景 #見出しにジャンプ 以前からルータのDNSフォワーダにDNSシンクホールをさせていた。 しかし近年、ChromiumやAppleデバイスでブロック漏れが発生する理由に、対応していないクエリタイプ(SVCB/HTTPS)があることや、FQDN単位でのルールしか書けないためにサブドメイン対応が冗長だったこと、CNAME Cloakingを阻止できないことからDNSソフトウェアの利用は視野に入れていた。 YAMAHA RTXと異なり、NEC IXルータではクエリタイプ毎にフォワード先を切り替えられないため、検討が加速した。BINDやknot、PowerDNSがある中、初学者にも書きやすそうな縛りのない構文が魅力的と感じてUnboundを選んだ。 結果的にはソースコードの変更を要したが、満足に機能している。 ソースコードの変更 #見出しにジャンプ CNAME Scrubbing動作を止める
はじめに X68000 のクロス開発環境 elf2x68k では、Linux (WSL) や MinGW、macOS などの環境で以下のような X68000 のクロス開発を行うことができます。 C/C++ プログラムのコンパイル X-BASIC プログラムの C への変換とコンパイル X68000 で実行するプログラムの GDB を用いたリモートデバッグ 今回、初めて Mac を導入して X68000 のクロス開発環境を macOS 上で構築してみたので、その手順をまとめてみました。 動作は M3 MacBook Air の macOS Sonoma (14.5)上で確認しています。 事前の準備 ターミナルへのフルディスクアクセス設定 macOS のターミナルは Finder の アプリケーション → ユーティリティー から開けます。zsh が動いて UNIX 系の CUI 環境が最初から
「ニンジャスレイヤー」は忍殺語が面白いだけではない！ その魅力を語り，「ネオサイタマ炎上」でフジキドと一体化して爆発四散 ライター：水町綜 ドーモ，4Gamer読者さん。 今宵は2Dアクションゲーム「ニンジャスレイヤー ネオサイタマ炎上」（PC/Switch）を通して皆さんに恐るべきニンジャの真実を知らしめてゆく。覚悟せよ。 などと言いつつ，ゲーム発売のこの機会に，「ニンジャスレイヤー」の魅力をお伝えしたいというのが，本稿の趣旨である。「ニンジャスレイヤー ネオタサイタマ炎上」は，KADOKAWA Game LinkageとABCアニメーションによるインディーゲームプロジェクトの第1弾として，2024年7月24日に発売されたタイトルだ。 まずはニンジャスレイヤーとは何なのか，その魅力を語らせてもらい，今回発売のゲームはどのようなものになっているかを紹介していこう。 そもそもニンジャスレイヤ
2024年7月1日、多くのサーバーに搭載されているリモート接続用のソフトウエア「OpenSSH」で「重大」な脆弱性が報告された。セキュリティー企業の米Qualys（クオリス）が発見して報告し、OpenSSHの開発チームも事実を公表するとともに、脆弱性を修正したバージョンを公開した。 この脆弱性が悪用されると、遠隔から管理者権限を使って任意の操作やコードを実行される恐れがある。このためOpenSSHの開発チームは重大さを5段階で最上位の「Critical（深刻な）」と評価した。クオリスもこの脆弱性を悪用した攻撃が成功することを実証したとしている。 潜在的な影響範囲は広い。専門家らがインターネット上の公開サーバーを分析した結果では、脆弱性を含むOpenSSHを搭載した可能性があるサーバーは、全世界で700万台程度が稼働している。マクニカの分析によれば日本では22万6000台が該当する可能性があ
In the early days of high-performance computing, the major tech companies of the day each invested heavily in developing their own closed source versions of Unix. It was hard to imagine at the time that any other approach could develop such advanced software. Eventually though, open source Linux gained popularity – initially because it allowed developers to modify its code however they wanted and
A discussion of the evolution of the database industry over the last half century, and why the relational database concepts introduced by E. F. Codd have proven so resilient over several decades. E.F. Codd’s “A Relational Model of Data for Large Shared Data Banks”10 is one of the most influential papers in all of computer science. In it, Codd defined concepts that are still in widespread use today
補足1: 上記以降のその他のシェルの歴史 ksh: 1980年頃に開発開始し、1983年に ksh83 がリリース、ksh93 は大幅強化版 bash: 1988年1月に開発開始し、1989年6月に 0.99 がリリース pdksh:1987年から1989年頃に開発、その派生版 (mksh) を OpenBSD が採用 ash: 1989年5月にリリース、その派生版をFreeBSD、NetBSD、Debian系Linux などが採用 zsh: 1990年頃に1.0がリリース その他のシェル シェルの歴史 総まとめ（種類と系統図）と POSIX の役割 〜 シェルスクリプトの現在・過去・未来 補足2: POSIX 標準化以降 1992 年に POSIX によってシェルの仕様が標準化されました。しかし Bourne シェルは POSIX に準拠することなく 1992 年の SVR4.2 版を最
本文の内容は、2024年7月26日に Nigel Douglas が投稿したブログ(https://sysdig.com/blog/whats-new-kubernetes-1-31/)を元に日本語に翻訳・再構成した内容となっております。 Kubernetes 1.31が間もなく登場します。このリリースでは、プロジェクトに大きな変更が加えられます。では、このリリースの新機能は何でしょうか? Kubernetes 1.31には、このリリースで「 Graduating 」として追跡されている 37 項目を含む、多数の機能強化が含まれています。これらのうち、待望の Kubernetes 向け AppArmor サポートを含む11 の機能強化がステーブルに移行します。これには、API でコンテナまたはポッドの AppArmor プロファイルを指定し、そのプロファイルをコンテナランタイムによって適用
はじめにこんにちは。 株式会社SHIFT ITソリューション部アプリケーションサービスグループの尾﨑です。SHIFTでマイグレーション関係のお仕事をしております。 今回、以下のような事件があり、この記事を書いてみました。 ご興味のある方が、最後まで読んで頂けると嬉しいです。 ことの発端Broadcom社が2023年末にVMware社を買収しましたが、大きな影響が各方面に出ています。 特に、2024年2月12日（米国時間）に発表した 永久ライセンス廃止と、仮想化ソフトウエア「VMware vSphere Hypervisor(以降VMware ESXi)」の無償版廃止が大きいです。 参考：VMware by Broadcom : 製品ラインアップとライセンスモデルを大幅に簡素化 今後、VMware社の製品やサービスが、従来同様に提供され続けるか不透明ですので、仮想化ソフトウェアであるVMWa
At Oxide, we use Helios as the base OS for the cloud computers we sell. Helios is a distribution of illumos, a Unix-based operating system descended from Solaris. As someone who learned illumos on the job, I’ve been really impressed by the powerful debugging tools it provides. I had a chance to use some of them recently to track down a segmentation fault in the Rust compiler, with the help of seve
Introduction to Go 1.23 The latest Go release, version 1.23, arrives six months after Go 1.22. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility. We expect almost all Go programs to continue to compile and run as before. Changes to the language Go 1.23 makes the (Go 1.22) “range-over-func” expe
"Doors" in SolarisTM: Lightweight RPC using File Descriptors Jim Voll Senior Staff Engineer Solaris Products Group This new lightweight RPC mechanism, adapted from Sun's Spring O/S project, will be inforporated into a future release of the SolarisTM operating environment. Developers can refer to Solaris documentation for additional library and SPI information. An Overview of Doors A door is a "fil
[EN] Confusion Attacks: Exploiting Hidden Semantic Ambiguity in Apache HTTP Server!
[EN] Confusion Attacks: Exploiting Hidden Semantic Ambiguity in Apache HTTP Server! Orange Tsai (@orange_8361) | 繁體中文版本 | English Version Hey there! This is my research on Apache HTTP Server presented at Black Hat USA 2024. Additionally, this research will also be presented at HITCON and OrangeCon. If you’re interested in getting a preview, you can check the slides here: Confusion Attacks: Exp
![[EN] Confusion Attacks: Exploiting Hidden Semantic Ambiguity in Apache HTTP Server!](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a5b91f61a298886d884ea8b403d255f950ceecf/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEhPC506ziev4fJXtMlHNpXqYA17yX5uywSmqdESOSWh6wl2NYtmZFm1U4ygJLE3P3xExW5WsXLTDghdztSQshpvprnISOwZWF2NR_aQSWU8_RjLX65_NLjk3l3FrPWpqPJIFRTVV9vVIcStMPAS-0-l7dF6pjJR4pgCbRhP2qvhyznH6f86ZJ-Ofgs7Tq0%2Fs16000%2Ffb48778b63a5eead717f13f46.png)
How HappyLock Works
Recently, I released version 0.3 of my HappyLock crate on crates.io. In this blog post, I wanted to explain what I changed, and why it works. Background There are four conditions necessary for a deadlock to occur. You only need to prevent one of them in order to prevent all deadlocks: Mutual exclusion Non-preemptive allocation Circular wait Partial allocation Let's go through each one, and see wha
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
WSL以前から40年以上続く、Windows（Microsoft）とUNIXとの関わり
第824回 Dockerコンテナをダイレクトに動かせるようになった「Incus 6.3」を、Ubuntu 24.04で試す | gihyo.jp
OS徒然草 (1) - VA Linux エンジニアブログ
OPcache オペコードキャッシュの仕組み - Shin x Blog
MetaがLLMをオープンにする理由、UNIX没落の教訓と「アンチApple」
macOS で始める X68000 開発環境構築 - Qiita
「ニンジャスレイヤー」は忍殺語が面白いだけではない！ その魅力を語り，「ネオサイタマ炎上」でフジキドと一体化して爆発四散
「重大」リスクの恐れにパッチ適用は1％未満、OpenSSHの脆弱性が残した警告
Open Source AI Is the Path Forward | Meta
50 Years of Queries – Communications of the ACM
BourneシェルとCシェル、先に誕生したのはどっち？【Unixシェルの歴史】 - Qiita
Kubernetes 1.31 – 新機能は？
VMware ESXiからProxmox VEへマイグレーションしてみた｜SHIFT Group 技術ブログ
Debugging a rustc segfault on illumos :: sunshowers
Go 1.23 Release Notes - The Go Programming Language
"Doors" in Solaris: Lightweight RPC using File Descriptors