オンプレエンジニアがAWSを触って思ったのと違うと感じたこと - Qiita
はじめに この仕事を始めた当初(約20年前)はオンプレミスという言葉がありませんでした。いや厳密には私の周りではパブリッククラウドとオンプレミスを分けて話す人はおらず、インフラ構築といえば今でいうオンプレミスが中心でした(世の中的にはパブリッククラウドがサービスとして存在していました)。オンプレミスみたいに新しい概念が出てきた時にそれまでの概念を説明するためにできる言葉をレトロニムというそうです。 私が本格的にパブリッククラウドの仕事をし始めたのは約3年前でAWSでした。研修ではAzureを先に触れていたのと、この本を読んでいたという知識があった程度です。 ここではずっとオンプレミスのインフラ構築をしていた私がAWSに触れて最初に戸惑ったことを記事したいと思います。また、戸惑いましたということだけ書いても学びがないため対応したことも併せて記載します。AWSに慣れている人からすれば常識ですが
マルチスレッド環境でのtar - みつきんのメモ
最近ではCPUはマルチコアであることが多く、プログラムがマルチスレッドに対応している場合、 処理時間を大幅に短縮することができる。 意外と機会の多いtarコマンドによる圧縮伸長処理はデフォルトではシングルスレッドで動作するため、 マルチコアCPUの恩恵が受けられない。 tarコマンドがマルチコアCPUの恩恵を受けるための方法を調べた。 従来の方法 tar使用時の圧縮形式とオプションについては次の表のようになる。 圧縮形式 拡張子 圧縮 伸長 圧縮率 処理時間 備考 GZIP tar.gz cfz xf 低 速 BZIP2 tar.bz2 cfj xf 中 中 XZ(LZMA2) tar.xz cfJ xfJ 高 遅 1.22からサポート 大体、vオプションを含んで実行することが多いため、コマンドの実行例は次のようになる。 $ tar cvfz HOGE.tar.gz ./HOGE マルチス
Linuxでトラブルが発生したときの診断に役立つツール一覧、「事前のインストールを強く推奨」とリストの作者は語る
Linuxで動くシステムで何か問題が発生した際の原因分析に役立つツールの一覧をNetflixやIntelでクラウドコンピューティングのパフォーマンス改善に取り組んできたエンジニアのブレンダン・グレッグ氏がブログにまとめています。 Linux Crisis Tools https://www.brendangregg.com/blog/2024-03-24/linux-crisis-tools.html ◆procps このパッケージには「ps」「vmstat」「uptime」「top」という基本的なステータス表示に役立つツールが含まれています。 ◆util-linux このパッケージには「dmesg」「lsblk」「lscpu」というシステムのログを取得したりデバイスの情報を出力するツールが含まれています。 ◆sysstat このパッケージには「iostat」「mpstat」「pidsta
Linux Crisis Tools
(This is based on Table 4.1 "Linux Crisis Tools" in SysPerf 2.) Some longer notes: [1] bcc and bpftrace have many overlapping tools: the bcc ones are more capable (e.g., CLI options), and the bpftrace ones can be edited on the fly. But that's not to say that one is better or faster than the other: They emit the same BPF bytecode and are equally fast once running. Also note that bcc is evolving and
SSDを簡単に消去するコマンドを作ってみた - Qiita
SSDを簡単に消去するコマンドを作ってみた 更新情報 2024-02-16 「ドライブのfrozen」と「本当に消去できているのか」を追加 ストレージの消去コマンド 最近になってSSDやHDDのストレージには、セキュアイレース(Secure Erase)という書き込まれているデータを消去する制御コマンドがあることを知りました。FreeBSDやLinuxにはこの制御コマンドを発行するコマンド(FreeBSDではcamcontrol, Linuxではhdparm)が用意されています。書き込み済データを完全に消去できるのであれば、廃棄時に機密情報の漏洩を心配をする必要が無くなります。 消去そのものは制御コマンドを送るだけなのですが、そのためには事前に指定した手順でストレージ側を消せる状態にする必要がありOSのコマンドをそのまま使うだけでは微妙に手間です。そこでこれらの手順をまとめて、データ消去を
Mac上に素早くDockerやLinuxマシンを作成＆管理できる「OrbStack」のPublic Beta版が公開。
Mac上に素早くDockerやLinuxマシンを作成＆管理できる「OrbStack」がPublic Betaになったそうです。詳細は以下から。 Appleは2020年にリリースしたmacOS 11 Big Surから、開発者向けにより簡単にIntel/ARMベースのLinuxマシンをMac上に構築できるよう、Virtualizationフレームワークの提供を開始し、現在ではParallels DesktopやDocker Desktopなどが、このフレームワークを利用していますが、新たに、Mac上に素早くDockerコンテナやLinuxマシンを作成できる「OrbStack」という仮想化ユーティリティがPublic Betaで公開されています。 Say goodbye to slow, clunky containers and VMs Run Docker and Linux on you
LinuxをインストールしたApple シリコン搭載Macで「DRM保護されたNetflixムービー」を鑑賞する方法
「Asahi Linux」の登場によって、M1やM2といったApple製チップ搭載MacにLinuxをインストールすることが可能となりましたが、Asahi Linuxには「Netflixのムービーを閲覧できない」という問題が存在していました。この問題が発生していた理由や対策方法の確立に至った経緯をセキュリティ研究家のDavid Buchanan氏が解説しています。 The Quest for Netflix on Asahi Linux | Blog https://www.da.vidbuchanan.co.uk/blog/netflix-on-asahi.html ムービー配信サービスや音楽配信サービスはDRMと呼ばれる保護技術を用いてコンテンツの不正コピーを防いでいます。WindowsやmacOSを搭載したマシンではEdgeやSafari、Chromeといった各種ブラウザがDRMに対
Linuxの新しいsandbox機構「Landlock」 - Qiita
はじめに この記事ではLinuxの新しいsandbox機構であるLandlockのサンプルの使い方を概説します。 詳細で正確な情報は公式のページ https://landlock.io/ やLinux kernelのソースコード中にありますので、必要な場合はそちらを参照してください。 サンドボックスが欲しいわけ 一般的なLinuxディストリビューションとスマートフォンOSの両方を使い、それぞれで様々なアプリを使っている方は大きな違いに気付くと思いますが、前者はユーザーのデータはホームディレクトリと呼ばれる共通のディレクトリに格納され、他のアプリのためのデータを自由に参照できます。それに対し、スマートフォンの場合は各アプリが独自のデータ領域を持ち、他のアプリのデータを参照するには手間のかかるプログラミングとユーザーの同意が必要になります(バイパスできてしまう場合は脆弱性とみなされます)。 L
WasmバイナリをWin/Mac/Linuxで実行可能なバイナリファイルへ変換可能に「Wasmer 3.0」正式リリース
スタンドアロンのWebAssemblyランタイム「Wasmer」の最新版「Wasmer 3.0」が正式リリースされました。 Announcing Wasmer 3.0https://t.co/Nay8Po9FXk — Wasmer (@wasmerio) November 23, 2022 Wasmerはオープンソースで開発されているWebAssemblyランタイムです。 WebAssemblyの動向を調査しているThe State of WebAssembly 2022によると、WasmerはWebAssemblyランタイムとして事実上の参照実装であるWasmtimeに続いて2番目に人気のあるランタイムとなっています。 参考：WebAssemblyアプリ開発ではRustが一番人気、用途ではサーバレスが急上昇、ランタイムはWasmtime。The State of WebAssembly
巨大テキストファイルをsortコマンドでソートしてみる
巨大なテキストファイルをソートする問題について、sortコマンドの挙動を中心にAmazon EC2インスタンス上で検証を行いました。その結果を記事にまとめたものです。 お題の説明 先日のTwitterでこんな話題がありました。論旨としては、非常に大きくメインメモリに収まらないサイズのテキストファイルをソートしたい場合にどうすればよいか、というものです。 解法はさまざまなものがありえると思いますが、この記事ではsortコマンドによるソートを試してみました。 一般論としての解法 stackoverflowなどを軽く眺める限りだと「普通のsortコマンドが最良ではないか」「GNUのsortは入力が大きい場合は外部ソートをしてくれる」などの回答が見つかります。 https://unix.stackexchange.com/questions/120096/how-to-sort-big-files
Rust for Linuxを手元で試す
RustをLinuxカーネルに組込みプロジェクト、Rust for Linuxが進行中です。 このプロジェクトはLinuxカーネル全体をRustで置き換えるわけではなく、第二言語としてRustを採用してデバイスドライバなどのモジュールを書くことができるようにしようというものです。 RustはOSのような低レイヤーソフトウェアを実装する言語として、C言語に代わる選択肢として注目されてきたわけですが、Linuxのような広く使われているシステムに採用されるとなればかなり熱いですね。 実際にLinuxのメインラインに取り入れられるにはまだまだ課題は多いものの、Linus氏を含むLinuxの開発者からのフィードバックも比較的ポジティブでこれからが注目されています。 そんなRust for Linuxを手元でビルドして動かしてみました。 一応、基本的な手順はレポジトリ内のドキュメントにまとまっているの
作業環境をDockerfileにまとめて、macOSでもLinuxでもWSL2でも快適に過ごせるようになった話
こんにちは、CLI生活至上主義？の、 ひのしば です。 まぁ、至上主義というのは、ちょっと言い過ぎかもしれませんが、screen, vim, mutt, newsboat, pass, あとは、gitやssh 辺りを使う生活をしており、1日の作業がこれだけで完結するような事もあるような生活を送っています。 さて、そんな私が、ワークステーションサーバに、macOSや、Windows, Linuxから接続して操作するといった構成から、 作業環境をDockerfileにまとめ、手元で上がる環境をdockerコンテナへ統一し作業する構成とした話を紹介します。 この環境は、ここ数ヶ月、不自由なく使えている事もあり、自身の整理のためにも、どのような点が気になって対応したのかを挙げていきます。 詳細は下部に記載する通りですが、 例えば、dockerfile上のuidの問題に気をつける点、Linuxとma
Linuxベースマシン用のサーバーモニターツール「Rayon Remote for Mac」がリリース。
Linuxベースマシン用のサーバーモニターツール「Rayon Remote for Mac」がリリースされています。詳細は以下から。 TikTokを運営するBytedance Inc.のエンジニアのLakr Areamさんは現地時間2022年02月14日、Linuxベースのサーバーにアクセスし、システム情報やシステムリソースの使用率をグラフィックに表示してくれるMac用サーバーモニターツール「Rayon Remote」を新たに公開したと発表しています。 A server monitor tool for linux based machines, status monitoring based on proc file system with script execution. Available for macOS 12+. Rayon Remote – Mac App Store Ra
WebVM - Linux virtualization in WebAssembly
__ __ _ __ ____ __ \ \ / /__| |_\ \ / / \/ | \ \/\/ / -_) '_ \ V /| |\/| | \_/\_/\___|_.__/\_/ |_| |_|
15ドルのポケットサイズLinux端末登場か！？【DOOMは動く】
15ドルでキーボードとスクリーンを搭載した魅惑のポケットサイズLinux端末が登場するかもしれません。 ちなみにスクリーンはタッチ非対応、そもそもGUIも動かせないので、CUIで動かします。 「A Minimum Viable Computer」というこの端末は、サーバにpingを打ち、スクリプトを実行し、GPIOを切り替えつつUSBデバイスを動かすような、プリミティブなコンピューターです。 ただし、再充電可能なニッケル水素電池で稼働し、↓のようにDOOMも動きます。 「中古Androidを買ってきてroot化すればいいんじゃ」と思うかもしれませんが、このコンピューターは、なんと15ドル（約1,700円）で作れるものにしようとしています。 この魅力的なコンピューターは、サンフランシスコ在住で元HACKADAY編集者のBrian Benchoff氏が、GitHubのこちらのページで公開してい
ptrace より 100 倍速いシステムコールフック作った - かーねるさんとか
新しい高性能で汎用的なシステムコールフックの仕組みを作ってみました。 モチベーションとして、システムコールをフックしてユーザー空間でエミュレートしたくなったのですが、現状、性能と汎用性を両立する仕組みがなさそうだったので、新しい方法を考えました。 今回のシステムコールフックの仕組みは以下のような特徴があります。 ptrace より 100 倍以上高速 LD_PRELOAD や既存のバイナリ書き換えツールより確実 カーネルへの変更なし、かつカーネルモジュールを使わない プログラムのソースコード、プログラムの再コンパイル不要 eBPF でトレーシングをしているけれど、できれば制約が少ないユーザー空間でトレーシングツールを作りたい。もしくは、gVisor のようなサンドボックスを作りたいけれど、ptrace による性能劣化が大きいので、他の高速なシステムコールフックの仕組みが使いたい、というよう
【書評】「Linuxで動かしながら学ぶTCP/IPネットワーク入門」手を動かしてTCP/IPを学びたい人におすすめの一冊 | DevelopersIO
こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。 最近読んだ「Linuxで動かしながら学ぶTCP/IPネットワーク入門」という本が、楽しくTCP/IPに入門できて良いなと思ったのでご紹介させていただきます。 本の目次 はじめに TCP/IP とは Network Namespace イーサネット トランスポート層のプロトコル アプリケーション層のプロトコル NAT ソケットプログラミング おわりに 付録 環境構築 シェルの基本的な使い方 この本を読んで学べること この本ではTCP/IPのネットワーク、パケットの流れを手元の仮想環境を使って学ぶことができます。 環境については、Network Namespace という、ネットワーク設定を分割して管理できるLinuxカーネルの機能を使います。 用意した環境の中で、通信を行うコマンドを自分で打ち込み、パケットの流れを
htop explained
Uptime shows how long the system has been running. You can see the same information by running uptime: $ uptime 12:17:58 up 111 days, 31 min, 1 user, load average: 0.00, 0.01, 0.05 How does the uptime program know that? It reads the information from the file /proc/uptime. 9592411.58 9566042.33 The first number is the total number of seconds the system has been up. The second number is how much of
dd コマンドの進捗を確認する - CUBE SUGAR CONTAINER
dd コマンドの進捗を確認したいときは macOS であれば SIGINFO を、Linux (GNU Coreutils) であれば SIGUSR1 を送れば良い。 また、GNU Coreutils の dd には status=progress というオプションもある。 macOS まずは macOS から。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.5 BuildVersion: 18F132 適当にランダムな値でファイルを作らせる。 $ dd if=/dev/urandom of=example bs=1m count=1024 別のターミナルを開いたら killall を使って dd に SIGINFO を送りつける。 $ sudo killall -INFO dd すると、次のように現状が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux 6.10 - kernel/git/torvalds/linux.git - Linux kernel source tree