Guixを使った決定性ビルド - Develop with pleasure!
先日、Bitcoin CoreをGitian Buildを使ってビルドする記事を書いた↓ techmedia-think.hatenablog.com けど、最近以下のPRがBitcoin Coreにマージされた結果、Linux / Windows / macOSのバイナリのビルドがGNU Guixでできるようになった。 github.com GitianとGuix Gitianは元々Bitcoin Coreで再現性のあるビルドをできるよう開発されたツール。ただこのツール、VMを使ってバイナリをビルドするんだけど、Ubuntuに結構依存している。Bitcoinのような管理者のいないコードベースのエコシステムにおいては、監査可能性や透明なバイナリを提供するのが大切で、環境依存はなるべく少ない方が望ましい。 そのため既存のGitianベースのビルドの仕組みを完全に置き換えるのに、GNU Gui
Google to end updates, security bug fixes for Chrome on 32-bit Linux
It'll work but forget about any new patches, so basically it won't work if you value your life Google has quietly announced it will end support for its Chrome browser on 32-bit Linux. This doesn't affect the 64-bit build. “To provide the best experience for the most-used Linux versions, we will end support for Google Chrome on 32-bit Linux, Ubuntu Precise (12.04), and Debian 7 (wheezy) in early Ma
TIME_WAIT状態のTCPコネクションを早く終了させるべくKernelをリビルド - 元RX-7乗りの適当な日々
以前、一度やったはずなのですが、すっかり忘れてしまっていて、結局調べることになったので、今回はここに作業ログを残しておきます。 TIME_WAITコネクションの増殖 一般的にネットワークアクセス数が極端に多いサーバでは、TIME_WAIT状態のコネクションが残留しがちです。 TIME_WAITの滞留時間が、Linuxデフォだと60秒になっているため、下記のエントリにも書きましたが、60秒の間に数十万レベルのリクエストが来るとあっという間にコネクションテーブルが埋まっていってしまうわけです。 で、別にTIME_WAITコネクションが多くなってしまうこと自体は、完全な悪というわけでもなく、 "net.ipv4.tcp_max_tw_buckets" あたりでキャップもできるし、それなりに制御して付き合っていけばいいわけですが、ローカルのTCPポートを使い切るようなケースだと、使えるローカルポー
システムのI/Oに必要な時間の大部分はカーネルにあった | POSTD
Key-Valueストアからロックサーバに至る、あらゆる実行中のサイトのシステムパフォーマンスは、今なお、主に レイテンシ や スループット で測定されています。 サーバのI/Oパフォーマンスでは、これが重要となります。高性能なI/Oサブシステムなくしては、これらのメトリクスのどちらにおいても良いパフォーマンスを行うことはできません。 奇妙なことに、この10年間で一般的なハードウェアのI/Oパフォーマンスは驚くほど向上しているにも関わらず、システムのI/Oパフォーマンスはあまり大きな変化を遂げていません。そこで、私はこのような疑問を持ちました。 「一般的なスタンダードなOSでは、I/Oパフォーマンスの向上は期待できないのだろうか？」 一般的なLinuxハードウェア上のシンプルなI/O これは、Simon Peterらによって発表された 最新のOSDIレポート の裏に隠された重大な課題です。
ダイレクトI/O
ダイレクトI/Oは，ハード・ディスク装置（以下，ディスク）上のデータにアクセスする機構の一つです。データベース管理システム向けとして，カーネル2.4で導入されました。 通常，ディスク上のファイルにアクセスする場合，ファイル・キャッシュを経由します。このファイル・キャッシュのおかげで，キャッシュにヒットした際にはデータ読み取り速度が高速化します。また，ファイル・キャッシュを利用した遅延書き込み機能により，プロセスに対する書き込み処理性能が向上します。ディスクに書き込まれたファイルはファイル・システムにより管理されます。 ダイレクトI/Oを用いると，ディスク上のファイル（データ）にアクセスする際，ファイル・キャッシュを経由しません。データはアプリケーションなどのプロセスとディスク間で直接やり取りされます。 データベース管理システムなどは，その内部にファイル・キャッシュと同様の機構を備えています
Unreal Engine 4 and Linux
アンリアル・エンジンは、かつて Linux をサポートしていました。そして、アンリアル・エンジン 4 の登場にともない Linux は、私たちのプラットフォーム ファミリーで最も重要なメンバーの 1 つとなりました。Linux プラットフォームに関する私たちの計画は、エピックの社内プロジェクトのニーズとパートナーのプロジェクトのニーズ、さらにLinux コミュニティの多大なニーズを総合した上で成り立っています。このことを言い換えるならば、Unreal Engine 4 の Linux 開発は、4 つの領域にまたがっているということになります (それぞれにおいて独自の課題があります)。 堅牢かつセキュアかつ CPU 効率の高い Linux ゲームサーバー フル機能の Linux クライアントのサポート 機能が豊富でネイティブな Linux 開発ツール Linux 用開発を容易にするための、W
スラブアロケータ - Linuxカーネルメモ
linux-2.6.16.1でのメモ。 1. 概要 Buddy Systemでは物理ページ単位のメモリの確保になるため、あるメモリオブジェクト(例えばプロセスのtask_structとか)を動的に確保するのには向いていない。スラブアロケータではBuddy Systemとの間に入り、メモリオブジェクトの確保／解放機能を提供する。 スラブアロケータでは、あらかじめメモリオブジェクトに対してキャッシュ(kmem_cache)を作っておき、そのキャッシュからメモリオブジェクトを取得する形をとる。キャッシュは足りなくなれば自動的に確保されるようになっている。 Slabから取得するバッファはBuddy Systemから取得しており、以下の特徴がある。 仮想アドレスに対して物理ページが割り当て済み(アクセスしてPageFaultになることはない)物理的に連続ページ 2. スラブアロケータの特長スラブアロ
/proc/meminfoを考える - めもめも
通りすがりの貴方・・・・ /proc/meminfoのあっちの値とこっちの値を足したら、なんでそっちの値と同じにならないの・・・・ と悩んだことありますよね？ /proc/meminfoは、カーネルが内部的に管理している枠組みでのメモリ情報をそのまま出しているので、残念ながらユーザ視点で知りたいメモリ情報とは一致しません。 とはいえ、変な解釈をして無意味に悩まないために、それぞれの値の意味合いと項目間の関係を知っておくのは有意義です。私の理解の範囲で、それらの関係をまとめていきます。 ＃私の理解も完璧ではないので、間違いあればやさしくご指摘お願いします。 参考資料 http://mkosaki.blog46.fc2.com/blog-entry-1007.html 2011/09/07 追記： tmpfsがSwapCachedに含まれるのは幻想でした。tmpfs=Shmemに修正しました。
limits.conf の soft / hard について - あのときのログ
soft limit / hard limit の理解について曖昧だったので、おさらいしました。 そもそもOSのどこで設定していたんだっけ、というところから。 ◇/etc/security/limits.confに関するメモ http://open-groove.net/linux/memo-etcsecuritylimits-conf/ 定義は明快に書いてありました。助かります。 soft/hardの違いは、softが一般ユーザが変更できる上限値で、hardはrootが変更できる 上限値を意味する。ユーザ名を「*」とすればすべてのユーザに適用される。 とのことです。 ユーザごとの設定で soft / hard が記述できるので、sshの接続数制限とかと似て、softは超過しても、hardまではある程度許される猶予なのかと思いましたが、そうではなく、「各ユーザにて、 ログインして ulim
ユーザーのプロセス暴走やメモリ食いつぶし防ぐ - それマグで！
自分で自分に首輪をつけたかった。 バックグラウンドでリソース使い切って、他のことが出来なくなった。自分で自分に首輪をつけておこうと思った。 ITmedia エンタープライズ : Linux Tips「ユーザーごとに使用できるリソース制限をしたい」 /etc/security/limits.confに関するメモ - OpenGroove プロセス数やメモリを制限するには PAM limits を使います。 pam_limits.so を使って各種の制限をすることが出来ます。PAMカッコイイですね。 設定ファイル /etc/security/limits.conf このほかにも/etc/limits.conf で同様設定できるようです。 limits.confはコマンド ulimit からも使えるそうです。 設定例*1 @student hard nproc 20 #プロセス数を２０に限定 @
- 株式会社エスロジカル - 技術ドキュメント Linux：/proc/ によるファイルオープン上限数の制御 (/proc/sys/fs/file-*)
技術ドキュメント目次 -> Linux -> /proc/ によるファイルオープン上限数の制御 (/proc/sys/fs/file-*) 本技術ドキュメントは、2002～2004年頃に作成したものが多いです。 内容が古くなっていることもあるかと思いますが、ご了承ください。 【低価格SSL証明書】弊社運営の低価格SSL証明書販売サイト、翌月末払いなど請求書払いも可能。 ◆ はじめに カーネル2.4系の Linux では（おそらくカーネル2.2も）、 オープン可能なファイル数の上限や、ファイルをオープンしている数の統計を、 /proc/ 以下にある次の２つのファイルを参照することで確認することができます。 /proc/sys/fs/file-max オープン可能なファイル数の上限を確認でる。 値の変更を行うことも可能。 /proc/sys/fs/file-nr 次の３つの情報を確認することが
Deprecated Linux networking commands and their replacements
In my article detailing the command line utilities available for configuring and troubleshooting network properties on Windows and Linux, I mentioned some Linux tools that, while still included and functional in many Linux distributions, are actually considered deprecated and therefore should be phased out in favor of more modern replacements. Specifically, the deprecated Linux networking commands
CPU負荷によってCPUスピードを調整して省電力化 - サラリーマンから起業するリアル
linuxにはcpuspeedというものがあり、centosには標準で入っているので、chkconfigでonにしてあげれば動きます(/sbin/chkconfig cpuspeed on) これは、CPU負荷が低い時には、CPUスピード(クロック数 Hz)を低くして、アイドル状態の消費電力を低くしてくれます。 またCPU負荷が高くなったときでも、3GHzのCPUで、2GHzまでしか使わないように抑制して負荷が高いときの電力消費も抑えることができます。 この設定ファイルはcentosの場合下記の場所にあります。 /etc/sysconfig/cpuspeed このファイルの中のMAX_SPEEDやMIN_SPEEDに値を入れれば、その値のクロック数で動くようになります。 ただし、CPUに合った値を指定しないとうまく動かないので、 cat //sys/devices/system/cpu/c
どうしてメモリはスワップするのか！？
こんにちは。斎藤です。 最近、新しいスキー板が欲しいなと思っています。現在使っているOGASAKAの板は5年目に入り、メーカーからこれ以上はチューンナップ(メンテナンス)はできないよ、と言われてしまいました。もし、次に買うなら、スノーボーダーの人と一緒にパウダーに飛び込みやすいセミファットタイプが良いのかなと考えています。皆さんのオススメ、ぜひ教えてください。 さて、今日はLinux Kernel上でのメモリ管理、特にページ回収(Page Reclaim)とスワップに絞り、「スワップの理由」「ページを回収する仕組み」そして「スワップの様子を観察する」の3点に分けてお話しします。「スワップするのが気持ち悪い」と考えている方は少なくないと思いますし、私もそう考えていた時期がありました。しかし、それは本当に悪い事なのか、今回掘り下げて行きます。 ※主な対象Kernelは2.6.32(Red Ha
Docker: Linuxコンテナを使ってアプリケーションの配置を支援する
サーバアプリケーションの配置はますます複雑になっています。いくつかのPerlスクリプトをコピーするだけでインストールが完了する時代は終わりました。今日、ソフトウエアは多くの種類の要求を抱えています。 インストールするソフトウエアやライブラリの依存物("Python >= 2.6.3とDjango 1.2に依存する") 実行するサービスへの依存("MySQL 5.5とRabbitMQのキュー"が必要) 特定のOSに対する依存("64-bit Ubuntu Linux 12.04でビルドとテストをした") リソースの要件: 利用可能なメモリの最少量("1GBのメモリが必要") 特定のポートへのバインド("80と443を使う") 例えば、比較的シンプルなアプリケーションの配置を考えてみましょう。Wordpressです。典型的なWordpressのインストールでは、 Apache 2 PHP 5
あまり知られていない設定
13.2. あまり知られていない設定はい、変更できるパラメータはとてもたくさんあります。 ここではそれらすべてをリストしたいと考えています。 一部は Documentation/ip-sysctl.txt でも説明されています。 カーネルのコンパイル時に 'Configure as router and not host' に 'Yes' と答えていると、これらの設定のデフォルトが、 ここに示すものとは異なっているかもしれません。 Oskar Andreasson も、これらのフラグに関するページを公開しています。 ここのものより良いように思えますので、 彼のページ もチェックしてみてください。 訳注: この部分の訳出にあたっては、 2.2 カーネル付属文書 proc.txt の翻訳 を参考にさせていただきました。 13.2.1. ipv4 全体一般的な注意ですが、ほとんどの速度制限機能は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The mind behind Linux
http://www.nces.is.nagoya-u.ac.jp/NEXCESS/blog/index.php?catid=44&blogid=5
Linux Foundation、「オープンコンプライアンスプログラム」を開始 | The Linux Foundation
Sinby Corp.