Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
Linuxカーネルの脆弱性により、権限昇格が行える脆弱性（CVE-2014-3153）に関する検証レポート – (n)
Linuxカーネルの脆弱性により、権限昇格が行える脆弱性（CVE-2014-3153）に関する検証レポート 【概要】 Linuxカーネルに、システムにログイン可能な一般ユーザーが権限昇格を行える脆弱性（CVE-2014-3153）の攻撃方法が発見されました。この脆弱性は過去にAndroidのroot化を行う目的で利用されていた実績のある脆弱性です。 この脆弱性はkernelのfutexサブシステムの処理に不備が存在しており、悪意のあるローカルユーザーが細工したfutexシステムコールを送信することでリング0の制御を奪取することが可能です。 【※上記説明文章の参考ページ】 Linux kernel futex local privilege escalation Debian セキュリティ勧告 本レポート作成（2014年11月27日）時点において、The Linux Kernel Archi
ファイルオープンと新フラグ
多人数により日々改善が加えられるLinuxカーネルですが、その中にはまったく新しい機能もあれば、既存機能を拡張したものもあります。本記事ではopen(2)に加えられた新フラグについて取り上げます。 O_TMPFILEフラグ ---- linux-3.11 2014年9月にリリースされたlinux-3.11では、ファイルオープン時に指定可能なO_TMPFILEフラグが追加されました。目的は従来のmkstemp(3)、tmpfile(3)と同様ですが、カーネルレベルで対応するため、効率とアトミック性が強化されます。glibcでは2014年2月にリリースされたv2.19でO_TMPFILEに対応しました。 従来のmkstemp(3)ファミリ、tmpfile(3)を用いる場合では、 一意な（と期待できる）ファイル名の生成 そのファイル名でファイルを作成/オープン という手順を踏みますが、一意性を保
誰が実際にLinuxを開発しているのか？その答えはあなたを驚かせるかもしれない。 - 更地
2014-04-07 誰が実際にLinuxを開発しているのか？その答えはあなたを驚かせるかもしれない。 Linuxカーネルに最も貢献している人(組織)が誰なのかを、Linux Foundationの年次報告書から探る、というお話。OSS界隈の知識が多少なりともあるプログラマにとっては既知の内容だと思いますが、各組織の貢献度が細かな数字で表されているのは良いかなと思います。元記事：Who actually develops Linux? The answer might surprise you | ExtremeTechもし私が、オープンソースプロジェクトについて考えるようにあなたに命じたとすると、恐らく心に浮かぶ最初の言葉はLinuxでしょう。(FirefoxまたはApacheを思い浮かべたかもしれませんが、議論のためにLinuxについて考えたとしておきましょう)。それから、オープンソー
CoreOS 入門 - Qiita
CoreOS は Alex Polvi が設立した会社であり、OS、新しい Linux Distribution である。OSS で公開されている。 Polvi 氏といえば Rackspace に 買収された CloudKick を立ち上げ、その後も Rackspace 働いていたクラウドの専門家とも言えるだろう。 その Polvi 氏以外にも Googler や Linux 関連の人材、アドバイザーに Linux の stable branch のメンテナ を迎えるなど、Linux に関する知識がかなり豊富なメンバーが集まっている。 その彼らが作っているのが CoreOS である。 CoreOS は Google や Facebook などの環境を参考にしており、柔軟にスケールし、さらにはインフラ構築その もののプロセス自体も効率よく合理的に行えるよう設計されている。 また運用、管理（セ
Docker用に必要な Linuxカーネルのオプション - ブログ - ワルブリックス株式会社
LXCと Dockerを動かすための Linuxカーネルを自分でビルドする DIYな人のために構成情報を記すなど Dockerとは Dockerは、構成済みの Linux環境を最小の手順でダウンロードして稼働させたりそれらをメンテナンスするためのツールで、バックエンドとしては LXC(Linux Containers)を使用している。本記事では、Dockerと LXCを動かすのに必要なカーネルコンフィグについて述べる。 Dockerについての参考記事 Docker: Linuxコンテナを使ってアプリケーションの配置を支援する (InfoQ) Linuxコンテナを手軽に扱えるDockerを使ってみよう | KVH Blog コンテナ型仮想化「Docker 0.7」リリース。主要Linuxディストリビューション全対応、ストレージドライバ同梱、コンテナ命名も可能に － Publickey 米
どうしてメモリはスワップするのか！？
こんにちは。斎藤です。 最近、新しいスキー板が欲しいなと思っています。現在使っているOGASAKAの板は5年目に入り、メーカーからこれ以上はチューンナップ(メンテナンス)はできないよ、と言われてしまいました。もし、次に買うなら、スノーボーダーの人と一緒にパウダーに飛び込みやすいセミファットタイプが良いのかなと考えています。皆さんのオススメ、ぜひ教えてください。 さて、今日はLinux Kernel上でのメモリ管理、特にページ回収(Page Reclaim)とスワップに絞り、「スワップの理由」「ページを回収する仕組み」そして「スワップの様子を観察する」の3点に分けてお話しします。「スワップするのが気持ち悪い」と考えている方は少なくないと思いますし、私もそう考えていた時期がありました。しかし、それは本当に悪い事なのか、今回掘り下げて行きます。 ※主な対象Kernelは2.6.32(Red Ha
TCP Fast Openを試してみる - milieuの日記
kernel3.8がリリースされてついにTCP Fast Openがクライアント、サーバサイド共に実装さた。カーネルのソースを見てみるとやはり結構な変更でpatchで2000行レベルらしく、これ仕事で実装したくないなーというかバグを出す自信があるというのが正直な感想だが、とりあえず動作概要ぐらいは知っておかないとまずいので遊んでみた。TCP Fast Openの認証？部分でAESを使うらしくSandy BridgeならAES-NIを使えばCPU負荷的に問題ないかとか調べたかったが、家で使用しているPCはCPUが残念ながらWestmereなのでそれは諦めた。動かすにあたりFedora18を用意しないと！と思いたちVM環境にインストール。そういえばFedora18がリリースされた当初はVMwareにインストールを試みたが失敗したという苦い記憶が蘇えったが、今回はVirtualboxだったおかげ
ext3ファイルシステムとファイルの削除・復元について
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 研究の一環でext3ファイルシステムのファイル管理方法や、ファイルを削除した時の復元について色々調べたので、それを忘れないように記事にしておこうと思います。 はじめに 今回はext3ファイルシステムについて調査してみました。僕はLinuxでファイルを扱う前提の研究をしているし、大規模環境でのファイルの処理はとても重要だと思っています。 また、ファイルシステムについて理解を深めておく事で、今後新たなネタにならないか等も考えています。現在はext4やBtrfs等の調査が進んでいますが、改めて基本に戻ってext3について調査しました。 まずは、分かりやすいようにext3ファイルシステムでファイルを削除した場合に、どのようにファイル復元ができるのかを
sched_clock() overflow after 208.5 days in Linux Kernel
えーっと、久しぶりに Linux Kernel にダメダメなバグが発見されて、よりにもよってうちの製品も影響を受けたので、ここに詳細を書くことにした。 つーか。新しい Kernel を使うなら皆で使おうよ。なんだよその「1つだけ」影響を受けて残りは「影響も受けないぐらい古い」ってのは… 概要 大雑把に 208.5日連続運転した Linux Kernel が突如として reboot する。 実機でなおかつ Time Stamp Counter を内包している必要があるので、Pentium4以降のプロセッサ(が、それはようするに今ある Intel 系CPU全部)か、その互換CPUである必要がある。32bit モード、64bit モードの区別はない。 逆に VMware や Xen など、仮想マシン上で動いている kernel に影響はない。これはそもそもバグを内包したルーチンを、仮想マシンで動
Linuxのサーバをリモートから強制的にOSリブートする - 元RX-7乗りの適当な日々
先日、諸々の都合で遠隔にあるテスト環境のサーバ(Linux)のカーネルパラメータを弄っていたのですが、ちょっと設定(メモリまわり)がイキすぎてしまいｗ、コマンド実行というかforkできなくなってしまった(Cannot allocate memory...)。 んで、shutdownコマンドも実行できなくなったので、直そうと思ったのですが、色々弄った＆時間がなかったこともあり、一旦OSを再起動しちゃいたいな、と(汗 が、遠隔にあるサーバなので、物理的な電源スイッチON/OFFができない(厳密には出来る環境ではあったのですが、このサーバはそこに入ってなかったｗ)。ので、SysRqキーを送ることにした。 やり方 少し無理矢理感はありますが、 # echo b > /proc/sysrq-triggerを実行すると、強制的にリブートがかかります。 ただし、ファイルシステムのsyncとかumount
Ubuntuは、古いカーネルを自動で消してくれないの?
Ubuntuは、古いカーネルを自動で消してくれないの? パソコン起動時のGRUB2メニューに「Ubuntu, with Linux〜」が溜まってきました。 linux-image(kernel)がアップデートするたびに行が増えていきます。Fedoraみたいに古いのを自動でアンインストールしてくれないのですね。GRUBのメニューが煩雑になるし、無駄にハードディスクの容量を食うし、非常に気に入らない。 Fedoraの場合、下のようなコマンドも用意されてます最新と一世代前以外のkernelを削除 # package-cleanup --oldkernels 最新版以外を削除 # package-cleanup --oldkernels --count=1Ubuntuでも package-cleanup のように、半自動でカーネルを消す方法がないか調べてみると、Ubuntu Tweakに似た機能が
Legacy Communities - IBM Community
If you’re looking for a developerWorks forum — Don't panic! You are in the right place. You are here because specific IBM developerWorks forums, blogs and other Connections content have been decommissioned. This page will help you find the content you are looking for, get answers to your questions, and find a new community to call home. Where am I? You are on the IBM Community area, a collection o
TOMOYO Linuxに学ぶ説得術 - 未来のいつか/hyoshiokの日記
昨日、TOMOYO Linuxメインライン化記念合同勉強会（カーネル読書会、セキュアOSユーザ会、まっちゃ445）に行ってきて、小崎さんが匿名掲示板でガチでレビューしていたお話を聞いたので、早速過去ログを読んでみた。http://tomoyo.sourceforge.jp/2ch/thread-2.txt （追記：2009/7/4 21:03 なぜか後半部分、アスキーアートの後が切れてしまったので、前半部分を若干カットして（略）の部分、その２を追加しました。） LKML (Linux Kernel Mailing List)というのはLinuxカーネルの技術的なことを議論するもっとも権威（？）あるメーリングリストで、ここで議論され合意されたものがLinuxの本体に取り込まれることになる。このLinuxの本家本元の本体（くどいな）のことをメインラインと呼ぶ。Linuxを創ったLinusさんに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - google/lmctfy: lmctfy is the open source version of Google’s container stack, which provides Linux application containers.
[ThinkIT] 第5回：カーネルをチューニングする (1/4)