cpで大量のファイルをコピーした（4億3200万件、39TB）
GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 My experience with using cp to copy a lot of files (432 millions, 39 TB) よう。俺は最近、大量のファイルをコピーする必要があったんだが、UNIXは20年もやってきた俺の経験からも、cpの挙動には驚かされたし、俺の意見はコミュニティに共有されるべきだと思う。 環境：古いDellのサーバー（2コア、初期メモリ2GB、追加して10GB、Ubuntu Trusty）と、新しいDellのストレージ格納機(MD 1200)にある、12個の4TBディスクでRAID 6が設定してあって、全体で40TBの要領を持ち、二つのドライブが同時に失敗しても問題ない環境。サーバーは遠隔地バックアップに使われていて、ディスクへの書き込みし
第1回 カーネルやinitを刷新
3年8カ月ぶりのメジャーバージョンの新版となる「Red Hat Enteprise Linux 7」（RHEL 7）が米国では6月10日、国内では7月10日に発表された。リリースに際し、開発・提供元の米Red Hat社は、この新版が「エンタープライズOSを再定義したもの」（Redefining the Enterprise Operating System）とのメッセージを発信している。 RHEL 7もOSの中核としてLinuxカーネルを採用しているという点では、従来通りに「Linuxディストリビューション」であり、この点では連続性を維持している。しかし、誕生から20年を超えたLinuxの歴史において、「エンタープライズOSを再定義した」といえるほど大きな変更が、カーネルとユーザースペースに大別されるLinuxの処理のいずれにも加えられている。まずは、その“大きな変更”について説明する。
/etc/init.d/hoge start と service hoge start は何が違う？
cles::blog 平常心是道 blogs: cles::blog NP_cles() « X220 が Fan Error. により完全に沈黙 :: X220 のファンユニットを交換 » 2014/06/04 /etc/init.d/hoge start と service hoge start は何が違う？ systemmanagemant cli 214 4へぇ 普段、Linux でデーモンを制御するには /etc/init.d/hoge というスクリプトを叩いている*1のですが、あるマニュアルを読んだら service hoge を使いましょう的なことが書いてありました。 試してみると確かに /etc/init.d/hoge start の代わりに service hoge start としても同じようにデーモンが起動できるようです。 ただ、困ったことに僕にはこの2つの違いが
新208.5日問題 - Systems with Intel® Xeon® Processor E5 hung after upgrade of Red Hat Enterprise Linux 6
Linux の連続稼働時間が 208.5 日を過ぎた段階で突如 Kernel Panic を引き起こすという過激な挙動で2011年の年の瀬に話題となった "旧208.5日問題" ですが、あれから二年が経った今、Linux Kernel 内の bug と Intel Xeon CPU の bug の合わせ技により再度類似の不具合が発生することが分かっています。 旧 208.5 日問題の発生原理に関しては以下の blog が参考になります。 okkyの銀河制圧奇譚 : sched_clock() overflow after 208.5 days in Linux Kernel 追記(2014/1/4) 新208.5日問題の簡易チェックツールを作成しました。よろしければお使い下さい。 tsc_checker - 新208.5日問題簡易チェックツール また、Linux Kernel における時間
さくらVPSでLXCを使って安価に複数台構成を実現する - orangain flavor
2013年6月7日 22:04更新： Upstartのデフォルトの設定ファイルを書き換えない方法に変更しました。hitoさんありがとうございます。 lxcなどのバージョンを記載しました。 はじめに Chefを使っていると、役割やサービスごとに環境を分離したくなります。 しかし、個人レベルで大してトラフィックがない段階で、サービスごとに仮想サーバーを借りていてはお金が足りません。 そこで、安価なVPS上でLinux Container (LXC) を使うことで、複数のサーバーを作ります。 スケールしたくなったときは、コンテナを潰して、新しく仮想サーバーを借りてChefで同様の設定をすれば手軽にスケールできると考えています。 Heroku使えば？と言われるかもしれませんが、色々なミドルウェアを利用したり、バックグラウンドで処理をしようとすると、たちまちお金がかかるので、VPSをやりくりして遊び
なぜLinuxを生み出せたのか？ それはぼくが若くてバカだったからだよ！─LinuxCon Japan 2013で2年ぶりに来日したLinus Torvalds名言集 | gihyo.jp
なぜLinuxを生み出せたのか？ それはぼくが若くてバカだったからだよ！─LinuxCon Japan 2013で2年ぶりに来日したLinus Torvalds名言集 2年ぶりに日本の地を踏んだLinus Torvalds氏 「Linusと私の娘はよく似ている。2人とも、私にとって非常に大切で愛らしい（adorable）存在で、まったくもって天才としか言いようがない。そして2人とも私の言うことをいっさい聞かない」─5月30日、Linux Foundationのエグゼクティブディレクターとして日本のLinuxユーザにもおなじみのJim Zemlin氏は、東京・椿山荘で開催された「LinuxCon Japan 2013」2日目キーノートにおいてLinus Torvalds氏をこのように紹介しました。 Linuxの生みの親であり、誕生から20年以上経った現在もカーネル開発の最高責任者であり続
無料OS 「Ubuntu」にスマートフォン版登場、Android対応ハードで動作 【増田 @maskin】 | TechWave（テックウェーブ）
無料で提供されているOS 「Ubuntu」に、スマートフォン版「Ubuntu Phone OS」が登場する。 x86およびARMアーキテクチャのプロセッサで動作可能で、Android対応ハードであれば導入可能とのこと。ハード実装については、Ubuntuのサポート事業も展開するCanonical社がバックアップする。 マルチタッチ対応やネイティブ/HTML5対応のアプリプラットフォーム対応で、すでに「Go Mobile」という開発者向けサイトの提供を開始している。 また、スマートフォン&PCハイブリッドという特徴があり、スマホ向けに作成したとしても、PCでもそのまま動作する。その逆もあり。「Ubuntu Phone OS」対応ハードウェアでも、上位モデルにはスマホ&PCハイブリッドが実現されている。 ドックに挿せばフルPCに スマホ&PCハイブリッドは「Ubuntu Phone OS」のハイ
mixiのサーバOS移行のお話 - 前回補足＆インストール編 - mixi engineer blog
こんにちは。新しもの好きが集まる運用部アプリ運用グループの清水です。 前回の記事では、多くの反響をいただきました。ありがとうございます。 Twitterや、はてブのほとんどのコメントを読ませていただきました。 みなさんのOSの宗派が垣間見えた気がします。 さまざまなコメントをいただいていた中で、よくある代表的なコメントについて、改めてこの場を借りてお答えしたいと思います。 2012年12月28日追記: 以下のQAにつきまして、いわゆる"ネタ"として書きましたが、誤解を招き、不適切な表現で不快な思いをされた方々へ深くお詫び申し上げます。 また、QAの一部に関わるところですが、OS標準のパッケージを否定するつもりは全くございません。 Linuxを安心して使うことができるのは、Linuxディストリビューションに携わっているデベロッパーの方々の素晴らしい活動や成果によるもの、というのが揺るぎない事
エンジニアなら知っておきたい「仮想マシン」のしくみ v1.1 (hbstudy 17)
2018年12月4日 Japan Container Days 講演資料 谷脇大輔 Preferred Networksでは1000個以上のGPUとInfiniBandからなるオンプレミスのクラスターを自社で構築しており、研究者が様々な目的、リソース量、実行時間の機械学習ジョブをKubernetes上で実行して研究成果を出しています。 KubernetesはKubeflowの登場など、機械学習基盤としても非常に注目されている一方で、現実的には未だ発展途上です。 講演では機械学習基盤としてのKubernetesの導入理由、その実用性と将来性、Preferred Networksの挑戦についてお話ししました。
パスワードがわからなくてもWindowsにログインする方法（と対策） | ライフハッカー・ジャパン
パスワードを知らなくてもWindowsマシンにログインできるのをご存じですか？ ログインする方法はいくつかあり、それぞれ強みと弱みがあります。ここでは3つの代表的な方法とその対策をご紹介します（ちなみに、Macでも方法はあります）。■ 「Linux Live CD」を使う OS自体にはアクセスせずに、ハードディスクドライブからファイルを移すだけなら極めて簡単です。「Linux Live CD」を使ってマシンを起動、お目当てのファイルをUSBフラッシュドライブへドラッグ＆ドロップするだけです。 方法：どのバージョンでもいいので「Linux Live CD」のISOファイルをダウンロードしてCDに焼きます（Ubuntuが人気ですね）。ログインしたいWindowsマシンにCDを挿入、そこから起動します。最初のメニューで「Try Ubuntu」を選択。デスクトップ環境が表示されたら、メニューバーの
Amanda Network Backup: Open Source Backup for Linux, Windows, UNIX and OS X
What is Amanda? AMANDA, the Advanced Maryland Automatic Network Disk Archiver, is a backup solution that allows the IT administrator to set up a single master backup server to back up multiple hosts over network to tape drives/changers or disks or optical media. Amanda uses native utilities and formats (e.g. dump and/or GNU tar) and can back up a large number of servers and workstations running mu
Clonezilla - About
What is Clonezilla? Clonezilla is a partition and disk imaging/cloning program similar to True Image® or Norton Ghost®. It helps you to do system deployment, bare metal backup and recovery. Three types of Clonezilla are available, Clonezilla live, Clonezilla lite server, and Clonezilla SE (server edition). Clonezilla live is suitable for single machine backup and restore. While Clonezilla lite ser
連載：オープンソースなシステム自動管理ツール Puppet｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
joinコマンドが便利過ぎて生きるのが辛い - Y's note
Linuxシステムプログラミング 作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 181回この商品を含むブログ (29件) を見る 結合 Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoinコマンドを利用します。joinによりSQLのinner joinに近いことがコマンドだけで出来てしまいます。今までテキスト処理をコマンドで行う事が少なかったのでjoinの活用方法を知りませんでしたが、今回調べた内容を記録します。似たコマンドとしてpasteというものもあり、こちらは同じ行数の内容を単純に結合します。そちらについても簡単に紹介します。 join join前にsort joinコマンドを利用する場合は2つのファ
何がLinuxデスクトップを殺したか（What Killed the Linux Desktop 日本語訳）
以下の文章は、Miguel de Icaza による What Killed the Linux Desktop の日本語訳を著者の許諾を得て公開するものである。 本文については、八木の野郎さん、Shiro Kawai さん、猪股健太郎さんに誤訳の訂正をいただきました。ありがとうございます。 これは実話である。 うちの Linux マシンの /home ディレクトリがあるハードディスクがおかしいので、それを新しいのに換えなければならなかった。このマシンは机の下にあるので、ケーブルを全部抜き、マシンを外に出し、ハードドライブを交換してまたプラグを全部つなぎ直さなければならなかった。 至極ありきたりなことだ。AC 電源をつなぎ、キーボードをつなぎ、マウスをつないだが、スピーカーケーブルを手に取ると、僕はそれをつなぐのはやめた。 なんでオーディオ設定なんかに手間かけなきゃいけないの？ オーディオ
2012 年 7 月 1 日のうるう秒挿入時に発生した Linux カーネルの不具合に関する情報
更新履歴 2012-08-28: URL 公開 2012-08-29: futex、hrtimer、MySQL の発生条件、NTP SLEW モードに関する @odhrfm さんからの情報、キーワード更新、その他いろいろ細かい修正 2012-08-30: 参考リンク追加 2012-09-01: LKML まとめシートの thread#50 を追加 2012-09-03: SLES カーネルの更新情報、per-cpu についての記述、blockdiag によるブロック図を追加 2012-09-11: LKML まとめシートの thread#52, #53 を追加 2012-09-12: LKML まとめシートの thread#54 〜 #58 を追加 はじめに 日本時間 2012 年 7 月 1 日 9:00 にうるう秒が挿入されましたが、その際 Linux カーネルに起因する不具合により、
若者が知らない最強のLinuxコマンドTips - すがブロ
タイトルは釣りぽよ〜 今日ここで書くのはわりかし最近知ったことだったりするのが多いんですが、せっかくなので書いておこうかなぁと思った次第です。Linuxって書いてるけど、普通にMacでも使えるハズです。 知ってる人にとってはアタリマエのことですけどね……。 ファイルサイズの桁でかすぎてがわからん ls とか duあたりで使える話ですね。 ファイルサイズが大きすぎてパッと見わからないよっていうことってあるじゃないですか。ありますよね。いやある。 そんな時は -h オプションを使いましょう。 $ ls -l /var/log/nginx/access.log -rw-r--r-- 1 root root 1897381 8月 26 02:50 2012 /var/log/nginx/access.log $ ls -lh /var/log/nginx/access.log -rw-r--r--
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux女子部 systemd徹底入門
http://s-macke.github.io/jor1k/
Ganglia