京大のスパコンでファイル約77TB分が消失、実行中のスクリプト更新で誤動作
2021年12月、京都大学のスーパーコンピューターがトラブルに見舞われた。学術論文に使う重要データなど、実に77テラバイト（TB）分のファイルが消失した。ITベンダーの担当者が実行中のスクリプトを不用意に更新したのが原因だった。本来はログ削除の処理が利用者のファイルを削除する誤動作を引き起こした。ミスを犯したITベンダーも問題だが、監督不十分だった京都大学の責任も重い。 「弊社100％の責任によりLustreファイルシステムのファイル消失の重大障害を来し、多大なるご迷惑をお掛けしたことを深くお詫び申し上げます」 京都大学が2021年12月28日に公表した「スーパーコンピュータシステムのファイル消失のお詫び」のお知らせには、大規模なデータ消失を引き起こした日本ヒューレット・パッカードが同大学宛てに提出した報告書がリンクされていた。「弊社100％の責任」という説明は、ITベンダー側の「完全降伏
LinuxLogFiles - Community Help Wiki
Needs Expansion This article is incomplete, and needs to be expanded. More info... Introduction One of the things which makes GNU/Linux a great operating system is that virtually anything and everything happening on and to the system may be logged in some manner. This information is invaluable for using the system in an informed manner, and should be one of the first resources you use to trouble-s
systemd.exec
Synopsisservice.service, socket.socket, mount.mount, swap.swap Description¶Unit configuration files for services, sockets, mount points, and swap devices share a subset of configuration options which define the execution environment of spawned processes. This man page lists the configuration options shared by these four unit types. See systemd.unit(5) for the common options of all unit configurati
Ubuntu: lsyncd によるディレクトリのリアルタイム同期（追記あり） - tkrdの日記
目標 Ubuntu 16.04 Server がインストールされた 2 台のサーバー host1 と host2 がある。 host1 と host2 の間で /home/foo/share ディレクトリの内容を常に同期する。 一般ユーザー（root 以外のユーザー）で rsync コマンドを実行する。 準備作業 RSA鍵ペアの作成 foo ユーザーで host1 と host2 に ssh でログインし、それぞれ次のコマンドを実行する。 $ ssh-keygen -t rsa -N "" -f ~/.ssh/id_rsa.rsync RSA鍵公開鍵を設置 host1 の ~/.ssh/id_rsa.rsync.pub の中身を host2 の ~/.ssh/authorized_keys の末尾に貼り付ける。 host2 の ~/.ssh/id_rsa.rsync.pub の中身を ho
inotify - Wikipedia
inotify (inode notify) とは、ファイルシステムへの変更を通知するようファイルシステムを拡張して、その変更をアプリケーションに報告するLinuxカーネルサブシステムである。inotifyに先行して存在し、類似の目標を持つdnotify（英語版）は、inotifyに取って代わられている。 inotifyはJohn McCutchanが作成し[1]、2005年8月29日にリリースされたLinuxカーネルのバージョン2.6.13で、inotifyはLinuxカーネルメインラインにマージされた[2]。以降のバージョンのLinuxカーネルでは、inotifyはさらに改良されている。GNU Cライブラリ (glibc) では、inotifyに必要なライブラリインタフェースは2006年3月にリリースされたバージョン2.4で追加され、2006年9月にリリースされたバージョン2.5でin
Linux and Unix exit code tutorial with examples | George Ornbo
Tutorial on using exit codes from Linux or UNIX commands. Examples of how to get the exit code of a command, how to set the exit code and how to suppress exit codes. Exit codes in Unix and Linux August 7, 2016 Updated September 19, 2024 What is an exit code in the UNIX or Linux shell? ¶ An exit code, or sometimes known as a return code, is the code returned to a parent process by an executable. On
What’s new for WSL in Windows 10 version 1903?
The next Windows update is coming soon and we’re bringing exciting new updates to WSL with it! These include accessing the Linux file system from Windows, and improvements to how you manage and configure your distros in the command line. Accessing Linux files from Windows In the past, creating and changing Linux files from Windows resulted in losing files or corrupting data. Making this possible h
sshfsで別サーバのディレクトリをマウントする | server-memo.net
sshfsについて sshfsはsshを経由して他のサーバのディレクトリをマウントすることができます。 一度sshfsでマウントしてしまえば、データをコピーする際に毎回scpやrsyncなどのコマンドを使わずとも、cpコマンドで簡単にデータをコピーできるのでとても便利ですね。 sshfsのインストール CentOSの場合は標準のリポジトリには含まれていないので、「epel」リポジトリを使用してインストールを行う必要があります。 # yum install --enablerepo=epel sshfs 「epel」リポジトリの追加手順はこちらのページを参考にしてください。 sshfsの使用方法 「sshfs」の使用方法について説明していきます。 マウント方法 「sshfs」を使用して別サーバのディレクトリをマウントする方法は下記の通りとなります。 sshfs [ユーザ名@]ホスト:[ディレ
イケてると思う dotfiles の管理方法 - KMC活動ブログ
イケてると思う dotfiles の管理方法 この記事は、今年もやります！KMCアドベントカレンダー！！ - KMC活動ブログの21日目の記事です。 昨日の20日目の記事はReturn Value Optimization (RVO)の話 【KMCアドベントカレンダー20日目】 - KMC活動ブログでした。 KMC5回生の wacky です。今日は dotfiles の管理方法についての話をします。 dotfiles を管理していないと 何らかの UNIX を長いこと使っていると、ホームディレクトリには自分の書いた .zshrc や .tmux.conf などの設定ファイルがたくさん転がっていると思います。そして、長いこと UNIX を使っている人であれば、自分が単一のサーバにしかログインしない、というのは稀でしょう。当然、自分のログインするサーバ全てのホームディレクトリには .zshrc
第5章 SPECファイルの記述
マクロの定義 SPECファイルの冒頭にパッケージのバージョンなど頻繁に使用されるものをマクロとして定義しておくと後々の修正が楽になります。 %define macro literal ようにするとパッケージ作成時に%{macro}と書かれた部分をliteralに置換して処理します。 「標準で定義されているマクロ」も参照して下さい。 以下にパッケージ情報の記述例を示します。(#を記述すると#から行末までがコメントとして扱われます。) # 基本情報 Summary: hoge is a harehare horehore Summary(ja): hoge は harehare な horehore です。 Name: hoge Version: 1.1 Release: 1%{?_dist_release} License: GPL2 Group: Applications/Internet
rpmスペックファイルの%config - ソフトウェアエンジニア現役続行
RedHat系のLinuxディストリビューションではRPMでパッケージ管理を行います。RPMスペックファイルで、%configをつけるとそのファイルは設定ファイルとして認識されます。%configでは、noreplaceとmissingokを指定することができます。第5章 SPECファイルの記述 - 5.3. ファイルリスト部 - vinelinux.orgを参考にしました。 noreplaceで、ファイルを置き換えさせない %configではnoreplaceを設定すると、このファイルが変更されていた場合、 アップグレード時に新しいファイルに置き換えずにもとのファイルをそのまま使われます。 %config(noreplace) missingokで、ファイルがなくても大丈夫 %configでmissingokも指定すると、存在しなくても問題ないファイルの場合に使います。これは、rpmコマ
そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ユーザレベルで systemd のユニットファイルを書くときの注意点
getfattr(1) - Linux manual page
Man page of FLOCK
ネットマネーラボ
Charming Python: Functional programming in Python, Part 3
Linuxカーネルのreadahead、うまく動いてないケースがあるのかも
[opensuse] How can I get unlimited core file size when booting openSUSE? - openSUSE Users
RPMパッケージの作成方法