Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化
Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化 Facebookは、Linuxバイナリの内部配置を最適化することによりCPUのキャッシュ効率などを向上させ、実行速度を改善する「BOLT」をオープンソースで公開しました。 BOLTは「Binary optimization and layout tool」の略とされています（もしかしたら、より速く走るという意味でウサイン・ボルト氏にかけているのかもしれません）。 BOLTは言語やコンパイラに依存せず、ソースコードも不要 BOLTのおもな効果は、Linuxバイナリの実行状況をperfコマンドで取得し、高頻度で実行されている部分などを判別した上で、そうした部分がCPUキャッシュにヒットしやすいようにバイナリの内部配置を改善することなどで実行速度を向上させることと
ファミコンミニで自前のLinuxカーネルを動かす手順 · urandom
はじめに ファミコンミニ自体の権利表記画面や任天堂Webサイトで配布されているOSSソースコードからも分かるように、ファミコンミニの中で動いているのはU-bootで起動されたLinuxです。なので、ファミコンミニを適切に初期化した上で、適切にビルドしたLinuxカーネルを流しこめば、ファミコンミニ上で自前のLinuxを動かせます。U-boot(GPLv2)とLinux(GPLv2)のソースコードを読解・ビルドして自前のLinuxを起動したので、手順を書きます。 ファミコンミニで自前ビルドのLinux動いた (My Linux kernel on NES Classic) pic.twitter.com/00EZZgMx7A — op (@6f70) 2016年11月13日 注意 この記事の内容を実践すると、製品保証が無効になったり、故障に繋がる可能性があります。内容を理解できる人が自己責任
KaiGaiの俺メモ
今回は皆さんが大好きな便利ツール「pg2arrow」のお話です。 PostgreSQLでポータブルな列指向データ形式 Apache Arrow を読み出すには、Arrow_Fdwを利用する事ができます。 PG-StromではGPU-Direct SQLにも対応していますし、列指向データという事もあって、被参照列しかI/Oが発生しない、同じ列のデータが近傍に固まっているという大量データ処理に適した特性を持ってもいます。 また、Apache Arrow形式のファイルを作成するにはPyArrowやPandasなど様々なツールがありますが、我々DB屋としてはPostgreSQLに格納されたトランザクショナルなデータを、分析用にApache Arrow形式として吐き出せるととても嬉しい。そんな時に使えるツールがpg2arrowなのです。 pg2arrowは、PostgreSQLにクエリを投げ、その問
ディスク容量に余裕があるのに No space left on device エラーになる
UNIXを使い始めて20年近くたちますが、初めてのエラーに遭遇しました。ディスク容量が十分あるのに、ファイルを作ろうとすると No space left on device エラーが発生するのです。 touch rarara touch: cannot touch `rarara’: No space left on device df Filesystem 1K-blocks Used Available Use% Mounted on /dev/xvda1 8256952 6870384 1302704 85% / tmpfs 848476 0 848476 0% /dev/shm /dev/xvdf 8378368 4902356 3476012 59% /mnt </code> これは、inode が足りなくなっていたためでした。 df -i Filesystem Inodes I
いまさらxargsの便利さを主張してみる — ディノオープンラボラトリ
タイトルの通りですが、xargsコマンドの便利さを紹介する記事を書いてみました。xargsは私が大好きなコマンドの一つで、標準入力から渡されたファイル名などを引数とみなして、別のコマンドの引数として起動するというものです。 例えばfindで見つけたファイルを全部削除したい場合、xargsなしでも下記のように書くことができます。
rsync でディレクトリの同期（バックアップ） - maruko2 Note.
rsync でディレクトリの同期（バックアップ） 提供：maruko2 Note. 移動： 案内, 検索 目次 1 書式 2 option 3 使用例 3.1 source ディレクトリ内のファイルを、backup ディレクトリへコピーする 3.2 ディレクトリの同期 3.3 SOURCE で指定するディレクトリ名の最後にスラッシュを付けるか付けないか 3.4 ssh と組み合わせリモートマシンにコピーする 4 rsync サーバ 4.1 rsyncd.conf 4.2 デーモンモードで起動 4.3 rsync サーバとの同期方法 4.4 モジュールの指定例 4.5 rsync サーバのセキュリティ対策 4.5.1 同期元アドレスを限定する設定 4.5.1.1 設定例 4.5.2 同期時にユーザー認証を必要とする設定 4.5.2.1 rsync サーバ側の設定 4.5.2.2 クライアント
[Linux]Swap領域をクリアする方法 · DQNEO日記
開発に使ってるLinuxサーバで、Swap領域が大量に使用されて動作が重くなっていたのでSwap領域を解放するためにやったことのまとめ。 単純にサーバ再起動してもよいのだけど、それだと作業中のEmacsが落ちてしまうので開発効率がおちる。 サーバ再起動させずにSwapを空にする方法はないかと試行錯誤してみたら、うまくいきました。 メモリに空き容量がある場合 Swap usedの容量よりも実メモリの空き容量の方が大きい場合、単純にスワップをoffにしてonにすれば解決します。 swapoff -a && swapon -a (swapoffコマンドが見つからない場合は /sbin/swapoff などをあたってみてください。) メモリに空き容量がない場合 「スワップをoffにする」とは、ディスクに退避されてるデータをメモリに移動させることです。 なのでメモリの空き容量が足りない場合はswap
![[Linux]Swap領域をクリアする方法 · DQNEO日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f7de7c0278993661a11fbc3637f96292ba773aa/height=288;version=1;width=512/http%3A%2F%2Fdqn.sakusakutto.jp%2Fimages%2Fkali.jpg)
削除したファイルをlsofで復元する | OSDN Magazine
たとえば、あなたが午後いっぱいを費やして製作したオーディオ・ファイルの再生を楽しみながら、「やあ、こいつはすごい音だ! こっちに移動しておくとしよう」と思ったとする。そのとき、潜在意識が違和感を唱えるのだ。「ええと、mvだっけ、rmじゃないのか?」…やっちまった。そのショックはよくわかる。誰にでもありうる失敗だ。だが、失われたファイルを取り戻す簡単な方法はある。しかも、それはどの標準Linuxシステムでも使える方法だから、覚えておいて絶対に損はない。 簡単に説明すると、Linuxファイルシステム上にあるように見えるファイルは、実際はinodeへのリンクに過ぎない。inodeには、ファイルのあらゆるプロパティ（アクセス権や所有権など）のほか、ファイルの中味が実際に存在するディスク上のデータブロックのアドレスも記録される。rmコマンドでファイルを削除すると、ファイルのinodeを指すリンクは削
【Linux】複数あるファイルの中から特定の文字列を検索するコマンド
複数あるファイルの中から特定の文字列を検索したいときのLinuxコマンド。 $ find ./ -type f -print | xargs grep 'hoge' 【上記コマンドの説明】 find find の次で指定したディレクトリ以下のファイルを検索する。 ファイル検索の構文は「find [path] [検索条件] [アクション]」 — ./ 今いるディレクトリ以下が検索対象。「~/」とするとホームディレクトリ以下が検索対象となる。 ./ の代わりにフルパスでも可。この場合も指定したディレクトリ以下が検索対象になる。 — -print 検索結果を標準出力する。このとき結果をフルパスで表示する — -type f 指定したファイルタイプを検索する。fが通常ファイルを，cまたはdとするとディレクトリを，lとするとシンボリック・リンクを検索します。 — xargs 標準入力からコマンドライ
デーモンの起動・終了にはserviceコマンドを利用しよう
斎藤です。こんにちは。 今日は、デーモンの起動・終了に際してはserviceコマンドを使った方がいいよ、というお話です。 ※CentOS 6.4 (x86_64) でテストしています。尚、特記がある所を除きます。 デーモンの起動・終了には大きく2手 Linux、特にRedHat, CentOS, Fedora, Ubuntu[1]などでは、デーモンの起動・終了の制御の際に、大きく分けて次の2つの方法を用いる事ができます。 "/etc/init.d/"配下のスクリプト(以下、スクリプト)を直接実行する "service"コマンドを実行する 一見、同じ事をやっているように思えるのですが、実は違う部分があります。それは、起動スクリプトが扱う環境変数が違うのです。次の節で、検証してみます。 扱う環境変数が違う スクリプトを直接実行する場合は、実行時の際の環境変数をそのまま利用します。一方、serv
CentOS/RHELのネットワーク設定 - kanonji’s diary
いつもなんとなくでやってる事も多いので、ちょっと気合を入れてまとめてみました。 エイリアスの事とか、ifcfg-ethの書き方とか、もっとまとめたい事ありますが、疲れたのでここまでに。 というか、まとめようと思って探すと、知らなかった公式マニュアルとかでてきちゃいました。 さすが公式マニュアルだけあって、そこ見たほうが早いくらいまとまってますね。 公式マニュアルは、ページ下部にまとめてリンク置いてます。 構成ファイル /etc/sysconfig/network ([http //www.redhat.com/docs/manuals/enterprise/RHEL-5-manual/ja-JP/Deployment_Guide/s2-sysconfig-network.html:title=解説]):OS全体で共通のネットワーク設定。複数のNICがあり、別の設定をする場合は下記。 /et
linuxで立てる録画サーバに必要なことまとめ（録画編） - kariaの日記 @ Alice::Diary
録画サーバ立て直し中なのでメモ代わりに書いておきます。 まず最初に どういう保存方針で行くのか考えておきましょう。主にハードウェア構成に影響してきます。 録画して見たらすぐ消す （TSそのままの状態で）保存する mp4などにエンコードして保存する ハードウェア まずはパココンがないと何も出来ないですねということで。 CPU エンコードをしない（TSそのままで保存・視聴する）のであれば、割と何でもよさそうです。とはいえ、録画中は延々とTSのストリームをHDDに保存し続けるわけで、全くCPUを食わないわけではありません。あまりに太古のCPUだとかATOMだとかは、避けた方が無難かと思います。ATOMで頑張ってる人もいないわけではないので、その辺はググりましょう。 エンコードをしようと思ってるなら当然ながらなるべく強力なCPUを……と思うのですが、Intelの最近のCPUにはQSV(Quick
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Linuxでネットワークの監視を行えるモニタリングコマンド20選 | 俺的備忘録 〜なんかいろいろ〜
今回は、Linux上でネットワークトラフィックの監視を行えるモニタリングコマンドについて、数あるコマンドから20個を紹介する。 1.iftop 以前にこちらでも書いているiftopは、個別のソケットで受信・送信パケットをひと目で見る事が出来るコマンド。 通信ごとに個別のプロセスを表示させることは出来ないが、どのホストとの接続がどの程度の帯域を使用しているのかはひと目で分かるだろう。 以下のコマンドでインストールが出来る。 sudo apt-get install iftop # Debian/Ubuntuの場合 sudo yum install iftop # RHEL系の場合 2.bmon 『bmon』は、グラフでトラフィックの負荷を表示してくれるモニタリングコマンドだ。 どのNICのトラフィックを表示させるかを上下キー、モニタリングを行うパケットの種類を左右キーで選択する。 このコマン
UNIXの環境変数メモ
UNIXの環境変数メモ - 知っておくと便利な環境変数のリストを作りましょう。 目次 一覧 設定方法 (csh系) 設定方法 (sh系) 環境変数に関する注意 環境変数を一時的に変更するプログラム - env 知っておくと便利な環境変数のリストを作りましょう。 環境変数をあらかじめセットしておくと、 プログラムの動作やサーチパスが変えられます。 man によるマニュアルには ENVIRONMENT というセクションがあるので、目的のプログラムを動かす時に読んでおくと面白いかも。 自分の使っているシェルのは読んでおくべき。色々発見があって楽しい。 「シェル変数一覧」も作ってみませんか？（csh 系と sh(bash) で分けた方がいいかも） 一覧 BROWSER http://catb.org/~esr/BROWSER/ CLASSPATH Javaのclassファイル用のサーチパス (j
標準コマンドから乗り換えよう！より良いLinuxコマンドラインユーティリティー11選 | 俺的備忘録 〜なんかいろいろ〜
Linuxの標準コマンドは強力なものではあるが、実際に人間が使う際にわかりやすいか、というと十分ではない。 そこで、今回はLinuxの標準コマンドから乗り換える事が可能なコマンドラインユーティリティーを調査、整理してまとめてみることにした。 1.df → dfc まずはこれ。以前にこちらでも記述している。 dfコマンドをより分かりやすくしたコマンドで、バーで利用率を認識することが出来る。 インストールは以下のコマンドで行える。 sudo apt-get install dfc (Debian or Ubuntu) 2.vmstat → dstat パフォーマンスのモニタリングでよく用いられるvmstatを、更に拡張したコマンドであるdstatにする。 dstatには、vmstatにはないネットワークに関するパフォーマンスが追加されており、見た目も見やすくなっている。 インストールは以下のコ
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
git:リポジトリにhttpsでアクセスしてみる | 自転車で通勤しましょ♪ブログ
Joelさんがsubversionを使うのはやめろ！と書いているのを見て、マジかよ！と思ったわけですが、gitの本を2冊買いながら全く手を出していなかった自分にはよい刺激になったんで、会社の開発サーバ（CentOS 5.4）にgitを入れてみた。joelさんはMercurial使ってるみたいだけどね…。 クライアントは、Mac miniです。 サーバの方は、例によってyumで。 yum -y install git git用の適当なディレクトリを作り、公開リポジトリを作成する。 mkdir -p /var/git/hoge.git cd /var/git/hoge.git git init --bare WebDavで公開するということなので、subversion用のconfをコピーして修正してみる。 cd /etc/httpd/conf.d cp subversion.conf git.
Linuxのコマンドで出来るゲーム13個をまとめてみた | 俺的備忘録 〜なんかいろいろ〜
最近はLinuxのGUI環境でも色々なゲームが出来るようだ。 しかし、今回はCUIでプレイ出来るゲームをまとめてみる事にした。 なお、インストールには『Ubuntu Desktop 14.04 LTS』を用いている。 1.MyMan Linuxのコンソール上でプレイすることを前提に作成されたパックマンのクローンソフト。 アスキーアートでキャラクターを表現しており、パックマンは「C」、敵は「A」、パワーエサは点滅したドットで表現されている。 操作は矢印キーで行うので、結構簡単にプレイ出来る。 以下のコマンドを実行する事でインストールできる。 test@Test-UbuntuOS004:~$ sudo apt-get install libncurses5-dev groff test@Test-UbuntuOS004:~$ wget http://downloads.sourceforge.
Linuxでアプリケーションが使用中のポート番号を調べる - 日々の報告書
Linuxシステムを管理している人には常識的なことだと思うけど、アプリケーションが使用中のポート番号を調べる方法についてのメモ。今日某プロジェクトの実験用マシンの設定をしていた最中、あるサービスを起動したら「address already in use.」というエラーメッセージが出てきて調べたので。 アプリケーションが使用中のポート番号は「lsof」や「netstat」コマンドで調べることができる。lsofは「lists open files」の略で、プロセスが開いているファイルを列挙するコマンド。 $ ps aux | grep zsh shin 1644 0.0 0.1 602692 2676 s000 S 1:09AM 0:00.12 -zsh $ lsof -p 1644 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME zsh
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
