知っておきたかったLinuxサーバ設計、構築、運用知識まとめ - hiroportation
サーバ業務周りの管理、運用について役に立ちそうなナレッジをまとめました。 長期的に書いているため用語に統一性がなかったり、不足分など随時修正したいと思います。 1. サーバ設計 サーバスペックはどうするべき？ 使用するOSは？ CentOS開発終了について MWは何を使うべきか Webサーバ構築にはどちらを使うべき？Apache？Nginx？ サーバセキュリティで最低限押さえておきたいことは？ listenするポートは最小限にしましょう ファイアウォール設定で送受信IPアドレス、ポートの通信制御はしておきましょう 外部に出る際にはプロキシサーバを経由するようにする 随時パッチを当てるようにする linuxでのアンチウイルスソフトの検討 個人アカウントで変更系コマンドは実行させないようにする ログについて考えること ストレージ容量には気をつける データベースはどう決めたら良いか MySQLか
YouTubeやニコニコ動画などのムービーを最高画質・高音質でダウンロード可能な「yt-dlp」の使い方まとめ、年齢制限ムービーも一発ダウンロード可能
YouTube・ニコニコ動画・Twitchなど数多くのストリーミングサービスからムービーをダウンロード可能な「youtube-dl」に新機能を追加しまくってさらに便利にしたプログラムが「yt-dlp」です。yt-dlpでは日々更新されるYouTubeの最新仕様に追従したり、ムービーにサムネイル画像を埋め込んだ状態でダウンロードしたり、YouTubeで年齢制限がかかっているムービーもダウンロードできたりとダウンロードアプリに求められる数々の機能が搭載されているので、実際にインストールしてムービーをダウンロードする手順を確かめてみました。 GitHub - yt-dlp/yt-dlp: A youtube-dl fork with additional features and fixes https://github.com/yt-dlp/yt-dlp ・目次 ◆01：yt-dlpのインスト
EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ
Apache チューニング Tips | Carpe Diem
先日、Web サーバ勉強会 #2 が開かれました。内容は、Apache のチューニングということで、参加したかったのですが、他の予定があって参加できませんでした。 そこで、僕が個人的に行っている Apache のチューニングを紹介したいと思います。最初、スライドで作成しようかと思ったのですが、ブログにまとめたほうがよさそうなのでブログにまとめていきます。 まず、大前提として Apache をチューニングするうえで、大事なことはその Apache が提供する Web サービスの種類のよって大きくチューニングする内容が異なるということです。例えば、動画・写真共有サービスと株価情報のサービスを比較すると、当然のことながら大きくサービスの内容が異なりますし、HTTP レベルでみるとクライアントからのリクエスト数、データサイズ、などがかなり違ってきます。 ですので、まずは自分が扱っているウェブサービ
こんにちは nakamura です。そういえば 4/1 から 神奈川県公共的施設における受動喫煙防止条例 が施行されましたね。今のところよく行くお店でそれらしい光景は見掛けませんが、先日行った居酒屋はものの見事に禁煙になっていて心なしか客足もまばらな感じでした。神奈川県の飲食はこれから厳しそうですな。 さてさて思わず関西弁になってしまうほど便利な find コマンドを今日はご紹介します。比較的有名なコマンドですが、オプションが相当な数あり正直全てを把握するのは無理かもしれません。ただ、よく使うものだけでも頭に入れておくと何かと便利な優れものなのです。 基本的なオプション まずは基本的な使い方。 -type ファイルタイプの指定に使用するオプションです。スペシャルファイルや名前付きパイプ等様々な引数がありますが、よく使うのはディレクトリを示す d と通常ファイルを示す f でしょうか。 -n
id:cildさんが久しぶりにブログを更新して、それが実に良かった。 だって 鉄の棒でそこらじゅうを狂ったように叩きまくって、大声で罵倒した。そして最大ボリュウムで「二度とオレに指図するな！」と１０回くらい怒鳴った。 だぜ？ 人がキレているのを見るとふつう不快な気分になる。見苦しいなあと思ってしまう。しかし、本当はキレた本人が一番傷ついているのである。キレた後もしばらくドキドキして、自分は一時の感情のピークで何をしてしまったのだろうか、友情とか信頼とかそういう取り返しのつかないものを失ってしまったんじゃないだろうか、と不安になるのである。で、しばらくクヨクヨ考えているうちに、考えているのも面倒になってきて、キレちゃったものは仕方ない。もはやどうでもいい。と自暴自棄気味になって、まるで何もなかったように日常を過ごし始めるのだけど、その後も返す返す、ああキレちゃったなあ。と思い出して、もう自分
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
壊れたHDDからデータを取出す方法 - ぴょぴょぴょ？ - Linuxとかプログラミングの覚え書き -
停電とか，寿命でHDDが壊れてしまった場合，せめて残っているデータだけでも取出したい・・・そういう泣きそうな状況に陥った人向けの作業メモ． 概要としては，例えばCDROMをCDRへコピーする際には， 一度 CDROMからデータを吸い出してISOイメージをつくって ISOイメージをCDRへ書き込む という作業をする．同じように 壊れたHDDからデータを吸い出して 新しいHDDへ書き込む という作業手順で，破損したHDDから残っているデータが救出できる．以下，具体的な作業手順についてまとめる． 状況を把握する たとえば dmesg で以下のようなエラーが出ている場合は end_request: I/O error, dev 03:42 (hdb), sector 31719462 hdb: read_intr: status=0x59 { DriveReady SeekComplete Dat
[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ！ 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか？scrAPIを使う？でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね！ Hpricotなら、たったこれだけで
![[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
asActionScript 3.0 でコマンドライン開発してる人は必携の rascut を導入してみた。Flex 開発や AIR 開発でも使えるよ。rascut は id:secondlife さんによる fcwrap 後継バージョン。ファイル修正から自動的にプレビューまでできたり、trace() の出力をコンソールに出力してくれたり、かなり便利。以前、勝手が分からずにかなり苦労したけど、最近、RubyForge にアップロードされてからは gem 一発で超簡単になったよ。前準備Flex SDK と fcsh を準備しましょう。fcsh にはパスを通しておきましょう。Flex SDK については ActionScript 3.0メモ さんを参照あれ。fcsh については fcsh で Apollo を高速コンパイル あたりを参照あれ。Flex 3.0 SDK には fcsh が付属してる
私の大好きな Makefile の話が盛り上がっていたのでまとめました。 「やめてね。」って方はお声がけください。 同じ会社にいるけど、真逆の感想を持っている。Makefile読まないと副作用が分からないし、Rakefile/package.jsonだけで済むのに無駄に1つレイヤ増えていて、Makefileできたときからいる人は楽だけど、途中から入った人にとっては学習コストが高い。 https://t.co/EXtmI3xl72— 神速 (@sinsoku_listy) 2020年9月13日 golangでMakefileを使うのは分かる。 ただ、RubyやNode.jsのリポジトリなら $ git clone xxx $ cd xxx $ bundle install && rake もしくは npm install && npm test で環境構築ができることを期待する。— 神速 (
ソフトウェアエンジニアの @DQNEO です。こんにちは。 Gitの内部構造を深掘りするシリーズ３回目です。 前回までのお話はこちら Gitのつくりかた – Mercari Engineering Blog Gitのコミットハッシュ値は何を元にどうやって生成されているのか – Mercari Engineering Blog 今日はみんなだいすき「ステージング領域」の中身について解説してみます。 ステージング領域とは何か？ 簡単に説明すると「次にコミットしたときにコンテンツとして登録されるもの」リストです。(別名「インデックス」ともいいます。) このリストは、 git addやgit rmしたときに書き換わります。 (古くはcacheと呼ばれていました。内部実装やgit diff --cachedに今もその名残があります。) git addのマニュアルに説明があります。 Git – git
こんにちは。大阪の市田です。 今回は、下記のブログの内容を元に、踏み台サーバ経由のSSHセッションを記録する方法をご紹介します。 How to Record SSH Sessions Established Through a Bastion Host | AWS Security Blog 尚、踏み台サーバはAmazon Linuxを想定しています。 ポイント この記事のポイントは下記です。 OpenSSHの設定の修正 scriptコマンドの利用 踏み台サーバユーザの権限制限 ログファイルのS3保管 S3による踏み台サーバユーザの自動管理 SSHのエージェントフォワード利用 CloudFormationで環境構築 それでは順に説明していきたいと思います。 構成 想定の構成は下記の通りです。 ログファイルのディレクトリ作成 まずは、踏み台サーバにログの保存ディレクトリを作成し、アクセス制限
よく見たらメールきてたー。本文に関しては既出ですが、真犯人らしき人物からのメール本文＆ヘッダを公開します。 また、メールのヘッダー情報などを元に自分なりの分析をしてみました。 目次 ■『小保方銃蔵』からのメール本文＆ヘッダー ■過去のメールまとめ(ヘッダ＋本文) ■送信元メールアドレス onigoroshijuzo2014@yahoo.co.jp 現在はすでに削除済み ■メールの送信先一覧は前回と全く同じ25名。（※ただし情報は過去に流出した可能性あり） ■メールの送信日時が今回は夜型じゃない点 ■メール送信元 mp76f1fa5d.ap.nuro.jp(118.241.250.93)。踏み台？新たな被害者？ ■今回はWebMailじゃなく、SMTPから送信されている可能性 ■検証：Yahoo!SMTPから送信してみると、今回のヘッダーにほぼ一致するものが作成できた ■検証：Recieve
ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 遅ればせながら、新年明けましておめでとうございます。今年もよろしくお願いいたします。 2008 年に移行してからずっと XREA で動いていたこのブログですが、さすがにこのご時世にレンタルサーバーはないだろということで、年末年始の休みを利用して Amazon S3 に移行してみました。 DNS は以前から Route 53 に移行済みなので、サイトのほぼ全体で 9
Erlang クエックブック
文字列 文字列を数値に変換する list_to_integer("123"). % 123 list_to_integer("-10"). % -10 n進数の文字列を数値に変換する u は指定した基数で変換、# は文字列が表現している基数で変換します。 io_lib:fread("~16u", "100"). % {ok,[256],[]} io_lib:fread("~2u", "100abc"). % {ok,[4],[abc]} io_lib:fread("~36u", "100%%%"). % {ok,[1296],"%%%"} io_lib:fread("~#", "16#100"). % {ok,[256],[]} io_lib:fread("~#", "2#100abc"). % {ok,[4],[abc]} io_lib:fread("~#", "36#100%%%").
こんにちは sato です。 ベンチャーでは高価なハードウェアバランサなどを購入することはできないですが、 apache2.2 から mod_proxy_balancerという apacheモジュールの ソフトウェアバランサが 追加されたので、フォト蔵でも使用しています。 今のところ proxy サーバがボトルネックになることはないです。 想定構成は以下とし、apacheは 2.x を使用しました。 proxy1 +------web1 +------web2 ... +------webN ・基本設定 httpd.conf LoadModule proxy_module modules/mod_proxy.so LoadModule proxy_balancer_module modules/mod_proxy_balancer.so ProxyPass / ba
id:HolyGrail (堀愚霊瑠氏) の「はてなブックマークが重い件について、Page Detailerというツールを使って調べてみる - id:HolyGrailとid:HoryGrailの区別がつかない日記」とか見てて、色々問題点が指摘されてて、うん、まぁそうだねーとか色々と思いつつ、YSlow は、有用なツールである反面、減点基準が必ずしも全てのサイトに適合しないというか、ハッキリ言ってしまえば Yahoo! Inc. 基準すぎるので、鵜呑みにし過ぎるのもどうかなーとか思ってた。 で、気になったのは 13. Configure ETags ETagsっていうのはサーバ上のファイルとブラウザのキャッシュが一致しているかどうかを検証するためのものなのですが、正しく利用できていないのであれば、ETagsは無駄なだけなので取り除いてやりましょう、という項目です。 http://s.hat
RISC Vに従うCPUの上で動作するOSをRustで書く（CPU実験余興） - 欣快の至り
お手製のCPUの上で自分で作ったOSを動かすというのは、割と夢のある行為だと思っていて、今回それを一定のレベルですることができたので、簡単に内容についてメモをしておこうと思います。 曖昧な日本語を読むより、プログラムを読むほうが速いと思う人は、駄文を読まずにGitHubを見てください。 https://github.com/moratorium08/osmium/ 僕が書いたのはOSだけで、コアはATPが書きました。また、乗算命令の実装はdaiが書きました。 https://github.com/hitohira/yokyo 概要 RustでフルスクラッチでRISC-V(rv32im)で動作するOSの実装をしました。OSを実装するにあたり、ページングやカーネルとユーザーモードでの権限切り分け、割り込みなどの仕様を考える必要があり、これもRISC-VのPrivilegeの仕様書に従ったものに
まだピクミン2をクリアしてないのでケジメ的に新作ゲームを買えないmikioです。今回は、Tokyo Cabinetを使って激烈簡単に特定サイトの専用の検索機能を設置する方法について説明します。クローリングから検索までを10分くらいの作業で可能にします。 特定サイトの検索エンジン Web全体の検索機能を作るのは、途方もない技術力と設備を持っているGoogleやMicrosoftなどのビッグプレーヤでないと難しいのが現実です。でも、自分が気に入っているいくつかのサイトを対象とした検索エンジンを作るのであれば個人だってできます。また、インターネットから手が届かないイントラネットのコンテンツの検索機能は自分達で手がけないと構築できません。 ということで、企業用の検索システムが数多く売られていますし、LuceneやGroongaやHyper Estraierなどのオープンソース製品も世に多数存在しま
RSS 2.0 Notes
この文書はRSS 2.0 Specificationを元に、RSS 2.0を解説したものです。正確な仕様についての情報を得たい方は、上記URLを参照してください。 Index RSS 2.0とは何か RSS 2.0の例 channel要素 title要素 link要素 description要素 language要素 copyiright要素 managingEditor要素 webMaster要素 pubDate要素 lastBuildDate要素 category要素 generator要素 docs要素 cloud要素 ttl要素 image要素 rating要素 textInput要素 skipHours要素 skipDays要素 item要素 title要素 link要素 description要素 author要素 category要素 comments要素 enclosure
FirebugでPHPをデバッグするツールまとめ
こんにちは、亀本です。最近は体調がすこぶる絶不調です。季節の変わり目なので、皆さんも気をつけてください。 さて、ちょろちょろと話題に上ることの多いFirefoxを使ったPHPのデバッグ手法ですが、いくつか出てきたのでこの辺でサクッとまとめておこうかと思いました。 結果的に、だいぶ膨らみましたが。。。まとめ力ないなorz 1.Buggy クラス AJAX magazine というサイトで公開されていたサンプルスクリプトで、クラス１つだけの小さなライブラリです。 以前、PHPプロ！ニュースでもご紹介した方法です。 この方法は、PHPのエラーをハンドリングし、その内容をscriptタグに出力し、console.info()を用いてFirebugのコンソールに渡す、という仕組みです。そのため、Firebugは必須です。 記事掲載当時は、buggy.class.phpがダウンロードできたのでしょうか
前から試そう，試そうと思っていた話題の Plagger を導入してみました．mixi のマイミクの方とかはこれから足あとがつきまくると思いますが，気にしないで下さい． Plagger をご存知無い方は，この辺りでも． 一足早く「Plagger」の便利さを実感してみよう - ＠IT plagger - otsune FreeStyleWiki 要は，「いろいろな」データを入力して，加工して，「いろいろな」ものに出力するフレームワーク．「いろいろな」というところがポイントで，誰かが MacBook を勝手に持ち出したら携帯にメールする とか，Google で「はらへった」と検索してピザを注文する なんて人まで． Plagger については，既にネット上にインストール方法や設定方法がたくさんあるので，わざわざここで書くことはないんだけど，ひとまず自分の備忘録を兼ねて書いておきます． - RSS
UNIXコマンドリファレンス
インターネットへ接続_________ TOPページ(Alt+B) UNIXコマンドリファレンス ディレクトリ操作系 cd ls mkdir pwd rmdir ファイル操作系 cat more less head tail sort uniq grep wc diff chown chgrp chmod compress uncompress gzip gunzip zcat tar split ln find cp mcopy mdel mv rm touch nkf | ＞ ＜ ＞＞ ＞＆ tee システム管理系 which jobs sleep date cal whoami groups id w finger chfn history alias unalias type
ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン
ApacheのFilterモジュールを作った話しをしたらid:c9katayamaに情報公開しろと言われたままでしたので公開します。 C言語の勉強しようかな、Apache2.xのモジュールを作ってみようかな、gdb使ってデバッグしてみようかなと考えてた人にお勧めです。 JavaでのServletの開発経験のある人であれば、Filterの処理の動きやリクエストコンテキストの考え方は分かり易いはずなので、エントリを読み終わる頃にはApacheのモジュールをgdbでデバッグしながら作る事が出来るはずです。 mod_orzを作成 今回はmod_orzというApacheモジュールを作成します。 Apacheモジュールを作成する際には、apxsというモジュール開発用のコマンドを使用しテンプレートを作ります。 # apxs -g -n orz Creating [DIR] orz Creating [F
スマートフォンサイトに向けての最適化だったり、 Webページのレイアウトの変更だったりで、 同じ画像でも様々なサイズを利用することがある。 サイトの運用を続けていると、 同じ画像でも数通りのファイルを保存していて、 ファイル数が大量になってIOがキツくなってきた。 数多くなるとIO辛いから、 ファイル増やさないように気をつけてね、 と社内で言い続けていたら… Webサイトでは、本来小さい画像で良いところに 大きい画像を使用して、 JavaScriptでリサイズする処理が多用されはじめ、 今度は転送量が増加しはじめて、 これ以上増えるとデータセンターの月額費用が 増加してしまいそうに…。 なんとかせねば！と対応をはじめるわけです。 そこでまず最初にやったのが、 本当は速いImageMagick と同じように、Apacheモジュールを自作して、 ImageMagic
Sections What is time Representing time Where do we usually find time on Unix System time, hardware time, internal timers Syncing time with external sources What depends on time Human perception of time What is time Time is relative Measuring time and standards Coordinating time Time zones DST Time, a word that is entangled in everything in our lives, something we’re intimately familiar with. Keep
2009年05月13日13:30 カテゴリiTech findを極めたかったら、statを押さえよ find(1)ねたというのは、定期的にblogosphereを賑わせるものだし、それはそれでよいし、私自身いくつか書いているのだけど.... findを極める！ - IDEA*IDEA 〜 百式管理人のライフハックブログ 〜 タグ「find」を含む新着エントリー - はてなブックマーク 404 Blog Not Found:perl - the best friend of find(1) 404 Blog Not Found:勝手に添削 - find(1) さすがに何年もblogosphereにいると、いいかげん見飽きてくる。ましてや「極めたい」ともなると、findばっか見ていても絶対無理なのだし。 というわけで、findとは何かを改めて説明したあと、その背後にあるstatを抑えてみること
はじめに 本ブログでは、Chefおよび、Vagrantを用いた仮想インフラの構築について取り上げてきました。今回は、構築した仮想インフラの障害監視を行う監視システムの構築方法を２回に分けて解説します。第１回は、サーバー監視ツールのNagiosのインストールから、監視対象サーバの設定方法を解説します。 なお、構築に必要なソフトウエアは、Chefを用いたLAMP開発環境の構築方法～仮想環境構築編を参考にして、インストールして下さい。また、全ての構築作業は、Chefを用いて行います。 監視サーバの構築 構築する監視サーバのベースとなる仮想マシンを作成し、HTTPサーバをインストールします。 Boxの初期化 ベースとなる仮想マシン(Box)の初期化を行います。 $ mkdir -p ~/vagrant/nagios-server && cd ~/vagrant/nagios-server $ va
Leopard - Time Machine の3つの「誤解」 : 404 Blog Not Found
2008年07月27日06:30 カテゴリTips Leopard - Time Machine の3つの「誤解」 というわけで、ちぇんじ、LepardO〜んしたからには乗らずにいられぬTime Machine. 乗り心地、最高でした。 で、時間旅行の際に気づいたことを3つほど。 「誤解」その1:バックアップ中は作業できない そんなことはありません。初期バックアップの最中でも、かなり普通に使えます。見ての通り、ファイル数が167万もあったので(!)、初期バックアップには6時間近くかかりましたが、その間に実際私は記事を二本ばかり書いたぐらいです。 Activity Monitor で見た限りでは、Load Average は 0.2-0.3程度でした。 とはいえ、初期バックアップの際にあまりファイルシステムを大きくいじるような作業はしない方がいいというのはTime Machineに限らずバッ
https://github.com/rakyll/statik Goのバイナリにファイルを同梱するという誰もが欲しいはずのものがなかなか決定版がなく、go-bindataがメンテを終了し、go-assetsもいまいちメンテが滞っているので、statikを使うことにしました。作者のrakyllさんも実績のある方なので大丈夫でしょう。 statikも少しpull requestの取り込みが滞っていたのですが、試しにpull requestを送ってみたらちゃんと取り込まれたので大丈夫そう。 https://github.com/rakyll/statik/pull/61 元々、ファイル単体を取得する分には問題なかったのですが、ファイルシステムとして走査しようとするとうまく辿れない問題があり、このpull requestで修正しました。ですのでより安心して使えるでしょう。 http.FileSy
VRChat口伝ノウハウ結構膨大にある気がするので、思いつくものを一度一括で吐き出してみようというやつです。 これを読めばVRChatの全てが分かる！！（大嘘 基本的にリンク集+αという感じですが、めちゃくちゃ色々手を広げて書いているので間違ってるとこ見つけたらコメントに書いてください。 なおこの記事はVRChat Advent Calendar 2020の6日目、VRChat Advent Calendar 2021の9日目のやつです。 adventar.org adventar.org 2021年色々更新してきて8万文字も超え、情報が当初の倍ちかくにはなったんじゃないかと思います。2022年もやっていくぞ。 本記事以外の「すべて」 本記事は主にVRChatに入ってからの生活面にフォーカスしたものですが、本記事以外の「すべて」系記事もあるのでご活用下さい。 「VRChatのアバタートラブ
追記 2013-03-04 [twitter:@dankogai] さんにも言及されてました＞＜ 404 Blog Not Found:perl - soloで任意のコマンドを期限付きで排他実行する 追記 2013-03-01 つづきを書きました。 続・プロセス間の期限付き排他ロック - (ひ)メモ 追記 2013-02-27 コメント欄でのやりとりの通り、穴がある（クリティカルセクションに複数プロセスが突入する可能性がある）のでちょっと出直してきます！！ やりたいこと プロセス間の排他的実行を制御したい 一定時間経過したら実行できるようにしたい 例えば、フェイルオーバーを実行するスクリプトは、何度も実行できるとフェイルオーバー/バックを繰り返してフラップするので、一度フェイルオーバーしたら一定時間は実行できないようにしたい 実装 シンボリックリンクを使って排他制御する 期限切れは、シンボ
MySQLfs を使うと、リレーショナル・データベースMySQLの中にファイルシステムを入れることができる。このファイルシステム中のファイルに含まれるバイト列はデータベースの各行に分割して格納されるため、大きなファイルがある場合もデータベースが巨大なBLOBフィールドをサポートしている必要はない。ファイルシステムをMySQLデータベースに入れておくと、データベースが備えているバックアップやクラスタリング、レプリケーションの機能を利用してMySQLfsファイルシステムを保護することができる。 Fedora、openSUSE、UbuntuにはMySQLfsのバイナリー・パッケージは含まれていない。したがって、MySQLfsを使うにはソースからビルドする必要がある。また、あらかじめmysql-develとfuse-develをインストールしておかなければならない（FUSEにより、一般のプログラム
2008年06月09日15:45 カテゴリiTech unix - atimeはいつ更新される? 以下に対して、 Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro 革命の日々！ ITProのLinuxチューニングの記事がひどい事になっている件について あまりに酷いのでdisる記事を書こうかと思ったら、末尾に小さく 出典：日経Linux 2002年4月号 45ページより （記事は執筆時の情報に基づいており，現在では異なる場合があります） と書いてあった。６年前の記事かよ！！ 古い内容が多いので、よい子は信用しないでね。 と物言いがついていて、さらに ITProのチューニング記事(noatime付加)を検証してみた - 科学と非科学の迷宮 また、はてブのコメントを元に relatime オプションを付加して検証を行ったところ、こちらも性能向上は見られませんでした。
身近な話題でありながら中身のよくわからないことを調べてみるのは興味ぶかいもので、そこから得た知識が意外なところで役に立つことも少なくありません。かねてより Android 環境へアプリケーションをインストールする際に内部でどのような処理が行われるのかに関心を持っていたのですが、知りたい情報がなかなか見当たらないため手元で調査を行いました。その内容を公開します。 まとめ ※クリックすると大きな図が開きます ※PackageInstaller を起動した状態での関連プロセスの例 $ ps USER PID PPID VSIZE RSS WCHAN PC NAME root 1 0 268 180 c009b74c 0000875c S /init root 36 1 812 244 c02181f4 afd0b45c S /system/bin/installd root 33 1 60900
Ruby（とRails）を担当している石原です。 ソーシャル「OSを入れた後にインストールする10のアプリケーション」(仮) を作る過程をレポートしています。 今回は、開発はひとやすみにして、サービスをリリースする前にやっておくべき細々としたことを紹介したいと思います。 これらは筆者がひとりサービスをリリースするときに、毎回なんとなく思い出しながらやってきたことで、サービスによっては忘れてしまっているものもあります。 ですから、次からはこれをチェックリスト代わりに使おうと思っています。 Rails に限った話とWebサービス一般の話が混ざっています。ほかの言語やフレームワークを使っている方にも、Rails に限った話を自分の使っている環境に読み替えれば、いくらか参考になるかもしれません。 参考までにこれまでのエントリーはこちらです ↓ つくるぶガイドブログ: Ruby on Rails を
PostgreSQLでは，postgresql.confを設定することにより，SQL文やその実行時間などの情報をログファイルに記録できる。ここではこのログのことを「SQLログ」と呼ぶことにしよう。単に「ログ」というと，トランザクションログ(WALログ)と混同する恐れがあるからである。 SQLログには以下のような記録が残る。 LOG: statement: INSERT INTO history (tid，bid，aid，delta，mtime) VALUES (4，1，25891，8417，CURRENT_TIMESTAMP); LOG: duration: 72.786 ms
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
この処理Pythonでどう書く？ - エムスリーテックブログ
めっちゃ便利やねん find コマンドのオプションまとめ | バシャログ。
キレる中年プログラマ - megamouthの葬列
大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
てっく煮ブログ - ActionScript やるなら入れとけ。rascut 導入と使い方。
また make の話してる（2020年9月14日） - なにもわからない
Gitのステージング領域の正体を探る | メルカリエンジニアリング
踏み台サーバ経由のSSHセッションを記録する方法 | DevelopersIO
遠隔操作の真犯人（と名乗る）人物からのメールが今回も来てた件 - satoru.netの自由帳
Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro
サイトを Amazon S3 に移行しました - WebOS Goodies
ウノウラボ Unoh Labs: mod_proxy_balancer 小技集
堀愚霊瑠の指摘で気付いた、はてなスターの静的ファイルとか想像以上にアレな件 : にぽたん研究所
オレオレ検索窓を設置しよう - mixi engineer blog
Plagger で遊んでたら週末が終わっていた [plagger]
Apacheモジュールの作成とgdbとloggerでのデバッグ方法 - よねのはてな
Nginxを改造して欲しかった画像サーバーを作った | nonomura.jp
Time on Unix
404 Blog Not Found:findを極めたかったら、statを押さえよ
Nagiosによる企業向け監視システムの構築 第1回「監視サーバ構築」
Goのバイナリへのファイル同梱はstatikで決まり | おそらくはそれさえも平凡な日々
VRChatのすべて（すべてではない） - Narazaka::Blog
プロセス間の期限付き排他ロック - （ひ）メモ
MySQLをファイルシステムとして使う | OSDN Magazine
unix - atimeはいつ更新される? : 404 Blog Not Found
Android パッケージインストール処理のしくみを追う : DSAS開発者の部屋
つくるぶガイドブログ: ひとりサービスをリリースするまでやっておくこと10個
［PostgreSQLウォッチ］第26回 ボトルネックをビジュアルに分析するログ解析ツールpgFouine