大規模リポジトリで高速にgit cloneするテクニック - DeNA Testing Blog
ニッチな話題ですが、業務におけるCI/CDの現場では避けることのできない大規模リポジトリと戦うためのgit cloneのテクニックを紹介します。 この記事はDeNA Advent Calendar 2020の10日目の記事です。 CI/CDマニアの@Kesin11です。SWETではCI/CDチームの一員として、CI/CDの啓蒙活動やJenkinsを必要とするチームのサポートなどの業務を行っています。 はじめに おそらくどこの会社でも1つぐらいは巨大なリポジトリが存在しているかと思いますが、歴史あるリポジトリはgit cloneするだけで数分を要し、checkout後のリポジトリサイズがGB単位になることも珍しくないでしょう。業務で古くから存在するプロジェクトのリポジトリを触ったことがある方はきっと経験があるかと思います。 git cloneを実行するのは最初のセットアップ時だけなのであまり
自分で、でっかいベアメタル(物理)サーバーを作りたい方へ - Qiita
マンガワンのサーバー 実は過去にプレスリリースの下の方にしれっとスペックを書いたことがあります。 ベアメタルなサーバー大好きクラスタとかの人が話題にしてくれないかなーと思っていたのですが、 私が観測可能な反響は無でした。 もうこの記事の需要の無さが推測されるようではありますが、意図を解説しましょう。 Xeon Gold 6244というCPUはコア数が少なく、クロックが高く、 最近Apple M1で話題のシングルスレッドの能力が高いモデルです。 マンガワンのサーバーではCPUを4つ搭載することで、コア数の少なさをゴリ押しで解決しており、 会社のフラッグシッププロダクトらしい予算の潤沢さが伺いしれます。 また、マンガアプリなのでSSDは搭載量が多いのですが、Optaneの1.5TBを2本搭載しており、 1本を/tmpやアクセスログ、DBのトランザクション一時ファイルの置き場所に、 もう1本をマ
ニコニコ動画、ストレージをオンプレから変更 運用コストを9割削減
KADOKAWAグループが、ニコニコ動画で使うストレージをオンプレミスのストレージから米RSTOR社の「RSTOR」に変更することが12月10日、分かった。現行の体制から運用コストを9割削減できる見込みという。 ニコニコ動画では既存のストレージにJavaScriptやCSSで制作したコンテンツ、ユーザーのアイコン画像、ログデータなどのサイズの小さいデータを億単位で保存しているという。 RSTOR社の販売代理店を務めるTwoFive（東京都中央区）によると、多くのクラウドストレージサービスでは、データの保存容量に加え、データの転送容量に対しても利用料が発生。ニコニコ動画のように、転送量が多い場合はコストがかさむという。データ転送では利用料が発生しないRSTORを採用することで、現行ストレージに比べ運用コストを10分の1に押さえられるとしている。 従来のシステムでは、大量のデータを一度に処理す
コントローラーが故障したraid5ディスク上のDBバックアップはどこに格納されていたか - Qiita
赤きLEDの明滅とビープ音 とある20世紀末の夏。 「データセンタ」を謳う19インチラック7台ほどのサーバルームの中で、DELLやCompaqのLEDが明け方の空に瞬く星々のように明滅を繰り返していた。 そろそろメジャーになりつつあった青色LEDが、緑やオレンジの輝きの中に混ざり、冷涼な室内をさらに涼しく彩る。 しかし、赤色LED。お前はダメだ。 サーバ機器、ネットワーク機器に光る赤色LEDは、ハードウエアの不具合を示す。 俺はクライアントから、顧客管理システムでエラーが出ている、との連絡を受けた。 クライアントのシステムが収められた「データセンタ」に入室すると、甲高いビープ音が室内に鳴り響いているのに気づく。「データセンタ」は稼働したばかりで運用経験が浅く、俺にはどの機器が泣いているのか、音だけで聞き分けることはできなかった。が、幸い、ラック7台に過ぎない小さな「データセンタ」は、程よく
Improving DNS Privacy with Oblivious DoH in 1.1.1.1
Improving DNS Privacy with Oblivious DoH in 1.1.1.12020-12-08 Today we are announcing support for a new proposed DNS standard — co-authored by engineers from Cloudflare, Apple, and Fastly — that separates IP addresses from queries, so that no single entity can see both at the same time. Even better, we’ve made source code available, so anyone can try out ODoH, or run their own ODoH service! But fi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
