Linux I/O scheduler queue size and MyISAM performance
At MySQL Conference and Expo 2009, I explained how Linux I/O scheduler queue size affects MyISAM insert performance. It is well known that Linux implemented four types of I/O schedulers (noop/deadline/anticipatory/cfq) in Linux kernel 2.6.10. The default is cfq in most distributions including RHEL, which is not so good then noop normally outperforms, but I'll talk this in other posts. Linux I/O sc
PINUPS - 上田新聞 blog版: SEAGATEが8TB HDDをサンプル出荷
SEAGATEが8TB HDDをサンプル出荷 先週行われたSEAGATEの決算発表で、CEOのSteve Luczo氏が、主要顧客やクラウドサービスプロバイダに8TB HDDのサンプルを初期テスト用の出荷し、顧客からポジティブなフィードバックがあったと投資家やアナリストに話したとのこと。 ・ Seagate announces 8TB hard drive samples are being shipped to customers ・ Seagate ships first 8TB hard drives - bit-tech.net 8TB HDDで使われている技術やプロセスは不明で、一般ユーザー向けのリリース日や価格などについても不明です。 また今年度中に6TBのエンタープライズモデルに続き、8TB/10TBモデルをリリースすると約束したという話もあり、意外と早くリリースされるかもし
これは安い！ Seagate初の6TB HDDが3万4800円で発売開始
sponsored 生成AI「Box AI」を組み込んだBoxの将来像も披露、「BoxWorks Roadshow Osaka 2024」レポート 大阪ガス、豊中市も登壇 西日本に注力するBoxが大阪で大型イベント開催 sponsored MSIのNUC「Cubi NUC 1M」を徹底レビュー NUCはどれも同じではない！ちょっとした違いなのに大きく影響するポイントを見逃さずに選ぼう sponsored 浄土真宗親鸞会がネットギア「M4250」を導入、能登半島地震では「機動力の高さ」が生きる 大規模イベントの“ワンオペ映像業務”、実現したのはNDIとネットギアPro AVスイッチ sponsored JN-IPS238FHDR-C65W-HSPなら直販価格2万2980円 昇降式スタンドとUSB Type-C給電は後悔しないディスプレー選びの新要件！ 2万円台前半でも探せばある sponso
Hadoopのバランサー実行中にdfs.datanode.balance.bandwidthPerSecを変える - wyukawa's diary
Hadoopにはバランサーというものがあります。象本10.1.4.4 バランサー参照。 Hadoopでは時間の経過とともにDataNode間でのブロックの分散度合いのバランスが悪くなっていきます。これを是正するためのプログラムがバランサーで実態はstart-balancer.shというシェルです。 start-balancer.shは利用度の高すぎるDataNodeから利用度の低すぎるDataNodeへブロックを移動するプログラムです。 -threshold引数はバランス度合いを決めるパーセンテージでデフォルトは10です。各DataNodeの利用率とクラスタの利用率の差を意味しています。 start-balancer.shをcronでたたくという運用もあるようですが、僕が見た範囲だと何もしなくても10%以内の隔たりに収まる気がします。 ただ今回僕が遭遇したのはディスク使用率が高いという警告
デコミッションが遅いときに見直す設定 - Yet Another HDIF?
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers.Twitter / Photos Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Twitter / Photos @kernel023がすごい勢いでひとりアドベントカレンダーを更新中で、こちらのHadoopアドベントカレンダー2013はすっかり裏扱いされつつある今日このごろですが、せっかくなので6日目としてデータノードのデコミッションが遅いときにどうしますかという地
Hadoopサーバーの増やし方、減らし方
すべての地雷を踏む男leonです。 Hadoopカスタマイズをネタにブログを始めさせていただきました。 前回、Hadoopセットアップ手順を紹介させていただいたので、今回からカスタマイズ話をしたいと思います。 Hadoopのincludeファイル、excludeファイルにハマった・・・。 今日はそのお話をさせていただきます。 話を始める前にincludeファイル、excludeファイルとはなんですかを説明しないとですね。 このincludeファイルとexcludeファイルはサーバーのslave接続を終了させる際に、ノードからデータを退避して脱退させる為に使用します。 includeファイルはデータノードへの接続を許可されるデータノード、JobTrackerに接続可能なTaskTrackerのホスト名を記述するファイルです。includeファイルはdfs.hostsプロパティとmapred.
最近書いた、SMART値からディスクセクタを監視するNagiosとMuninのプラグインの紹介
仕事でSMART値を利用したnagios, muninのプラグインを作ってました。 https://github.com/hfm/nagios-plugins https://github.com/hfm/munin-plugins 必要なもの: smartmontools (smartctl) -d autoを使えるバージョンが良いです。 Changelogによると、ver 5.40 (2010/10/16) あたりから使えるようです。 http://sourceforge.net/apps/trac/smartmontools/browser/trunk/smartmontools/ChangeLog-5.0-6.0#L1343 CentOS 5以上であればyumから入ったので、RHEL系であればyum update smartmontoolsで良さそうです。 バージョンアップしていく
1GBあたりたったの8円で180TBの巨大クラウドストレージを構築できる「Storage Pod 4.0」
GoogleがGoogleドライブの利用料金を一気に下げたことで、クラウドストレージの普及がより進みそうな現状の中、最大容量180TBのプライベート・クラウドストレージを激安に構築・運用できる自作キット「Storage Pod 4.0」が登場しています。 Backblaze Blog » Storage Pod 4.0: Direct Wire Drives – Faster, Simpler and Less Expensive http://blog.backblaze.com/2014/03/19/backblaze-storage-pod-4/ 45 Drives Technical Information Wiki http://www.45drives.com/wiki/index.php/Main_Page 巨大なクラウドストレージキットStorage Pod 4.0がどんな
srmコマンドでUbuntuのハードディスクからファイルやフォルダを完全消去する | Ubuntuアプリのいいところ
指定したファイルやフォルダのデータを完全消去したいときに使えるのが、srmコマンドです。 Gutmann methodというアルゴリズムを使い、ランダムなデータを38回上書きすることで、データ復元ソフトによるリカバリを防ぐことができます。 srmコマンドの使い方は簡単です。コマンドに続いて完全消去したいファイル名を指定しましょう。 $ srm mypicture.jpg 試しに、800KBのJPGファイルを完全消去してみましたが、約1分30秒もかかりました。 時間がかかりすぎるという場合には、「-f: fast (and insecure mode)」オプションを付けて、ファストモードで実行することもできます。 $ srm -f mypicture.jpg 安全性が低くなりますが、ファストモードなら3秒程度で終わります。 また、サブフォルダも含めて完全消去したいときは、「-r: recur
HDD障害時のHadoop datanodeの対応について - wyukawa's diary
ここ最近毎日のようにHDD障害が発生しててお祓いに行った方が良いのかなと思い始めているwyukawaです。こんばんは。 HadoopのdatanodeにHDD障害が発生した場合、普通はdecommissionすると思います。 ただdecommissionってやたら時間かかるんですよね。まる１日とかね。まあデータ量が多いからだとは思います。例えばTBいかないならdecommissionしてもそんなに時間かからないのかなと思います。完全に想像ですが。 なので僕は下記のようにdatanodeを止めちゃってます。 hadoop-daemon.sh stop datanodeこの辺は以前下記にも書きました。 dfs.datanode.failed.volumes.toleratedとdatanodeのdecommission - wyukawa’s blog こうすると一時期にレプリカ数が足りないブ
dfs.datanode.failed.volumes.toleratedとdatanodeのdecommission - wyukawa's diary
HDFSにはdfs.datanode.failed.volumes.toleratedという設定項目があります。defaultは0。 <property> <name>dfs.datanode.failed.volumes.tolerated</name> <value>0</value> <description>The number of volumes that are allowed to fail before a datanode stops offering service. By default any volume failure will cause a datanode to shutdown. </description> </property>内容は下記に詳しいです。 By default, the failure of a single dfs.data.dir
JBODはややこしい
カイワレ先生のブログを見て、自分のメモがてら、JBODについて書いてみます。 JBODって、なんぞやって、日本人なら誰もが一度は考えると思うからです。（RAID0と何が違うの？って） 現状、JBODという言葉は非常に曖昧な言葉です。 日本語wikipediaにも3つ定義があります。 1.JBOD機能を持つRAIDコントローラカードを取り付けて、JBODにしたいハードディスクをRAIDコントローラカードに接続する。 2.JBOD用として製造されたディスクアレイ製品をSCSIやファイバーチャネル等のインターフェースに接続する。 3.すでに接続されている複数のハードディスクを、ソフトウェア的に統合してJBODとする（Windows NT系列のOSには「スパン」という名称でこの機能が標準装備されている）。 http://ja.wikipedia.org/wiki/JBOD より。これはこれで微妙な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Seagate、世界初となる8TBの3.5インチHDD
https://eco.senritu.net/10%E4%B8%87%E5%86%86%E4%BB%A5%E5%86%85%E3%81%A7%E4%BD%9C%E3%82%8B18tb-raid-z2%E3%83%80%E3%83%96%E3%83%AB%E3%83%91%E3%83%AA%E3%83%86%E3%82%A3%E9%AB%98%E4%BF%A1%E9%A0%BC%E3%83%95%E3%82%A1%E3%82%A4/
Seagate製6TB HDDのエンタープライズ向けモデルが発売
SanDisk's collosal 4TB SSD: Does this mean SSDs will soon provide more storage than hard drives?
Previous Versions
容量5TBのHDDがSeagateからも登場、税込5万円
JBOD VS multiple directory on dfs.datanode.data.dir in CM
http://infra-engineer.com/hadoop/hadoop%E8%B1%A1%E6%9C%AC%E7%AC%AC2%E7%89%88-9%E7%AB%A0-%E3%80%8Chadoop%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E6%A7%8B%E7%AF%89%E3%80%8D%E3%81%AE%E3%81%BE%E3%81%A8%E3%82%81/