最終更新 2018-12-19 UNIX/Linux の tar コマンドは、複数のファイルをまとめて tar 形式というアーカイブファイルにまとめる機能と、その逆の、tar 形式のアーカイブファイルを展開して元のファイルを作成する機能がある。ファイル・ディレクトリのバックアップを取得したり、他のサーバに複数のファイル・ディレクトリを移動する際に使用する。
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました(図1 参照)。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS(Hadoop Distributed File System)、Hadoop MapReduce F
Tats Shibata (柴田竜典, シバタツ) has 20+ years of experience in database technology, performance engineering, and pre-sales. As a Senior Manager and Head of Japan Data Solutions Architecture at Amazon Web Services Japan, he leads a team of database and analytics technical experts who provide solution architecting for AWS customers across various industries.
LVM (論理ボリュームマネージャー) を使おう (4) さて今回は LVM (論理ボリュームマネージャー) による大変 有効な機能であるスナップショットについて解説する。 24時間365日稼動しているようなシステム、しかもディスクの 内容が頻繁に更新されるシステムでのバックアップを考えてみ よう。 dump とか tar でバックアップをしようとしても、バックアップ 中に次々とファイルが書き換えられてしまい、きちんとした バックアップ・データを取るのは非常に難しい。 これらのプログラムは大抵、最初にバックアップするデータの 情報(どういうファイルをバックアップするかというような情報) 集め、その情報に従ってバックアップをしていくからだ。 最初に集めた情報はファイルをコピーしている最中に、不整合を 起こしてしまう。 こういう状況で有効となるのが、LVM (論理ボリュームマネージャー) のス
|パッケージ|説明| |BGCOLOR(PINK):&strong(){acpid}|デスクトップ機で使用するので不要だが。電源ボタンを押下したときに&br()自動的にshutdownプロセスを実行してくれるので削除しない。&footnote(コンピュータの電源管理やハードウェア設定などに利用するACPIのイベントを監視し、必要に応じて処理を実施するサービス。)| |BGCOLOR(PINK):&strong(){amtu}|Abstract Machine Test Utility(AMTU)&footnote(ハードウェアの基底的な保護メカニズムが現在も強制的に機能しているかどうかをチェックするための管理ユーティリティ)| |BGCOLOR(PINK):&strong(){anacron}|ダウンタイム時に損失したジョブを実行することができる、cronの補助プログラム| |BGCOLO
LinuxのLVMを使用している場合に行えるバックアップ・リストア方法についての備忘録です。 ■これをする事でどうなるの? 問題が起こる前のバックアップがある条件が絶対ですが、例えば、ファイルシステムが壊れたり、なぜかカーネルパニックが起こって起動しなくなってしまったり、アップデートなどでおかしくなってしまいアップデート前にシステムを戻したいなどでシステムの復元をするのに役に立ちます。 ■今回の環境 上記図を説明します。 ①まず、backup元のファイルシステムイメージ(dumpを使用)をNFSで共有したbackup先ディレクトリ(/tmp)に保存します。 ②Linux CD or DVDから起動しレスキューモードにする。 ③LVMで管理されているデバイスをフォーマットする。(ここではルートパーティッションのみ) ④フォーマット後、backup先ディレクトリ(/tmp)をNFSでマウントす
Red Hat Insights Increase visibility into IT operations to detect and resolve technical issues before they impact your business. Learn More Go to Insights Red Hat Product Security Center Engage with our Red Hat Product Security team, access security updates, and ensure your environments are not exposed to any known security vulnerabilities. Product Security Center
国产AV丝袜美腿丝袜,波多野结衣Aⅴ在线播放,人人玩人人lly添人人澡,丁香五月综合激图片,丁香五月啪激俺来也,国内三区无码视频免费,美女自卫慰出水福利视频
FreeBSD 7.1で検証した確実なバックアップ手順を公開します。 特に重要視したのは以下の点です。 バックアップは短時間でできなければならない 確実なバックアップを取るにはシングルユーザモードにする必要があり、ブランクタイムをなるべく短くする必要があるからです。 バックアップは簡単にできなければならない 面倒な作業は継続しません。 リストアは手順に沿っておこなえば、他人(数ヶ月後の自分も含めて)でも確実にできなければならない この状態になればきっと理解できます。 私はFreeBSD4.8の時代からサーバを立てていますが、当時はテープデバイスに行っていたバックアップも、最近はHDDへおこなった方が良いという見解です。 テープへのバックアップは、時間もかかるうえに、経験上メディアの信頼性も薄く、何よりも容量の大きいHDDを毎日バックアップを取るにはテープ媒体の寿命を考えると膨大なテープが必
1. カーネルパニックとは カーネルパニックとは、カーネルで致命的なエラーが発生し、OSの稼動が完全に停止した状態の事を言います。OSを継続して稼動さえることは不可能であり、再起動するしかありません。エラーの原因を調査するために、カーネルパニック時にはメモリダンプ(カーネルダンプ、クラッシュダンプ、コアなどと呼ぶ場合も有ります)を出力することが可能です。メモリダンプとは実メモリの内容をファイルに出力する機能のことを言います。OSがsyslog (シスログ) に書き出す余裕もなくクラッシュするのでメモリダンプは唯一の解析の手がかりとなることもあります。OSを再起動すると、メモリダンプが /var/crash/<IP アドレス-YYYY-MM-DD-mm:ss>/vmcore にコピーされます。(diskdumpの場合) 参考:diskdumpの設定方法 2. カーネルパニックの種類 カーネル
サーバはLinux、ルータはYAMAHAという環境も多くなってきました。YAMAHAルータの設定・管理はWindowsクライアントから行うことが一般的ですが、技術者はLinuxを使ってスマートに行いましょう。管理項目は4つあります。 YAMAHAルータのログをLinuxで受け取り○ヶ月保管する YAMAHAルータにsyslogホストを設定し、Linux側で受け取る設定をします。○ヶ月保管はlogrotateに任せましょう LinuxからYAMAHAルータのファームをアップグレードする YAMAHAルータにTFTPホストを許可し、LinuxからTFTPでファームをアップロードしましょう LinuxからYAMAHAルータの設定を定期的に取得する TFTPでコンフィグを取得するシェルスクリプトを組み、CRONで定期的に取得しましょう LinuxからYAMAHAルータへ新しいコンフィグを書く TF
iptablesの設定 [サーバの実験室 Redhat/Fedora] 作成 : 2005/01/27 修正 : 2011/05/05 "サーバの実験室"の検索 iptables パケットフィルタリング、NA(P)Tを設定するためのパッケージ。 環境によってはカーネルの再構築が必要になるが、Fedora Core 3では不要。 参考になる文書 netfilter.orgのチュートリアル。 あと、manpage。 インストール FTPサイトまたはFedoraCore3 CD Disk1からRPMパッケージをもらってきて、インストール。 # rpm -Uvh iptables-1.2.11-3.1.i386.rpm yumを使ってもよい。 # yum install iptables chkconfigユーティリティで、サーバ起動時にサービスが開始するよう設定する。 # chkconfig i
1. 必要なものリスト 一般に Linux を PPTP サーバとして利用するには以下のものが必要です。 MPPE パッチを当てた Linux カーネル (2.6.16以降はパッチの必要なし) PPTP サーバ (PoPToP) PPP サーバ (pppd) 1. の MPPE パッチを当てなくても PPTP 自体は利用できますが、 MS-CHAPv2 (認証方式) や MPPE-128bit (暗号化方式) が使えないので、 セキュリティ的に問題があります。 2. Linux カーネルの再構築 ※注意: 以下の内容は SSD/Linux 0.3 以前のカーネル (2.4.x, 2.6.12) を利用する場合のものです。最新の SSD/Linux 0.4 ではカーネルが 2.6.16 になっており、カーネルコンフィグも MPPE が有効になっているので 特にこの項目を実行する必要はありませ
最近久しぶりにLinux(CentOS)をインストールする機会がありまして、いつの間にかLinuxにもLVM(論理ボリュームマネージャ)が導入されていることを知りました。LVMを使うとソフトウェアRAIDが組めたりパーティションのサイズを変えられたりできるので便利といえば便利です。が、最近ちょっとした事件がありました。オペミスでOSが死亡してしまい、データだけでも救出しようとしたときの話です。旧来の方法であれば、別HDDにLinuxを入れて、OSが死亡したHDDのデータ用パーティションをmountすれば簡単にデータが抽出できたのですが、LVMだとちょっと面倒くさいです。そこで今回はLinuxでLVMのデータを抜き出す方法をまとめてみました。 LVMについて これからやろうとする作業がちんぷんかんぷんにならないためにも、まずはLVMが何かを知っておいたほうがよいです。とは言えここをご覧になっ
ゴール 負荷分散のいくつかの方法に関して理解する mod_proxy_balancerによる負荷分散クラスタが構築できる 基礎知識編 基本的な資料 主にクラスタによる負荷分散の資料。 - Apache モジュール mod_proxy_balancer - mod_proxy_balancerで中?大規模サーバー運用するときの勘所 - cyano あと社外秘資料。 負荷分散? 複数台のサーバにアクセスを分散して、個々のサーバにかかる負荷を減らし、全体的に処理できるアクセスを増やすこと。 以下のようなアプローチがある。 DNSラウンドロビン DNSでひとつのホスト名に複数のIPアドレスを割り当てる方法 シンプル しかしダウンしているホストにもアクセスが振り分けされてしまう 冗長化と併用でなんとかなるかな? 機能ごとにホストを分割 ウェブサーバとDBサーバの分割(基本過ぎるが一応これも負荷分散)
Apache 2.2.0 のロードバランス機能(mod_proxy_balancer)を使いこなす Apache 2.2がでました。 mod_dbdとか、mod_proxy_balancerとか気になる新機能てんこ盛りです。 ひげぽんさんの所に 誰か入れてみた人いますか? と有ったのでmod_proxy_balancerを試してみました。 超簡単でした mod_proxyとmod_proxy_balancerを参考にしました。 既に日本語ドキュメント完備! 以下から駆け足で、またセキュリティ的によろしくない設定例が多々あります。 とりあえずこんな設定を仕込んでみました ProxyPass /lb balancer://TEST stickysession=sesid <Proxy balancer://TEST> #1 BalancerMember http://i.yappo.jp lo
前回はZABBIXサーバのインストールまでの手順を紹介しました。今回は実際に監視対象となるLinuxおよびWindowsマシンへエージェントをインストールする方法について説明します。 ZABBIXエージェントはinetd/xinetdを利用する方法(zabbix_agent)と、単独のサービスとして起動させる方法(zabbix_agentd)があります。 inetd/xinetdを利用した場合、ドメイン名やIPアドレスなどに基づいた詳細なアクセス制御を行うことが可能です。しかし監視サービスという性質から、一定量のアクセスが発生し、中には応答時間に関わる監視項目も存在し得る点と、ZABBIXエージェント単体でもIPアドレスによるアクセス制御が可能であることから、今回は単独のサービスとして起動するzabbix_agentdについて説明します。 なお、ZABBIXサーバのインストールと重複する手
Tomcat5のログの一覧。 Tomcatはログの種類が多数ある上に、起動時に叩くバッチ、exeにより吐き出しログが違う。 なのでややこしいのでとりあえず纏めておく。 tomcat5.exeの場合 jakarta_service.log サービス起動停止のログ stdout.log 標準出力 stderr.log 標準エラー出力 設定方法はtomcat5.exeから行う。 まずはservice.batを叩いてサービスへ登録 その後、tomcat5を使って各設定の変更が可能。 (ログレベルやログの吐き出し先、ログファイル名の変更などなど) 設定方法の詳細は下記リンク見れば分かりやすい。 windows-service-howto 次に、catalina.batから直接起動した場合。 catalina.out サービス起動停止(tomcat5.exe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く