コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう｜ハイクラス転職・求人情報サイト AMBI（アンビ）
コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう コンテナ技術を適切に活用するには、コンテナが「どうやって」動いているかを学びたいところ。はてなのエンジニアhayajo_77さんがコンテナの要素技術の勘所を解説します。 こんにちは。株式会社はてなでサーバー監視サービス「Mackerel」のSREを務めるhayajo_77（ @hayajo ）です。 さて、コンテナ技術はDockerの登場がきっかけとなり、本格的に活用が始まりました。現在はKubernetesを始めとするコンテナオーケストレーションツールや AWS, GCP, Azure などのクラウドサービスで提供されるコンテナマネジメントサービスを採用したサービス運用事例が数多く紹介されており、コンテナ技術は「理解する」フェイズから「利用する」フェイズに移ってきています。 コンテナそのものは上記のツールやサービスにより
ちょっとキャッチ−なタイトルをつけてしまったが、今日は独断と偏見でMySQLを高速化する方法を10個紹介しよう。MySQLサーバをチューニングするときや初期導入する場合などに参考にしてもらいたい。 1. バッファを増やす、または減らす チューニングの基本中の基本であるが、適切なバッファサイズを設定することはパフォーマンスチューニングの要である。主なバッファは次の通り。 innodb_buffer_pool_size・・・InnoDBだけを利用する場合は空きメモリの7〜8割程度を割り当てる最も重要なバッファである。余談だが、実際にはここで割り当てた値の5〜10%ぐらいを多めにメモリを使うので注意が必要だ。 key_buffer_size・・・MyISAMだけを利用する場合は、空きメモリの3割程度を割り当てるといい。残りはファイルシステムのキャッシュ用に残しておこう。 sort_buffer_
以前に私が書いた「 Dockerの本番運用：失敗の歴史) 」という記事は、非常に多くの反響を呼びました。 その後、長い議論を交わして、何百件ものフィードバックや何千件ものコメントを読み、さまざまな人々や主要事業者とも顔を合わせました。Dockerでの試みが増えるほど、その失敗談は増えていきます。そうした現状を、今回アップデートしておきたいと思います。 この記事では、最近の交流や記事から得た教訓を紹介しますが、その前に簡単におさらいをして軽く背景を説明しましょう。 免責事項：対象読者 たくさんのコメントから、世の中には10種類の人々が存在するということが明らかになりました。 1) アマチュア 実際のユーザがいない試用版のプロジェクトやサイドプロジェクトを実行している人々です。Ubuntuのベータ版を使用するのが当然だと考えており、「安定したもの」は古いものと見なすようなタイプです。 注釈：書
限界までMySQLを使い尽くす!!
どこまで出来るか?!やれるところまでやってやるぜ!!と、威勢が良いのは若い間だけの話。オトナのオトコは、攻めるときはとことん攻めるが自らの限界もわきまえて賢く振る舞うのがスマートってものである。というわけで、今日はMySQLのいろいろな限界についてまとめてみる。皆さんも是非MySQLの限界を知り、MySQLをもっとスマートに使って頂きたい。 SQL文の最大長 MySQLサーバーが実行出来るSQL文の最大長は、max_allowed_packetシステム変数で表される。max_allowed_packetの最大値は1GBである。max_allowed_packetの値はセッションごとにも設定可能なので、デフォルトではそこそこの値（16MBなど）に設定しておいて、必要に応じて大きな対を使うと良いだろう。 データベースの個数 データベースオブジェクトの個数に制限はない。データベースオブジェクトは
NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
2011年06月16日10:02 世界のタブー・語られない謎 Tweet 1：名無しさん＠涙目です。(愛知県)：2011/06/15(水) 23:13:01.38 ID:///Lp/7y0 亜樹直、天樹征丸、安童夕馬、これ、じつは同一人物のペンネームです。 それは、愛する息子の不慮の死。 失意の末、沖田が決断したのはタブーを犯すことでした。 http://zasshi.news.yahoo.co.jp/article?a=20110615-00000301-webhon-ent 亜樹 直 漫画原作者、小説家、脚本家。本名は樹林 伸（きばやし しん）。 1987年講談社に入社し、『週刊少年マガジン』編集部で漫画編集に携わる。 『MMR』の主人公「キバヤシ隊長」のモデルとなった人物である。 編集者時代の担当作品には『シュート!』『GTO』などがあり、 原作クレジットが無くとも原作者並
こんにちは。インフラストラクチャー部 SRE グループの吉川 ( @rrreeeyyy ) です。今期オススメのアニメはツインエンジェル BREAK です。 普段の業務並びに趣味の一環として、サーバのモニタリング環境の調査や改善に取り組んでいます。 そこで本稿では、モニタリングのコンポーネントの一つとして外すことが出来ない、時系列データベースの基礎知識に関して紹介します。 そもそも時系列データ・時系列データベースとは？ 時系列データというのは、特定の時間ごとに何らかの値を取得した際の、取得した一連の値を指します。 例えば、以下のようなフォーマットをしたデータなどは時系列データにあたるでしょう。 timestamp1,key,value1 timestamp2,key,value2 timestamp3,key,value3 : 時系列データベースとは、上記のような時系列データの保存・処理に
InnoDB関連でよくある質問のひとつに「テーブルのメンテナンスは何をすればいいんですか？」というものがある。InnoDBはMySQL 5.5でデフォルトストレージエンジンとなるため、InnoDBのテーブルメンテナンス計画を立ようと思う機会も増えることだろう。そこで、今日はInnoDBのテーブルメンテナンスの各種方法となぜそうしなければいけないかという理由を解説しようと思う。 ANALYZE TABLEテーブルメンテナンスの代名詞といえば、インデックス統計情報の更新ではなかろうか。運用を続けるうちに、知らず知らずインデックス統計情報が狂ってしまい、思うような性能が出ない。RDBMSにはそのような問題がつきものであるが、InnoDBの場合、ANALYZE TABLEは不要である。なぜなら、InnoDBが自発的に統計情報を更新するからだ。InnoDBは以下の条件に適合すると、ANALYZE T
HDDが買えないならZFSを使えばいいのに
タイの洪水被害の影響でハードディスク（HDD）の価格が高止まりしている。パーツショップでの実売価格は急騰前の3倍程度にまで跳ね上がり、今でも2倍弱の価格をつけている。5000円台で2TバイトのHDDが買えた記憶が新しいユーザーにとっては買い控えたくなる水準だ。フラッシュメモリーによる半導体ストレージであるSSDの容量単価は下落する一方だが、HDDが買えないならSSDを使えばいいのに…と言えるほどSSDは安くない。 もちろん、データの増加は待ってくれない。記者の自宅には、主にファイルサーバーとして利用するLinuxサーバーがある。タイ大洪水以前に約7000円で購入した1Tバイトの2.5型ハードディスクをストレージに充てた。写真1枚が10Mバイト近くある今の利用環境では、みるみる空き容量が減っていく。どのコンテンツもときめくものばかりで、整理には限界がある。「では増設」と思い立っても、HDDは
複数台のハードディスクを組み合わせて利用することで、万が一ハードディスクが故障してもデータを失わずに済むといわれる「RAID」は、企業のシステムに広く用いられているだけでなく、最近では市販の外付けのハードディスクにも採用されており、個人でも使う機会が増えてきました。 これらのシステムを利用してテラバイト級のデータを保存しているデータ量が大きければ大きいほど、故障すると大量のデータが失われてしまう危険性があるわけですが、どの様にバックアップをするのがいいのでしょうか。 より確実にバックアップをとるコツや、万が一の際にはどう対処すればよいのかを、過去１万台以上ものRAID復旧の実績を持つデータ復旧専門会社「日本データテクノロジー」の内部に潜入し、技術者の方々にいろいろと聞いてきました。 詳細は以下から。データ復旧|PC・サーバー・RAID機器のハードディスク復旧ならデータ復旧.com 日本デー
「弊社としても、お客様が安心してご利用頂けない現状を痛切に感じており、一日も早く正常化を目指しておりますが、現在は課金をさせて頂ける状況ではないと判断致しました。つきましては3月1日に遡り、当面の間は「さくらのクラウド利用料」について無償化させて頂くことをご報告致します」ということで、なんと「さくらのクラウド」が無償化されてしまいました。 さくらのクラウドの現状報告および課金対応について | IaaS型パブリッククラウド「さくらのクラウド」 http://cloud.sakura.ad.jp/news/sakurainfo/newsentry.php?id=622 無償化せざるを得なくなってしまった経緯は以下のように説明されています。 既に掲載のとおり、データを格納するストレージのパフォーマンス低下により、 頻繁に負荷が増大する状況が続いております。 その為、改善を図ることを目的としたファ
社内の技術勉強会でやったら面白そうな小ネタ
フェルミ推定のお話 「1台のバスにゴルフボールは何個入りますか？」 「シカゴにピアノ調律師は何人いますか？」 「東京に電柱は何本ありますか？」 Google入社試験などでよく出題されるフェルミ推定の解き方。 ビッグデータを短期間で推定するための着想・工程・計算方法。 電話のお話 PSTN（公衆交換電話網）への入り方。電話の切断理由コードの取得方法。 Asteriskを使ってパソコンをPBX（構内電話交換機）にする方法。 ファイルシステムのお話 NTFS、EXT4、XFS、ZFSなどの特徴とジャーナリング構造。 rm -rfコマンドで誤って消したファイルを直ちに復活させる方法とか。 性能評価方法、新しいファイルシステムBtrfsのご紹介。 Androidのお話 Android端末にカスタムROMを流し込む方法。ADBドライバの使い方。 Google Playを経由しないAPKの管理方法。Go
vector.hateblo.jp 友人が上の記事で録画サーバについて色々書いていたので、自分も自鯖の現状を把握するために書き出してみる。 上記記事と似たようなアジェンダで行く。 前提 あ、私的利用の範囲ですよ。 ほぼ毎日放送されているアニメを録画している また以下のタレントが出演している番組もほぼ録画されている マツコ・デラックス さまぁ～ず TSの増加ペースとしては、1本3〜6GBで1週間で60〜80本ほど(溜まるときは300GB/weekぐらいのペース) 流石に容量増加に耐え切れないので、録画が完了したTSから順次ffmpegにてh.264+aacな720pのmp4に変換される エンコード済のTSは1ヶ月ほど保持してから削除 サーバについて 自鯖その1(NAS) HP ProLiant Microserver N40L AMD Turion II NEO 1.5GHz 2Core U
TL;DR 聴講メモ Intro into durability PostgreSQLのCHECKPIONT CHECKPOINT中にエラーが発生したら？ fsyncへの2つの間違った期待 なぜ今になって問題が明らかになってきた？ そもそもなぜBufferd I/Oなのか？ どうやって直すかか 参考リンク 質疑 最後に 先日PostgreSQLの新しいマイナーバージョンがリリースされました。このマイナーリリースでメインとなる修正は「fsync周りのバグ修正」で、このバグは間違ったfsyncに対する間違った認識から約20年間存在してたバグということで注目されていました。 このバグについてPostgreSQLのコミッタ(Tomas Vondra氏)が解説しているセッションが、先々週開催されたFOSDEM 2019でありました。私もFOSDEM 2019に参加していたのですがその際は裏セッション
西田シャトナー伯【ジャイ！マヒシュマティ！】 @Nshatner 劇作家、演出家、折り紙作家です。 ご依頼→art@n-shatner.com 公式サイト→https://t.co/ZfS4zGzpQw YouTube→https://t.co/RptGgYRrb8 n-shatner.com
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
%E8%87%AA%E5%AE%85%E3%81%A7%E5%A4%A7%E5%AE%B9%E9%87%8F%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%92%E9%81%8B%E7%94%A8%E3%81%99%E3%82%8B
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
True ZFS True Protection True Performance True Simplicity True Security True Scalability True Flexibility True Choice True Mobility True Value
こういうニュースを見るたびに、こう嘆かざるを得ません。 GitLab.comが操作ミスで本番データベース喪失 「ああ、ZFS使ってれば」、と。 ZFSはこれまでのファイルシステムの常識を覆す画期的なファイルシステムでした。fsckを不要にするトランザクション，パーティションという概念を過去のものにするデータセット，ファイルシステム自体のundoを可能にするスナップショット，エラーを自動検知し，可能であれば自動修復するチェックサム，RAIDホールがないRAID-Z……「Z=最後のファイルシステム」という自信がその名に込められたZFSは，今は亡きSun Microsystemsの最後の遺産でもあります 僕にZFSの話をさせると長くなります -- ので、今回はスナップショットを中心に手短に。 バックアップを難しくしているのは何か? ここで、ある小さな*nixシステムのフルバックアップを取ることに
詳解 システム・パフォーマンス
TOPICS System/Network 発行年月日 2017年02月 PRINT LENGTH 784 ISBN 978-4-87311-790-4 原書 Systems Performance FORMAT PDF EPUB 本書はエンタープライズ環境とクラウド環境の両方を対象としたオペレーティングシステムおよびオペレーティングシステムのコンテキストにおけるアプリケーションのパフォーマンス分析と向上について解説します。主にLinuxとSolarisベースのオペレーティングシステムに含まれるツールとその使用例やチューニング可能パラメータの設定を通じてシステムパフォーマンスを引き出す手法を学びます。CPUやメモリ、ファイルシステムなど個別テーマごとに設けられた各章の前半では、用語、考え方、方法論について述べ、後半では実装の具体例を示しつつ、アーキテクチャ、分析ツール、チューニングなどを解
2013年に起こりうるRAID・サーバ機の障害傾向予測をデータ復旧専門の「日本データテクノロジー」に聞いてきました。どのRAID構成が壊れやすく、どんなRAID構成を組めば、データ復旧がしやすいかなど、いろいろとインタビューし、実際にデータ復旧をしている社内も見学してきました。 詳細は以下から。 データ復旧.comはデータの復元実績No.1|日本データテクノロジー http://www.ino-inc.com/ ◆インタビュー GIGAZINE(以下、G)： それではまず、日本データテクノロジーさんとは、どのような会社で、どのような実績があるのか教えて下さい。 復旧部門 技術開発部門 総責任者 西原世栄さん(以下、西原)： 私たちは、壊れてしまったHDDからデータを復旧させるサービスを提供しています。官公庁・上場企業様がメインのお客様ではありますが、「絶対にデータを復旧したい」と希望される
インストール Docker エンジンのインストール Mac OS X Windows Ubuntu Red Hat Enterprise Linux CentOS Fedora Debian Arch Linux CRUX Linux FrugalWare Gentoo Oracle Linux openSUSE and SUSE Linux Enterprise Amazon EC2 Google Cloud Platform IBM SoftLayer Microsoft Azure Rackspace Cloud Joyent Triton バイナリをインストール Kitematic のインストール Docker Machine のインストール Docker Compose のインストール Docker Swarm のインストール Docker 基礎 コンテナのクイックスタート Do
今回は、Linuxが搭載されているハードウェアのパーツごと、例えばサウンドボードやマザーボード、ハードディスク等のベンダーや型番といった詳細情報を取得出来るコマンド『Inxi』を紹介する。 1.インストール まずはインストールから。 以下のコマンドを実行しインストールを行う。 Debian/Ubuntu sudo apt-get install inxi RHEL系 sudo yum install inxi --enablerepo=epel 2.コマンドの実行 さて、それでは実際にコマンドを実行してみよう。まずはオプションを付けず、デフォルトの内容を表示してみる。 以下の内容は、実際に自宅で用いてるマシンのデータを表示している。 $ inxi CPU~Quad core Intel Core2 Quad Q9550 (-MCP-) clocked at 2833 Mhz Kernel~
この記事は KLab Engineer Advent Calendar 2018 の6日目のエントリです。 最近のmacOSでは新しいファイルシステムが採用されていて、ファイルコピーが一瞬でできますよ、性能改善やストレージの空き容量を増やすのに役立つかもしれませんよ、という話を紹介します。 最近のmacOSのファイルシステム：APFS まず最近のMacのファイルシステムについて紹介します。2017年9月リリースのmacOS 10.13 (High Sierra) 以降、macOSでは標準のファイルシステムとしてAPFS (Apple File System) が採用されています。これはコピーオンライトファイルシステムというジャンルに属するもので、同じファイルを作成する際に実体を共有して、どちらか一方が更新された時に初めてファイルコピーを行うような仕組みを持つ、モダンなファイルシステムです。
Amazon S3は安いか高いかという議論を、この2日間で立て続けに3個所で耳（目）にした。 1人はネットサービスベンチャーのCTOで、クラウドへの移行を検討しているものの、Amazon S3やEC2の実際の価格や使い勝手がよく分からないという話だった。コスト的に見合うなら、もうサーバ運用に煩わされたくないと漏らしていた。 もう1つは、ベンチャーキャピタルとして知られるYコンビネーターの掲示板で見かけた「Does Amazon S3 really save money？」で始まる議論。1GB当たり1カ月で0.15ドルと聞くと安いようにも思えるが、1TBの月額は150ドル、2年にすると3600ドル（1ドル92円として約33万円）にもなる。しかも転送量に応じた課金もあるため、実際にはこれ以上になる。今や1TBのドライブ単価は1万円を割っていて、2年で3600ドルとは比較にもならない。「クラウド
2019年1月末でFreeBSDに関連する開発活動を止めることにした。とても愛していたOSだけに身を切られるような思いは否めなかったが、別れが来るなら自分の自由になるうちにと思い、決断した。以下は個人的な想いを綴っている。 BSDの大元は、カリフォルニア大学バークレイ校で作られたオペレーティングシステム、今風に言えば基本ソフトだ。Berkeley Software Distributionというのがもともとの名前だ。 1985年に自分がUNIXに触れたころから憧れていたのがこのBSDだった。当時のBSDはまだオープンソースではなかったAT&TのUNIXのライセンス制限の傘下にあり、自由にソースコードが読めなかった。でもAT&TのUNIXであるSystem V（システムファイヴ）よりはずっと自由だった。その後、DECのULTRIXやSunのSunOS 4など、多くの先進的なUNIXマシンがB
CVE-2014-9390 aka "Git on case-insensitive filesystems" I did not give the… gitが影響を受けた、HFS+で、一部の文字を区別しなかったり無視したりする問題に対して、Linusが吠えている。 マジで、HFS+はたぶん最悪のファイルシステムだな。クソすぎるぜ。NTFSもutf8の正規化で似たような問題（/の非正規化された表現を使用）があったが、まあ、今は修正されたんだろうよ。OS Xの問題は根本的すぎる。 そりゃ、古いさ。そりゃ、データ保護がクソすぎるってのはあるさ。だが、そういうのは、単に「すげーファイルシステムじゃない」って問題だ。「自分のケツすら拭けないマヌケによって設計された信じがたいクソ」ってわけじゃない。 HFS+の恐ろしさは、すげーファイルシステムではない、ということではない。いいアイディアがあると信じ
「21世紀にssh(1)でtarとかありえない」みたいなことを書いたけど、使ってるツールそのものに加えてありえないのは、バックアップに求められる要件がありえない。20世紀だったら単なるファイルのコピーでもよかったかもしれないけど、今時要求されるバックアップってそんな単純なものじゃない。バックアップしたファイルの暗号化、通信経路の暗号化、柔軟な差分とスケジュール、複数のストレージへのバックアップとか。バックアップ対象にWindowsが入ってないし。 「2008年の」とか「最近の」というキーワードなら、ファイルシステムのスナップショット機能を活用したバックアップだと思う。UFS2とZFSで使える。LinuxならLVM。 FreeBSD UFS/ZFS Snapshot Management Environment sysutils/freebsd-snapshot Solaris ZFS Ad
サーバアプリケーションの配置はますます複雑になっています。いくつかのPerlスクリプトをコピーするだけでインストールが完了する時代は終わりました。今日、ソフトウエアは多くの種類の要求を抱えています。 インストールするソフトウエアやライブラリの依存物("Python >= 2.6.3とDjango 1.2に依存する") 実行するサービスへの依存("MySQL 5.5とRabbitMQのキュー"が必要) 特定のOSに対する依存("64-bit Ubuntu Linux 12.04でビルドとテストをした") リソースの要件: 利用可能なメモリの最少量("1GBのメモリが必要") 特定のポートへのバインド("80と443を使う") 例えば、比較的シンプルなアプリケーションの配置を考えてみましょう。Wordpressです。典型的なWordpressのインストールでは、 Apache 2 PHP 5
2016年個人的に注目したいというか力を入れたいというか成行を見守りたいというか、そんな技術達を書き連ねていく。ものによっては「何を今更」と思うかもしれないがあくまで私にとって、だ。 順不同。 Apache Drill 公式。様々なデータソースに対してANSI SQLでクエリを投げれるやつ。 ビッグデータの時代にETL無しで迅速にデータを分析出来るようにするために開発されてるらしい。 様々なデータソースというのは本当に凄くて、CSVとJSONをJOIN出来たりする。 あるいはTSVの生ログとRDBにあるマスタデータをJOIN出来たりする。 個人的にはデータベースから抽出したCSVにクエリを投げたい時に便利かな、と思って注目してる。viewや一時テーブルを作る権限がないデータベースだってある。 あるいは、Zookeeperを使って分散モードで実行も出来るのでBigQueryみたいなのをオンプ
tips - Ubuntu 9.10 + ドライブドア で 8TB RAID-5 をこさえてみた : 404 Blog Not Found
2010年01月12日21:00 カテゴリTips tips - Ubuntu 9.10 + ドライブドア で 8TB RAID-5 をこさえてみた 体調が悪くてあまり難しいことを考えられない時には、こういう単純作業にもってこい。というわけで、 Ubuntu 9.10 とドライブドアで、型落ちの MacBook Pro 2,2 を 8TB RAID-5 Serverに仕立てたので備忘録。 理由 2TBのHDDが15kで売ってたらいつの魔に買っていたので。 ここではなりゆき上お古の MacBook Pro 2,2 を使っているが、port multiplier 対応の e-SATA 付きの Ubuntu BOX ならなんでも使えるはず。 材料 センチュリー ドライブドア SATAボックス5BAY EX35ES5 日立GST Deskstar 7K2000 (2TB/SATA3G/7200rp
MySQLに限った話ではないが、データベース管理システムに大量のデータを投入するのは時間が掛かり大変苦痛を伴う作業である。劇的に効能があるわけではないが、MySQLを利用しているとき、特にInnoDBを使っている場合にはデータの投入を高速化するためにいくつかテクニックがあるので紹介しよう。皆さんの作業時間が短縮され、少しでも早く帰路に着いたりサービスインさせたりという形でお役に立てれば幸いである。ちなみに、タイトルはネタであるのだが、もし本当に3秒で以下の全ての設定を行えた人が居たら教えて頂きたい！ ログファイルサイズの調整データ投入時に限った話ではないが、ログファイルサイズを調整するのは更新性能にとって非常に重要なファクターである。バッファプールのサイズが重要なことに代わりはないが、同じぐらいログファイルのサイズも重要である。InnoDBはログファイルを使い切ってしまうと、バッファプール
TL;DR 「オペレーティングシステム？知ってるよ。WindowsとかMacのことだよね」というぐらいの知識だった私が、二週間ほどひたすらWikipediaでインプットしまくったクソ浅い情報を共有します。 最初の動機 「Go言語が対応しているアーキテクチャってなんだろ？」 Go言語には環境変数をコンパイラに渡すことで、出力されるバイナリの対応するOSとアーキテクチャを変えることができます。 GOOS がオペレーティングシステム(OS)、 GOARCH がアーキテクチャです。 こんな感じにビルドすると、 linux というオペレーティングシステムで、 ppc64 というアーキテクチャに対応したバイナリが出力されます。 なるほど。 じゃあ、 Go言語が対応しているOSとアーキテクチャって何があるの？ と疑問が湧いてきますね。 その疑問に応えるコマンドが go tool dist list です
EXT4 vs XFS vs Btrfs vs ZFSをfioでベンチマークを取ってみました。 - Qiita
概要 CentOS7のデフォルトのファイルシステムがXFSとなりました。 mkfsコマンドでも、minix, xfs, btrfsが使えるようになりました。 そこで気になるファイルシステムを色々調べ、ベンチマークを自分なり取ってみました。 多少なりともご参考になればと思います。 色々なファイルシステム こちらをご参考ください。 http://qiita.com/sion_cojp/items/c8e015db39ddbf43012e それぞれファイルシステムを作ってみる 今回の環境は CentOS6（ホスト） 4Core, MEM:32G, HDD:300G CentOS7（ゲスト。こちらで計測しております。） vCPU *1, MEM:4G, HDD:40G 容量が少なかったため、btrfsのベンチマークが終わった後、zfsにファイルシステムを変更し検証をしております。 ### zfsの
このページはフリーソフトウェアファウンデーションのライセンシング&コンプライアンス・ラボによって保守されています。FSFへの寄付を行って、わたしたちの仕事を支援してください。ここに答えられていない質問がありますか? わたしたちのほかのライセンシングの資料を確認してください。または、こちらのコンプライアンス・ラボのメールlicensing@fsf.orgに連絡ください。 わたしたちは、ライセンスをいくつかの重要なポイントによって分類します。 それが自由ソフトウェアライセンスと言えるか。 それがコピーレフトのライセンスであるか。 GNU GPLと両立するかどうか。とくに記述がない限り、両立ライセンスはGPLv2とGPLv3の両方に両立性があります。 そのライセンスによって、現実的に何か特定の問題が生じるか。 よく出くわす自由ソフトウェアライセンスをほとんどこのページに挙げられるよう努力しますが
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS : 404 Blog Not Found
2011年06月19日23:30 カテゴリTipsiTech 備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS HP ProLiant MicroServer ヒューレット・パッカード Amazonで24,800円だったので半周遅れぐらいで買ってみた。 いいね! コバQことCobalt Qube復活した感じ。 とはいえ、ある程度工夫しないとFreeBSD + ZFSでは使いづらい。半周遅れだけあって、すでに先人の苦労の後を追検証していくだけでよかったのだけど。 hp proliant microserver freebsd - Google 検索 追加部品 PC3-10600 DIMM 4GB x 2枚セット 8GBで6000円ちょっと?そんな価格で大丈夫か? USBメモリ(高速タイプ) これが起動「ディスク」。右のようにして使う。8GBがちょうど
2009/06/02 サン・マイクロシステムズが2009年夏にも提供を開始するクラウドサービス「Sun Cloud」の概要が見えてきた。同社のクラウドサービスはOpenSolarisベースの仮想環境で、Amazon EC2/S3に相当するサービスを提供するものだ。計算リソース（OSやアプリケーションなどのソフトウェア実行環境）を提供する「Sun Cloud Compute Service」とストレージサービスの「Sun Cloud Storage Service」で構成する。 価格などまだ不明な点は多いが、技術情報は徐々に出てきている。例えばストレージサービスに関してはWebDAVやAmazon S3互換のRESTful APIでアクセスできることが明らかにされているほか、APIのドキュメントやJavaで書かれた管理コンソール、PythonやRuby向けのライブラリが公開されている。スクリ
Forget building your own custom docs platform. With GitBook you get beautiful documentation for your users, and a branch-based Git workflow for your team.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
漢(オトコ)のコンピュータ道: MySQLを高速化する10の方法
Dockerの本番運用 | POSTD
6万ミリ秒でできるLinuxパフォーマンス分析 | Yakst
)
6万ミリ秒でできるLinuxパフォーマンス分析 | Yakst
世界のタブー・語られない謎:哲学ニュースnwk
時系列データベースに関する基礎知識と時系列データの符号化方式について - クックパッド開発者ブログ
大人のためのInnoDBテーブルとの正しい付き合い方。
「RAIDを過信してはいけない」、データのバックアップやRAID復旧についてHDDのプロに聞いてみた
「さくらのクラウド」障害多発で無償化、課金できる品質に達していないため
いい機会だし自宅サーバの現状を整理してみる - ラブライブ駆動開発
PostgreSQLは20年間どのようにfsyncを間違って使っていたか - 聴講メモ -
「攻撃的な言動の多い人は自分がどれだけ周囲から大目に見てもらっているか気づかない」の金言を読んで自戒する流れ
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
FreeNAS: The Free NAS Server - Home
ZFS - スナップショットいつやるか?今でしょ! - Qiita
「2年前に製造されたRAID機器は要注意」データ復旧業者に聞く2013年のRAID機器障害予測
Dockerfile のベストプラクティス — Docker-docs-ja 1.9.0b ドキュメント
Linuxのハードウェアに関する詳細情報を取得する『Inxi』コマンド | 俺的備忘録 〜なんかいろいろ〜
最近のmacOSでは一瞬でファイルがコピーできるという話 - Qiita
クラウド型ストレージ「Amazon S3」は安いか？
さよなら、愛しのFreeBSD｜力武 健次 / りきたけ けんじ｜note
Linus Torvalds、HFS+に激怒
I, newbie » バックアップならBaculaでしょ
Docker: Linuxコンテナを使ってアプリケーションの配置を支援する
2016年注目していきたい技術 | κeenのHappy Hacκing Blog
たった3秒でInnoDBのデータローディングが快適になるライフハック
11種類のオペレーティング・システムについてまとめてみた - Qiita
さまざまなライセンスとそれらについての解説 - GNUプロジェクト - フリーソフトウェアファウンデーション
飲酒で顔真っ赤になる人は「コロナにかかりにくい」 佐賀大が研究：朝日新聞デジタル
サンのクラウドは、Amazon EC2とどう違うのか？ － ＠IT
How to ZFS · GitBook (Legacy)