cpで大量のファイルをコピーした（4億3200万件、39TB）
GNUのcpを使って大量のファイルをコピーしたところ、cpの設計上の問題で、極めてコピーが遅かったというお話。 My experience with using cp to copy a lot of files (432 millions, 39 TB) よう。俺は最近、大量のファイルをコピーする必要があったんだが、UNIXは20年もやってきた俺の経験からも、cpの挙動には驚かされたし、俺の意見はコミュニティに共有されるべきだと思う。 環境：古いDellのサーバー（2コア、初期メモリ2GB、追加して10GB、Ubuntu Trusty）と、新しいDellのストレージ格納機(MD 1200)にある、12個の4TBディスクでRAID 6が設定してあって、全体で40TBの要領を持ち、二つのドライブが同時に失敗しても問題ない環境。サーバーは遠隔地バックアップに使われていて、ディスクへの書き込みし
太陽フレアが連続発生、地球に磁気嵐到達へ
国際宇宙ステーション（International Space Station、ISS）から撮影されたオーロラ（2012年1月25日撮影、同年2月8日提供）。(c)AFP/NASA 【9月12日 AFP】米海洋大気局（National Oceanic and Atmospheric Administration、NOAA）は11日、今週立て続けに発生した2つの太陽フレアによって、今後数日間で地球に中規模あるいは大規模な磁気嵐が到達し、無線通信や衛星通信に障害が生じる可能性があると発表した。 この磁気嵐は、8日に発生した小規模な太陽フレアと、グリニッジ標準時（GMT）の10日午後5時45分（日本時間11日午前2時45分）に発生した最強規模の「Xクラス」のフレアが原因。 この珍しい磁気嵐によって、個人用の電子機器に障害が生じる可能性は低いが、12日夜から13日朝にかけて、カラフルな夜間のオーロラ
質問：フルスタックエンジニアを目指すべき？
最近「フルスタックエンジニア」という言葉をよく聞くようになりました。そもそもフルスタックエンジニアって何なのでしょうか？ソフトウェアエンジニアが目指すべき理想像といえるのでしょうか？もしそうだとすれば、どうすればフルスタックエンジニアになれますか？ 回答 こんにちは。グリーでCTO（最高技術責任者）をしております、ふじもとです。このたび、ITproで連載記事を持つことになりました。僭越ではございますが、少しばかりの経験を生かして、ソフトウエアエンジニアの皆さんの悩みにお答えしていきたいと思います。どうぞよろしくお願いします。 さて、第1回の悩みは「フルスタックエンジニア」です…。少し前によく聞きましたねー、最近は落ち着いているようですが。 言葉をそのまま解釈すれば、すべてのTechnology Stack (技術構成要素、とでもいいますか) に精通しているエンジニア、ということになります。
「あなたはデータ分析のアーティスト」、支持を広げる米Tableau Software
米アップルが2014年9月9日（米国時間）、iPhone新製品やApple Watchを発表したころ、シアトルでは、米Tableau Software CEOのクリスチャン・シャボー（Christian Chabot）氏が5000人以上の聴衆を前に、データ分析はクリエイティブなプロセスだと訴え、ある種の興奮を生み出していた。 「現代の社会や組織において、データを駆使する人たちは、クリエイティブな問題解決ができる、もっとも重要な人々として台頭しつつある。こうした人たちのクリエイティブな能力を解き放つことが、現代のビジネス・インテリジェンス戦略における最も重要なゴールだ」。 Tableauの製品は、BIツールに分類されている。だが、必ずしもデータウェアハウスを前提とした、フロントエンドとしての目的しか持たないツールではない。データウェアハウスがなくとも、Excelスプレッドシート、ソーシャルメ
Dockerコンテナ内でsshdを実行してはいけない理由 | POSTD
Dockerを使い始めた人がよくする質問といえば、「どうすればコンテナに入れますか？」です。その質問に対して、「コンテナ内でSSHサーバを起動すればいいよ」と答える人たちがいますが、これは非常にマズいやり方です。なぜその方法が間違いなのか、そして代わりにどうすればよいのかをこれから紹介します。 注：本記事へのコメントやシェアは、 Dockerブログ にアップされた標準版から行ってください。よろしくお願いします。 コンテナでSSHサーバを起動すべきではない …もちろん、コンテナ自体がSSHサーバである場合は除きます。 SSHサーバを起動したくなる気持ちは分かります。それはコンテナの”中に入る”簡単な方法だからです。この業界の人ならほぼ全員がSSHを一度は使ったことがあります。多くの人がSSHを日常的に使用し、公開鍵や秘密鍵、パスワード入力の省略、認証エージェント、そして時にはポート転送やその
みなさまに深くおわびします 朝日新聞社社長：朝日新聞デジタル
朝日新聞は、東京電力福島第一原発事故の政府事故調査・検証委員会が作成した、いわゆる「吉田調書」を、政府が非公開としていた段階で独自に入手し、今年５月２０日付朝刊で第一報を報じました。その内容は「東日本大震災４日後の２０１１年３月１５日朝、福島第一原発にいた東電社員らの９割にあたる、およそ６５０人が吉田昌郎所長の待機命令に違反し、１０キロ南の福島第二原発に撤退した」というものでした。吉田所長の発言を紹介して過酷な事故の教訓を引き出し、政府に全文公開を求める内容でした。 しかし、その後の社内での精査の結果、吉田調書を読み解く過程で評価を誤り、「命令違反で撤退」という表現を使ったため、多くの東電社員の方々がその場から逃げ出したかのような印象を与える間違った記事になったと判断しました。「命令違反で撤退」の記事を取り消すとともに、読者及び東電福島第一原発で働いていた所員の方々をはじめ、みなさまに深く
pecoの基礎の基礎 - Qiita
「pecoってツールらしきものが流行っている」と思いつつ、導入とか難しそうと思って後回しにしていたんですが、気がついたら自分の手元のbash設定ファイルにpecoを使う関数が定義されていたので、改めて初歩からやってみました。 説明に使用しているシェルはお馴染みのbashです。 pecoとは GitHubのpecoのサイト とてもシンプルなツールで 「標準入力から受けた行データをインクリメンタルサーチして、選択した行を標準出力に返す」 コマンドです。 シンプルゆえに様々な組み合わせで効果を発揮します。あらゆる場面での選択肢を標準入力に渡して、選択された結果を標準出力から受け取って加工してコマンド実行をする、というのが基本的な流れ。 説明じゃ伝わらないので実例を体験したほうが早いかも。 peco のインストール pecoで検索すると「pecoはGoでできている」とか出てきて「Goってなんぞや」
Twitter、初のモバイル開発者会議「Flight」開催へ
米Twitterは9月10日（現地時間）、モバイルアプリ開発者向けカンファレンス「Flight」を10月22日に地元サンフランシスコで開催すると発表した。 詳しいスケジュールはまだ発表されていないが、午前10時にスタートする基調講演にはディック・コストロCEOが登壇する。特設ページには、「Flightは開発者による開発者のための集会」で、Java、Objective-C、そして米Appleの「Swift」の利用者向けだと説明している。 参加料は140ドル。会場のビル・グラハム・シビックオーディトリウムのキャパシティは7000人だ 同社はまた、開発者向けサイトを刷新し、資料を探しやすくしたとしている。過去のフォーラムでのやりとりはそのまま残されている。 関連記事 Twitter、“タップで買い物”できる「Buy」ボタン付きツイートを正式発表 例えばフォローしているアーティストによる新曲紹介ツ
炎上事件やネット依存を生む「承認欲求」の暴走、コントロールの秘訣は
本連載では、中学生高校生たち10代の「承認欲求」を何度も取り上げてきた（写真1）。ここで改めて、承認欲求について考えてみよう。 米国の心理学者であるアブラハム・マズローは、人間の基本的欲求を低次から「生理的欲求（Physiological needs）」、「安全の欲求（Safety needs）」、「所属と愛の欲求（Social needs / Love and belonging）」、「承認の欲求（Esteem）」、自己実現の欲求（Self-actualization）」の5段階に分類した。「マズローの欲求5段階説」として知られる考え方だ。 低次が満たされると高次の欲求を求める これによると、人間の欲求はピラミッドのような形をしており、低次の欲求が満たされるとより高次の欲求を求めるようになるという。現代の日本に生きる子どもたちの多くは、下位の三つの欲求が満たされているはず。そして次の段階
米Apache、アプリケーションサーバ「Tomcat」の脆弱性について警告
対象バージョンのTomcatでは、非常に限定された環境においてのみの発生ではあるものの、攻撃者が悪意のあるJSPをアップロードして、リモートから実行可能な脆弱性が発見された。 以下の条件を満たした環境では、脆弱性を利用した攻撃が成功する。 Oracle Java 1.7.0 update 25以前（または、java.ioパッケージにnullバイト攻撃への対策が行われていないJava実装） Tomcat 7.0.0～7.0.3でWebアプリケーションを実行 WebアプリケーションがServlet 3.0のファイルアップロード機能を使用 WebアプリケーションがTomcatプロセスのユーザーによる書き込みを許可（これはTomcatのセキュリティドキュメントでの推奨には反する） カスタムJMX接続（デフォルトでは許可されないJMX接続など）のリスナーを設定しており、Tomcatの一般的なクラスロ
SlideShareやSpeakerDeckでページのパーマネントリンクを作るブックマークレット
SlideShareやSpeakerDeck等で現在表示してるページのパーマネントにURLを書き換えるブックマークレットを書きました。 where-page-in-slide においてあります。 使い方は、SlideShare、SpeakerDeckでスライド表示中にブックマークレットを実行すれば、そのページ数にアクセスできるパーマネントリンクにURLを書き換えてくれます。 slideshare, SpeakerDeck の URL でページ番号を指定するには - わからん を参考に作りました。 かなり雑に現在ページを取得してるのでサイトの構造が変化するとうごかなくなるかもしれません。 その場合はazu/where-page-in-slide にソース公開してあるので修正送って頂けると嬉しいです。 ブックマークレットの仕組み このブックマークレットはBrowserify + bookmar
hello.js - JavaScript API for OAuth2 authentication and RESTful services
hello.js A client-side JavaScript SDK for authenticating with OAuth2 (and OAuth1 with a oauth proxy) web services and querying their REST APIs. HelloJS standardizes paths and responses to common APIs like Google Data Services, Facebook Graph and Windows Live Connect. It’s modular, so that list is growing. No more spaghetti code! E.g. Try out the next version The next version is a modern rewrite of
第6回 エンジニアはチームづくりが下手 | gihyo.jp
今回も前回に引き続いて起業がうまくいかない原因について考えてみたいと思います。 前回は主に事業の成算について取り上げました。儲かる事業を考え出せない、もしくはうまくマネタイズできない、などです。 事業を構成する「アイデア」と「仕組み」 会社の本質、言い換えると中核は事業であるため、一番重要なのは「儲かる事業」を手に入れることになります。この“事業”というのは大きく2つの構成に分けることができます。1つは「ビジネスモデル」、もう1つは「仕組み」です。違う言い方をすれば「アイデア」と「体制」です。 前回の内容は事業の成算の中でも、「エンジニアは良いアイデアを考えるのが苦手だ」と説明しました。ここで言う良いアイデアというのは、たとえば良いWebサービスという意味ではなく、あくまで儲かるかどうかという視点での話です。 儲かるかどうかというのはそれはそれで奥深い話で、自分だけ儲かればいいの
良いウイスキーを作る蒸留所には必ずネコがいる
By TSEP! 死を予知するネコやトレーニング中の飼い主を暗殺しようとするネコなど、世界中にはさまざまなネコがいますが、おいしいウイスキーを作る蒸留所にも必ずネコがいるようです。 Behind Every Good Whisky Is A Trusty Distillery Cat : Parallels : NPR http://www.npr.org/blogs/parallels/2014/09/09/347093135/behind-every-good-whisky-is-a-trusty-distillery-cat スコットランドには、アメリカのカンザス州くらいの広さのエリアに100以上のウイスキー蒸留所が存在します。グレンタレット蒸留所は、そんなウイスキー蒸留所の中でも最古の蒸留所で、なんと1775年に創業して以来休まずに今日までウイスキーを作り続けてきたそうです。 グレ
【Python】GitHub式MarkdownをHTMLに変換し、更にJavaScriptとかの危険なタグを除去しよう - あのねノート。
2014-09-12 【Python】GitHub式MarkdownをHTMLに変換し、更にJavaScriptとかの危険なタグを除去しよう python やり方 Markdownは最高 僕はMarkdownは最も最高なマークアップ言語の一つだと思います。なぜならGitHubが全般的に採用しているからです。この文章も全てMarkdownで記述されています。こうやってブログを書いていられるのもMarkdownが使えるからだと思っています。 普通にマークダウン python-markdownを使います。pip install markdownしてfrom markdown import markdownしてhtml = markdown(raw)でポコンとHTMLが生まれます。 GFMを扱う そして世の中にはGitHub式Markdownというものがあります。GitHub Flavored M
サービス改善とログデータ解析について発表してきました - すずけんメモ
『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』の出版記念イベントで発表してきました。会場を提供していただいたGMOのみなさま、主催のTreasure Data / 技術評論社のみなさま、そして聴きに来てくださった方々、どうもありがとうございました。 http://eventdots.jp/event/137658 各特集の著者によるそれぞれの特集の導入が前半にあり、後半はnaoyaさんとのパネルディスカッションがありました。 サービス改善はログデータ分析から from Kenta Suzuki 養成読本、おかげさまで多くの方に読んでいただいており、嬉しい限りです。僕のところは導入の章ということで、「なぜログの分析をするのか？」という点に絞って発表しました。内容としてはざっくりいうと、 ElasticsearchやFluentdを使いつつも、何をやりたいかによって使うツールは変え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
【後藤弘茂のWeekly海外ニュース】 18コア版Haswell-Eファミリに隠されたIntel CPU進化のトレンド
Elasticsearch DSL