2014年05月19日10:17 Git gitの歴史上からpasswordを完全に削除したい git で管理しているプロジェクトで「あっ、しまったパスワードが紛れ込んでしまった…!」みたいなことがあって「どうしたらいいんやー><」と思っていたんですが、git filter-branch という最強のコマンドを使えばなんとかなるんですね。 今回は PASSWORD という文字列を含む行を git の歴史上から完全に削除するというのをやってみました。sed -e '/xxx/d' が xxx という文字列を含む行を削除 (delete) するコマンドです。 git filter-branch --tree-filter "find . -type f -exec sed -i '' -e '/PASSWORD/d' {} \;" そうすると PASSWORD という文字列を含む行の痕跡が奇麗
「BigQueryは120億行を5秒でフルスキャン可能」は本当か? 先日、kaheiさんがGoogle BigQuery(Googleクラウドの大規模クエリサービス)について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。(Fluentd Meetupでの)プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる(これ、記憶がちょっとあいまい。もう少しかかったかも)。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
できればシェルスクリプトなんて書きたくないんだけど,まだまだ書く機会は多い.シェル芸やワンライナーのような凝ったことではなく,他のひとが使いやすいシェルスクリプトを書くために自分が実践していることをまとめておく. ヘルプメッセージ 書いてるシェルスクリプトが使い捨てではなく何度も使うものである場合は,本体を書き始める前に,そのスクリプトの使い方を表示するusage関数を書いてしまう. これを書いておくと,後々チームへ共有がしやすくなる.とりあえずusage見てくださいと言える.また,あらかじめ書くことで,単なるシェルスクリプトであっても自分の中で動作を整理してから書き始めることができる.関数として書くのは,usageを表示してあげるとよい場面がいくつかあり,使い回すことができるため. 以下のように書く. function usage { cat <<EOF $(basename ${0})
おいでやす、くしいどす。 さあさあ!様々なインターネット系な企業のオフィスを紹介しまくっているこの行ってきたシリーズもなんと79記事目!このシリーズで結構人気なのが「引っ越したらしい」で再訪するパターンのやつだ!というわけで今日はそれです。 前回お伺いした時は、あまりの凄さに「カッコいい!」「音楽好きにはたまらん!」と話題だったフリークアウトさん。ドドーンとオフィス移転されたそうなので早速お邪魔したわけですけども、まずは前回の表参道スタジオの様子をご覧ください。 ▼株式会社フリークアウト に行ってきた! ねー、ほんと。凄いですね。前回は表参道スタジオで今回はどうなっちゃったのかなーと会社概要みたら奥さん、あなた、ちょっと!どうするのこれ!「新本社 ヒルズ ガレージ」て!ガレージいうたらぐーぐるの創業のあれのこれが伝説のあれでドーンのあれでしょ?いわゆるあれでしょ。まぁよくわかってないから行
ある特定のテーブルに対するレプリケーションの遅延時間が、ここ数ヶ月間どんどん長くなり、場合によっては10分以上(!?)という状態になっていて困っていました。 データ量や更新頻度は、テーブルを作成した時とほぼ同じなのにどうして!と思って調べていました。 OPTIMIZE TABLEコマンドが使えそう 該当のこのテーブルは、他のテーブルと比較して、以下のような特徴があります。 データ量は多い INDEXデータサイズも大きい 更新頻度もかなり多い このあたりが、レプリケーション遅延に影響しているのだろうと思い、調べていると以下のような情報を見つけました。 optimize tableでテーブルを最適化するだけでMyISAMはパフォーマンスが格段にアップするらしい(特にデータ更新が頻繁なテーブルの場合)。 MySQLとオープンソースに捧げる毎日:MySQLの管理など - livedoor Blog
This document summarizes the Ameba and Neutral Technology Group's Patriot and Stinger big data platforms. Patriot is based on Hadoop and Hive and allows analyzing log data through a web UI and Hue. It loads data from MySQL into HDFS and analyzes it with HiveQL. Stinger collects log data with Flume agents and stores it incrementally in HBase for real-time analytics of hourly and daily metrics throu
ちなみに Matplotlib はおそらく2次元グラフィック用の Python パッケージの決定版です。高速なデータの可視化手法や出版品質の図を多くのフォーマットで提供します。これから対話モードで matplotlib の機能を調べていきましょう。 ほとんどの状況は対話モードですませることができます。
これらすべてが必要なわけではありません。OS によっては、すでにインストールされているものもあります。 インストール 必要なモジュールを入手したら、それらをインストールする必要があります。OSによって、入手しなければならないモジュールが異なります。ここでは、RedHat Linux 9 を利用して説明します。RedHat Linux 9 ではほとんどのライブラリがインストールされています。以下では、必要なモジュールのインストールのみ記述しています。また、Perl のバージョンが 5.6.0 以上でなければなりません。 インストールはスーパーユーザーで作業 GD Perl モジュールのインストール # gzip -dc GD-1.41.tar.gz | tar xf - # cd GD-1.41 # perl Makefile.PL ... Build JPEG support? [y] <
R で自動作図 どんな絵でも,何十回でも,何百枚でも 竹中明夫 (国立環境研) プログラミング環境 +実行環境 統計解析関数群 描画関数群 プログラム作図のすすめ まずは描いてみる 高水準作図関数と低水準作図関数 繰り返し作業をプログラムで 画像の保存 × Rのプログラムで絵が描けるよう になる ○ Rのプログラムで絵が描けそうな 気になる ◎ Rのプログラムで絵を描きたくなる この話の目指すところ やる気にさえなれば,世の中に はさまざまな情報がある. 0 5 10 15 20 25 30 0 5 10 15 20 25 30 Amount of job Required efforts 楽 苦労 楽をするための苦労は惜しまない 手作業 プログラム プログラミングの心構え 作図プログラムを書いて しまえば… • 多量のデータでも片っ端から同じ 形式でグラフ化できる • デザインをちょっと
@yukihrに聞いて衝撃を受けた設定。 人類が有史以来cmd-qによって失った生産性の低下はcrontab -rと合わせると第二次世界大戦に匹敵すると言われています。 何故頻繁に使うcmd-wの横に破滅的なキーを置くのか。crontab -eの隣に置くのか。(Dvorak民大勝利とかいってるそこのあなた。人類全体のことを考えなさい!)これは人類にとっての損失です。 そこで手軽にその悲劇を防ぐ方法が発明されました。 spotlightをcmd-qに割り当てましょう。 spotlightの設定画面からやろうとしてはいけません。cmd-qを押したら設定Windowが閉じてしまうからです。あー忌々しい。 KeyboardのShortcutの設定からならWindowを閉じることなく設定できます。 ついでにIDEで補完に使われることの多いC-Spaceも空いて一石二鳥! God bless you.
【インタビュー】世界最大級のアバターコミュニティサービスへと成長した『LINE PLAY』人気の起爆剤とは。同作を統括するLINE執行役員の佐々木大輔氏に聞く 先日、LINEが提供するアバターコミュニティサービス『LINE PLAY』が、全世界1,500万ユーザーを突破した。本サービスは2012年11月21日にオープンして以降、サービス公開から1年で、日本国内のみならず世界210の国と地域で利用され、世界最大級のアバターコミュニティへと成長。さらに2014年4月には、大規模(20人同時)アバターチャットが楽しめる新機能「スクエア」の提供も開始され、さらなるユーザー間での交流で賑わいを見せている。 そこで本稿では、『LINE PLAY』の運営を統括するLINE執行役員の佐々木大輔氏に、本サービスの現状をはじめ、今後の機能拡充や海外展開、そしてアバターサービスにおける可能性など、様々な視点から
これみて思い出した。 私はブラインドタッチが出来ない - はてな村定点観測所 僕も昔は右手のホームポジションが右に一個ずれてた我流で、たまに手元見ながらタイピングしちゃう癖があったんだけど、HHKB無刻印にしたら綺麗なフォームになってたので、ちゃんとタッチタイピングしたい人はHHKB無刻印使うといいと思う。 PFU Happy Hacking Keyboard Professional2 墨/無刻印 英語配列 USBキーボード 静電容量無接点 UNIX配列 WINDOWS/MAC両対応 ブラック PD-KB400BN 出版社/メーカー: PFU発売日: 2006/03/23メディア: Personal Computers クリック: 192回この商品を含むブログ (23件) を見る HHKB無刻印炭、たしか前職で @shishi4tw が使ってるのみてあーこれカッコイイと思って買ったんだけ
2014年5月18日、ベルサール西新宿にて行われたJJUG CCC 2014 Springにて発表させて頂いたプレゼンの資料です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く