タグ

ブックマーク / blog.livedoor.jp/sasata299 (9)

  • 僕が Amazon Elastic MapReduce を使わない3つの理由 - (゚∀゚)o彡 sasata299's blog

    2010年04月20日22:46 Hadoop 僕が Amazon Elastic MapReduce を使わない3つの理由 【追記】 この内容は古いです。最近はEMRを利用してます。つ 961万人の卓を支えるデータ解析 僕は日頃から Hadoop さんを使って(あと EC2 と S3 も使ってます!)色々ごにょごにょすることが多いんですが、EC2 上で Ruby でスクリプト書いて使ってるよーと言うとよく言われるのが、 「何で Amazon Elastic MapReduce 使わないの?」 という質問です。今までこれに個別に答えてたりしたんですが、めんどくさいので一度ここにまとめておきます。以前、Elastic MapReduce を実際に試してみたんですが、そのとき感じたメリット・デメリットはこんな感じです。今はそうじゃないよ!とかあったらごめんなさい>< ★ メリット ・Hado

  • MySQLで "SQL_AUTO_IS_NULL = 0" じゃないと、IS NULLで検索されたときにエライ目に遭うという話 - (゚∀゚)o彡 sasata299's blog

    2009年06月09日23:48 MySQL Perl MySQLで "SQL_AUTO_IS_NULL = 0" じゃないと、IS NULLで検索されたときにエライ目に遭うという話 先日、Catalystアプリを作っていたとき、データの新規作成と編集を同じメソッドで処理していて、このようなコードを書きました。 my $rs = $c->model('DBIC::Hoge'); $rs->update_or_create( { id => $id, # primary key name => $name, }, {}, ); hogeテーブルはこんな感じ。 +-------+--------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +----

    masa_matya
    masa_matya 2011/07/09
    select * from tbl where auto_co is NULL すると、直近のAUTO_INCREMENT値を含む行を検索する。なるほど、これはハマリそうですね…
  • 「NoSQLデータベースファーストガイド」を執筆しました - (゚∀゚)o彡 sasata299's blog

    2011年04月28日19:00 NoSQL 執筆 「NoSQLデータベースファーストガイド」を執筆しました 最近あまりブログを書けていなかったわけですが、実は初めての執筆をしていました。こちらです!でで〜ん!!(*゚∀゚)っ NoSQLデータベースファーストガイド NoSQLデータベースについて書かれた 国内初 の入門書です!(多分) 最近では NoSQL というキーワードがバズワードになりつつあり、「いったい NoSQL って何だろう?」とか「リレーショナルデータベースとどう違うの?」と疑問に思われている方も多いのではないかと思います。が、勉強しようにも最初の一歩を踏み出すのってなかなか大変ですよね。何かいっぱい種類があるし。そこで、書をきっかけとしていただけたら、、>< NoSQLデータベースは細かいチューニングを行い「リレーショナルデータベースでは扱えないような大規模な処理を扱

    masa_matya
    masa_matya 2011/04/29
    おめでとうございます!今日買います!
  • MySQLでインデックスを使って高速化するならCovering Indexが使えそう - (゚∀゚)o彡 sasata299's blog

    2009年10月28日09:33 MySQL MySQLでインデックスを使って高速化するならCovering Indexが使えそう Linux-DB システム構築/運用入門 (DB Magazine SELECTION) 著者:松信 嘉範 販売元:翔泳社 発売日:2009-09-17 おすすめ度: クチコミを見る 最近、このを読んでいます。非常に面白いし、参考になります〜。中でもインデックスについての記事が特に興味深かったので簡単にまとめてみます。 前提 ・インデックスは検索性能には効果があるが、更新性能は落ちてしまう ・MyISAM と InnoDB ではインデックスの構造が違う ・インデックスは B+Tree インデックスと呼ばれ、ルート、ブランチ、リーフの階層構造になっている ・インデックスはソートされた状態で作成されている まずは MyISAM と InnoDB でのインデックス

    masa_matya
    masa_matya 2011/02/24
    InnoDBとMyISAMのインデックスの違いについて。MyISAMではランダムアクセスが発生する。InnoDBのセカンダリインデックスも同様。明日松信さん本で詳細を追う
  • perlの波ダッシュの文字コード変換のまとめ - (゚∀゚)o彡 sasata299's blog

    2009年02月22日22:31 Perl perlの波ダッシュの文字コード変換のまとめ perlの文字コード周りはなかなかカオスです。外部エンコードとか、perl内部での文字コードとか、UTF8フラグとか。UTF8フラグ?なにそれ?な人は、こことかここを見てみると良いかも。(・∀・) 基的には外部から入ってきた時点でdecodeして、出力時にencodeしてやれば全て解決するんですが、「〜(波ダッシュ)」と「−(全角マイナス)」だけは特別です。注意が必要なのはこの2パターン。 ① utf8⇔shift_jis ② utf8⇔euc-jp ①については以前、perl utf8→sjisで文字化けという記事で紹介しましたが、encode時に、'sjis'では無くて、'cp932'を指定すればOK。※「〜」とか「−」はsjisには含まれていない文字なのが原因。 今回紹介したいのは②の場合です

  • こんな僕が CPAN Author (一応) になるまで。 - (゚∀゚)o彡 sasata299's blog

    2009年07月25日23:16 Perl こんな僕が CPAN Author (一応) になるまで。 なんか、、とりあえず CPAN に一度アップしてみようと思って、アップしてみました。つまりは CPAN Author ですね!! Tatsuya "sasata299" Sasaki - search.cpan.org 大事なこと書き忘れた!今回作った Lingua::JA::Halfwidth っていうのはケータイとかで使われる半角文字( ア とか バ とか ー とか)かどうかを判定してくれるモジュールです。perlの正規表現でUnicodeブロックを使う でも書いたんですけど、Unicodeブロック便利なのに半角カナに対してはちょっと不便なんですよね。。それで今回 Lingua::JA::Halfwidth っての作ってみました。これは半角カナだけじゃなくて、半角の句読点とか括弧も

  • perl utf8→sjisで文字化け - (゚∀゚)o彡 sasata299's blog

    2008年07月25日23:32 Perl perl utf8→sjisで文字化け 以前のEncodeモジュールの話に関連した話なんですが、 今日、ある症状が出て困っていました。utf8を、sjisにした際に「〜(波ダッシュ?)」や「−(全角のマイナス)」が文字化けしてしまったのです(;´Д`) とりあえずその場は「Unicode::Japanese使えば大丈夫だよ」と教えていただいて対処したんですが、どうにも府に落ちなくてちょっと調べてみました。そしたらありましたよ、解決策が.。゚+.(・∀・)゚+.゚ もともと、 encode('shift_jis', decode_utf8($str)); こんな感じでutf8からshift-jisに変換していました。これを encode('cp932', decode_utf8($str)); とすることで、無事文字化けすることなく変換できました。

    masa_matya
    masa_matya 2010/11/04
    cp932,MacJapaneseに注意
  • LinuxでRubyな環境でExcelを作る方法 - (゚∀゚)o彡 sasata299's blog

    2009年12月10日23:34 Linux Ruby LinuxRubyな環境でExcelを作る方法 それ spreadsheet ライブラリを使えば出来るよ!!(=゚ω゚)ノ というわけで、全然知らなかったですが Linux 上でも普通に Excel ファイルを作れるんですねぇ。。Windows 上で win32ole ライブラリとか使わないと出来ないもんだと思ってました。今回紹介する方法では、spreadsheet というライブラリを使うのでまずはさくっとインストールします。 sudo gem install spreadsheet で、使うときはこんな感じです。ちょこちょこいじってますが、参考まで。 # excel_base.rb module ExcelBase require 'rubygems' require 'spreadsheet' Spreadsheet.clien

  • vimを使うべき8つの理由 - (゚∀゚)o彡 sasata299's blog

    2009年02月06日00:13 vim vimを使うべき8つの理由 流行りそうなタイトルに変えてみましたww 僕はviが好きです。ということで、そろそろ.vimrcを晒しておくかと思ったんですが、よく考えたらすでにここに置いてありました>< ・・まぁせっかくなので、気に入っている設定を8つ紹介しますw viを使いたいけどよくわからない。という人の助けになれば嬉しいです。まずは.vimrcの設定からお気に入りを4つ。 ① ファイルの前回閉じたときの場所を記憶してくれます。 if has("autocmd") autocmd BufReadPost * \ if line("'\"") > 0 && line ("'\"") <= line("$") | \ exe "normal! g'\"" | \ endif endif ② ファイル作成時に、指定したファイルから雛形が出来上がります。

  • 1