タグ

ブックマーク / blog.katsuma.tv (6)

  • blog.katsuma.tv

    HiveでのSQLことHQLの小ネタ。HQLでは基的にSQLはほぼ完璧に利用できますが、たまにハマりポイントもあります。その1つが並び替えのORDER BY。 ORDER BYとSORT BY HQLの文法的にORDER BYは有効ですが、実際は並び替えは行われません。(無視されているような感じ)Hiveでは代わりに「SORT BY [column]」を利用することになります。 ただし、ここでも罠があって、SORT BYは結果がreducerの数に依存します。(各reducerがsort処理をしたものがマージされるものになるので、全体としてはおかしな結果を得ることになります) 通常、reducerは複数走っているはずなので、結局SORT BYを利用してもORDER BYと同等の結果を得ることができません。 では、どうするか?と言うと明示的にreducerの数を1に指定してからSORT B

    nilab
    nilab 2020/05/22
    Hive QL(HQL)でORDER BYするときの注意点「SORT BYは結果がreducerの数に依存」「各reducerがsort処理をしたものがマージされる」「明示的にreducerの数を1に指定してからSORT BYを実行」「set mapred.reduce.tasks=1;」
  • blog.katsuma.tv

    itunes-client って何? rubygems.org katsuma/itunes-client itunes-clientはローカルのiTunesの操作を簡単に扱う高レベルなAPIを提供するgemです。たとえばトラックの操作はこんな感じで行えます。 背景 似たようなことを実現するものとして、AppleEventをラップして高レベルのAPIを提供するrb-appscriptや、それを利用したiTunes専用のライブラリrb-itunes などがあります。ところが、iTunes10.6からSandboxが加わることで、これ系のライブラリは全部動作しなくなりました。 で、対応方法としてAppleScriptを介すことで回避はできるのですが、taifuやmusicalを書き直してる中で、何度も同じようなコードを書き続けているので、分離して管理したほうが実装しやすいなと思い、今回分離して

    nilab
    nilab 2013/06/09
    iTunesの操作をラップするgem、itunes-clientをリリースしました - blog.katsuma.tv : 「itunes-clientはローカルのiTunesの操作を簡単に扱う高レベルなAPIを提供するgemです」
  • blog.katsuma.tv

    いろんなBlog巡回してると、どこもかしこもgit, gitなのでアカウントだけ作って放置してたgithubで昔に書いたちょこちょこしたコードをコミットしてみました。 github/katsuma katsuma / mt-delicious-bookmark-counter katsuma / flickr-gadget katsuma / sbm-comment さすがにはじめてのgitは戸惑うことばかりだったので、メモを残しておきたいと思います。 gitのインストール 作業OSはMac OSXです。ソースからもインストールできますが、管理しやすいようにMac portsでインストールしてしまいます。 sudo port -d sync # 同期 port search git # cogito, git-core, stgit, cgitあたりがあるはず. git-coreを選択 p

    nilab
    nilab 2012/12/27
    はじめてのgithub - blog.katsuma.tv
  • blog.katsuma.tv

    身内で勉強会のようなものを行う機会があったので、amachangのJavaScriptによるプレゼンテーションライブラリのS6を利用してみました。 すぐに直感的に利用できる部分もある一方で、スタイルの反映のさせ方でハマった点もあったんで、そのあたりをまとめておこうと思います。 ファイル構成 S6のファイルはamachangのプレゼンページからソースが取得できます。たとえばここから。(まとまった公式ページってどこかにあるのかな?)S6体のJavaScriptは、ページングやアクション処理などがまとまって定義されています。「右ボタン」で次のページ、「左ボタン」で前のページに戻る、などのイベント処理はHTMLの方で記述されています。 スライドを作っていくには、体のS6自体に手を入れることは必要なく、HTMLにどんどんスライド内容と、必要があればエフェクト処理とスタイルの設定を追記していきます

    nilab
    nilab 2010/11/12
    プレゼンテーションライブラリS6の使い方(入門編) - blog.katsuma.tv
  • blog.katsuma.tv

    greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。(誤字、脱字、内容に誤りを含むものなどありましたらお伝えください)また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん   groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem

    nilab
    nilab 2009/02/22
    Key-Value Store勉強会に行ってきました - blog.katsuma.tv
  • blog.katsuma.tv

    もう、いろんなニュースサイトで言われていますが、 Yahooからページパフォーマンス計測ツールの「YSlow for Firebug」が リリースされました。Firebugをインストールしている上で、YSlowをインストールすると、Webサイトの高速化を行うためのポイントと、 現状についてのポイント表示を行ってくれます。 これ、実際に試してみるとよく分かるのですが、いかに工夫をしていないサイトは、改善の余地があり余っているか。。 ほんと身を引き締められます。ちなみにYSlowでは次の項目をポイントに挙げています。 Make Fewer HTTP Requests Use a Content Delivery Network Add an Expires Header Gzip Components Put CSS at the Top Move Scripts to the Bottom

    nilab
    nilab 2007/07/31
    YSlow対策でmod_deflateを利用してHTTPレスポンスをgzip圧縮 - blog.katsuma.tv
  • 1