Apache HiveにおけるJSON連想配列処理の最適化 - mixi engineer blog
あけましておめでとうございます． 平野啓一郎著「葬送」がようやく読み終わった技術部の石川有です．ショパンの死を題材とした内容が難解で重く，すべて読み終えるのに都合５ヶ月ぐらい掛かっていたのではないかと思います．本当にとても重い内容ですが，濃厚で至福な時間を過ごせました． さて「重い」と言えば，「大規模データ解析」という言葉が頭に思い浮かびますよね．以前の記事「mixi の解析基盤とApache Hive での JSON パーサの活用の紹介」の通り，ミクシィの解析基盤として Apache Hive を利用しています． また Apache Hive で"No More 「刺身の上にタンポポをのせる仕事」 - 単純作業の繰り返しで開発者の時間を浪費しないために。"を実現するための Hive の JSON パーサを活用しています． 新年最初のエントリーは，Apache Hive で JSON 連想
Hadoop Conference Japan 2011 参加メモ - 科学と非科学の迷宮
私の記事は個人的なメモで、間違った部分も多いため関連リンクを併読することをおすすめします。 特に今回は twitter と並行して読み書きしてたので、結構書き漏れてる箇所多いです。 網羅性とか正確性は期待しないように。 概要 イベント名 Hadoop Conference Japan 2011 URL http://hadoop-conference-japan-2011.eventbrite.com/ 日時 2011/02/22 11:15 - 18:00 場所 NTTデータ本社ビル内 カンファレンスルーム 関連リンク twitterハッシュタグ #hcj2011 Ust http://www.ustream.tv/channel/hugjp http://www.ustream.tv/channel/sonwupao-live Togetter http://togetter.com/
HDFSの読み書き - kikumotoのメモ帳
Hadoop を設定できたので、Java からHDFSにファイルを置いたり、HDFSからファイルを読み出したりする方法をメモっておく。 以下で、大きく分けて２種類の方法を書いているけれど、共通な点としてまず、Configuration クラスのインスタンスを用意しておくというのがある。これはクラスパス上から core-site.xml を読む込むようになっている。 これも含めて、クラスパスには core-site.xml を含むディレクトリへのパス hadoop-0.20.0-core.jar commons-logging-1.0.4.jar を指定することがが最低限必要なもののようである。 ローカルファイル名を指定した読み書き HDFSへの書き込み ローカルファイル名とHDFS上のファイル名を指定して、HDFSに書き込む場合は FileSystem.copyFromLocalFile
けろけろCoder:JavaからHDFSへの読み書きサンプルコード
2013年12月01日 JavaからHDFSへの読み書きサンプルコード 初めてHDFSを使うにあたって読み書きのテスト。 No FileSystem for scheme: hdfs とかいうエラーが出る時は、hadoop-hdfs.jarがクラスパスに入っているか確認。 Hadoopをインストールしているホストでの実行は # hadoop jar HelloHDFS.jar 等とすればいい。 書き込みに参考にしたページ： http://stackoverflow.com/questions/16000840/write-a-file-in-hdfs-with-java ============================== import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.Input
HiveのThriftサービス覚え書き – OpenGroove
前回の投稿に絡むネタなのだが、どうもHiveのリモートメタストアとThriftサービスの相関が今一理解できていないので自分用にまとめてみる（ついでに、メタストアサービスとメタストアDBは違うものだということにさっき気づいた）。 以下、HiveにおけるThriftについて「プログラミング Hive」(O’REILLY) 16章より引用（若干表面的な言い回しを変えてある）。 Hiveにはひとつのポートを通じてHiveにアクセスできるようにしてくれるHiveServer(HiveServer2)あるいはHiveThriftと呼ばれるオプションのコンポーネントがある。Thriftを利用すれば、Java以外の多くの言語を使ったクライアントから、リモートにあるHiveへプログラム的にアクセスできるようになる。 CLIはHiveにアクセスする最も一般的な方法だが、CLIはその設計上プログラムから使うのが
IPSJにJubatusの検証についてのインタビューが掲載されました - Advanced Technology Lab
こんにちは。シニアリサーチエンジニアの中野です。 アドバンスドテクノロジーラボの検索技術担当の守谷氏と私で進めておりました、Jubatusの適用検証についてのインタビューがIPSJ（情報処理学会）/デジタルプラクティスに掲載されました。 主には技術的な話ではなく、新技術のビジネス適用をどうしてゆくか、そのベースになっている考え方などをご紹介する内容ですが、是非ご覧下さい。 ビックデータの活用がビジネスを加速させる、という形はなんとか整ってきた、ではその次は？という流れでリアルタイム処理、Jubatusの適用検証をスタートさせました、という内容です。 ただ、この領域はまだユースケースが無くて苦労した、その(Jubatusの)使いこなしのみならず、どうカスタマ(ここでは賃貸を探すユーザ)の皆さまの価値に組上げるか、この一つの解としてパーソナライズxリアルタイム処理となった、というところにフォー
1万時間勉強するより効果的な学習方法とは？
By Hartwig HKD 1つの物事を学習・習得するには、一心に同じ内容を反復することでしっかりと覚えられると考えられていますが、同じことを1万時間勉強するような一点集中型の学習方法よりも、さらに短時間でしっかりと覚えられる効果的な学習方法が、研究によって明らかになりました。 Ditch the 10,000 hour rule! Why Malcolm Gladwell’s famous advice falls short - Salon.com http://www.salon.com/2014/04/20/ditch_the_10000_hour_rule_why_malcolm_gladwells_famous_advice_falls_short/ ◆集中型学習 By Svein Halvor Halvorsen ほとんどの人は反復に次ぐ反復が有効な学習手段であると信頼を置
JavaScriptのオブジェクト初期化子
JavaScriptでは、オブジェクトをリテラル風に式の中に書くことができる。これは、オブジェクト初期化子(Object Initialiser)とか、オブジェクトリテラル(Object Literal)と呼ばれている。その文法は、{ }の中にプロパティを記述する。 var a = {} ; var b = { PropertyName : AssignmentExpression } ; var c = { A : 1, B : 2, C : 3 } ; プロパティ名とその値のペアを、コロンで区切って指定する。そしてカンマで区切る。 オブジェクト初期化子は、{}内の最後をカンマで終わらせることもできる。 { A : 1, } ; これは、やや気持ち悪い文法だ。 PropertyNameには、識別子と文字列リテラルと数値リテラルを書くことができる。 var x = { // 識別子 Ide
Java8時代の文字列連結変態さんまとめ - きしだのHatena
いろいろな文字列連結のコードを書いた人がいたのでまとめておきますね。 主に変態さん。 とりあえず、基準として、メモリ確保したStringBuilder版 public static String stringBuilderJoinMem(){ StringBuilder s = new StringBuilder(9100).append("["); for(int i = 0; i < strarray.length; ++i){ if(i != 0){ s.append("],["); } s.append(strarray[i]); } s.append("]"); return s.toString(); } 1037ms ということで、まずはbackpaper0さん。比較的常人のコード。 https://gist.github.com/backpaper0/10273558 pu
LINE Developer Conferenceに行ってきた - kuenishi's blog
ふとしたことから LINE Developer Conference の存在を知り、その中の「高可用データベース」という文字列をみて高可用データベースを作っている身としては黙っていられないので行ってきた。喉がかわいたので水をもらえてよかった。 ひとつめのセッションはLINEのシステム運用。インフラは基本に忠実に、無駄に安いハードウェア買って困るくらいならそこそこの値段でいいヤツ買います、ソフトウェアも同様、必要なところでは VMware vSphereやOracleを使いますといった感じだった。やはりメッセージングなのでバーストトラフィックがあるらしく、それのせいでスイッチのパケットバッファが普通に溢れてパケ落ちが発生するらしい。ふつうのTCP/IPならその後の再送はランダムに時間置いて飛ぶはずだからそんなに溢れないと思ってたんだけど、TCP周りの設定をいじったらなんとかなりそうな気もする
2014年春版：初心者にお薦めする「本当にゼロから統計学と機械学習の基礎を学ぶ」ための6冊 - 渋谷駅前で働くデータサイエンティストのブログ
前回リストの記事から半年ぐらい経ちましたよー、ということで初心者向けに関しても書籍リストをアップデートした最新版のリストをお送りします。あまり中身が変わってないかもしれませんが、かぶっている本は良い本だということで（笑）。 ところで、昨年秋に比べると「これから統計学・機械学習について学びたい！」という人たちの動機が変わってきているような気がしなくもないんですね。以前は主に「エンジニアでこれからデータ分析について学びたい」という層が多かったんですが、最近になって「営業や企画をやっているんだけど数字を見る際にデータ分析とか知っていると良いことがありそう」という層が増えてきているように見聞します*1。 そういう意味で言うと「エンジニア向けの本を推薦するのが必ずしもベストとは限らない」という側面もありそうなんですが、それは次回までの宿題ということで、今回も基本的にはエンジニア向けの本を一旦揃えてみ
多段SSHの設定を.ssh/configにまとめる - Qiita
概要 踏み台サーバを経由した多段SSHの設定をconfigにまとめる方法 接続するマシンは、WANやゲートウェイ内のネットワークのいずれにも属する可能性があると想定(ノートPC等) ネットワーク図 図のようにゲートウェイ経由でしかアクセスできないネットワーク内にさらにゲートウェイがあるネットワークを想定 単純な多段SSHの書き方 host gateway HostName sshgate.hoge User hoge Host RemoteHost-out HostName RemoteHost User fuga ProxyCommand ssh -W %h:%p gateway 上記の設定を~/.ssh/configに書いた後、 ssh RemoteHost-out でgateway経由でのアクセスが可能 複数に同時に設定を適応する場合 .ssh/configには複数の設定をワイルドカ
Google Chrome 新タブで表示される、「良く訪れるサイト」のサムネイル画面表示機能を停止する方法 - アルケミスタの住人
最近の Chrome のバージョンアップで、新しいタブを開いた時に、今までよく訪れているサイトのサムネイル画面が表示されるようになりました。 ただし、この機能めちゃくちゃ面倒くさい！ ノートパソコンで、お客さんと打ち合わせを行っている時や、説明マニュアルや、Ustream の生放送、セミナーなどで画面を見せてデモを行う際に自分がどのようなサイトを良く訪れているかが一目瞭然。 テストサイトや違うお客さんの開発中画面を見せちゃうと大変です。 ■ Chrome Web Store で下記の拡張Appsをインストール 【更新 2014/2/23 11:34am】 Google Chrome が最新アップデートで、この記事で紹介していた 「Instant Extended API」の無効化オプションを削除しました。Google の公式フォーラムの Google 社員の投稿によると、下記のエクステンシ
オブジェクト指向設計原則 - Strategic Choice
原則について優れたオブジェクト指向開発のための指針。ただ、、、原則は原則。必ず守らなければならないのではなく、まずそれで考えることが重要。逸脱したとしても正当な理由やトレードオフが説明できればよい。一覧単一責任の原則（SRP）オープン・クローズドの原則（OCP）リスコフの置換原則（LSP）依存関係逆転の原則（DIP）インターフェイス分離の原則（ISP）参考アジャイルソフトウェア開発の奥義 第2版 オブジェクト指向開発の神髄と匠の技作者: ロバート・C・マーチン, 瀬谷啓介出版社/メーカー: ソフトバンククリエイティブ発売日: 2008/07/01メディア: 大型本 Principles Of Object Oriented Designオブジェクト指向設計＠Syboos.jpオブジェクト指向設計の原則＠それはBooksオブジェクト指向設計原則＠ディノオープンラボラトリオブジェクト指向の法則
Linuxでサイズの大きいファイルを分割する方法
Linuxでサイズの大きいファイルを分割する方法を紹介します。 １．はじめに データのバックアップなどをサーバ上で収集したあとローカルPCに保存する際、FTPなどを使ってダウンロードしますが、サーバによってはダウンロード中にエラーになるケースがあります。 ということで、サーバ上のファイルを分割してダウンロード可能なサイズに変更する方法を紹介します。 ２．サイズの大きいファイルを分割する サイズの大きいファイルを分割するにはsplitコマンドを利用します。 たとえば、100MB単位でファイルを分割するには次のようにします。 % split -b 100m -a 3 test.tar.gz test.tar.gz- オプションの意味は次のとおりです。 -b：分割するバイト数を指定。500バイトは「500」、10KBは「10k」100MBは「100m」など -a：分割ファイルに付与する接尾辞部分
`:=` の動作を理解する - Qiita
Go の := は非常に便利なのですが、特に多値を扱うときにハマる可能性があるので、よく理解して使いましょう。 基本 まずは次のコードを見てください。(Playground) package main import "fmt" func main() { a := 1 // a := 2 // これはコンパイルエラー a, b := 3, 4 // a は定義ではなくただの代入 if b := true; b { // この b は if スコープで定義される a, c := 5.5, 7 // これらも if スコープで定義 fmt.Println("a=", a, ", b=", b, ", c=", c) } fmt.Println("a=", a, ", b=", b) } まとめると: := は左辺に最低一つ新しい変数の定義が無いとエラーになる。 ブロックスコープ内で := を使
【機械学習】『コンピュータビジョン最先端ガイド6』はディープラーニングの分かりやすい解説があるのでもっと話題になっていいと思う - 歩いたら休め
グーグルの猫以来、ディープラーニングに興味を持っている人自体は多いものの、（自分も含めて）理解して実装できる人はそう多くないように思われます。 そんな人がステップアップできそうな本がありました。 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) 作者: 藤代一成,高橋成雄,竹島由里子,金谷健一,日野英逸,村田昇,岡谷貴之,斎藤真樹,八木康史,斎藤英雄 出版社/メーカー: アドコムメディア 発売日: 2013/12/11 メディア: 単行本 この商品を含むブログを見る 第四章で東北大学情報科学研究科の岡谷貴之さん、齋藤真樹さんによるディープラーニングの詳しい解説があります。 私もまだほとんど読んでないのでアレですが、ディープラーニングとしてニューラルネットワークが注目された経緯、畳み込みニューラルネットワーク（CNN）やオートエンコーダの詳しい解説、ソフトウェア（The
GT110b その5 ビデオカード、とか - nana1451@たぶん日記：楽天ブログ
2010.07.30 GT110b その5 ビデオカード、とか (5) カテゴリ：PC：安鯖 さて、CPU、メモリの換装とくれば次に気になるのはビデオカードの増設。 Express 5800/GT110bにはPCIex16スロットがあるのでカードorスロットを加工せずとも簡単にビデオカードを挿すことができます。 そう、 挿すだけなら簡単にできるんですよね。 ･･･これまた相性なのか何なのか、各所で報告されているとおり、結構動かないカードが多いみたいです。 その中でもRADEON HD5xxx系はほぼ全滅。 というわけで実際検証。 とりあえず使用するビデオカードは以下の通り。 1.Geforce 8400GS ASUS EN8400GS SILENT/HTP/256M 2.RADEON HD4350 ASUS EAH4350 SILENT/DI/512MD2 3.RADEON HD5450
Linux Storage Filesystem/MM Summit 2014からの便り
Linux Storage Filesystem/MM Summit 2014からの便り：Linux Kernel Watch（1/2 ページ） お久しぶりです、Linux Kernel Watchが帰ってきました。3月に行われた「Linux Storage Filesystem/MM Summit 2014」の主なトピックを紹介します。 皆さん、お久しぶりです。私は今ボストンで、米レッドハット常駐という立場でRed Hat Enterprise Linux（RHEL）開発に携わっています。 今回はサンフランシスコ近郊のナパバレーで2014年3月24～25日に行われた「Linux Storage Filesystem/MM Summit 2014」（以下LSF/MM）の中から面白かったトピックをピックアップしてお届けしたいと思います。 LSF/MMはLinux Foundation主催で行
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
H2 DatabaseとHadoopでHDFS上のパスの変更日時・アクセス日時を設定する関数を作成する
IBM Developer
UbuntuユーザがMacBookを手にしたら - Qiita
技術/shell/bashシェルスクリプトまとめメモ - Glamenv-Septzen.net
「シェルスクリプト」メモ | akimacho blog
http://okanos.com/2008/11/10120000.php
Amazon.co.jp: シリコンパワー メモリモジュール 240Pin DIMM DDR3-1333(PC3-10600)4GBx2枚組 ブリスターパッケージ SP008GBLTU133V21: パソコン
GitHub - filhodanuvem/gitql: 💊 A git query language
文法圧縮に基づく高速クエリー検索法に関する論文を公開しました - Yasuo Tabeiの日記
Amazon.co.jp: GIGABYTE グラフィックボード Geforce G210 1GB PCI-Express GV-N210SL-1GI: パソコン
Amazon.co.jp: SAPPHIRE グラフィックボード HD6450搭載 1G DDR3 PCI-E HDMI/DVI-D/VGA: パソコン