Ruby 1.9上のRailsでinvalid multibyte char (US-ASCII)の対処 - 森薫の日記
Ruby | 02:04 | HerokuにRailsアプリをデプロイしたところ、正常に起動しませんでした。heroku logsで調べたところ、以下のようなログが残っていました。 $ heroku logs 2011-06-23T16:54:29+00:00 app[web.1]: /app/.bundle/gems/ruby/1.9.1/gems/activesupport-3.0.8/lib/active_support/dependencies.rb:239:in `require': /app/app/controllers/contents_controller.rb:31: invalid multibyte char (US-ASCII) (SyntaxError) これはソースファイルに日本語が含まれることが原因でした。ソースファイルに日本語が含まれるときは、ファイルの先
Amebaサービスのログ解析基盤
This document summarizes the Ameba and Neutral Technology Group's Patriot and Stinger big data platforms. Patriot is based on Hadoop and Hive and allows analyzing log data through a web UI and Hue. It loads data from MySQL into HDFS and analyzes it with HiveQL. Stinger collects log data with Flume agents and stores it incrementally in HBase for real-time analytics of hourly and daily metrics throu
Hadoopをより便利に使う！HiveでのMapReduceまとめ - Y's note
目次 Hiveとは Hiveの設定 HiveQL構文(DDL) DataBase/SCHEMAの作成 Database/SCHEMAの削除 Tableの作成 Tableの削除 Table名変更 Partition作成 Partitionの削除 Columnの変更 Columnの追加/置き換え TableのProperty変更 SerDe Propertyの追加 HiveQL構文(SQL) テーブル一覧表示 テーブルの内容を表示 基本的なSELECT文 WHERE句(条件指定) DISTINCT(重複削除) ORDER BY / SORT BY句(ソート) GROUP BY句(グループ化) HAVING句(グループ化後の条件) LIMIT句 JOIN(テーブル結合) 抽出カラムを正規表現で指定 UNION(結果の結合) SUBQUERY LOAD(データの読み込み) Hiveを使う 事前準備
SQLライクにHadoop Hiveを使い倒す!
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
並列分散処理の常識をHadoopファミリから学ぶ
並列分散処理の常識をHadoopファミリから学ぶ：ビッグデータ処理の常識をJavaで身につける（2）（3/3 ページ） 3つの課題に応える「Hadoopファミリ」 関連プロジェクトは、Hadoopが抱える以下の3つの課題に応えたものです。 【課題1】「並列分散処理をもっと簡単に書きたい」 MapReduceをJavaで書く処理はある種のひらめきが必要ともいわれます。特に、SQLで書かれていた処理をMapReduceで書き替える場合、思考の切り替えが必要で苦労することも多いようです。たとえ慣れていても、Hadoopで簡単なデータ加工したい、そのためだけに多くのクラス定義をするのは面倒です。 この難易度を下げるハイレベル言語として「Hive」「Pig」が存在します。どちらの言語もSQLやストアドプロシジャのようなコードを書いて、MapReduceを動かせます。対話型のシェルユーティリティもあり
完全まとめ！Google、細かく改善されたAndroid 4.1 JellyBean正式発表！ - すまほん!!
すまほん!! » ニュース » 完全まとめ！Google、細かく改善されたAndroid 4.1 JellyBean正式発表！ プロジェクト名は”Project Butter”！ Googleが同社製携帯端末向けOS、Androidの最新バージョンであるAndroid 4.1 Jelly Beanを発表しました！ Android 4.1 Jelly Beanは”バターのようななめらかな動作”を目標にして開発され、トリプルバッファリングやVSyncなど様々な技術を投じ、なめらかな動作を実現した、としています。 改善・変更・追加点は以下のとおり。 “Project Butter” – バターのようななめらかな動作 ・グラフィックス・パイプラインのバッファを3倍にし、よりなめらかな描画へ。 ・VSyncタイミングとタッチタイミングを同期し、指の位置を予測することにより指への追従性を向上 “New
芸スポまとめblog : 【サッカー/EURO】スペイン主将・カシージャス「僕らのような一世代下のGKは誰もがブッフォンのようになりたいと思ってきた」 - ライブドアブログ
●【サッカー/EURO】スペイン主将・カシージャス「僕らのような一世代下のGKは誰もがブッフォンのようになりたいと思ってきた」 1 名前：ニーニーφ ★[sage] 投稿日：2012/06/30(土) 22:37:31.63 ID:???0 泣いても笑っても決勝を残すのみとなったUEFA EURO 2012TM（サッカー欧州選手権）は 1日、史上初の連覇を目指すスペイン代表と3大会振りに決勝に進出したイタリア代表が雌雄を決する。 ワールドカップの現王者のスペイン代表と前王者のイタリア代表は、グループリーグの初戦で いきなり対戦し、お互いに譲らず1‐1で引き分けており、決勝は最終決着をつけるに相応しい舞台となる。 またこの試合では、スペイン代表の主将カシージャス、イタリア代表の主将ブッフォンと、 世界屈指の守護神による顔合わせも見逃せない。両者の年齢差はわずか3歳だが、 18歳
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rails 3 validates rule based on action
Hadoop＋Hive検証環境を構築してみる
