PHPPHP 2024-08-11 0 PHP PHP Conference Japan 2010 Sept.25, 2010. Tokyo Rasmus Lerdorf http://talks.php.net/show/phpjp10 Twitter: @rasmus
『Hadoop/Hiveを用いたログ解析基盤の構築』
こんにちは。Amebaのログ解析基盤を担当しているICHIROです。 今回は構築・運用中のログ解析基盤「Patriot」について書きたいと思います。 Webサービスを運営していると日々大量のログデータやユーザデータが蓄積されます。 今まではPV（ページビュー）やUU（ユニークユーザ）などアクセスログなどから取れる、大枠の指標のみを見ることがほとんどでした。 ページビューに合わせてシステムを増強するなど、システム側としては十分とも言える指標ですが、広告や課金サービスという視点から見ると十分とは言えません。 今まではAmeba内の個々のサービス担当者が必要とする指標を出すためにアプリエンジニアやDBエンジニアに都度依頼をする形でデータを抽出していました。 今後の課金サービスの発展が見込まれ、よりデータ分析の重要性が高まると考えた私は、エンジニアでないサービス担当者（主にプロデューサ）がより簡単
MapReduce デザインパターン (1) - めもめも
はじめに この一連のメモは、Data-Intensive Text Processing with MapReduceに掲載されている Pseudo-code を実際に Hadoop で実行可能な Java クラスとして書いてみることを目的としています。 Java のソースコードを掲載するついでに、各デザインパターンのポイントをメモ書きしていきます。 筆者は、Perl 屋さんなので、(MapReduce と関係なく）Java のコードとしていけてない所は、やさしくご指摘下さい。m(_ _)m MapReduce デザインパターンの心 MapReduce で複雑な処理を行うには、Shuffle 処理をいかに活用するかが１つのポイント。 (1) Map の出力の Key に何をつかうか (2) Reduce に渡すデータの分割方法をどうするか の２点をよく考える事で、Reduce がより有用な
Hadoop Cluster Configuration Tips - Datameer Analytics Solution v1.0 - Confluence
Dashboard Datameer Analytics Solution v1.0 … Home Hadoop and DAS Guide Hadoop Cluster Configuration Tips General Configuration Tips Planning Plan to use a centralized configuration management framework once your cluster approaches five nodes. Your approach should include both tools and processes for version control, copying files, and keeping cluster configurations in sync. Plan to use monitoring
私がソフトウェア技術者をやめた理由 - Rails で行こう！
昨日、 人生の転機 - Rails で行こう！ の中で「ソフトウェア作りが嫌いだ」と言い切ってしまったことが引っかかっている。 私の職業生活でもっとも多くの時間を注いだのがソフトウェア作りだ。その作業に対して、実際のところ、好きとか嫌いとか一言で割り切れるはずがない。複雑な感情を持っているというのが正直なところだ。 私の職業プログラマのとしての最大の欠点は、ソースコードに対して強い美意識を持たずにいられなかったところだろう。生来の生真面目な性格が災いし、私の基準で美しいとはいえないソースコードを敵視しすぎた。 簡単な例を挙げよう。 うるう年を計算するアルゴリズムを考えてみる。うるう年とは、「4で割り切れて、かつ100で割り切れない年。ただし、400で割り切れたら、やはりうるう年」である。 def leap_year?(y) (y % 4 == 0) && ((y % 100 != 0) |
アップル、11.6インチのMacBook Airを間もなく発売！ : ギズモード・ジャパン
おまけにお得な値下げ価格に～ 超薄型ノートPCとして大きな話題を呼んだものの、実際の販売台数では低迷していたとも言われるMacBook Airが、ついに2008年のデビュー以来、最も大きなモデルチェンジを遂げてきますよ！ iPadの登場でPCが売れなくなってきた流れを変えることにもなるでしょうかね。 よりコンパクトに軽量化を実現した11.6インチのMacBook Airは、バックライト採用のディスプレイを装備し、インテルのCore iシリーズの超低消費電力プロセッサーを搭載。すでにアップルはQuanta Computerに発注済みでして、年内に50万台が出荷される予定ですよ。 まだアップルからの正式な発表はありませんが、これまで大抵は10月にMacBookの新モデルがアナウンスされてきたことを考えると、このままMacBook Airが何もバージョンアップを遂げることもないまま2011年を迎
パクリと本歌取りの差異 - がるの健忘録
「師の跡を求めず、師の求めたるところを求めよ」。 「古人の跡を求めず、古人の求めしところを求めよ」ってのもあるけど、たぶん、 上のほうがより古いんじゃないかと思われ。思ってるだけなんだけど。 跡を、しかも「粗雑に上っ面だけ」もとめるのが、パクリ。 真摯に敬意をこめて、でも「跡を求めてしまう」のが、二番煎じ。 「求めたるところを求めるために、まずは跡をなぞらってみる」のが、本歌取り。 そんな事を考える今日この頃。
「HTC Desire」向けにAndroid™ 2.2を10月8日より提供 | ソフトバンク
「HTC Desire」向けにAndroid™ 2.2を10月8日より提供 2010年9月24日 ソフトバンクモバイル株式会社 ソフトバンクモバイル株式会社は、Android 搭載スマートフォン「HTC Desire SoftBank X06HT」および「HTC Desire SoftBank X06HTII」（ともにHTC製）向けに、最新のプラットフォームとなるAndroid 2.2を2010年10月8日（金）より提供します。 また、Android 2.2の提供開始にあわせて、同日より「HTC Desire」でS!メール（MMS）を利用可能にする専用アプリケーション「SoftBankメール」※1を、Androidマーケット™を通じて無料※2で提供します。 「HTC Desire」向けAndroid 2.2の詳細は、当社ホームページ（http://www.softbank.jp/mb/pr
PHPカンファレンス2010 1日目ビジネスデイのTwitterログ [C!]
本日第1日目が開催されたPHPカンファレンス2010では、gihyo.jpで行われる速報レポートの執筆担当として運営スタッフに参加しました。すでに、ビジネスデイのレポートはでそろっていますよ！ ・PHPカンファレンス2010スペシャルレポート：1日目，ビジネスデイレポート［随時更新］｜gihyo.jp ... 技術評論社 で、もう燃え尽きちゃった感があるのですが、もう一仕事ということで #phpcon2010 のハッシュタグでつぶやかれたTweetをまとめてみました。多分、後でtogetterとかで丁寧に編集してくれる人がでてくるとは思うのですが、RTだけのTweetを除いただけのシンプルなログとして使えればと思います。 ※あとで、もうちょっと編集するかも。 »続きを読む ▼ブクマして、後で見る | |
『SoftBank HTC Desireを10月8日からAndroid2.2へバージョンアップ』
SoftBankは、HTC製Android搭載スマートフォン「HTC Desire SoftBank X06HT」と「HTC Desire SoftBank X06HTII」向けにAndroid 2.2へのバージョンアップファイルを10/08から配布することを発表した。 バージョンアップによって、アプリケーション等の実行速度が向上したり、より快適に利用可能となる。 Flash 10.1にも対応したり、HD動画の撮影可能となる。 その他、Androidマーケットでアプリケーションの一括・自動アップデートが可能になったりアプリケーションをmicroSD/microSDHCカードへ保存可能となる。 Android 2.2へのバージョンアップ開始と同時に、S!メール(MMS)を利用可能にする専用アプリケーション「SoftBankメール」をAndroidマーケットを通じて無料で提供する予定とのこと。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
