gumiStudy #10「ソーシャルゲームの解析を支える技術-Hadoop編-」開催致しました - gumi Engineer’s Blog
度々登場しております、gumiの新居です。 最近勉強会報告のブログばかりとなっておりますが、また何か面白いネタがあれば書きたいなーと思いつつ業務に追われ後手後手に回っております。。。 ということで、遅くなりましたが、先日11/8（火）、【エンジニアカフェEvent×gumiStudy】ソーシャルゲームの解析を支える技術-Hadoop編-を開催致しました。 ちなみにMongoDB編はこちら↓↓↓ gumiStudy #9「ソーシャルゲームの解析を支える技術-MongoDB編-」開催致しました 弊社からは堀内と本間、そしてAmazon Web Services（AWS）を提供されているアマゾンデータサービスジャパン株式会社から大谷様をお招きし、発表を頂きました。 会場は、今回もパソナテック様にご提供頂きました。 ソーシャルゲームとデータ解析 まずは弊社CTO堀内から、開会の挨拶と「ソーシャルゲ
TwitterにおけるHadoopとLuceneを利用した大規模データ解析について - nokunoの日記
Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇（大学教授が長期の休みを取れる制度）でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitterエンジニアの@squarecogさんと
HadoopとMongoDBを活用したソーシャルアプリのログ解析
The Ring programming language version 1.7 book - Part 47 of 196Mahmoud Samir Fayed
MongoDBで作るソーシャルデータ新解析基盤
Map/reduce, geospatial indexing, and other cool features (Kristina Chodorow)
ウノウラボ Unoh Labs: MySQLのチューニングのためのデータの集め方
いつの間にか会社で古株になったyamaokaです。 webアプリケーションのバックエンドにMySQLを使っている場合、 クエリ（SQL）のチューニングをする必要がありますよね。 皆さんはチューニングの計画をどのように立てていますか。 もちろん、既に明らかに重いことが想定されているページがあれば、 その処理で使われているクエリを中心にEXPLAINなどを使って解析していけばいいと思います。 でもそうではなく、全体的にクエリの見直しやチューニングを行いたい場合は 実際に実行されているクエリを確認していくという作業が必要です。 そこで使うことができる3つの方法について書きたいと思います。 遅いクエリを記録する MySQLにはスロークエリログといって、 実行に時間がかかったクエリを記録する機能が最初から付いています。 /etc/my.cnfに次のように設定を書けば実行時間が1秒を超えたクエリが出力
AWStats Ver.6.6 完全日本語版 – Monoblogue of a security engineer
***** このページの内容は、AWStats 6.6完全日本語版のページで公開されていたものです ***** ***** AWStats Ver.7.0完全日本語版を公開したため、このコンテンツはOut of dateになりました ***** 日本語化について 知っている方は知っていると思いますが、AWStatsは元々日本語には対応していませんでした。しかし、美しいユーザーインターフェースなど、”日本語化されていないから”という理由で切り捨ててしまうには少々もったいない気がしたので、Ver.2.23の時に日本語に対応させたのが始まりです。 AWStatsはVer.4.0から正式に日本語に対応したことに”なって”います。しかし、対応といっても実情は非常にお粗末な状態で単語レベルで置き換えただけであるというのが実情でした。また、バージョンの更新にあわせてメッセージファイルがメンテナンスされて
そろそろやらなきゃ モバイルアクセス解析入門～アイデアマンズアイデア（15） - Dragon.jp
サイバーエージェント様 GA4導入事例 移行は既存の分析要件を見直すチャンス。GA利用者の理解を促進し、データ活用をドライブさせる方法とは
Apacheアクセスログ解析(AWStats) - Fedoraで自宅サーバー構築
AWStatsを利用してApacheのアクセスログを解析し、Webサイトへのアクセス統計をWebブラウザから参照できるようにする。⇒当サイトのサンプル [root@fedora ~]# yum -y install awstats ← AWStatsインストール [root@fedora ~]# vi /usr/share/awstats/wwwroot/cgi-bin/awstats.pl ← awstats.pl編集 ※レポートの日付形式を「月 2月 2010」から「2010年 2月」へ変更 if ( $MonthRequired eq 'all' ) { print "$Message[6] $YearRequired"; } else { print #"$Message[5] $MonthNumLib{$MonthRequired} $YearRequired"; ← 行頭に#を
窓の杜 - 【今日のお気に入り】「Apache」のアクセスログを解析「ApacheLogViewer」
標準的なWebサーバーとして使われている「Apache」のアクセスログを解析するソフト。「Apache」を始め多くのWebサーバーが出力する“NCSAコモンログファイル形式”に対応しており、集計した閲覧者のアクセス元ホスト名やWebブラウザー（Agent）、参照元（Referer）などあらゆる項目を基準に解析できる。解析したいログファイルをドラッグ＆ドロップなどで読み込むと日付ごとにアクセス元ホスト名がリスト表示され、ホスト名を選択するとアクセスしたパス名や参照元（Referer）、Webブラウザー名（Agent）などが表示される。ログファイルは複数指定したり、過去ログとしてフォルダ内のログファイルすべてを指定することも可能だ。また、URLやホスト名などを基準に、アクセスしたWebブラウザー名やアクセス日時の割合などを表示する機能もある。ログのあらゆる項目を基準に様々な解析ができるので、W
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
aruko.net - このウェブサイトは販売用です！ - aruko リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Visitors - fast web log analyzer
Visitors は Linux、Windows およびその他の Unix ライクな OS で動くとても軽快なウェブログ解析ツールです。 ウェブサーバログファイルを入力すると、統計をいろいろな形のレポートとして出力します。 その設計方針は同じタイプの他のソフトウェアと比較するとかなり異なっています: インストールは必要ありません。高速なコンピュータでは毎秒最大150,000行のログエントリ(作者自身のログファイルの平均では毎秒20MB)を処理します。 コマンドラインで実行するように設計されており、html とテキストでレポートを出力します。 テキストのレポートを less にパイプすることで ssh を通じてウェブ統計をチェックすることができます。 バージョン 0.3 で導入された Visitors ストリームモードによってリアルタイム統計をサポートしています。 ログの書式を指定する必要は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
