fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョンブログ
こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセスログ解析基盤の整備がありました。 nginxのアクセスログを分析しやすい環境を作るため、ElasticsearchとBigQueryにログを蓄積し始めたのですが、 その際に一番のキモとなるのは、みんな大好きfluentdです。 今回は、我々ハウテレビジョンがどのようにアクセスログを収集、保存しているのかについて、fluentdの設定を中心にご紹介します。 アクセスログ収集の目的 現在の我々のサービス環境を考慮すると、アクセスログの収集には下記2つの目的が存在します。 アクセス情報をもとにユーザーの行動を解析 閲
FINDJOB!終了のお知らせ | FINDJOB!
FINDJOB! 終了のお知らせ 2023年9月29日にFINDJOB!を終了いたしました。 これまでFINDJOB!をご利用いただいた企業様、求職者様、様々なご関係者様。 大変長らくFINDJOB!をご愛顧いただき、誠にありがとうございました。 IT/Web系の仕事や求人がまだ広く普及していない頃にFind Job!をリリースしてから 約26年間、多くの方々に支えていただき、運営を続けてまいりました。 転職成功のお声、採用成功のお声など、嬉しい言葉もたくさんいただきました。 またFINDJOB!経由で入社された方が人事担当になり、 FINDJOB!を通じて、新たな人材に出会うことができたなど、 たくさんのご縁をつくることができたのではないかと思っております。 2023年9月29日をもって、FINDJOB!はその歴史の幕を下ろすこととなりましたが、 今後も、IT/Web業界やクリエイティブ
Free Backlink Checker - Moz Link Explorer
Products Moz Pro Your all-in-one suite of SEO essentials. Moz Local Raise your local SEO visibility with complete local SEO management. STAT SERP tracking and analytics for enterprise SEO experts. Moz API Power your SEO with our index of over 44 trillion links. Compare SEO Products See which Moz SEO solution best meets your business needs. Moz Data Power your SEO strategy & AI models with custom d
最初に設定しないと絶対損する！Google Analytics 9個の必須設定＆解説 | Find Job ! Startup
アクセス解析は最初の解析設定が命。「やっておけばよかった！」と後悔しても、設定し忘れた集計数値はもう2度と手に入りません。 Webサイトの財産とも言える解析データをしっかり取得してビジネスの成長につなげるためにも、必ず設定しておきたいGoogleアナリティクスの必須設定項目をまとめました。 もし抜けがあるようでしたら、この機会に設定してみて下さい。 ※現時点で、アナリティクスの設定は標準・ユニバーサルの2種類があります。ユニバーサルは、まだ不完全なので今回は「標準」での設定をベースにご紹介します。 【設定1】プロパティ＆プロファイル まずはサイトの運用方針などに合わせて、的確にプロパティとプロファイルを設定します。 基本的には「サイトごとにプロパティ」設定がおすすめ いくつものサイトを『それぞれ別のドメインで展開』する場合や、サブドメインでそれぞれのサイトを管理する場合、基本的に
[UA] URL 生成ツール - アナリティクス ヘルプ
この記事では、ユニバーサル アナリティクスの URL 生成ツールについて説明します。Google アナリティクス 4 の URL 生成ツールについては、[GA4] URL 生成ツール: カスタム URL でキャンペーン データを収集するをご覧ください。 URL にパラメータ（utm_source、utm_medium、utm_campaign など）を追加すると、トラフィック流入元のキャンペーンに関するデータを集め、レポートに表示できます。たとえばリンク URL が次のようになっていれば、example.com へのアクセスが発生した際に、トラフィック流入元が特定のニュースレター メールであることや、そのメールが特定のキャンペーンの一環として配信されたものであることを識別できます。 https://example.com?utm_source=news4&utm_medium=email&
Google Analyticsでサイトの課題発見＆気付きに繋がる4つのカスタムレポート | nanapi [ナナピ]
はじめに 今回は、「カスタムレポート」というGoogle アナリティクスの機能を紹介いたします。 「カスタムレポート」とは、一文でまとめると「自分で好きな項目を選んでレポートを作成できる」機能です。自由度は非常に高いのですが、どのように設定すればよいかわからず、利用していない方も多いのではないでしょうか？ 今回は筆者が利用していカスタムレポートの中から、使用頻度が高い4つを紹介いたします。また、カスタムレポートは「共有」機能があるため、誰でもワンクリックで自分のアカウントに反映することができます。 カスタムレポートそのもの具体的な作成方法は本記事では省略しています。作成方法が気になる方、こちらの記事（gaforum.jp）をご覧ください。 カスタムレポート１：集客分析レポート サイトにとって課題となる流入元、成果に貢献している流入元などを把握する事ができます →自分のGoogle Anal
![Google Analyticsでサイトの課題発見＆気付きに繋がる4つのカスタムレポート | nanapi [ナナピ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/85f3b527756dd73192fd1bd73c22fd909088f9b7/height=288;version=1;width=512/http%3A%2F%2Fp.cdnanapi.com%2Fr%2F2012%2F10%2F14%2F21%2F20121014212726_507aafaeee1c3.jpg%3Fquality%3D85%26size%3D650)
暮らしの情報サイトnanapiはサービスを終了いたしました | nanapi [ナナピ]
2020年8月31日(月)をもちまして、nanapiに関わるすべてのサービスは終了いたしました。 nanapiは、2009年のサービス開始より「みんなで作る暮らしのレシピ」という考えのもと、ユーザーの皆さまに生活に関する様々な「ハウツー」を投稿していただく投稿型ハウツーサービスとして運営してまいりました。 約11年間にわたって皆さまからご支援をいただきサービスを継続できたこと、nanapi編集部一同、心より御礼申し上げます。 掲載されていたコンテンツなどのnanapiについてのお問い合わせは、nanapi@supership.jp までお願いいたします。 長きに渡りnanapiを応援してくださり、本当にありがとうございました。
競合サイト調査・分析に必要なチェック項目と役立つツール達！
たいていの人は何らかの商品を購入する時、似たような商品の中から一番気に入ったものを買うと思います。そのため、自社商品を他社商品よりも多く購入してもらうには、お客様に「これが一番良い！」と思ってもらえる商品でなければなりません。 お客様に自社商品を一番だと思ってもらうには、競合他社の調査・分析は欠かせません。自社と他社の違い(差)を理解することが、より優れた商品やサービスの開発に繋がります。 これはWEBサイト制作でも同じです。競合サイトの調査分析をすることで、どのようにWEBサイトを組み立てたら、競合サイトよりも優れたサイトになるかが見えてきます。 そこで今回は、競合他社のサイト調査・分析に必要なチェック項目と、役立つツール・調査方法を簡単にまとめて紹介したいと思います。 最初にライバルだと思われる会社のターゲットユーザーを調べることが必要です。これを調べると【実際にその企業がライバルと言
Visitors - fast web log analyzer
Visitors は Linux、Windows およびその他の Unix ライクな OS で動くとても軽快なウェブログ解析ツールです。 ウェブサーバログファイルを入力すると、統計をいろいろな形のレポートとして出力します。 その設計方針は同じタイプの他のソフトウェアと比較するとかなり異なっています: インストールは必要ありません。高速なコンピュータでは毎秒最大150,000行のログエントリ(作者自身のログファイルの平均では毎秒20MB)を処理します。 コマンドラインで実行するように設計されており、html とテキストでレポートを出力します。 テキストのレポートを less にパイプすることで ssh を通じてウェブ統計をチェックすることができます。 バージョン 0.3 で導入された Visitors ストリームモードによってリアルタイム統計をサポートしています。 ログの書式を指定する必要は
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
Google Analyticsでいいね！ボタンやTweetボタンのアクションを計測する方法 - F.Ko-Jiの「一秒後は未来」
6月末にGoogle AnalyticsでGoogleの+1ボタン、FacebookのLikeボタン、TwitterのTweetボタンのアクションを計測できるようになりました。 » Google Analytics Blog: +1 reporting in Google Webmaster Tools and Google Analytics このブログでも計測コードを設置してみたので、その方法を紹介しておきます。 Google Analyticsを新しい管理画面に切り替える ソーシャルプラグインのレポートは新しい管理画面からしか確認できないので、Analyticsの管理画面を新バージョンに切り替えましょう。 新バージョンの管理画面では「Visitors」メニューの中に「Social」という項目があります。もしGoogleの+1ボタンをサイトに設置しているなら、すでに自動的に+1ボタンの
平均指標のKPI 全13個 | KPI大全 第3章-1 | Web解析のためのKPI大全
平均指標は、簡単に測定・計算できるものだが、KPIとして使用する場合は、その定義に注意するべきである。本書で言うところの平均、すなわち「算術平均（arithmetic mean）」を、wikipedia (wikipedia.org)で調べると、以下のように説明されている。 「算術平均（arithmetic mean）」は、一般的に言う「平均（averageまたはmean）」である。平均はさまざまな用途に使用されるが、対象が正規分布以外の分布をしている場合、誤った結論を導いてしまうことがある。 典型的な例が「平均所得」である。算術平均は、多くの人の所得を、実際の所得より多く見せてしまう。普通は、平均値を見ると、値は概ね平均値の近くに分布しているものだと考えるだろう。しかし実際には、この平均値は大部分の人の所得よりも高い値を示している。なぜなら、所得のきわめて高い「かけ離れた値」が、平均値を
Google Analyticsで参照元の完全なURLを記録する - GRANADA Hatena @ sotarok
なんてタイトルにしようか迷ったけど。 Google Analyticsは、初期状態だと、参照元を探るとき、「トラフィック」のメニューから以下のものだけしか閲覧できません。 参照サイト これは、参照元URLのホスト名のみをトラッキングできる。例えば、http://d.hatena.ne.jp/sotarok/ からアクセスがあった場合、「d.hatena.ne.jp」のみが保存される。 検索エンジン 検索エンジン名を閲覧できる。「Google」とか「Yahoo」とか。 すべての参照元 「参照サイト」と「検索エンジン」をあわせたみたいなものが見れる。 と、まぁ正直これだけでもいいような気もしますが、やっぱり「どのサイトのどのページにリンクが張られているか」とか、知りたかったりします。 というわけで、フィルタマネージャから、カスタムフィルタ機能を使ってみる。 Analyticsのトップから、「フ
アクセス解析やTwitter分析など、3年間でレビューした100個のツールをまとめた『ウェブ分析ツール大全』を公開！ - Real Analytics （リアルアナリティクス）
ブログや連載などを中心に、様々な分析ツールをレビューしてきました。記事がいろいろな所に散在していたので、まとめてひとつのドキュメントにしたら役に立つのではと思い、作成し公開する事にしました。 名付けて「ウェブ分析ツール大全」。10万文字・380ページの大ボリュームです。以下からダウンロードが出来ます。 ウェブ分析ツール大全.pdf(17MB) 通常はこちらのファイルをご利用ください ウェブ分析ツール大全.docx(31MB) 引用などの利用したい方向け。レイアウトが崩れる場合があります 利用上の注意などは以下をご覧ください。 本ドキュメントの目的 ウェブ分析ツールに関する情報を網羅的にまとめ、導入の検討あるいは比較材料として活用出来るドキュメントとする。 レビュー記事に関して 各ツールの執筆時点（各項目の頭に掲載）での情報になります。現時点での内容を保証する物ではありません。ドキュメントは
リアルタイムアクセス可視化ツール「Hummingbird」を使ってみた
自分のウェブページやウェブサイトを持っている場合には、閲覧しているユーザーの動向をリアルタイムに知りたいと思うものです。GIGAZINEでもアクセスをリアルタイムに表示できないものかということで、最近公開されたツールの「Hummingbird」を使ってみました。 詳細は以下から。 mnutt/hummingbird @ GitHub 実際に使用してブラウザ上で棒グラフが表示されているムービーはこちら。横軸が時間で、縦軸がアクセス数を示しています。HTML5の技術であるWeb Socketを使用することで、50ミリ秒というきわめて短い間隔でのアクセス情報を表示することが可能です。 YouTube - リアルタイムアクセス可視化ツール「Hummingbird」 MITライセンスで配布されているHummingbirdではGoogle Chromeに搭載されているJavaScriptエンジンV8を
Google Analytics以上の超強力なリアルタイムアクセス解析ができる「Woopra」を試しに使ってみました
通常のアクセス解析はある程度時間が経過してからでないとその結果がわからないため、「まさに今！このページがヒットしている！」というのがわかりにくいのですが、この「Woopra」というアクセス解析サービスはとんでもないリアルタイム性がウリとなっており、誰かが訪問しに来たら即座にわかるようになっています。 リアルタイムアクセス解析を最大限活用するため、ブラウザ経由での利用だけでなく、Javaをベースとして作られたWindows・Mac・Linux対応の専用ソフトがあり、来訪者にタグ付けして個別に追跡、IPアドレスなどあらゆる条件で絞り込めるクイックフィルタ、誰がどこから来たのかすぐにわかるマップ、特定の条件のユーザーが来たらポップアップしたり音を鳴らして知らせてくれる機能などなどを搭載。そのすべてがリアルタイムに刻一刻と変化して最新の情報を教えてくれます。Google Analyticsで実現し
アクセス解析を使ってサイトの課題を発見する12のステップ - Real Analytics （リアルアナリティクス）
アクセス解析ツールを導入して数カ月。いまいち使いこなせていないあなたへ。私が初めてサイトを分析する時に行う12のSTEPを紹介いたします。GoogleAnalyticsで全て対応出来るレポートです。ここで紹介するのはアクセス解析業界（？）における標準でもなんでもなく、私なりの分析手法ですので、他にも様々な方法やバリエーションがあります。 ※アクセス解析用語の基本的な知識と、GoogleAnalyticsを使ったことがある（出来ればアドバンスドセグメントを使ったことがある）人向けの方法になります。 2つの事前準備 分析に入る前に、以下の二つの事前準備を行いましょう。 A.サイト全体をじっくり見る サイトマップや主要の導線をたどってみたり、実際にコンバージョンしてみたり。自分なりにサイトの良いところと悪いところを見つけて箇条書きにしておきましょう。また、それが数字にどう反映されるか？を想像して
Google Analytics、最近のトラブルまとめ9+改善策
Google Analytics も最近はトラッキングコードが複雑になりましたよね。 ・urchin.js ・ga.js ・非同期トラッキング ・携帯用コード ・サブドメイン、異ドメイン間トラッキング など、上記３つは通常のコードですが、バージョン違いという現状。 勿論、Google Analytics側や、トラッキングコードに原因がある、というわけでは無いですが、最近、ちょっとトラブルに関するつぶやきが増えてきた気がするので、まとめてみました。 eコマーストランザクションの不具合 解決策もいっしょにつぶやいてくれています。さすがアユダンテさん。 ＞＞Twitter / アユダンテ株式会社: Google Analyticsでeコマース機能を使 … ログが取れてない・・・ お正月、ある期間、なんだかログが取れてなかったような。ちなみに私のところは大丈夫でした。ナンだったのでしょうか。 ＞＞
優秀なPHPのWebアクセス解析·Open Web Analytics MOONGIFT
アクセス解析として有名な物と言えばGoogleのAnalytics、ビジネス向けであればSiteCatalystになるだろう。だが予算をそこまで出せず、とはいえ外部のサービスは使いがたいという場面はよくある。そんな中、できるだけ見栄えのいいアクセス解析システムを願うならオープンソースを使わざるを得ない。 インストールウィザードでスクリプトの出力までできる 通常のWebサイトはもちろん、WordPressやMediaWikiと親和性の高いアクセス解析としてOpen Web Analyticsを紹介しよう。 今回紹介するオープンソース・ソフトウェアはOpen Web Analytics。高機能なアクセス解析システムだ。 Open Web AnalyticsはPHP+MySQLによるアクセス解析システムだ。JavaScriptタグを使ってアクセス解析を行うのが基本だが、PHPのシステムであればフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新しくWebサイトをつくったとき用Googleアナリティクス設定チェックリスト | Moz - SEOとインバウンドマーケティングの実践情報
