Airflow を用いたデータフロー分散処理 - LIVESENSE Data Analytics Blog
こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツールAirflowについて、分散処理の概要や最近の更新についてご紹介します。 Airflowについて Airflowとは github.com Airflowはデータ処理フローを管理するツールです。元々はAirbnb社が開発して公開したソフトウェアです。その後Apacheソフトウェア財団のサポートを受けて現在はApache Airflowという正式名称になっています（本ブログでは以下Airflowと記述します）。ライセンスはApache License2.0です。本体コードはpythonで作られています。 2018年2月現在、正式リ
グーペのPHPバージョンを5.2から7.1にアップグレードしました - Pepabo Tech Portal
こんにちは、グーペグループエンジニア @hypermkt と技術部インフラグループ・シニアエンジニア @hfm です。半年に及ぶグーペのPHPアップグレード作業が2017年5月中旬に全て完了し、PHPバージョンは5.2から7.1になりました。今回の記事ではアップグレードの過程と効果について、ご紹介させていただきます。 はじめに 8年目のホームページ作成サービス「グーペ」 なぜ8年目のタイミングでアップグレードをしたのか アップグレード基本方針 PHP5.2との後方互換性を維持する deprecatedの対応は優先度低め 事前準備 新旧両バージョンで継続的テスト より広範囲をカバーできるE2Eテストを重視 リアルタイムエラー検知 下位互換性のない変更点の修正 php7ccによる互換性の自動検知 MySQL関数の削除 preg_replaceへの置き換え PHP7.1用php.iniの作成 リ
［速報］マイクロソフト、機械学習を誰でも使えるようにする「Cortana Analytics Suite」発表
［速報］マイクロソフト、機械学習を誰でも使えるようにする「Cortana Analytics Suite」発表 米マイクロソフトは、米フロリダ州オーランドで開催中のイベント「World Partner Conference 2015」で、ビッグデータの保存、管理、分析、機械学習、表示の一連の機能を統合したMicrosoft Azureの新サービス「Cortana Analytics Suite」を発表しました。 サティア・ナデラ氏「Cortana Analytics Suiteは、組織内のすべてのデータをネイティブフォーマットのまま保存し、それをさまざまな仕組み、ストリーム分析や機械学習やSQLやMapReduceなどで分析できる」 Cortana Analytics Suiteは、Microsoft Azureのさまざまな機能を統合しています。例えば、データの保存に「Azure Data
必ず設定したい！Googleアナリティクスを導入したら最初に行うべき基本設定
Googleアナリティクスは、Googleが無料で提供しているウェブサイト分析ツールであり、多くの企業や個人が導入しています。 しかし、Googleアナリティクスは、簡単に導入できるということもあり、最初にトラッキングコードだけ設置して設定などは特にしていない、となっているサイトも多いのではないでしょか。 Googleアナリティクスをうまく活用すれば、他の有料の分析ツールに負けないくらいの機能を利用することができます。 今回は、トラッキングコードを設置した後、一番最初に設定しておくべき4つの基本設定をご紹介します。 Googleウェブマスターツールと連携する サイトに関する様々な情報を知ることができるGoogleウェブマスターツールですが、Googleアナリティクスと連携すると非常に便利です。 【Googleウェブマスターツールについては下記参照】 【保存版】Googleウェブマスターツー
Google Analyticsより断然見やすいアクセス解析「Pt engine」ヒートマップが面白い＆リンクのクリック数もわかる！
アクセス解析といえば、圧倒的にGoogle Analyticsの一強で、他には大したツールはない。 そう思っていた時代が私にもありました。 ですが今回紹介する「Pt engine」を使ってみてその考えは見事に覆りました。これ、イイ。 まず、とにかく見やすい。パッと見で必要な情報が目に入るよう工夫されているのがわかります。 さらにGoogle Analyticsにはないヒートマップ解析（ユーザーがどこまで読んだか、どこをクリックしたか視覚的にわかる）や、パラメータをつけなくても流出先（リンクのクリック数）がわかるなどの独自の機能も搭載。 もちろん、各種アクセス解析やコンバージョンの計測などディープな機能も備えています。 2.5万PVまで無料で使え、個人ユーザーのKloutスコア50以上の人はある程度の機能を備えた無料特別プラン（200万PVまで）を利用可能。 Webサイトの運営者や、しっかり
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
FINDJOB!終了のお知らせ | FINDJOB!
FINDJOB! 終了のお知らせ 2023年9月29日にFINDJOB!を終了いたしました。 これまでFINDJOB!をご利用いただいた企業様、求職者様、様々なご関係者様。 大変長らくFINDJOB!をご愛顧いただき、誠にありがとうございました。 IT/Web系の仕事や求人がまだ広く普及していない頃にFind Job!をリリースしてから 約26年間、多くの方々に支えていただき、運営を続けてまいりました。 転職成功のお声、採用成功のお声など、嬉しい言葉もたくさんいただきました。 またFINDJOB!経由で入社された方が人事担当になり、 FINDJOB!を通じて、新たな人材に出会うことができたなど、 たくさんのご縁をつくることができたのではないかと思っております。 2023年9月29日をもって、FINDJOB!はその歴史の幕を下ろすこととなりましたが、 今後も、IT/Web業界やクリエイティブ
【LPOはDLPO】「猫」で説明します。ABテスト・多変量テスト - DLPO株式会社
こんにちは! 今日は猫を使って、ABテストと多変量テストの違いをご説明できればと思います。 まずはA/Bテストです。二匹の猫がいて（猫Aと猫B)、どちらの猫が可愛いのか知りたいです。WEBを通じて1万人に一人ずつ一匹だけ猫を見せます。猫のパターンは二匹ですので、猫Aを見ている人は5,000人。猫Bを見ている人も5,000人。 今回の例で猫Aを見た人は66%が可愛いと答えています。猫Bは34%と人気度が少し低めでした。 猫Aの大きな勝利です！ ただし、このA/Bテストには二つの課題があります。 猫は二匹しか存在しないので 1) そもそもこの二匹以外に可愛い猫が存在するのでは?という疑問があります。 2) 上記の猫Aはどういった理由で勝っているか不明です。勝ったのは耳が水色だから？ベロが出ているから？目が黒いから？その猫が勝っている要因は闇の中です。 そこで「多変量テスト」の登場です。方法はほ
The home of exceptional digital experiences
Your all-in-one operating system for marketing Optimizely powers the entire marketing lifecycle, unlocking your team to create content with speed, launch experiments with confidence, and deliver experiences of the highest quality. Get started More about Optimizely One Everything you need for marketing, all in one AI-powered, marketer-friendly, and best-in-class (just ask the analysts) Content Orch
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
ビッグデータ時代の注目職種「データ・サイエンティスト」の第一人者がNYで学んだ、適者生存の極意【匠たちの視点】 - エンジニアtype | 転職type
アクセンチュア株式会社 テクノロジー コンサルティング本部 アナリティクス インテリジェンス グループ統括 シニア・プリンシパル 工藤卓哉氏 慶應義塾大学を卒業しアクセンチュアに入社。コンサルタントとして活躍後、コロンビア大学国際公共政策大学院で学ぶため退職。同大学院で修士号を取得後は、ブルームバーグ市長政権下のニューヨーク市で統計ディレクター職を歴任。在任中、カーネギーメロン工科大学情報技術科学大学院で修士号の取得も果たす。2011年に帰国し現職に。Accenture SAS Analytics Group数理統計アーキテクト顧問委員会でアジア太平洋地区代表顧問も務める データ・サイエンティストは統計データを分析するだけの仕事ではない データ・サイエンティスト。日本ではおそらく1000人に満たないであろう、この職に就くのはどのようなタイプの人間なのだろうか？ 外界との接触を好まない象牙の
究極のデータサイエンティストVS至高のデータサイエンティスト - Analyze IT.
ネットで面白いコピペを発見したので貼り付けておきますね。 山岡「こちらが我々の考える究極のデータサイエンティストです。」 京極「なんやて、経済学部出身やないか！ITに統計学、業務、この中で先の二つの技術的素養が必要なデータサイエンティストには理系出身者が定石やで山岡はん。」 山岡「確かに、数学のスキルが要求されるデータサイエンティストには普通の文系出身者は厳しい。しかし、彼の学部時代の専攻は計量経済学。実務では高度なアルゴリズムやビックデータの解析基盤の構築のスキルなんか本当は必要ない、経済学の手法が求められているんだ。」 京極「なんやてっ！」 山岡「ビッグデータといっても、小売りの場合大きくて１千万件程度、普通のRDBMSで処理可能だし、非構造化データなんて必要ない。アルゴリズムもSPSSやRなんかのツールに入力して結果を解釈できれば十分なんだ。一方で、政府の統計を駆使して地域の需要を推
キャンペーン用URLパラメータは#を使えばキレイにできる
流入元を特定するためにURLにパラメータを付与するのはデメリットが多いので、ハッシュを使ってキレイに消し去る方がベターです。その方法を紹介します。 リファラの代わりにURLパラメータを使うようになった背景サイトにどこから訪問したかを特定するため、アクセス解析のツールはブラウザが送信するリンク元のURL（リファラー）を使いますが、リファラーは完全ではなく、URLがセットされないことがあります。 リファラーが使えない場合のために普及したのが、リンク先URLのクエリ文字列（RFC 3986の定義では、URI中の「?」以降の文字列、ただし「#」以降を含まない）にパラメータを追加する方法です。 Adobe Analyticsの場合http://www.cms-ia.info/?scid=tw20110718Google Analyticsの場合http://www.cms-ia.info/?utm_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
こっそりリリースされているGoogleアナリティクスの新機能「関連商品」を徹底解説
https://jp.techcrunch.com/2014/08/28/20140827how-many-people-see-your-tweets-twitter-opens-its-nifty-analytics-dashboard-to-everyone/
純真無垢なプログラマーがアフィリエイトIDを書き換える素晴らしいブラウザ拡張機能を公開していた件(山本一郎) - 個人 - Yahoo!ニュース
Geckoboard | Real-time KPI dashboards that improve team performance
【これはすごい】Googleアナリティクス連携 アクセス予測＆曜日・時間別の平均値分析ツール（祝日自動判別） | 初代編集長ブログ―安田英久 | Web担当者Forum