整然データとは何か｜Colorless Green Ideas
整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d
モバイルアプリのログ収集ライブラリ「Puree」をリリースしました - クックパッド開発者ブログ
モバイルファースト室の @rejasupotaro です。 クックパッドでは、サービスをリリースしてログを収集して分析して改善してまたリリースして、というサイクルを素早く回すことでより良いものを作るということをウェブではやってきました。 クックパッドのサービス開発のフレームワークをモバイルアプリでも適用したいのですが、モバイルアプリにはウェブアプリと違ったロギングの難しさがあります。 今回はモバイルアプリのロギングの問題点とPureeというログ収集ライブラリについて話します。 モバイルアプリのロギングの難しさ ウェブアプリでは、基本的にはサーバー側でログを収集することができますが、モバイルアプリの場合は画面の制御はアプリ側で行われ、APIを介してデータを受け取るため、クライアント側でログを収集して送信する必要があります。 アプリのログを収集するのに、画面遷移をしたりタップするたびにサーバー
バズワードの先へいく“ビッグデータ” 「データ解析をもっとシンプルに」トレジャーデータCTOに聞く
ビッグデータという言葉はビジネス用語として定番となりつつあるが、データの管理の負担が大きいなど、フルに活用できている企業はまだ少ない。世界でも注目されるスタートアップの1つである同社を率いる創業者の1人、CTOの太田一樹さんにビッグデータビジネスの今後の展望などについて聞いた。 「Treasure Data Service」の導入先は現在120社程度、そのうち約4割が日本企業です。3年前に起業した当初はスタートアップを中心に1～2万社に導入してもらいたいというビジネスモデルでしたが、クエリも多くデータ量も巨大なエンタープライズをメインターゲットにしようと1年ほど前にシフトしました。なので社数で言うと大きく伸びているわけではないですが、事業の規模としてはかなり大きくなってきています。 クライアントとして多い業種は、Yahoo！JAPANやグリーなどのネット・モバイルサービス系、ヨーロッパ最大
形態素解析に基づくＡＶタイトルの特徴分析 - oscillographの日記
こんばんは。夜の@oscillographです。 最近DMMアダルトがAPIを公開しました。 つまり、プログラムで直接データを取得できるようになったわけです。 ということで、今回はDMMアダルト（動画）の全タイトルを取得して 形態素解析を行うことによって日本のAVタイトルの特徴を分析しよう ということになりました。 手順としては、 DMM（ビデオ）のメーカーページを「あ」～「ん」までHTMLで取得 メーカーが特定タグに囲われていたので、正規表現パターンマッチで全メーカーを取得し、メーカー羅列をテキストに保存 テキストを読み込みながら各AVメーカーごとにapiを用いてAVタイトルを展開し、全メーカーのタイトルを取得 タイトルについて形態素解析を行うことによって単語を集計 正規化（全体の数で割ることによって割合で表す） という感じでやりました。 とりあえず、集計結果です。 上位３０位を抜き出し
Google BigQuery brings Big Data analytics to all businesses
By Ju-kay Kwek, Product Manager, BigQuery BigQuery enables businesses and developers to gain real-time business insights from massive amounts of data without any upfront hardware or software investments. Imagine a big pharmaceutical company optimizing daily marketing spend using worldwide sales and advertisement data. Or think of a small online retailer that makes product recommendations based on
BigQuery - Google Code
Interactively analyze large datasets BigQuery is a web service that enables you to do interactive analysis of massively large datasets. Scalable and easy to use, BigQuery lets developers and businesses tap into powerful data analytics on demand. Features Speed - Analyze billions of rows in seconds Scale - Terabytes of data, trillions of records Simplicity - SQL-like query language, hosted on Goog
Google、ビッグデータ分析サービス「BigQuery」を一般公開
「Google BigQuery Service」をGoogleのクラウド経由で利用することで、中小企業でもテラバイト級のビッグデータの分析が可能になる。 米Googleは11月14日（現地時間）、同社のクラウド上でいわゆる「ビッグデータ」を分析する企業向けサービス「Google BigQuery Service」のプレビュー版を公開したと発表した。正式版は有料になる見込みだが、現在は無料で利用できる。 BigQueryは、同社が2010年の開発者向けカンファレンス「Google I/O」で発表したクラウド分析サービス。これまでは一部の企業を対象にクローズドなプレビュー版を提供していた。 ユーザーはGoogleのクラウドストレージサービス「Google Cloud Storage」に分析したいデータをアップロードし、Webブラウザ経由で分析できる。同社は10月にクラウドデータベース「Goo
リアルタイムアクセス可視化ツール「Hummingbird」を使ってみた
自分のウェブページやウェブサイトを持っている場合には、閲覧しているユーザーの動向をリアルタイムに知りたいと思うものです。GIGAZINEでもアクセスをリアルタイムに表示できないものかということで、最近公開されたツールの「Hummingbird」を使ってみました。 詳細は以下から。 mnutt/hummingbird @ GitHub 実際に使用してブラウザ上で棒グラフが表示されているムービーはこちら。横軸が時間で、縦軸がアクセス数を示しています。HTML5の技術であるWeb Socketを使用することで、50ミリ秒というきわめて短い間隔でのアクセス情報を表示することが可能です。 YouTube - リアルタイムアクセス可視化ツール「Hummingbird」 MITライセンスで配布されているHummingbirdではGoogle Chromeに搭載されているJavaScriptエンジンV8を
Webサイト統計報告の誤り | 経営 | マイコミジャーナル
SitePoint: New Articles, Fresh Thinking for Web Developers and Designers Webサイトのアクセス数ほどWebサイトの魅力をわかりやすく示す数値はない。Webサイトへの投資を判断するにせよ、対象とするWebメディアへ広告を出すかどうかを検討するにせよ、そのWebサイトのアクセス数という指針はわかりやすく、そしてなによりもまして強力な説得力を持っている。 しかしそこには落とし穴もある。単純な折れ線グラフの推移だけを判断の材料にするのは危険をともなう。Webサイトの統計報告にはどういった問題があり、何に気をつけるべきかという話がSitePointにおいて次の3部作としてまとめられている。いくつかの統計方法の利点と欠点をまとめ、どういった点に注意すべきかが簡潔にまとめられており参考になる。 Why Your Website S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lexos
SIOS Tech. Lab - エンジニアのためになる技術トピックス
http://japan.internet.com/wmnews/20140219/2.html
A Network Analysis of Dutch Regulations - Using the Metalex Document Server
世界の地下鉄網は「同じ形」：ネットワーク分析で判明
BuiltWith Technology Lookup
Graph libraries in Matlab: MatlabBGL and gaimc
ソーシャルメディア解析ツール : Facebook解析 / Twitter解析
http://revelytix.com/
GitHub
http://mnutt.github.com/hummingbird/