整然データとは何か｜Colorless Green Ideas
整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d
バズワードの先へいく“ビッグデータ” 「データ解析をもっとシンプルに」トレジャーデータCTOに聞く
日本人3人がシリコンバレーで起業した「トレジャーデータ」は、データの収集・保管・分析を一貫して行うクラウド・ソリューション「Treasure Data Service」をエンタープライズ向けに提供する企業だ。分散処理を行うミドルウェア「Hadoop」や自社開発のデータベースを組み合わせたプラットフォームは、素早い実装と拡張性、安定性が評判を呼び、創業から約3年で100社以上に導入されている。 ビッグデータという言葉はビジネス用語として定番となりつつあるが、データの管理の負担が大きいなど、フルに活用できている企業はまだ少ない。世界でも注目されるスタートアップの1つである同社を率いる創業者の1人、CTOの太田一樹さんにビッグデータビジネスの今後の展望などについて聞いた。 データ解析をもっとシンプルに 「Treasure Data Service」の導入先は現在120社程度、そのうち約4割が日本
形態素解析に基づくＡＶタイトルの特徴分析 - oscillographの日記
こんばんは。夜の@oscillographです。 最近DMMアダルトがAPIを公開しました。 つまり、プログラムで直接データを取得できるようになったわけです。 ということで、今回はDMMアダルト（動画）の全タイトルを取得して 形態素解析を行うことによって日本のAVタイトルの特徴を分析しよう ということになりました。 手順としては、 DMM（ビデオ）のメーカーページを「あ」～「ん」までHTMLで取得 メーカーが特定タグに囲われていたので、正規表現パターンマッチで全メーカーを取得し、メーカー羅列をテキストに保存 テキストを読み込みながら各AVメーカーごとにapiを用いてAVタイトルを展開し、全メーカーのタイトルを取得 タイトルについて形態素解析を行うことによって単語を集計 正規化（全体の数で割ることによって割合で表す） という感じでやりました。 とりあえず、集計結果です。 上位３０位を抜き出し
Google BigQuery brings Big Data analytics to all businesses
By Ju-kay Kwek, Product Manager, BigQuery BigQuery enables businesses and developers to gain real-time business insights from massive amounts of data without any upfront hardware or software investments. Imagine a big pharmaceutical company optimizing daily marketing spend using worldwide sales and advertisement data. Or think of a small online retailer that makes product recommendations based on
BigQuery - Google Code
Interactively analyze large datasets BigQuery is a web service that enables you to do interactive analysis of massively large datasets. Scalable and easy to use, BigQuery lets developers and businesses tap into powerful data analytics on demand. Features Speed - Analyze billions of rows in seconds Scale - Terabytes of data, trillions of records Simplicity - SQL-like query language, hosted on Goog
Google、ビッグデータ分析サービス「BigQuery」を一般公開
「Google BigQuery Service」をGoogleのクラウド経由で利用することで、中小企業でもテラバイト級のビッグデータの分析が可能になる。 米Googleは11月14日（現地時間）、同社のクラウド上でいわゆる「ビッグデータ」を分析する企業向けサービス「Google BigQuery Service」のプレビュー版を公開したと発表した。正式版は有料になる見込みだが、現在は無料で利用できる。 BigQueryは、同社が2010年の開発者向けカンファレンス「Google I/O」で発表したクラウド分析サービス。これまでは一部の企業を対象にクローズドなプレビュー版を提供していた。 ユーザーはGoogleのクラウドストレージサービス「Google Cloud Storage」に分析したいデータをアップロードし、Webブラウザ経由で分析できる。同社は10月にクラウドデータベース「Goo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SIOS Tech. Lab - エンジニアのためになる技術トピックス
http://japan.internet.com/wmnews/20140219/2.html
A Network Analysis of Dutch Regulations - Using the Metalex Document Server
GitHub