非エンジニアが最速でSQLをマスターする方法 - Gunosy Tech Blog
こんにちは、データ分析部の石塚です。 Gunosyではエンジニア以外の職種でもSQLを叩いて自らデータを集計・分析するという習慣と全社員が各サービスのログ*1に触ることができる環境があります。 例えば、ユーザー獲得を担っているプロモーションチームはエンジニアが0名のチームなのですが、実際にSQLを叩いています。 それによって、自分たちの獲得したユーザーはどのような行動をしているのかを確認したり、分析することができています。 これはGunosyのみの事例ではなく、AWSのRedshiftやAthena、GCPのBigQueryが台頭してきたおかげで、どの会社も低コストにログをSQLで集計・分析できる基盤が整ってきています。 個人的にはアプリやウェブの業界で働くマーケターにはSQLは必須の知識と言える時代になってきたと感じています。 そこで今回は特別プログラミングなどの経験が無い人でも、SQL
データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
［R］SQLクエリでRのデータを加工・集計できるパッケージ「sqldf」 - データ分析がしたい
私が分析を行う際、データ加工や集計作業は基本的にSQLで行い、分析やモデル作成はRで行うことが多いです。 しかし、DBが使えないような場合やちょっとした集計などRでデータを加工・集計したい場合があります。 RでSQLで行うようなデータ加工・集計を行うには、基本的にsubsetやorder、merge、aggregateといった関数を利用します。 （SQLとRの関係については、以下のページがわかりやすいです。 http://d.hatena.ne.jp/a_bicky/20110529/1306667230） ただ、こういった関数はよく使い方を忘れてしまい、Webなりヘルプなりを使うたびに調べるなんてことが起こります。 正直、かなり面倒なわけです。 そこでSQLクエリを使って直接Rのデータを加工できたら良いなーと思うわけですが、 「sqldf」パッケージを用いれば直接SQLを利用してデータを
『RでデータフレームをSQLで操るsqldfの紹介』
R Advent Calendar 2011の24日目です。さて一昨日、R2.14.1がリリースされたのですが皆さんはもう使っていますか？この新しいバージョンでは遂にparallelライブラリのdetectCores()メソッドをSolarisOSで使用した時でも、物理コアの数字を正確に返すようになりました。Solarisユーザの皆さんやほーいですね。 さて、冗談はさておき今日はRのsqldfライブラリについての話をします。 RやSASなどの統計解析言語(というか)実行環境は多数の関数が実装されていてどのような手法であれとりあえずすぐに使ってみることができるというのが魅力であるのは間違いありません。しかし、とりあえず使ってみようとしても手持ちのデータをまずは関数に突っ込める形に変形しなければいけません。ここのデータ変形がうまくいかなくてイライラして窓からWindowsマシンを投げ捨ててしま
為替レートを取得するプログラム書いてみた - Maesan blog
ちょっと自動で別通貨から日本円に変換する処理が必要になったのでなんとか自動で為替レートを取得できないかと試行錯誤してみた。 データソース 調べてみるとYahoo!ファイナンスやら証券会社のページをスクレイピングしてる人とか多いみたいですが、仕様が変わったりすると面倒だったり、何となく邪道な感じがしたので、為替レートをRSSで提供しているサイトを発見したのでそれをパースすることにしました。 使ったのはココ→http://xurrency.com/ 方法 APIも用意されているみたいなのですが、アクセスキーを取得しないと1日10回までの制限があったり、商用利用じゃ無かったらお金はかからないっぽいのですが何となくAPIは使わずにRSSをパースすることにしました。 今回は日本円基準なのでhttp://xurrency.com/jpy/feedを使います。 最終的にはデータベースに格納することにしま
O/Rマッパー当たり前な時代だからこそSQLテクニックを磨こう·SQL Fiddle MOONGIFT
SQL FiddleはColdFusion製のソフトウェア（ソースコードは公開されていますがライセンスは明記されていません）です。 開発環境をセットアップするというのは意外に面倒で、せっかく学習しようと思ってもその時点で頓挫してしまいます。もしあなたがSQLを学んでみたいと思うならばSQL Fiddleを使ってみましょう。 こちらがメイン画面です。左に構造、右に実行するSQLを書きます。 実行例。結果はテーブルで下に表示されます。 SQLを変えれば実際に結果も変わります。 対応するデータベースは多様です。 SQL FiddleはJSFiddleに代表されるWebプレイグラウンドサービスで、SQLをWebブラウザ上で実行、確認ができます。最初のテーブルのCreate文からはじまり、任意のSQLを実行してその結果をテーブル表示で確認できます。MySQL/PostgreSQL/MS SQL Se
キャリアの途中で「今からデータサイエンティストに転じたい」と思ったらどうするべき？ - 渋谷駅前で働くデータサイエンティストのブログ
最近になって、前よりもさらに多くの方々から「データサイエンティストになりたいと思ってるんだけどどうしたらいいか」と相談されることが増えてきました。まぁ、これだけ新しいキャリアとして喧伝されていれば当然かと。。。 で、新卒ならどうしたら良いか？という話は既にしました。さすがに新卒だとデータサイエンティストを志望する人であってもそこまでスキルを持っていないのが普通*1なので、「少しでも経験を積みやすい企業に入りましょー」としか言いようがないんです実際。 しかしながら、新卒に比べて圧倒的に多いのは「今○○やっててこれからデータサイエンティストに転じたいんだけど。。。」という相談なんですよね。つまり中途というか、既に○○のキャリアの途中まで来たところでデータサイエンティストに転じよう、という。 ぶっちゃけ「データサイエンティストになれる人はなれるし、なれない人はなれない」以上のことは言いようがない
Treasure Dataなら初心者も大量データ解析ができる!?｜【Tech総研】
今回はTreasure Dataというクラウドサービスを利用し、アプリ開発初心者でも大量のデータを高速かつ簡単にデータ解析を行うことができるノウハウをご紹介します。 こんにちは、ミクシィの鈴木理恵子です。前回は、潜在的なユーザーのニーズを知るために、アプリのデータ解析が重要であるというお話をしました。データ解析は導入の敷居が高いことが問題でしたが、最近はクラウドサービスを利用することで手軽にデータ解析を行えるようになりましたね。アプリ開発初心者にもオススメできるものとしてGoogle Analytics（http://www.google.com/intl/ja_jp/analytics/)とTreasure Data（http://www.treasure-data.com/）をご紹介しました。 「データ解析が重要なのはわかったけど、本当に私にもできるのかな？」と、まだ躊躇している方もい
初心者向け SQLite の始め方
「NSEG 第 28 回勉強会 Feat. 高専カンファレンス」(2012/6/23)の LT スライドを一部改変したものです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日経ＮＥＥＤＳ財務データにもとづくデータベースサーバの構築
指数平滑移動平均をSQLで求める - プログラマー'sペイジ
RとSQLを対応付けてみた - あらびき日記
９年間の株データをメモリへロードしたら・・・ - 最強のシステム・トレーディング開発室