pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Kaggle: Titanic 問題データ分析 | Futurismo
はじめに¶ 先日、Kaggleのタイタニック問題に挑んで惨憺たる結果を出しました。 Kaggle のタイタニック問題に Keras で挑戦した。前処理が課題だと分かった。 | Futurismo データ分析をするスキルが自分にはない。なんとか身につけたいと思っていたところ、 Udemyの講座でKaggleのタイタニック問題を元にデータ分析を行っている講座を発見した。 【世界で5万人が受講】実践 Python データサイエンス | Udemy これはいい。まずは、講義にしたがってデータ分析してみたので、これはその講義メモです。 目的¶ 以下について、講義では調べている。 タイタニック号の乗客はどのような人達だったのか？ それぞれの乗客はどのデッキにいたか？また、それは客室の種類とどのような関係にあったか？ 乗客は主にどこから来たのか？ 家族連れか、単身者か？
Python + ELK でJAWS DAYS 2017のツイートを簡単に可視化してみた - Qiita
Elasticsearch色々試そうと思っていたところ、自分もツイートしていたJAWS DAYS 2017のツイートログを使ってみよう、と手を動かした記録。 前提 Pythonは2.7系を利用 ELKは5.2.2を利用 Twitterからのログ検索 こちらに作成したソースコードをのせました。アクセスキーを入力することで利用可能です。 （事前準備としてTwitter APIへの登録などは済ませる必要があります。） ソースコード自体はとても単純です。 3000件という数字は適当に決めたものです。（それくらいのツイート数だろうと思って適当に指定した値） ちなみにTwitter APIを利用する際には利用回数に制限があるので（リセットされる）注意が必要です。 import twitter from twitter import Api import sys import os import tim
さくっとトレンド抽出: Pythonのstatsmodelsで時系列分析入門 - Gunosyデータ分析ブログ
久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース
「Azure Machine Learning」が正式版に、PythonやRのライブラリにも対応。誰でも機械学習を利用可能に
Azure Machine Learningを用いることで、利用者は機械学習のための大量の仮想マシンやHadoopのようなソフトウェアを用意する必要がなくなり、容易に機械学習による推論や予測、分析といったサービスを実現できるようになります。クライアントとしてExcelを利用することも可能。 モデルの作成には、Webブラウザからグラフィカルな操作が可能な「Azure Machine Learning Studio」が用意され、プログラミング不要で分析モデルを作成可能。そのモデルの中で行う計算や学習のためのライブラリとしてPythonとRにも対応ました。 あらかじめ機械学習を利用して構築されたレコメンデーション、アノマリー検出、テキスト分析などのサービスも「Azure Store」で提供され、すぐに利用可能です。コミュニティによるギャラリーも用意されています。いま見たところ「飛行機のエンジンの
データ分析する上で役立つ本のまとめ50冊 - hsuetsugu’s diary
この連休だけで読んだわけではないですが、いろいろ振り返ったりしたので、分析に役立つ本などをこの機会にまとめてみました。おすすめ度合い、というと読む人の立場とか状況によって違いそうなので、主観的に、自分にとって役立った度合いを５段階で評価しました（星の数で）。 ※Amazonの商品紹介貼付けてまくってますが、アフィリエイトはやっていません。著作権的にAmazonのを貼るのは問題ないらしいのでそうしているだけです。 ※以下、長いです。長くなりました・・。 分析関連 まとめとしては、O'Reillyの本が情報量も多く、参考になるものが多い。Rやpythonのコードも豊富で、かつ実践的なので、「プロはこう書くのか」と参考になるものが多かった。また、R、pythonどちらでも、パッケージにあまり頼らないで関数を最初の章から少しずつ積み上げてきちんと書かれているので、「この手法はこのパッケージをつかっ
気象庁公開の「オープンデータ」を利用して気象統計を分析しよう
最近、日本でも「オープンデータ」の動きが加速しています。行政や公的機関などが業務で蓄積した情報・データが続々と、再利用しやすい形式で入手可能になっています。身近なデータでは、気象庁のWebサイトで過去何十年にもわたる各地点の気温や降水量、湿度や天気の情報をダウンロードできるようになっています。
Web系女子がLispと出会って統計学に目覚めるまでのお話 - あんちべ！
こんにちは！今年の春からWeb系企業でHTML/CSSデザイナーとして働きだしたキラキラ女子（を目指してる）のあんちべ（23）です！よろしくお願いします！私は普段自社のWebサービスのCSSなどを書いている*1のですが、最近データマイニングに興味を持ち始め、データを分析して、自社サービスの売り上げ改善に貢献したいなーと思うようになりました！でも。。。私は文系出身で統計学とか全然わからない*2し、プログラミングも得意じゃない*3し、高価な統計解析ソフトを買うのも辛いです。。。無い無い尽くしですね＞＜；！そんな私に救いの手が！インストール作業不要で、便利な統計処理機能が色々あって、しかも無料という素晴らしいソフト*4を発見しました！その名も"Incanter"です！なんでも、 Lispっていう古くから使われてきた実績のあるプログラミング言語で動いてて、Lispの文法でどんな処理をすればよいかを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spotifyの76,000曲の属性データを分析した結果、J-RockはRockというよりむしろPunkだった
SQLで基本のデータ解析に挑戦する