これは、Open and Reproducible Science Advent Calendar 2019:13日目の記事です。 記事の目的 統計解析といえばRです。 しかし私のようにPythonだけでなんでもやりたい人もいます。 そんな人に向けて、Pythonで統計解析を行う上で便利なライブラリやテクニックをご紹介します。 同じテーマの記事や書籍も多々ありますが、他ではあまり紹介されていないものを中心にまとめるつもりです。 各ライブラリ・テクニックの詳細についてはなるべく別記事を紹介する方針です。 対象:Pythonを使ったことはあるけれどガチではない人 Jupyter Notebook / Lab 様々な記事で紹介されているド定番ですが、一応ご紹介します。 なぜ私たちはSPSSのようなGUIベースでなく、PythonやRのようなプログラムベースの統計ソフトを使うのか。 それは高価だか
ゲームコミュニティ事業部のデータエンジニア(β版)の池田です。 この記事は、Tech KAYAC Advent Calendar 2019 の7日目です。 今回もredash周りの話で、Lobiでの分析事例の話をしていきたいと思います。 (本ブログではredashおじさん化していますね。 ) Lobiでの分析環境の概要 ゲームコミュニティ事業部では主要サービスとして Lobi を開発・運営しています。 現在のLobiにおける分析環境は、以下の図のようになっています。 分析環境の図 アプリケーションが行動ログやアクセスログを出力し、それをFluentdやKinesis Data Firehoseを使ってS3バケットへ転送しています。その後@fujiwaraさんのrinを使ってRedshiftにロードしています。この周辺に関しては、ソーシャルゲーム事業部での記事と同様ですので、詳しくはそちらを
はじめに 機械学習エンジニアは誰だって無限の計算資源を欲している・・・そうだろ? こんにちは。ABEJAでMLOps Engineerをしている服部です。こちらはABEJA Advent Calendar 2019の5日目の記事です。今回は機械学習エンジニアが欲してやまない「様々なコンフィグレーション機械学習Jobを無限に投げる」方法について紹介します。ABEJA Platformを使うとJupyter Notebookでデータ分析をしながら、任意の特徴量やハイパーパラメータを使う機械学習Jobをポンポンと投げることができるんです。早速紹介しましょう。 ※ただしお金はかかります 動画 [embed]https://youtu.be/EIknYR6SOyc[/embed] 解説 動画の要点だけ解説します。 前置き ABEJA PlatformにはJupyter Notebookの機能がありま
自分は普段データ分析やモデル構築を主にJupyter上で行なっています。 その中で何回調べんねん、ってやつをメモっておきます。 開発編 修正した.pyモジュールをリロードしたい 既にimportしたモジュールはキャッシュされるのか、普通にimportしなおしても更新されません。 以下でリロード(再import)できます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く