データ分析環境の構築にDockerを利用しよう
📜 要約 コンテナー管理ソフトウェアのDockerを利用することで、データ分析の場面で利用頻度の高いRおよびPythonの分析環境として実行することが出来るRStudio Server、Jupyter、Beaker Notebookを容易に構築可能になる。Dockerを使うことの利点として、複数人でのデータ分析や将来の利用面においてデータ分析結果の再現性を高められると考えられる。 🍵 前置き〜データ分析者が直面する再現性への挑戦 データ分析の結果が、自分以外では再現できない、同じデータを使っているのにナンデ！？ということが時々あります。その原因として多いのが分析に関わる人間が利用する実行環境の違い、です。大きなものではOS、小さなものでは分析に利用するツール本体や拡張機能（パッケージやモジュール）のバージョンの違いがあります。 こうした再現性の問題は、複数人でデータ分析を行う時だけでな
機械学習によるデータ分析 実践編
This document provides an overview of effective numerical computation in NumPy and SciPy. It discusses how Python can be used for numerical computation tasks like differential equations, simulations, and machine learning. While Python is initially slower than languages like C, libraries like NumPy and SciPy allow Python code to achieve sufficient speed through techniques like broadcasting, indexin
データ分析系研究者のためのgitによるバージョン管理 - Qiita
2014年は研究の再現性ということが非常に話題になった年だったと思います。ソフトウェア開発の世界の技術であるバージョン管理システムが、データ分析のコードの管理と再現性の確保にも非常に便利だと思ったので簡単なまとめです。分析のコードは書くけどバージョン管理になじみがない研究者やwannabe(私とか)を対象にしています。 "ほんとは簡単？SourceTreeでGitを始めよう！" (http://naichilab.blogspot.jp/2014/01/gitsourcetreegit.html ) "サルでもわかるGit入門" (http://www.backlog.jp/git-guide/intro/intro1_1.html ) というわかりやすい記事を参照しながら、データ分析の文脈で解説します。 とりあえずファイル名でバージョン管理 データハンドリングや解析のコードを変更するにあ
7 Command-Line Tools for Data Science | Jeroen Janssens
Data science is OSEMN (pronounced as awesome). That is, it involves Obtaining, Scrubbing, Exploring, Modelling, and iNterpreting data. As a data scientist, I spend quite a bit of time on the command-line, especially when there’s data to be obtained, scrubbed, or explored. And I’m not alone in this. Recently, Greg Reda discussed how the classics (e.g., head, cut, grep, sed, and awk) can be used for
「カイゼンしたらコンバージョン率が○○%→△△%にup!」は分母を無視したら成り立たないかもしれない - 渋谷駅前で働くデータサイエンティストのブログ
大体どこの会社でも、KPIというと「△△数（実測数）」「○○率」のような数字が多いのではないかと思います。 そのようなKPIを特定のコンバージョン（課金・契約・定着…）と関連づけて、例えばプロモーション・UI改修・導線変更などの改善施策の効果を検証する、というのはWebデータ分析ではよくあるパターンでしょう。 例えば、ある課金を伴うゲームイベント（これをコンバージョンとする）の導線を改善したいと思って、従来の古いイベント導線に加えて新しく別のイベント導線を追加したとしましょう。こういう時に、以下のような2×2の表を作ることはありませんか*1？ 課金した 課金しなかった 新イベント導線 5 2 旧イベント導線 150 140 で、さらにこれを以下のように解釈することはありませんか？ 課金した 課金しなかった 課金率 新イベント導線 5 2 71% 旧イベント導線 150 140 52% 「新
2014年最もイケてるBigData領域でのスタートアップ10社 - 元データ分析の会社で働いていた人の四方山話
Top 10 Coolest Big Data Startups Of 2014という記事がありまして、はじめて名前を聞く企業が多くありましたので簡単に調べてみました。ホントに簡単に調べただけです。正確には記事の説明＋HPのトップをざっと見ただけですので、そんなものがあるのかー、くらいのノリです。 1. SumAll SumAll FacebookやTwitter, eBayやInstagramなど、42種類のソーシャルとEコマースサイトのデータからデータを可視化することができるオンラインのプラットフォームを提供してくれる、とのこと。今年に入っていくつかの機能追加を行い、例えば、リツイートやメンションの数によってアラートを発してくれるようなシステムが追加されたとのこと。 2. Luminoso Luminoso テキスト分析に強みがある会社ぽいです。MITメディア・ラボからのスピンアウトみ
トレジャーデータ流，データ分析の始め方
2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。機械学習モデルの開発者が、よりモデルの開発にのみ集中できるようにすることを目指して開発している「LakeTahoe（レイクタホ）」について紹介します。 https://ml-kubernetes.connpass.com/event/239859/ みなさんはApache Arrowを知っていますか？ 普段データを処理している人でも今はまだ知らない人の方が多いかもしれません。しかし、数年後には「データ処理をしている人ならほとんどの人が知っている」となるプロダクトです。（そうなるはずです。） Apache Arrowはメモリー上でデータ処理するときに必要なもの一式を提供します。たとえば、効率的なデータ交換のためのデータフォーマット、CPU/GPUの機能を活用した高速なデータ操作機能などです。 一部のデータ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
