はてなブックマーク

データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，それでもできるだけ簡単にモニターリングしたいです． Airflow と Slack を組み合わせることで，データのクリティを日々モニタリングすることができます．データエンジニアリングにユニットテスト的な概念を持ち込めないかと模索してきましたが，Airflow + Slack は個人的には一つの理想形と言えます． Apache Airflow とは？ Apache Airflow は，プログラムでジ

Apache Airflow のコンセプトを理解するのに参考になった情報 公式ドキュメントの解説だけでは，Apache Airflow のコンセプトの理解が難しいです．つぎのページは，Apache Airflow のコンセプトがわかりやすく解説しています．これを読んだ上で，公式ドキュメントの"Concepts"のページを読むと良いでしょう． Understanding Apache Airflow’s key concepts – Dustin Stansbury – Medium Concepts — Airflow Documentation Apache Airflow をインストールしたり HA したりするのに参考になった情報 Apache Airflow の公式ドキュメントだけでは，Airflow のアーキテクチャなどの概要がわかりにくいです．つぎのページでは，Airflow の

Help us understand the problem. What is going on with this article?

対象読者 knitr でのドキュメント生成は体験済みの方 データ分析をやっていてそのレポートを Word などで作るのが面倒くさい方 チームで分析をやっていて，データ分析の再現性を共有したい方 記事のゴール ゴール：knitr を基本的に使えるような知識を身に付けて，R での分析結果を HTML として生成できるようになる 前提 RStudio をインストール済み knitr をはじめるにあたっての基礎知識 knitr とは？ knitr パッケージは．R の実行結果をレポートして作成するのに役立つパッケージです． 組織でのデータ分析には，報告書を作成する業務がつきまといます． たとえば，Word で報告書を作成していてデータ分析結果のプロット図を何百枚も貼り付けているとします． その途中で分析に誤りがあったり，条件を変更したりするときに，もう一度画像を貼り直す作業をするのは大変です． k

組織におけるデータ解析には，「報告」という業務がつきまといます． この報告のための資料作りというやつが，非常に厄介です． 解析結果のプロット図を 100 枚 Word に一生懸命貼り付けている人もいるでしょう． もしデータ解析やプログラムの実行結果と報告資料を組み合わせることができたら，どんなにしあわせでしょう？ knitr パッケージは，R の処理と報告資料の一元化できるパッケージです． この記事では，５分で knitr パッケージをつかってサンプルのレポートの HTML を生成するところまでを体験していただきます． この記事のターゲットとゴールは，つぎになります． ターゲット R をこれから勉強したい人 R を使っているけど，画像 1000 枚とか手作業で Word に貼り付けている人 ゴール R の簡単のコードの実行結果を HTML として出力 RStudio のインストール R 用

この記事は， Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita の 12 月６日のための記事です． 今回の記事では，最近話題になっている word2vec の Apache Spark 実装を EC2 上で動かす方法について解説します． word2vec とは？ 自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData の説明を拝借すると，word2vec とはつぎのような説明になります Word2Vecは、その名前の表す通り、単語をベクトル化して表現するする定量化手法である。例えば日本人が日常的に使う語彙数は数万から数十万といわれるが、Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。 それぞれの単語を200個の要素の組み合わせとして表現するため、このような手法は「分散表

Help us understand the problem. What is going on with this article?

概要 業務でぶつかるデータ解析関連の「困ったさん」をコストを掛けずに解決する方法を示す． コストを掛けずに実現するひとつの理想形として，RStudio + github の利用方法を紹介する． データ解析をしていて困ること ２人以上でデータ解析をするとき，みなさんはどういうことに困るでしょうか？ おそらく多くの方は，「共有」と「再現・訂正」に困るかと思います． 「共有」 データの共有：解析に利用するデータをどのように利用するか？ データ解析結果の共有：解析した結果をどのように共有するか？ 「再現・訂正」 データ解析の再現：他の人のデータ解析をどのように再現するか？ データやデータ解析の訂正：自分あるいは他の人のデータ解析の誤りをどのように訂正するか？ データ解析は，その結果を他の人にどう見せるか困ります． またデータ解析を複数人でやっていたりするときに，ほかの人のデータ解析を再現あるいは検