LinuxコマンドをPythonから上手に扱う方法 - Qiita
# -*- coding: utf-8 -*- from __future__ import absolute_import, unicode_literals from subprocess import PIPE, Popen def cmdline(command): """ コマンドを実行する。shell=Trueの場合シェル経由で実行する。 :param command: str :return: Popen """ return Popen( args=command, stdout=PIPE, stderr=PIPE, shell=True ) # 標準出力 print '標準出力:' + cmdline('date').stdout.readline() # 標準エラー出力 print '標準エラー出力: ' + cmdline('echo 2015|xargs wc -l
ストリームデータ解析の世界
【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい
Apache Sparkの導入検証を行いました －パフォーマンス検証編－ - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している渥美です。 前回の ブログでは、新たな分散基盤である「Apache Spark（アパッチ スパーク）」の概要について、「基礎編」として解説させていただきました。今回は、実際に弊社内で行ったパフォーマンス検証について、皆さんにスライドでご紹介したいと思います。 スライドの内容 1.Spark検証環境 2.Spark検証 3.Spark検証結果 4.Spark Streaming検証 5.Spark Streaming検証結果 6.Spark Streamingデモアプリ検証 7.Spark Streamingデモアプリ検証結果 8.まとめ Sparkは、進化のスピードが速く、この検証中にもDataFrame
Vagrant と RDO で OpenStack をサクッと試す
構築や運用の面倒くささに定評のある OpenStack だけど、色々な所が出しているディストリビューションを活用することで、それを少しは軽減できる。 RDO は RedHat が出している OpenStack ディストリビューションのコミュニティ版だ。 今回はその RDO を Vagrant と組み合わせて OpenStack を触れる環境をサクッと作ってみる。 尚 Vagrant のバックエンドにはデフォルトの VirtualBox を使う。 今回使う Vagrantfile は以下の通り。 仮想マシンの上で仮想マシンを動かす (Nested Virtualization) ので、メモリは 4GB くらい欲しいところ。 ホストには CentOS 6.5 を使う。 $ cat << EOS > Vagrantfile # -*- mode: ruby -*- # vi: set ft=ru
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sparkパフォーマンス検証
