Python: map/filter 処理を並列化する - CUBE SUGAR CONTAINER
今回は Python でリストなんかへの map/filter 処理をマルチプロセスで並列化する方法について。 この説明だけだと、なんのこっちゃという感じだと思うので詳しくは後述する。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G29 $ python --version Python 3.6.3 下準備 Python の REPL を使って説明していくので、まずは起動する。 $ python まずは、サンプルのデータとして 0 から 9 までの数字が入ったリストの data を用意しておく。 >>> list(range(10)) [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] >>> data = list(range(10)) map/filte
データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション（以下、バッチ）を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない（ノウハウを必要としない、フレームワークに頼る必要のない）、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに
“モダン”ウェブアプリケーション 〜アメブロ5ヶ年計画〜
HTML5 Conference 2017.9.24 1. “モダン”ウェブアプリケーション ∼アメブロ5ヶ年計画∼ HTML5 Conference 2017.9.24 原 一成 @herablog 2. アメーバブログ 2004年開始のブログサービス 芸能人の利用が多い 芸能人以外とそれ以外のPVは半々 3. 2015 バックエンドシステムの刷新 2017 2016 Isomorphic JavaScript AMP https Code-splitting Node.js v8 React 16 PWA 4. 5年かけて“モダン”な状態にする 5. “モダン”であること エコシステムとつながっていること 6. “モダン”であること エコシステムからの恩恵 エンジニアの流動性 ! " 7. エコシステムからの恩恵 最新技術を取り込みやすい 世界中のエンジニアと協力できる ! 8. エン
PythonでCSVを高速＆省メモリに読みたい - tkm2261's blog
今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +
Haskellで英語学習用のコマンドラインツールを実装しました - Kuranari::Log
昨日のHaskellハンズオン でIOモナドを学びました。 アイデアがあったものの、イベント中に実装が間に合わなかったので改めて時間を取って実装をしてみました。 改良点すべき点は多いのですが、とりあえず動くようになったので公開してみます。 作ったもの 英語学習用のCLIツール。 日本語に対応する英語を入力すると正解か不正解か、不正解の場合はそのDiffが表示される。 GitHub - kuranari/ring-note 最近、瞬間英作文の書籍を使って英語の勉強をしているのですが、音読だと時制や単数・複数の扱いが曖昧なまま流してしまうので、コンソールで入力して正確な作文が出来ているのかチェックしてみることにしました。 紙に書くと時間がかかるので、キーボード入力がちょうどいいのではと思った次第です。 どんどん話すための瞬間英作文トレーニング (CD BOOK) 作者: 森沢洋介出版社/メーカ
製品
PG-StromGPUとNVMEの能力をフルに引き出し、並列動作する数千コアの力でPostgreSQLを爆速化、テラバイトを超える大量データに挑むためのオープンソース拡張モジュール。 PG-Stromの概要 PG-Stromは最も広範に利用されているOSS-DBシステムの一つ、PostgreSQL向けの拡張モジュールで、数十TB、数百億件といった規模の大量データの検索、集計、加工といった処理を、GPUやNVME-SSDといった最新のハードウェアの能力を最大限に引き出して、シンプルなシングルノード構成のシステムで、高速に実行するためのソフトウェアです。 GPUの特徴 GPUには数千個のプロセッサコアが搭載され、並列計算を極めて効率よく実行するように設計されています。その一つが行列演算ですが、これは大量の均質なデータに対して同一の演算を同時に実行するという特性があります。SQLにも類似の処理は
Logstash を使って MySQL データを Elasticsearch にインデックスする（基本編）
リレーショナルデータベースで管理しているデータを Elasticsearch で検索・分析したい場合、Logstash が便利です。 Logstash とは？Logstash はオープンソースのサーバーサイドデータ処理パイプラインです。様々な数のソースからデータを取り込み、変換し、指定された任意のストア先にデータを格納することができます。 処理の内容はシンプルで、Input ステージでソース元の接続先情報を管理し、Filter ステージで変換をし、Output ステージで格納先接続先情報を定義します。Input 及び Output プラグインはデフォルトで様々なソースをサポートしています。そのため、Logstash を使えば、プログラミングレスで MySQL のデータを取り込み、変換し、Elasticsearch へインデックスすることができるのです。 事前準備MySQL と Elasti
MBPからThinkpad X1 Carbon(2017)に移行した
joker1007さんも煽っていることもあり、MacBook Pro Retina(2015) 15インチが重すぎてしんどいので、Thinkpad X1 Carbon(2017)を買いました。2.04kgから1.13kgへと大幅軽量化しました。外での打ち合わせや出張も結構増えてきて、Macは電源も含めると辛い重さになるので思いきって買いました。背中と腰が死にそうなので軽さは正義です。(msfmさん色々ご相談に乗っていただきありがとうございました！） 選定のポイントは 1.3kg以下英語キーボードメモリ16GB15万円くらいまでという条件で選んだのですが、最後まで残ったのはDell XPS13とX1 Carbonだけでした。最初は値段の安さと軽さに惹かれてZenbook 3をメインに機能と値段の比較表を書いていたんですが、途中で店頭でキーボード触ってみて、日本語キーボードだとホームポジション
覚えるだけでPythonのコードが少し綺麗になる頻出イディオム - タオルケット体操
まえがき 今年の春から今まで、2年ぶりにPythonを沢山書いているわけなんですが、JavaScriptのクソに頭をやられて久しぶり書くだけあって基本的なところから色々と頭から抜け落ちていたわけです。 そんで何か思い出すたびに会社のwikiを使ってメモっていたのですが、せっかくなので少々訂正をしてブログにも書きます。 また、弊社はPython2を使っているので、2が前提の記述になっているところがいくつかあります。なるべくフォローしていますが、参考にする場合は自分が使っているバージョンを確認することをおすすめします。 また、今から新しくPythonでプロジェクトを始めようと思っている人は3系を使いましょう。 知ってる人は当然知ってる、でも結構長いことPythonを書いてても知らなかったりするような小技を載っけました。 なお、メタプログラミングとかの黒魔術っぽい記事のまとめはこちら: hach
Linuxカーネルの新機能 XDP (eXpress Data Path) を触ってみる - yunazuno.log
先日netdev 1.2に参加してみたところ，XDP(eXpress Data Path)の話題で持ち切りといった感じだった． というわけで，XDPについて一通り調べつつ，実際に触ってみた． XDPとは何か？ 誤解を恐れずに一言で言うと，「Intel DPDKのような高速パケット処理基盤をLinuxカーネル自身が用意したもの」であると理解している．このスライドでは A programmable, high performance, specialized application, packet processor in the Linux networking data path と言っている． DPDKはユーザランドアプリケーションがNICを直接叩く(=カーネルのネットワークスタックをバイパスする)ことで高速処理を実現している．一方XDPは，カーネル内の最もNICドライバに近い場所でフッ
機械学習手習い: 多項式回帰と正則化 - うなの日記
「入門 機械学習」手習い、6日目。「6章 正則化:テキスト回帰」です。 www.amazon.co.jp 多項式回帰と、過学習を避けるための正則化について学び、最後に正則化を使って書籍の裏表紙の紹介文から人気順を予測します。 # 前準備 > setwd("06-Regularization/") > library('ggplot2') 非線形データの回帰分析 世の中には、直線では関係をうまく表現できないデータがあります。 例えばこんなの。 > set.seed(1) > x <- seq(-10, 10, by = 0.01) > y <- 1 - x ^ 2 + rnorm(length(x), 0, 5) > ggplot(data.frame(X = x, Y = y), aes(x = X, y = Y)) + geom_point() + geom_smooth(method
プログラマーが「ネットワーク怪しくない？」と思った時に覚えておくと便利なことまとめ - LIVESENSE ENGINEER BLOG
インフラエンジニアの中西です。 最近プログラマーからこのような話を耳にします。 「ネットワークって難しい/よくわからない」 最近ではAWS,GCPをはじめとするクラウドサービスが充実しているのでWeb界隈のエンジニアはなおさら気にするシーンが少なくなったように思います。 今日は最低限これだけ覚えていたら有事の際にちょっとは役に立ちますよという話が出来たらなと思います。 書式統一のため sudo を省略しています。ご容赦下さい。 コマンド編 ping ping です。疎通確認を行う時のコマンドです。 さすがに分かると聞こえてきそうですね。 例えば、192.168.1.1 というサーバに通信を確認したい場合はこうです。 $ ping 192.168.1.1 繋がる場合はこうなります。 $ ping 192.168.1.1 PING 192.168.1.1 (192.168.1.1): 56 d
データ分析の「7つの進化のステップ」を今一度おさらいしてみる - 渋谷駅前で働くデータサイエンティストのブログ
2016年最初の記事ということで、もはや1月下旬に差し掛かりつつありますがこちらでは改めて、あけましておめでとうございます＆本年もよろしくお願いいたします。 で、新年一発目のお題は。。。実は似たようなお題で過去にも記事を書いていますが（笑）、年も改まったことなので今一度備忘録的におさらいしてみたいと思います。観点としては、どちらかというと「これからデータ分析のカルチャーを職場に導入していくとしたらどうやってステップアップさせていくか」みたいなところです。なお過去記事はこちら。 この辺の話題を踏まえながら、過去記事リンクのオンパレードで恐縮ですがちょっと一席やってみます。なお以下に挙げる「ステージ」はあくまでも一例であり、業界によってはもっと高度な方向に展開させられる（orもっとプリミティブなレベルに留まる）こともあるので、参考程度に見てもらえればと。 特にここでは「まだデータ分析を始めてい
「非Railsアプリケーションのマルチデータベース対応と高速化の取り組み」が面白かった - rochefort's blog
RubyWorld Conference 2015の動画を見ています。 18分ほどの短めのセッションでしたが、とても面白かったです。 MySQLにしか製品していなかった製品を大人の事情でPostgreSQLにも対応したというお話。 ORMとしてSequel を導入したがいろいろ問題があり、それらをいかにして乗り越えたという心温まるおエピソードでした。 A-5-1 「非Railsアプリケーションのマルチデータベース対応と高速化の取り組み」 Sequel導入 結果 遅くなった！ 原因 ARパターンでDB接続時にテーブル構造を取得 Unixデーモンモデル（接続ごとに子プロセスをfork） マルチスレッド化 プロセス生成コスト減 クラスメソッド クラス変数 グローバル変数 シングルトン PID コネクションプール 結果 遅くなった！！ 原因 Rubyは1プロセスが同時に1CPUしか使えない 複数ス
2015年にリリースしたやつらの紹介 - ローファイ日記
octochan github.com curlで叩くとGitHubのIssueにコメントするやつ。Ikachan for GitHub。 Sinatraベースで、以下のように config.ru を書くと動く。アクセス制限とかは別のRack Middlewareでやってください。 require 'octochan' module PB class GitHub < Octochan::App set :access_token, '......' end class GHE < Octochan::App set :access_token, '.....' set :api_root, 'https://your.ghe.local/api/v3' end end map '/github' do run PB::GitHub end map '/ghe' do run PB::GH
フロントエンドがサーバー負荷を抑えるためにできること - アニメイトラボ開発者ブログ
はじめまして、アニメイトラボのフロントエンドエンジニア id:koharusugiura です。 フロントエンドエンジニアとして働いていると、いかにサーバーサイドに負担を掛けずに処理を行うかについて考えることも多いと思います。 そこで今回は、サーバーに画像の転送を行う前にクライアント側で画像加工をする話について書きます。 この記事は animateLAB Advent Calendar 2015 15 日目の記事です。 qiita.com JavaScript で画像処理を行う ウェブアプリケーションで画像ファイルの加工が要件にある場合、サーバー側で画像加工を処理するケースが大半だと思います。 しかし、データ通信のことを考えると、最適な考え方とは言えない気がしています。 近年、日本のインターネット回線の速度は大きく向上しているとはいえ、モバイルデータ回線はまだまだ速度的に完璧とは言えません
Ruby標準添付ライブラリcsvのCSV.tableメソッドが最強な件について
─ 問題１ ─ data.csvファイルには、５人のプレイヤー（Alice, Bob, Jimmy, Kent, Ross）が二種類のゲーム（gameA, gameB）をプレイした結果が次のような形で格納されている。各ゲームの平均点を求めよ。 data.csv player,gameA,gameB Alice,84.0,79.5 Bob,20.0,56.5 Jimmy,80.0,31.0 Kent,90.5,15.5 Ross,68.0,33.0 data = File.read('data.csv') headers, *scores = data.lines.map { |line| line.chomp.split(',') } scores # => [["Alice", "84.0", "79.5"], ["Bob", "20.0", "56.5"], ["Jimmy", "80
「データドリブン開発時代の技術とその選びかた」：デブサミレポート - トレジャーデータ（Treasure Data）ブログ
はじめに 2015/10/14 にデータエンジニアのためのビッグイベント，Developers Summit Autumn が開催されました。今回のテーマは「データを巡るテクノロジーの冒険」 ，データ関連のテクノロジーにフォーカスしています。このイベントに弊社のソフトウェアエンジニアである田籠（@tagomoris）が登壇しました。今回は彼の発表内容について，多くの皆様に知ってもらうべく，解説していきます。 トレジャーデータ 田籠 聡 【データドリブン開発時代の技術とその選びかた】 Data-Driven Development Era and Its Technologies from SATOSHI TAGOMORI 要旨 ビッグデータやデータサイエンスといった用語が頻繁に用いられるようになって久しくなりました。データを中心とした開発も実際に各企業で行われるようになっておりそれはますま
Rで解析：データを視覚化！新しい発見があるかも？「UpSetR」パッケージの紹介
定性的データ、定量的データの組合せと散布図などを同時にプロットしデータセットの特徴を探索的に把握するのに便利な「UpSetR」パッケージです。少々、使い方に癖がありますが「使用データ例を最小構成」に出力例を紹介します。 パッケージのバージョンは1.4.0。 windows11のR version 4.1.2で確認しています 。 実行コマンドに必要なパッケージのインストール下記コマンドを実行してください。 install.packages("UpSetR")実行コマンドの紹介詳細はコメント、パッケージヘルプを確認してください。 #パッケージの読み込み library("UpSetR") #####準備##################### #データ例の作成 TestData <- data.frame(Group = paste0("Group", 1:100), Data1 = sam
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleの無料BIツール「Google Data Portal(グーグルデータポータル)」の使い方 | 解析レポート作成時間がゼロに！ | Ledge.ai
