はてなブックマーク

昔社内で説明した、分散シェルについてのまとめ。どれも基本的にパスワードなしログインができることが前提。使いドコロが結構違うので、それぞれ使い分けると吉。pdshはクラスタの監視とかgrepでの集計、csshxは緊急のクラスタの設定変更とかレシピ作る前の調査とかに、gxpはクラスタでのタスク分散実行に使うことが多い。 プロダクション構成では、可能な限り直接サーバに入ってこういう作業しなくて済むような環境を構築するのが望ましいけど、クソシステムに分け入って直したり障害対応する仕事は世の中いっぱいあるので、このご時世でも知っていると便利だとは思う。 pdsh pdshは複数のサーバに同時にssh接続して同時に同じコマンドを実行するための分散シェル。複数台のサーバのログを'tail -f'したり、ディレクトリの中身をまとめて表示したりするときに便利。 apiサーバのログを全台tail -fして以上

忘備録的に。推敲が足りないので読みづらいので心の広い人以外は読まないように。 goでは、Socket扱ったりいろんな通信をする複数のgoroutineが生えてるアクター的なStructを作ることが多いので、綺麗に全てのgoroutineを終了して何らかの終了処理を実施するための基本構成をまとめる。 まず停止処理に関係なくdeadlockを避けるために気をつけること socketでも待つしchannelでも待つしsync.Condとかでも待つというような複数のwaitが行われるようなgoroutineはdeadlockする可能性が高いのでそもそも作るべきじゃない。 threadsafeじゃないオブジェクトを触るのは基本的に一つのgoroutineに収める channelにオブジェクトの操作を完全に任せられない場合は、Mutexを使うことになるが、Mutexでロックしている範囲を不用意に広くし

データコンサル仕事してると、DBからテキトウに取ってきた値とかを、Jupyterの中でPandasでサマって客の目の前で可視化とかする事多いので、最終段の可視化周りをまとめる。 ここに上げたやつ使ってればまぁ大体の業務はカタつくとおもう。使い方はそれぞれTutorialを参考。そんな難しくない。 matplotlib http://matplotlib.org/ Gallery http://matplotlib.org/gallery.html 基本のライブラリ。みんな使ってる seaborn http://stanford.edu/~mwaskom/software/seaborn/ Gallery http://stanford.edu/~mwaskom/software/seaborn/examples/index.html matplotlibをベースに、統計解析結果を見た目よく

社内でDjangoプロジェクト増えてきて、イケてないクエリも増えてきそうなので簡単にメモを残す。 ORMを使って何も考えずにforeign keyの逆参照を取ってきたりMany-to-Manyの参照先を取得する際に、ループの度にクエリを飛ばして悲惨なことになるので、prefetch_relatedを使っとけという話 普通のForeign Keyならselect_relatedで必要な階層分引っ張ることが出来る。 普通に使う とりあえずこんなモデル from django.db import models class Campaign(models.Model): name = models.CharField(max_length=255) created_at = models.DateTimeField() class Creative(models.Model): name = mo

ライブラリ探すなら基本awesome go見とけばいいけど、いろいろ楽するためという観点で、思い出した順に適当に追記していく。気が向いたらサンプルも書く gojson https://github.com/ChimeraCoder/gojson jsonのデータを渡すとそれに対応するstructを生成してくれる。JSON APIを利用するときに楽ができる。既存APIのリプレイスをGoでやるときとかも良い。 goquery https://github.com/PuerkitoBio/goquery JQueryっぽくhtmlをパースしたり検索したりして楽ができる。自前でhtmlのパースなんか書いてられない。 goreq https://github.com/franela/goreq net/httpパッケージで、httpリクエストを飛ばすのは結構面倒だったりいろんな書き方があったりしてヘ

簡単なメモリリーク調査の作業手順渡して依頼する必要会ったのでこっちにもまとめた guppyとかheapyとか使ってたけど、tracemallocが3.4系で標準になっていて、snapshot間の差分なんかも取れるので今後はこいつ一択で良さそう 3.3系まではpytracemallocモジュールをインストールして使う 使い方 メモリ使用量のリスト見る https://docs.python.org/3/library/tracemalloc.html#display-the-top-10 import tracemalloc tracemalloc.start() # ... run your application ... snapshot = tracemalloc.take_snapshot() top_stats = snapshot.statistics('lineno') imp

はじめに Gunosyの粟飯原(@shunsukeaihara)です。社内でのポジションはピエール瀧です。Gunosy Advent Calender2014では三度目の登場です。今回は自作のPython製の画像処理ライブラリ、colorcorrectの紹介をします。 colorcorrect colorcorrectは、色恒常性仮説に基づき、ホワイトバランスのズレや、画像の褪色・変色を自動で補正するライブラリです。古い画像の色の復元のような事もできますが、画像認識などの前処理としてこのライブラリで色の補正を入れることで画像認識の精度を向上させることが可能になります。CVPR2013の論文などで実際に利用されています。1 numpyで実装されていますが、速度が必要な部分はC++で書いたものをnumpy.ctypesでラップして呼び出しています。作成したのがかなり昔の物なので、Pythonの

はじめに ほとんどのデータをS3に突っ込んでいる場合、アドホックな分析であったり統計モデル作成をしたりする際に、適当にバケットまるっとロードしてSparkSQLでクエリなげたりMlibに突っ込むというのは割りとよくあることかと思います。 EMRでSparkを動かす際に、これまではYARNに対応しているBootstrap Actionが無かったので設定がだるかったのですが、awslabsがYARN対応のbootstrap actionsを出しているのでそれを試してみます。 http://blogs.aws.amazon.com/bigdata/post/TxO6EHTHQALSIB/Getting-Started-with-Amazon-EMR-Bootstrap-Actions https://github.com/awslabs/emr-bootstrap-actions/tree/ma