atm_09_tdのブックマーク / 2015年10月29日

Web開発者であれば押さえておきたい10の脆弱性　～セキュリティ学習の第一歩はここから踏み出そう

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

atm_09_td 2015/10/29

セキュリティ

リンク

PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita

概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。クローラーをSpiderのサブクラス、スクレイピングした情報をIt emのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、という風にフレームワークが決めたインターフェースを満たすクラスとしてクローラーを実装する。 scrapyというコマンドが提供されてて、このコマンドを使って、作ったクローラーの一覧を見たり、クローラーを起動したりできる。 Seleniumは、ブラウザをプログラムから制御するためのツール（でいいのかな？）。Pythonも含めたいろんな言語で使える。よくWebサイト/アプリの自動テスト文脈でよく出てく

atm_09_td 2015/10/29

リンク

Polymer v1.1のAPIまとめと周辺リソースの紹介

Googleが開発するWeb ComponentsのライブラリPolymerのバージョン1.1が、2015年8月13日にリリースされました。本記事では、Polymer v1.1のAPIの主要なAPIを解説しつつ、その参考情報を紹介していきます。また、この記事は「Web ComponentsのこれからーPolymer 0.8、X-Tag、Brick、Bosonic」を事前に読むと理解が深まりますが、これからPolymer v1.1を始めてみるということであれば、本記事単体でも参考にしてもらえればと思います。 Polymer v1.1までの変更点 v0.5からv0.8にかけての差分は前回の記事にて紹介しましたが、その1週間後にv0.9がリリースされ、さらに2週間後にv1.0がリリースされています。 0.8 released! – polymer blog 0.9 released! – po

atm_09_td 2015/10/29

リンク

RHEL/CentOSユーザーのUbuntu入門【コマンド、設定ファイル編】 | DevelopersIO

（※1）: yumは都度更新（※2）: 削除済みパッケージも表示サービス編 | CentOS | Ubuntu | 説明 | |:-------|:-------|:----| |chkconfig --list|ls -l /etc/rc*.d/ or sysv-rc-conf --list（※3）|自動起動設定確認| |chkconfig <SERVICE\> on|update-rc.d <SERVICE\> enable（※4）|自動起動有効化| |chkconfig <SERVICE\> off|update-rc.d <SERVICE\> disable|自動起動無効化| |chkconfig --add <SERVICE\>|insserv -d <SERVICE\>（※5）|自動起動サービス追加| |chkconfig --del <SERVICE\>|insserv

atm_09_td 2015/10/29

Linux

リンク

Linux ネットワークパフォーマンスの機能強化 - Qiita

ソフトウェア割り込みが偏る？ Linuxを利用していて、ネットワーク負荷が高いサーバを運用していると、特定のCPU負荷が高くなっている事があるのですが、そのようなケースを経験されたことはないでしょうか？ topでみると特定CPU(topを起動して1を押すとCPU単位で確認できる)の%si(software interrupt)がやたら高くなっている場合、それはネットワークの負荷が原因かも知れません。(実際のtopを貼り付けたかったのですが、持ち合わせがなかった・・・。)何も設定していない場合はネットワークの割り込みは特定のCPUで行われるため、ネットワークの割り込みに関連づいたCPUの%siが高くなります。ソフトウェア割り込みを確認するには、/proc/interruptsを確認しましょう。 # cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 0: 129

atm_09_td 2015/10/29

linux

リンク

Stackで管理しているHaskellのプロジェクトをCircleCIでビルドする - Qiita

最近話題のHaskellのビルドツールstackをCircleCIでビルドする方法の一例を紹介します。下記のようにcircle.ymlを書けばOKです。 dependencies: cache_directories: - "~/.stack" pre: - wget -q -O- https://s3.amazon aws.com/download.fpcomplete.com/ubuntu/fpco.key | sudo apt-key add - - echo 'deb http://download.fpcomplete.com/ubuntu/precise stable main'|sudo tee /etc/apt/sources.list.d/fpco.list - sudo apt-get update && sudo apt-get install stack -y ov

atm_09_td 2015/10/29

haskell

リンク

超訳 PyMC3 Tutorial （マルコフ連鎖モンテカルロ法フレームワーク）その１ - Qiita

Pythonでマルコフ連鎖モンテカルロ法(MCMC)を実行できるライブラリ、PyMC3のチュートリアルの訳を書いてみました。タイトルにあるように、原文をそのままではなく意訳を超えた「超訳」です原文のURL http://pymc-devs.github.io/pymc3/getting_started/ イントロダクション（だいぶ省略）確率的プログラミング(Probabilistic programming : PP)は柔軟なベイズ統計モデルをプログラムで行うことを可能にします。 PyMC3は新しいオープンソースの確率プログラミングフレームワークで、No-U-Turn Sampler (NUTS; Hoffman, 2014)や、ハミルトニアンモンテカルロ法 (HMC; Duane, 1987)のパラメーターの自己チューニングなど、次世代のマルコフ連鎖モンテカルロ法(MCMC)が使える

atm_09_td 2015/10/29

Python

リンク

政府統計の総合窓口(e-Stat)のAPIを使ってみよう [R編] - Qiita

はじめに Qiita Rアドベントに政府統計ポータル（e-Stat）と R でサンタさんの12月の出費動向を調べてみたという良記事がありました。とても参考になるのですが、ポータルからマウスで項目をクリックしていくのが大変です。特に最後の方のフェーズではページが強制的にフルスクリーンになってしまい、上記アドベントの操作を確認できなくなります。そこでAPIを使ってみます。その前に、e-Stat API を少し触ってみましょう。公式説明PDFをパクる恐れおおくも総務省統計局統計センター様謹製PDF の最後の事例をパクります。 RCurl でjson形式のデータを引っ張ってきます。次世代統計システムから取得した自分のアカウントが必要です。以下のコードで yourAPPID の部分を取得したID に変更してください。さらに加えて、統計表IDや分類表IDが必要なんですが、後述します。 >

atm_09_td 2015/10/29

R

リンク

NFSでI/Oシステムコール発行後に応答がない場合、プロセスを kill できるか - ablog

NFSのマウントオプションで soft と hard がある。プロセスがI/Oシステムコールを発行してユーザーモードからカーネルモードにコンテキストスイッチした後、応答がないと、soft の場合はリトライを繰返した後にI/Oエラーになるが、hard の場合は応答があるまで待ち続ける。 hard + intr: kill できる*1。おそらく TASK_INTERRUPTIBLE でスリープするため。 hard + nointr: kill できない。おそらく TASK_UNINTERRUPTIBLE でスリープするため。 Kernel 2.6.25 以降、TASK_KILLABLE が導入され、NFS Client のコードでI/Oシステムコール発行後、TASK_KILLABLE でスリープするよう変更が入り、マウントオプションに hard を指定しても kill できるようになっている。

atm_09_td 2015/10/29

Linux

リンク

R vs Python：データ解析を比較 | POSTD

主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルはここからダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま