Digest::BLAKE2作成で学ぶモダンPerl XSモジュール作成と、挫折
Perlを3行書くと死ぬ奇病にかかってはや数年、毎日青息吐息で出社している僕です。一番好きな言語はC言語です。裏切らないから。 というわけで、裏切らないC言語でPerlのモジュールがかければ死ぬ可能性が低まるのではないか、という仮説のもとに、XS module作成を習作してみよう。 BLAKE2というとよさげなハッシュアルゴリズムがあるので、それをPerl module化してみた。 https://github.com/gunyarakun/p5-Digest-BLAKE2 http://search.cpan.org/~gunya/Digest-BLAKE2/ ベンチマーク まずはベンチマークから。 BLAKE2には4つのアルゴリズムがあるが、マルチプロセス版はセグフォしたので、BLAKE2bとBLAKE2sのみ。 BLAKE2bは64bit CPUで高速に動き512bit出力。BLAK
Every XS authors should use Test::Valgrind - tokuhirom's blog
Test::Valgrind is a perl wrapper for valgrind(1). T::V helps to find invalid memory operation. You can use it by command line like following: prove --exec 'perl -Iblib/lib -Iblib/arch -MTest::Valgrind' t/*.tOr use it as test script. You can put it on xt/. use Test::More; use Test::Requires 'Test::Valgrind'; leaky();Latest stable version of valgrind is not supported OSX 10.6, yet. But, you can inst
XSでCの文字列操作関数を使用するべきでない理由 - Islands in the byte stream (legacy)
またはRe: PerlとC言語の型に対応する値への相互変換 XSでCの文字列操作関数の使用はなるべく避けるべきです。Cの文字列操作関数は危険で使いにくいものです。その代わりに、Perlが提供する安全で使いやすいSV APIを使ったほうが余計なことを考えずに済みます。 まずC言語でプログラミングする際の一般論として、strcat()やsprintf()などの文字列長を制御できない関数を使用するべきではない、というものがあります。これらの関数を使用して安全なプログラミングをするのは非常に困難であり、代わりにstrncat()やstrlcat()、あるいはsnprintf()といった文字列長を制御できる関数を使うべきです。 またPerl/XSに関して言うならば、そもそもCの文字列操作関数を使う必要はほとんどありません*1。char*の代わりにSV*を使うようにし、なるべくPerl API で文字
ライブコーディングで XS : にぽたん研究所
弊社の、とあるエンジニアだけが集まるミーティングで、毎週ライブコーディングでアルゴリズム勝負をやるみたいなコーナーを設けてたりします。 毎週ベンチマーク対決をやり、最強のやつに勝てるアルゴリズムで挑戦します。 #!/usr/local/bin/perl use strict; use Benchmark qw(:all); my @args = qw(foo bar baz); cmpthese(100000, { champ => sub { champ(\@args) }, yours => sub { yours(\@args) }, }); # winner sub champ { my $args = shift; # do something } # your code here sub yours { } 実際のものはもっと数多くのベンチマークのパターンがあるのですが、こんな
perlXSでSTLのstd::mapを使ってみる - download_takeshi’s diary
ここのところC++でコードを書いているんですが、やっぱりそいつをperlから使いたい。 ということでXSについてお勉強中です。 ごく簡単なものなら書けるようになってきましたが「perlから渡したハッシュをC++側でstd::mapとして受け取りたい」といった特殊なケースではまってしまったのでメモっておきます。 いろいろ悩みはしましたが、結論から言うと「hollyなblog」さんのところでまさにドンピシャな記事を書いてくれていたので、これを参考に頑張ってみました。 以下、サンプルコードと実践手順です。 C++コード hashを渡してstd::mapを返すというケースを想定しているので、以下のようなクラスを準備しました。コサイン類似度を計算するコードです。 vector_tool.hとして以下を用意します。 #include <iostream> #include <map> #include
PL_check hack - daily dayflower
（あとでかく） XS くらいいじれないと Shibuya.pm に加入できないらしいので，とりあえず書きましたー。今回は実践編なので，あまりわかりやすい内容＆たいした内容ではないです。わっふるさせてごめんなさい。 ゴール #!/usr/bin/perl eval 'print "Hello ' . $ARGV[0] . '!\n"'; とか危険ですよねー*1。こんな機能があるなんてけしからん。ですので，eval の実行を抑制するモジュールを書いてみました。 というのは冗談で，eval の実行主体となる OPCODEが，システム内で「完結」してます（んーうまく表現できない）。なのでサンプルとしていじりやすく，この題材をとりあげました。 評価型 eval はどのような OPCODE に変換されるのか まずは単純なコードを書いて，OPCODE がどのようになるのかたしかめてみます。 use st
XSでメモリークを避けるたった一つの方法 - Islands in the byte stream (legacy)
XSでメモリリークを避ける基本原則は、それほど難しくない。すなわち、作ったSV(およびSVファミリ)はすぐsv_2mortal()するのである。mortalなSVはスコープ*1から抜けるときに解放されるため、メモリリークは起こらない。つまり、あるスコープ内で新しく作ったすべてのSVをmortalな状態にしておくということだ。 この原則のもとでコードを書くと、誤ってリファレンスカウントを増やさなかったケースでは警告が頻繁に起きる。しかし、少なくともメモリリークは起こらない*2。メモリリークの検出は難しいので、警告が出るのは福音であろう。 もちろんこれは原則で、メモリリークにまつわることで覚えなければならないことは決して少なくない。 たとえば、XSUBの戻り値をSV*にするとき、sv_2mortal(RETVAL)してはいけない。これはPerlの仕様ではなくxsubppが勝手にsv_2mort
PerlのXSからPerlの関数を簡単に呼び出せるようにしてみた (C++で) - moriyoshiの日記
Perlの謎APIをwrapして、Perlスクリプトの関数をC++から簡単に呼び出せるようにしてみた。 てか、 リファレンスカウントを透過的に行えるようpimpl形式のコンテナを使ってみる mortalを透過的に行えるようcall_sv()による関数呼び出しを完全にブラックボックス化する って実験をやりたかっただけなのにDevel::BindPPとは完全に別プロダクトになっちゃいました。 test1() は、任意の数の引数を取り、引数の合計値を返す add()という関数 *1 を C++ から呼び出す例。 test2() は、MIME::Base64::encode_base64() を呼び出す例。 test3() は、複数個の値を返す関数を処理する例。 test4() は、perl::value() の演算子オーバロードのテスト。 #include <iostream> #include
にひりずむ::しんぷる - Win32::Unicode を XS 化させてみた
MSWin32 で Perl を使っている人にしか価値のない Win32::Unicode ですが、ちょっと前に 0.19 をリリースしました。 今回は、cygwin 対応のコードが入ってます。 cygwin では 1.7.1 あたりから、UTF8 が基調となっていますが、それはターミナルだけではなく、Perl でもそうです。恐らく cygwin の API が UTT8 化されたので、 Perl でそいつを呼び出す場合もそうなったんでしょう。（てきとーです） 何はともあれ、最近の cygwin-perl では、Win32::Unicode を使わずとも Unicode ファイルが扱えたりする（CORE::readdir で UTF8 で帰ってきたりする）ので、使う意味はないんですが、とりあえず CPAN-Testers でいつも cygwin がコケてるのでちょろっと対応した次第。まだ本
複数ファイルを使った中規模 XS の開発 - daily dayflower
複数ファイルをビルド対象とした XS の開発について，あまり手間をかけないシンプルで効果的な方法を書いていきます。自分の経験をもとに書きますのでベストプラクティスではありませんが。 余談（SV*() マクロの sideeffect にやられた話） state_stack という配列に state を整数値でスタックとして格納していて，スタックから過去の state を取り出そうとしたんです。 んで（わりと素直に） state = SvIV(av_pop(state_stack)); と書いたら，2つずつスタックから pop されてしまいました*1。 XS hacker なら当たり前な話ですけど，SV*() というのは一見関数然としてますがマクロなんです。 #define SvIV(sv) (SvIOK(sv) ? SvIVX(sv) : sv_2iv(sv)) こんな形で，いずれのケースに
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
XS基礎文法最速マスター - Islands in the byte stream (legacy)
元ネタ：Perl基礎文法最速マスター(id:perlcodesample) XSを始めるための手順といくつかの要素の解説です。C言語をある程度知っている人でも，これを読んだだけでXSの基礎をマスターしてXSを書くことができるようにはなっていません。リファレンスでもありません。 XSとは，狭義ではPerlでエクステンションを書くためのマクロ言語の名前ですが，広義ではエクステンションを書くための技術の総称です。ここでは，広義のXSを俯瞰します。 XSはいろいろと特殊なのでテンプレは無視で行きます。 目次： h2xsで空のディストリビューションを作る XSファイルの構成 スレッドコンテキスト SVファミリ GCとスコープ さらなる学習のために h2xsで空のディストリビューションを作る 以下のコマンドで空のXSディストリビューションを作ることができます。 h2xs -A -b 5.8.1 -n
Module::Install::XSUtilでXSモジュール用のMakefile.PLを書く - JPerl Advent Calendar 2009
前置き こんにちは，gfxです。好きなソースはタルタルソースとsv.cです。JPerl Advent Calendar 2009 Hacker Trackも8日目ですね。そろそろTipsを読むだけでは飽き足らず，モジュールを書きたくなってきたんじゃないでしょうか。そんなわけで，今日はModule::Install::XSUtilを紹介します。 本題 皆さんの中にはよくXSを書く方もいらっしゃると思いますが，XSモジュールを含むディストリビューションはビルド環境の設定が結構大変ですよね。build_requiresにExtUtils::ParseXSやXSLoaderを指定したり，make_maker_argsにOBJECT => '$(O_FILES)'を指定したりする必要がありますし，Cコンパイラは使えるか，Cコンパイラの警告を有効にしたい，ppport.hは十分に新しいか，などなど考え
How fast Mouse-XS in applications - Islands in the byte stream (legacy)
v0.40_06から，Mouseが生成するコンストラクタとデストラクタもXSになった。Mouseが生成するアクセサはすでにXS化しているので，かなりのパフォーマンスが期待できるようになったはずだ。 しかし，いくらコンストラクタやアクセサといった部品が速くても，アプリケーションが高速にならなければ意味がない。 そこで，Any::Mooseを使ったモジュールであるHTTP::Engineで，PP版とXS版の速度差を比較してみた。 結果： Perl/5.10.1 (i686-linux) load HTTP::Engine, new(), and run() Rate PP XS PP 789/s -- -55% XS 1748/s 122% -- load HTTP::Engine, new(), and run() * 100 Rate PP XS PP 16.7/s -- -20% XS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DO NOT write XS