perl - テキストファイルで配列 : 404 Blog Not Found
2010年08月11日22:00 カテゴリLightweight Languages perl - テキストファイルで配列 Perl Cookbook (English) Christiansen / Torkington [邦訳: Perlクックブック] それってCore Modulesでもできるよ、ということで紹介。 [を] インデックスを使った指定行取り出しプログラム(Pure Perl) Tie::File Perl 5.7.3 から標準装備。Pure Perlな実装でもあり、確実に使えます。 #!/usr/bin/env perl use 5.010; use strict; use warnings; use autodie; use Tie::File; use Fcntl 'O_RDONLY'; tie my @dict, 'Tie::File', '/usr/share/
インデックスを使った指定行取り出しプログラム(Pure Perl)
インデックスを使った指定行取り出しプログラム(Pure Perl) 2010-08-10-1 [Programming][Algorithm] テキストファイルから指定した行を取り出すタスクについて。 頭から走査する方法 まずはファイルの頭から走査していくナイーブな方法。 ■コード（getline-naive.pl）： #!/usr/bin/perl use strict; use warnings; my $qidx = shift @ARGV; # start from 0 my $tgtfn = shift @ARGV; open(my $fh, "<", $tgtfn) or die; while (<$fh>) { next if $. != $qidx + 1; print; last; } close $fh; 先頭行は0行目になる仕様。 ■実行例： % cat test.d
Perlではじめるテキストマイニング - JPerl Advent Calendar 2009
Perlではじめるテキストマイニング - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ ■前置き みなさんこんにちは。ダウンロードたけし（寅年）です。来年は年男なので今からお正月が待ち遠しい35歳2児の父です。 ここ数年、web広告業界ではコンテキスト解析とかユーザの行動分析とか、いわゆるデータマイニング／テキストマイニング系の話題が花盛りです。 自分もそんな業界に属しているんですが、ふと気がつくと日本語のテキストマイニング系モジュールを量産してしまっているので、ここらでいくつか紹介してみたいと思います。 今回はインターネットからブログなどのコンテンツを取得して、それを意味解析してクラスタリングする、といったようなことを題材にモジュールの紹介をしてみます。 ■HTML::Featureで本文抽出 まずは
最速並び替え研究会 - Yappo::タワシ
1000万行とか10億行でも何でもいいけど、いっぱいデータが入ってるテーブルのsortカラムの値を並び替えたい。 例えば以下のようにsort_testテーブルを作る use strict; use warnings; use DBI; my $dbi = DBI->connect('DBI:mysql:database=test'); $dbi->do('DROP TABLE IF EXISTS sort_test'); $dbi->do(<<SQL); CREATE TABLE sort_test ( id INT, sort INT, index(id), index(sort) ) ENGINE=InnoDB SQL my $sth = $dbi->prepare('INSERT INTO sort_test VALUES' . join(', ', ('(?,?)')x10_000
Kansai.pmでコルーチンについて発表してきた - はこべにっき ♨
Kansai.pm#11にて「Perlで学ぶコルーチン」という発表をしてきました． だいぶ前のRuby勉強会でRuby 1.9のFiberをみてPerlでもいろいろやってみていたので，その時しらべたことを中心にぐだぐだとしゃべりました． Perlで学ぶコルーチンView more presentations from hakobe. コルーンは継続や並行処理などいろいろな概念がからんでいて調査がたいへんでした．PerlでのCoroの実装がどうなっているのかもう少し詳細に調査/発表できたらよかったです． スライドにも書いてますが，Ruby 1.9のFiberとまったく同じインターフェースをもったFiber.pmをつくってみました．githubで 公開しています． http://github.com/hakobe/perl-fiber/tree 以下のように簡単にFiber(=コルーチン)をつ
String::Dictionary - naoyaのはてなダイアリー
String::Dictionary という Perl のライブラリを作ってみました。 http://github.com/naoya/perl-String-Dictionary/tree/master String::Dictionary は検索エンジンその他を作る時に必要になる「辞書」のためのデータ構造 + API です。辞書は単語の集まりですが、これを配列やハッシュなどで持つのではなく、単語をすべて繋げた一つの大きな文字列として保持することでメモリ領域を節約したものです。単語は単に文字列連結で持つだけでなく、Front Coding で圧縮しています。以下簡単な解説です。 辞書は例えば [0] ･･･ jezebel [1] ･･･ jezer [2] ･･･ jezerit [3] ･･･ jeziah [4] ･･･ jeziel ...という風に単語を配列で持つことで実現でき
人工無能を作ろう〜マルコフ連鎖(perl)
perlでChaSenを使って形態素解析＆「1語の接頭語+1語の接尾語」のマルコフ連鎖をする際のサンプルです。 プログラムの文字コードはEUC-JPで、CGIとして実行できブラウザから実行結果を確認できるように書いてます。 perlからChaSenを使う場合、Text::ChaSenなど便利なモジュールもあります。 しかし、利用する形態素解析ツールが変わった場合にも簡単に対応出来るようにする為、Text::ChaSenを使わない方法で書きます。 下記ソースは汚染チェック・エラーチェック等を行ってませんので、ご利用の際にはご注意下さい。 #!/usr/bin/perl -w # ChaSenのパス $chasen = '/usr/local/bin/chasen'; # 形態素解析を行う文章 $str = "本当の優しさとはどんなことなのだろうか。相手がして欲しい事に気づいてあげら
ループアンローリングとデータハザードのデモをPerlでやってみた - 日曜プログラマのそゞろ事
先日のKansai.pmで発表されていた、ループアンローリングを試してみた。 発表のスライド:Cell Challenge 2009 参加記 Wikipedia:ループ展開 - Wikipedia ループアンローリング自体はWikipediaによればループ展開ということだが、目的としてはデータハザード（データ依存のために計算の並列処理が不可能になること）をなるべく回避するのが目的であった。 スライドの30枚目に展開の方法が書いてるので、それを実際に試してみた。 以下、ベンチマークの結果 Benchmark: running Unrolling1, Unrolling2, normal for at least 3 CPU seconds... Unrolling1: 3 wallclock secs ( 3.00 usr + 0.00 sys = 3.00 CPU) @ 429810.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
YAPC::Asia 2日目 「はてなブックマークのシステムについて」 - naoyaのはてなダイアリー
YAPC::Asia 2009 1日目 「Perlで圧縮」の資料 - naoyaのはてなダイアリー
Loading...