コンテナと for ループ - IKB: 雑記帳
次のようなコード断片、 iterator を明示的に使う for ループが見苦しく感じる。 void hexstr( const std::vector<unsigned char>& bytes, std::vector<char>& out) { for(std::vector<unsigned char>::const_iterator iter = bytes.begin(); iter != bytes.end(); ++iter) { int byte = (int)*iter; const char hexchars[] = "0123456789ABCDEF"; out.push_back(hexchars[(byte>>4)&15]); out.push_back(hexchars[byte&15]); } } STL アルゴリズムを使えば、 iterator を陽に使わ
ICU（C++）を使って Unicode 正規化 - やた＠はてな日記
文字列を処理するのに Python はとても便利ですが，速度が気になる状況では，やはり C/C++ を使いたいところです．ということで，Unicode 正規化（http://homepage1.nifty.com/nomenclator/unicode/normalization.htm）のために ICU（ICU - International Components for Unicode）を試してみました． インストール Synaptic パッケージ・マネージャから libicu-dev をインストールできました． Unicode 正規化のテスト // g++ には `icu-config --cppflags --ldflags` を渡します． #include <unicode/normlzr.h> #include <iostream> int main() { // utf-8
gdbでSTLやboostのコンテナの中身をわかりやすく表示 - redboltzの日記
VC++では、Debugger Visualizersによって、デバッガから、コンテナの中身をわかりやすく表示することが可能だ。 http://d.hatena.ne.jp/faith_and_brave/20100329/1269833173 gdbの場合はどうだろうか？ まず、STLのコンテナに関しては、 http://sourceware.org/gdb/wiki/STLSupport をインストールすることで対応可能なようだ。 インストール方法は、 svn co svn://gcc.gnu.org/svn/gcc/trunk/libstdc++-v3/python を適当なディレクトリに配置し、以下の内容をホームディレクトリの.gdbinitに追記すればよい。.gdbinitが無ければ作ろう。 python import sys sys.path.insert(0, 'インストール
logsumexp は人類の黒歴史 - アスペ日記
あえて言い切る。 ここでは主に計算量について言っているので、スクリプト言語でデモ的なものを作るような場合は除く。この記事では C++ を使って書く。 logsumexp でどのように計算の量が増えるかはunnonouno: logsumexpとスケーリング法に詳しい。 ちょっと引用。 linear-chain CRFのパラメタ推定に必要なのは対数尤度関数の微分です．これの計算に必要なのが，前向き・後ろ向きのスコアαとβです．時刻t（系列上での位置）とラベルiに対する前向きスコアαは，以下の式で計算されます．fは特徴ベクトル，wは重みベクトルです． この後の話の流れは、 掛け算いっぱいで大変！ オーバー／アンダーフローしちゃうよ！ じゃあ log の世界で扱えばいいんじゃね？ 足し算もあるよ！ どうするの？ 「logsumexp〜」 すごい！ これでオーバーフローしないし安心だね！ でも重い
STL風に使えるマップ型コンテナの紹介と性能比較 - Preferred Networks Research & Development
最近スマートフォンに乗り換えました。徳永です。 C++は世に数あるプログラミング言語の中では比較的メモリを食わない方ですが、それでもメモリ使用量が問題となる場合はあります。そのような場合の対処方法はいくつか有りますが、手軽に選択できる方法として、今日はSTLのmapやunordered_mapと同じ感じで使えるデータ構造をいくつか紹介したい思います。 以下、計算量の表記をする際には、要素数をnとします。 Loki::AssocVector LokiはModern C++ Designという本の作者であるAndrei Alexandrescuが開発したライブラリです。AssocVectorはその中の一つとして提供されているクラスで、vector<pair<key, value> >という型のベクターをkeyでソートした状態で持つ事により、二分探索による要素の探索を可能にしたデータ構造です。こ
pialign - Phrasal ITG Aligner
pialign is a package that allows you to create a phrase table and word alignments from an unaligned parallel corpus. It is unlike other unsupervised word alignment tools in that it is able to create a phrase table using a fully statistical model, no heuristics. As a result, it is able to build phrase tables for phrase-based machine translation that achieve competitive results but are only a fracti
大規模疎行列のデータ構造とアルゴリズムその３ - nursの日記
さて、数日前に、大規模疎行列のCRS,CCS構造体の話をし、次の日にはタプル要素間の任意値での比較用ファンクタ、そしてまた次の日にはstable_sortの本質と使い方について順を追って説明してきたね。 以上の流れで見てきた中で気付くのは、 CRSは、非ゼロ要素を、列IDでsortした後に、行IDでstable_sortしたものであり、 CCSは、非ゼロ要素を、行IDでsortした後に、列IDでstable_sortしたものである。 ということなんだね。そこで思わず考えてしまうのは、 非ゼロ要素情報のセットさえ持っていれば、CRSもCCSも、ソースコード上は上記の如くソート２回すれば構築することが出来きてしまうわけなのであり、しかもその処理たるや大して重いものでも何でもないので、あえてCRSやCCSという形式で情報を構築・保持しておく必要はない。つまり疎行列のデータ構造なんてものは、非ゼロ
kenlm . code . Kenneth Heafield
KenLM estimates, filters, and queries language models. Estimation is fast and scalable due to streaming algorithms explained in the paper Scalable Modified Kneser-Ney Language Model Estimation Kenneth Heafield, Ivan Pouzyrevsky, Jonathan H. Clark, and Philipp Koehn. ACL, Sofia, Bulgaria, 4—9 August, 2013. [Paper] [Slides] [BibTeX] Querying is fast and low-memory, as shown in the paper KenLM: Faste
Multinomial DPMを実装してみた - yasuhisa's blog
ちょっと前に実装してたんだけど、メモを書くがてら公開してみる。やりたいこととしてはnested Chinse Restaurant Processまで行きたいんだけど、ノンパラベイズ初心者なので一番取りかかりやすいであろうDirichlet Process Mixture(DPM)を文書モデルでやってみたという感じです。HDPではなくDPMとしてコーパスをモデル化するので、いくつ文書があろうがそれらは全部一つの文書として取り扱います(というか、そういう形でしか取り扱えません。扱いたかったらHDPの世界へ行こう)。 目的 やってみようと思った理由はいくつかあって 実際に自分で把握できるミニマムな*1ノンパラベイズのプログラムをgetする 実際に書いてみることでノンパラベイズのプログラムではまりやすいところを知る コード書く段階までやってみないと分かったつもりになっていることが多い などなどで
clangでソフトウェアをビルドしC++を知る - 射撃しつつ前転 改
clangというのはllvm向けのC/C++/Obj-Cのためのフロントエンドで、最近はGoogle ChromeとかFirefoxもコンパイルできるレベルにまで成熟してきているらしい。 いくつかのブログで紹介されているのを見ても、ふーん、ぐらいにしか思っていなかったのだが、あんな大規模なソフトウェアがコンパイルできるというのは、考えてみるとすごいことである。大事なことなので強調しておくが、すごいことである。十分に実用的なレベルに到達していることだ。ビルドも早いし生成されたコードもg++と同程度には速いというし、試してみる必要がある。 という訳で、いくつか実際にソフトウェアをビルドしてみた。試してみた限りでは、 libstdc++のtr1/unordered_mapがビルドできない C++のコーナーケースで、clangが許容しないものが多い といった問題があったが、割とどれもすんなりとコン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
src.chromium.org SVN
C++の落とし穴 - Stories of Your Life and Others
unordered_mapのpretty print - redboltzの日記
memcache++ ← README
GitHub - google/sanitizers: AddressSanitizer, ThreadSanitizer, MemorySanitizer
Google Code Archive - Long-term storage for Google Code Project Hosting.
GitHub - google/leveldb: LevelDB is a fast key-value storage library written at Google that provides an ordered mapping from string keys to string values.
Google Code Archive - Long-term storage for Google Code Project Hosting.
client.cc
MurmurHash3 - smhasher - MurmurHash3 information and brief performance results - Project Hosting on Google Code
