[B! algorithm] kazutoyo_tkのブックマーク

Google、新しい圧縮アルゴリズム「Brotli」公開

Googleは9月22日(米国時間)、「Google Open Source Blog: Introducing Brotli: a new compression algorithm for the internet」において、新しい圧縮アルゴリズムおよびその実装系「Brotli」を発表した。実装系はApache License Vresion 2.0の下、オープンソース・ソフトウェアとして公開されている。 Googleは2年前にZopfliと呼ばれる圧縮アルゴリズムを公開している。ZopfliはDeflateと互換性を持っていたが、今回発表されたBrotliはまったく新しいデータフォーマットを採用しており、Zopfliと比較して20%から26%ほど圧縮率の引き上げに成功している。また、BrotliはzlibのDeflate実装と同程度の速度を実現しているほか、Canterbury co

kazutoyo_tk 2015/09/24

リンク

ディープラーニングを使ったイメージの切り抜き | カメリオ開発者ブログ

こんにちは、シバタアキラです。この度PyDataの本家であるアメリカのコミュニティーで半年に一度開催されているPyDataカンファレンスに出席するため、NYCに行って来ました。11/22-11/23の二日間の日程で行われ、延べ250人ほどが参加したイベントです。その時の模様は、先日のPyData Tokyo第二回ミートアップでもご説明させていただき、また後日記事化されると思いますので、そちらをぜひご覧いただければと思います。今回はそのPyData NYCカンファレンスで私が発表してきたミニプロジェクトについてお話します。最近各所で話題に上がるディープラーニングですが、これを使った応用を「カメリオ」のサービス向上のために使えないか、というのがそもそものプロジェクトの着想でした。今回PyData Tokyoオーガナイザーとして、またディープラーニングで色々と面白い実験をしている田中さん（@a

kazutoyo_tk 2014/12/08

リンク

MARISA: Matching Algorithm with Recursively Implemented StorAge

MARISA: Matching Algorithm with Recursively Implemented StorAge Abstract: Matching Algorithm with Recursively Implemented StorAge (MARISA) は Trie をコンパクトに表現する程度の能力を持つデータ構造です．libmarisa は MARISA を C++ で実装したライブラリであり，MARISA による辞書を構築したり，辞書からの検索をおこなったりできます．libmarisa の基本的な機能に対応するコマンドラインツールを用意しているので，辞書のサイズがどのくらいになるのか，検索にどのくらい時間がかかるのか，などを手軽に試すことができます．概要 Matching Algorithm with Recursively Implemented Stor

kazutoyo_tk 2014/11/21

リンク

文法圧縮入門：超高速テキスト処理のためのデータ圧縮（NLP2014チュートリアル）

言語処理学会第２０回年次大会（2014/3）のチュートリアル講義資料です。 - 要旨 - 文法圧縮とは，入力テキストをよりコンパクトな文脈自由文法（CFG）に変換する圧縮法の総称である．文法圧縮の強みは圧縮テキストを展開すること無く，検索等のテキスト処理を効率よく行える点にある．驚くべきことにその処理速度は，元テキスト上での同じ処理を理論的に，時には実際にも凌駕する．また近年，ウェブアーカイブやログ，ゲノム配列等の大規模実データを高効率に圧縮できることで注目を集めている．しかしながら，文法圧縮についての初学者向けの解説資料はまだまだ少ない．そこで本チュートリアルでは，文法圧縮の歴史的背景から最新動向までを幅広く紹介する．具体的には文法変換アルゴリズム，圧縮テキスト上での文字列パターン検索，文法圧縮に基づく省メモリデータ構造等の解説を行う．