Lossy Countingを実装してみた - 省メモリな頻度計測 - 唯物是真 @Scaled_Wurm
大規模データで頻度を数えると、欲しいのはよく登場するアイテムの情報なのに、ほとんど出現しないアイテムの種類数が非常に多くて、それらがメモリを大量に必要としてしまうという問題がある これに対してアイテムの種類数の最大値に制限を加えたり、頻度に誤差を許すなどの条件のもとで、省メモリに頻度計測を行う方法がいくつも提案されている これらについては以下の記事が詳しい 大規模データで単語の数を数える - ny23の日記 今回はそういった手法の一つであるLossy Countingを実装した 日本語では上記の記事と以下の記事が詳しい [を] 誤り許容カウント法(lossy count method)のサンプルプログラム [O] イプシロン劣シノプス性を保持した頻度カウント lossy countingアルゴリズム - 機械学習の「朱鷺の杜Wiki」 元論文はこちら。年を見ると結構前なので、現在ではもっと
Intoroduction of Pandas with Python
2. 自己紹介 ● 早川 敦士 （@gepuro) ● 電気通信大学システム工学科４年生 ● 専攻：信頼性工学 ● 好きな言語：Python,R,AWK ● 趣味：花火,テキストマイニング,アニメ ● 活動場所：電通大,MMA,iAnalysis,DBCLS 2 3. Pandasとは？ pandas is an open source, BSD-licensed library providing high-performance, easy-to- use data structures and data analysis tools for the Python programming language. http://pandas.pydata.org/ より pandasはハイパフォーマンスなライブラリ で、Pythonでデータ構造やデータ解析ツー ルをめっちゃ使いやすい。（超意
Python for Data Analysis: The Landscape of Tutorials — Data Community DC
Python has been one of the premier general scripting languages, and a major web development language. Numerical and data analysis and scientific programming developed through the packages Numpy and Scipy, which, along with the visualization package Matplotlib formed the basis for an open-source alternative to Matlab. Numpy provided array objects, cross-language integration, linear algebra and othe
Pythonで整数であることをチェックする - おぎろぐはてブロ
引数が整数であることを確認するのに、こんなコードをよく書いてるんだけど if type(arg) not in (int, long): raise InvalidArgumentError ちょっと冗長じゃないかな。先日は (int, tuple) とか書いてて危ない思いをしたりも。。 どうにかならんものかとつぶやくと、 if not isinstance(arg, (int, long)): って教えてもらった。isinstanceでタプル渡せるの知らなかった。(2.2 or later) なんだが、単語数は減ったけど文字数が減ってない。 あと、bookはintのサブクラスなため、isinstance([bool instance], int) は True となるけど、素直に文字列変換すると (True|False) の文字列になる点が要注意。 >>> arg = True >>>
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
