Flickrからアルバムを生成するPythonコード - FutureInsight.info
以前、公開したPythonのソースコードが意外に好評だったので、このURLのアルバムのHTMLを出力しているPythonコードをさらします。 http://choichoi.sakura.ne.jp/idols/ 少々長いので、続きは以下の「続きを読む」で。Pythonに興味がない人にはおもしろくないので、スキップしてください。 まず、htmlを生成しているので、テンプレートエンジンを使っています。テンプレートエンジンは枯れていてスタンダードの感のあるCheetahです。 Cheetah3, the Python-Powered Template Engine — Cheetah3 - The Python-Powered Template Engine あと、simplejsonも使っています。 simplejson · PyPI 両方ともeasy_installを使って以下のようにイン
coRockets - ネットコンテンツを収集するDLNA互換サーバー
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
Flickrから2000枚の品質の高いグラビアアイドル画像を取得してみた - FutureInsight.info
今、ちょっと作成を考えているWebサービスがあって、その練習のためにFlickrから画像を取得するスクリプトを書きました。RubyやPerlをお使いの皆様には申し訳ありませんがPythonです。PerlならPlaggerというのを使うのでしょうか？ちょっと使ったことないのでわかりませんが。 # -*- coding: utf-8; -*- import sys import urllib import time def search_photos( text ): args = { 'method' : 'flickr.photos.search', 'api_key' : 'ここに自分のAPI_KEYを入れてください！', 'per_page': '500', 'sort' : 'date-posted-desc', 'format' : 'json', 'nojsoncallback'
確定申告特集
国税庁ホームページにアクセスいただき、ありがとうございます。 国税庁ホームページは、リニューアルを行いました。 それに伴い、トップページ以外のURLが変更になっています。 お手数ですが、ブックマークされている場合は、変更をお願いいたします。 10秒後に、国税庁ホームページのトップページへ自動的に移動します。 自動的に移動しない場合は、次のURLをクリックしてください。 国税庁ホームページ https://www.nta.go.jp
Shibuya.js
SPECIAL!! MONDAY - THURSDAY ONLY 5-Hour Combination Trolling/Bottom Fishing Trip, $1000 For Up To 10 People! Need a place to stay for your fishing trip? Check out our Motorhome Rental Join Captain Dewitt Sightler for great fishing year-around on the charter boat C-Rose. We supply everything you need to catch fish--you only need to bring food and drink. Equipped with brand new engines, the C-Rose i
Flashで数値計算を高速化する方法 - yukobaのブログ
Flashで3Dなどでシュミレーションをすると、今後ますます高速な数値計算が求められると思います。Adobe MAXでの発表にあたり、数値計算のベンチマークをとっていったら、どんどん速くなっていったので、現状ここまで速くなったというのをまとめます。この件について、id:gyuque さんに激しく色々と教えてもらいました。深くお礼を申し上げます。 テスト内容 テスト内容として、要素数 100K のベクトルの内積を扱います。ベクトルの内積や行列の掛け算は、数値計算の最重要計算であり、かつ、ベクトルの内積は実装しやすいので、これにしました。ベンチマーク環境は、Win XP の Pentium4 3.2GHzです。２次キャッシュは 1MB なので、ベクトルは２次キャッシュに収まりきっていません。また、Flash Player は flashplayer_10_sa_debug.exe を使用してい
2-3-4木 - Wikipedia
2-3-4木（2-3-4き、英: 2-3-4 tree）または2-4木は計算機科学の用語であり、4次のB木（英: B-tree）と同じである。 一般に2-3-4木はB木のように辞書として使うことができる平衡木の一種である。探索、挿入、削除をO(log n)で行うことができる。ここでnは木の要素数である。 2-3-4木は木の操作において多くの特別なケースが存在するので大半のプログラミング言語において比較的実装が難しい。赤黒木(red-black tree)の方が実装が簡単で代わりに用いられる傾向がある。 背景[編集] 2-3-4木は要素と呼ばれる単一の項目としてデータを格納する。 それら要素はノードにまとめられる。ノードは以下のうちどれかである。 2-nodeの場合は、1つの要素と2つの子をもつ。 3-nodeの場合は、2つの要素と3つの子をもつ。 4-nodeの場合は、3つの要素と4つの子
赤黒木 - Wikipedia
赤黒木（あかくろぎ）は、コンピュータ科学のデータ構造である平衡二分木の一種で、主に連想配列の実装に用いられている。2色木、レッド・ブラック・ツリーともいう。 このデータ構造は1972年のルドルフ・ベイヤー (en:Rudolf Bayer) の発明である"symmetric binary B-trees"が元となっており、赤黒木という名前自体は 1978年にレオニダス・ギッバス (en:Leonidas J. Guibas) とロバート・セジウィック (en:Robert Sedgewick) によって発表された論文による。 赤黒木は、探索、挿入、削除などの操作における最悪時間計算量がO(log n)（nは木の要素数）と短く、複雑ではあるが実用的なデータ構造として知られている。 この日本語版は概要のみの解説であり、具体的なアルゴリズムはwikipedia英語版(Red-black_tree
Darts: Double ARray Trie System
Darts: Double-ARray Trie System はじめに Darts は, Double-Array [Aoe 1989]を構築するための シンプルな C++ Template Library です. Double-Array は Trie を表現するためのデータ構造です. ハッシュ木, デジタルトライ, パトリシア木, Suffix Array による擬似 Trieといった 他の Trie の実装に比べ高速に動作します. オリジナル の Double-Arrayは, 動的に key の追加削除を行えるような 枠組ですが, Darts は ソート済の辞書を一括してDouble-Array に変換することに機能を絞っています. ハッシュのような単純な辞書として使うことも可能ですが, 形態素解析器の辞書に必須の Common Prefix Search を非常に高速に行うことが
横着プログラミング 第6回: chatty: 小うるさい端末
最終更新日: 2002-09-18 (公開日: 2002-09-18) Unix Magazine 誌に 2002年1月号から 2003年2月号にかけて連載し ていた記事の元の原稿です。 才気に富んだことは個人が行うのが通例であり、信じがたきバカ さ加減は大抵組織に帰されるものである。 -- Jon Bentley *1 役に立たないソフトウェアを作るのが好きだ。面倒な作業を楽にす る横着ソフトウェアもいいが、たまには人を呆れさせるくだらない ソフトウェアを作るのも楽しい。 以前に私が開発した cdbiff*2というソフト ウェアは、メールが届くと PC の CD-ROMドライブが開いてメール の到着を通知するという役に立たないものであったが、そのくだら なさが受けて予想外の好評を得た。今回は、そうした役に立たない ソフトウェアの 1つである、小うるさい端末 chatty*3 を紹介する。
Tx: Succinct Trie Data Structure
English 概要 TxはコンパクトなTrieを構築するためのライブラリです．従来のTrieの実装（darts等）に比べ1/4〜1/10の作業領域量で辞書を保持することができ、数億〜十億キーワードなど大規模な辞書を扱うことが可能です．Trieは文字列からなるキー集合を処理するデータ構造で、キーが辞書に含まれているかのみではなく、キーのPrefixが含まれているかを高速に求めることができます．内部データ構造にはSuccinct Data StructureであるLevel-Order Unary Degree Sequence (LOUDS)を利用しています． ダウンロード Txはフリーソフトウェアです．BSD ライセンスに従って本ソフトウェアを使用,再配布することができます. tx-0.12.tar.gz: HTTP Archives tx-0.11.tar.gz: HTTP tx
)
トライ (データ構造) - Wikipedia
"A", "to", "tea", "ted", "ten", "i", "in", "inn" というキー群によるトライ木 トライ木（英: trie）やプレフィックス木（英: prefix tree）とは、順序付き木の一種。あるノードの配下の全ノードは、自身に対応する文字列に共通するプレフィックス（接頭部）があり、ルート（根）には空の文字列が対応している。値は一般に全ノードに対応して存在するわけではなく、末端ノードや一部の中間ノードだけがキーに対応した値を格納している。2分探索木と異なり、各ノードに個々のキーが格納されるのではなく、木構造上のノードの位置とキーが対応している。 キーが文字列である連想配列の実装構造としても使われる。右図の例では、ノードを表す丸の中にキーが書かれ、連想される値がその下に書かれている。値が書かれていないノードはキー文字列の途中までにしか対応していない。各英単語
＠IT：ネットワークインターフェイスの状況を調べるには
ネットワークに接続できなかったり、接続はできるが妙に通信に時間がかかることがある。そのようなときは、ethtoolコマンドでネットワークインターフェイスの状況を調べてみる。正常に動作していれば、以下のように表示される。 # ethtool eth0 Settings for eth0: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Supports auto-negotiation: Yes Advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Advertised auto
ethtool - リンク速度やduplexモード、autonegotiationの設定変更
[Linux] => [Linuxコマンド(A〜I)] ethernetで強制的にduplexモードやautonegotiationを切り替えるにはethtoolコマンドを使用します。またこのコマンドはリンク速度の変更にも使用されます。 [使用例] #デバイスeth0のautonegotiationをoffにする ethtool -s eth0 autoneg off #デバイスeth0のduplexをfullにする ethtool -s eth0 duplex full #デバイスeth0のspeedを1000(Giga)にする ethtool -s eth0 speed 1000 再起動しても設定が反映されるようにするにはネットワークの設定ファイルにETHTOOL_OPTS行を追加して記述すればよい。 [例] [/etc/sysconfig/network-scripts/ifcfg-
Geekなぺーじ : TCP vs RTP：何故RTPが必要なのか？
インターネットを流れるトラフィックのほとんどがTCP(Trasmission Control Protocol)によるものです。 TCPは、全てのデータが正しく相手に伝わることを保証するため品質の高いデータ通信が実現できます。 また、どのパケットが受け取れなくて、どれが受け取れたかなどをわざわざ考えなくても良いので、プログラムを書くのも簡単です。 では、何故、わざわざRTPというものが必要だったのでしょうか？ ここでは、まず最初に何故RTPはTCPではなく、UDPの上に存在しているのかを説明したいと思います。 （もちろん、TCPの上に作ることはRTPの規約上は可能ですが、現実的にはUDPの上でしか実装がないと思います。） その後、何故、UDPの上に共通のRTPというものを構築したのかを説明したいと思います。 RTPは、名前にもある通り、「リアルタイム」なデータを転送するためのプロトコルです
lsof - TECHNERD::INIT
概要 lsof(LiSt Open Files)を用いることで，特定のポート番号を指定して使用されているプロセス番号を調べることができる． 使用例 ポートとプロセスの対応の確認 # lsof -i -n 指定した番号のポートをオープンしているプロセスの確認 ex.)ポート番号“22”の状態 # lsof -i:22 -n # lsof -c ssh
tcpdumpの使い方 - TECHNERD::INIT
パケットをキャプチャする時の定番コマンドtcpdump 使い方によっては結構凝った使い方もできます。 デフォルトではヘッダまでしか出しませんが-sオプションを使うことでパケット全部をダンプできたりもします。 基本的なものを以下に記しておきます。 コマンドライン # tcpdump <条件式> 条件式には，type，dir，protoが指定できる． type 対象にするパケットの種類を指定する。タイプで指定できるのは -host(ホスト) - net（ネットワーク） - port（ポート）の3種類 例：host hogehoge、port 80など dir 通信の方向を特定する。方向として指定できるのは - src（ソースアドレス） - dst（ディスティネーションアドレス） - src or dst - src and src~ の4種類。dir修飾子がない場合は、「src or dst」
Netperf - TECHNERD::INIT
ネットワークベンチマークソフト。特定のホスト間でTCPやUDPのベンチマークを行う場合に便利。 大学時代は大変お世話になりました。 UDPでの測定は、-mオプションを使うこと！要注意。 UDPでの計測はiperfの方がオススメです。 公式サイト http://www.netperf.org/netperf/NetperfPage.html コマンドライン サーバ netserverを実行する $ netserver クライアント $ netperf -H 使用例 TCPでの測定 送信側(クライアント)は以下のコマンドを実行します。 $ netperf -H 192.168.1.32 UDPでの測定 送信側(クライアント)は以下のコマンドを実行します。 $ netperf -H 192.168.1.32 -t UDP_STREAM -- -m 1024 ※注意： デフォルトでは9216バイト
Iperfの使い方 - TECHNERD::INIT
ネットワークの帯域を計測する場合、非常に便利なツールです。 UNIX系ではnetperfが有名かと思いますが、UDPの計測に関してはIperfの方が使いやすいと思います。 WindowsやLinuxなど各種OSで使用できます。 ダウンロード NLANR/DAST : Iperf - The TCP/UDP Bandwidth Measurement Tool http://sourceforge.net/projects/iperf 使い方 下記に、コマンドの使い方を記しておきます。 ユニキャストモード TCPの場合 サーバー $ iperf -s クライアント $ iperf -c <受信側ホスト名> または <受信側IPアドレス> 例1)TCP通信での最大レートを測定する。Netperfでの測定とほぼ同様。 $ iperf -c 192.168.1.100 例2)100Mbyteのデー
netperfでネットワークパフォーマンスを測定
$ cd /usr/local/src $ tar xzvf netperf-2.2pl4.tar.gz $ cd netperf-2.2pl4 ■makefile の編集 まず、展開したディレクトリ下にあるmakefileを開いてマシンの環境に合わせていくつか修正していきます。まず、netperf をインストールする場所を変更しておきます。デフォルトでは、/opt/netperf になっています。その他、変更点を以下に記します。 # vi makefile NETPERF_HOME = /usr/local/netperf CC = gcc CFLAGS = -O -D$(LOG_FILE) -DUSE_LOOPER -DINTERVALS
Wireshark(Ethereal)で独自パケットフォーマットを解析する方法 - TECHNERD::INIT
Luaプラグインを使うと、独自パケットフォーマットのパーサーを簡単に定義することができます。 Lua - The Wireshark Wiki プラグインの有効化 Wiresharkのインストールディレクトリ → init.luaを編集 disable_lua = true; do return end; をコメントアウト -- disable_lua = true; do return end;run_user_scripts_when_superuser = falseを run_user_scripts_when_superuser = trueに一番最下行に実行したいluaスクリプトを記述したファイルをWiresharkのインストールディレクトリに置き、dofileで指定する。 dofile("hoge.lua")以下の例は、プロトコル名をTRIVIALとし、UDPの7777番にき
Netperf でＬＡＮをチェック
■ Netperf を使ったネットワークの性能計測を説明します Netperf は、ＬＡＮを含むさまざまなタイプのネットワークの性能を計測するベンチマークソフトです。 やさしく使えるネットワークのベンチマークソフトと してお すすめできます。 Netperf には UNIX 版と Windows 版が用意されていて、相互の版の間でも利用できます。 計測時にはメモリ上のデータについて転送を実行するので、ハードディスク上のファイル アクセスをしません。そのため、巨大なインターネットでも小規模なＬＡＮであっても、２台のＰＣ間のネットワーク( ２ノード間 )についてのスループットとネットワーク遅延を計測できます。 このページは、「横浜ネットデイ」で学校内に敷設した下図のようなＬＡＮ回線を、かんたんにテストできるように作成しました。 このページでは、Netperf
賢いdtraceの使い方
皆さんはdtraceをご存じでしょうか？このようなシビレル機能はオトコとしては見逃せません。今回は皆さんにdtraceを紹介しようと思います。 DTraceとは？ Solaris 10に搭載された機能で、名称はDynamic Tracingから来ています。Sunのマニュアルを見ると「動的トレース」と書いてあります。ようはシステムを動かしたままトレースする（システム今どこを実行しているのか、変数がどんな値になっているかなどを調査する）ツールのことです。使いようによっては強力なデバッガーになります。また、プログラムが動作した痕跡（どの関数を何回呼び出したか？など）を集計できることから、性能分析にももってこいです。デバッグやパフォーマンスチューニングでお悩みの皆さんは、是非使ってみてください。 これまで、DTraceのような機能を提供するプログラムはありませんでした。似たようなものがあったとして
dtrace を使ったシステムコールのトレース - IT戦記
dtrace とは Mac OS X Leopard から導入された、プログラムを書き換えることなくプログラムの情報を監視（トレース）できる便利ツールです。 使い方 たとえば、 vim という名前のプロセスからシステムコール stat, open, stat64 されたときに第一引数（ファイル名）を監視するには以下のようにします。 $ sudo dtrace -n "syscall::open:entry, syscall::stat:entry, syscall::stat64:entry / execname == \"vim\" / { trace(copyinstr(arg0)) } " 説明 まず、 -n というのは「probe」の「name」を指定して dtrace する！という意味です。 $ sudo dtrace [-n [[[ provider: ] module: ]
Rails 実行中に GC にかかっている時間 - kiwamu日記
前回の記事では Rails 実行中のメソッド呼び出しすべてをトレースしてみましたが、今回のターゲットは Garbage Collection に要している CPU 時間です。前と同じく、render :text => "Hello World!" なアプリに対して Apache Bench から 1万リクエストの負荷を与え、その間の GC 時間をトレースしました。 DTrace の結果をみると、計 75 回の GC が確認され、合計で約 5 秒程度 の CPU 時間を消費しているようです。ab の実行されていた約 40 秒間は、(アクティビティモニタで見ていると) ruby プロセスの CPU 使用率がほぼ 100% 近くに張り付いていたので、そのうちの約 1/8 が GC に使われていたということでしょうか。 # メソッド呼び出しのときと違い、トレース対象をひっかける回数も多くはないので
"トランザクション処理--概念と技法--" を読むためのページ - Transaction Processing: Concepts and Techniques
"トランザクション処理--概念と技法--" を読むためのページ last update: June 10, 2002 何ですか、この本は？ データベース業界の第一人者であるJim Gray氏とAndreas Reuter氏が書いた 大著と言いますか、はっきり言ってバイブル的存在ですが、 "Transaction Processing: Concepts and Techniques"の翻訳が、日経BP社から 喜連川優氏監訳でタイトル"トランザクション処理-- 概念と技法-- 上・下巻"として2分冊でやっと出ました。とにかく、 原著も分厚い(48mm: 刷が進むほど紙の質が薄くなり、やっと48mmまで下がっ た!)が、翻訳はもっと分厚い(原著の紙質よりも厚いため、上下巻合わせて 96mmもあります)。 タイトルにはトランザクション処理となっていますが、もっと平たく言う と、データベースの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SimpleAPI - ウェブサイト・サムネイル化ツール
WikipediaAPI - ウィキペディア情報をサイトで利用できるAPI
連想くらうど β
IDEA * IDEA
はてなブログ | 無料ブログを作成しよう
はてなブログ | 無料ブログを作成しよう
http://chasen.org/~taku/blog/archives/2005/09/_swig_perlrubyp.html
Netperf を使う