膨大なデータから最適な結果を得るための検索エンジン·Cloud Mining MOONGIFT
Cloud Miningはタグクラウドや全文検索を使った構造化データに向いた検索エンジンです。 Webサイトで常に必要になるのが検索エンジンです。最近は全文検索エンジンが人気ですが、より大量の構造化データを検索するのに最適な検索エンジンとしてCloud Miningを紹介します。 デモです。IMDBを解析した検索エンジンです。 画面上部にタグ（検索キーワード）が出ています。 さらにタグを追加します。 最終的に1件にまで絞り込まれました。 こちらも別な検索エンジンです。 Cloud Miningは全文検索としてSphinxを使い、データからタグクラウドを生成したり、絞り込んだ件数の表示、年数や共演者などのデータをピックアップもできます。複雑な構造データから望んだレコードを取り出すのに使えそうです。 Cloud MiningはPython製のオープンソース・ソフトウェア（GNU Affero
Shibu's Diary: Pythonはなぜ？str.join(seq)なのか？
渋日記@shibu.jp 渋川よしきの日記です。ソフトウェア開発とか、ライフハックを中心に記事を書いていきます。 PythonのAPI設計の中で、たまに思い出したように話題が出てくるのが、配列に入った文字列を結合するメソッド。Pythonではstr.join(iterable)です。他の言語(僕がよく知っているRubyとJavaScript)はArray.join(String)となっています。どちらでもありえる話ですが、個人的にはPythonの方が自然だな、と感じていました。ですが、他の言語の方がいいという人も多く、Pythonプログラマーの中でも好き嫌いが出たりもします。せっかく、弾さんがPerlの国からやってきて適度にガソリンをまいて炎上したところなので、Pythonの歴史を紐解いてみました。 軽くjoinの歴史について語っているサイトはないか探してみる 軽くぐぐってみると、何箇所か
Google の Leak Finder を使ってみました - WebOS Goodies
先日、 Google から Leak Finder というツールがリリースされました。主に Closure Library を対象として、メモリリークの検出を行うツールです。 Closure Library は比較的規模の大きいアプリケーションに使われることが多く、その分メモリリークの危険も高いので、こうしたツールはとてもありがたい。さっそく試してみました。 インストール Leak Finder は Python で構築されているので、 Python の処理系（バージョンが明記されていないのですが、たぶん 2.6 か 2.7？）が必要です。もっとも、 Closure Library で開発をしているならすでにインストール済みでしょうから、それを使ってください。 インストール先のディレクトリはどこでもいいのですが、私は ~/leak-finder ディレクトリを作成して、そこにすべてを入れる
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
PythonとJulia
Julia, Python and Cython - julia-dev | Google Groups Cythonの開発者が、JuliaのMLに登場して議論している。 Cythonとは、PythonコードからCやC++への変換をするソフトウェアである。このため、独自の拡張により、PythonからCやC++のコードを簡単に呼び出せるようにもなっている。 なぜCythonを使うのかというと、速度である。Pythonのリファレンス実装、CPythonはバイトコンパイルによるインタプリターであり、JITはない。そのため、科学技術計算のためには、非常に遅い。Cythonは、科学技術計算をする研究者に人気がある。 The Julia Languageは、高速に動作することを目的とした動的プログラミング言語である。LLVMによるJITコンパイルにより、高速に動作する。また、数値演算ライブラリとして、
「コピペできない文章」がコピペできなかった理由 - てっく煮ブログ
html5先日公開した 絶対にコピペできない文章を作ったったwwww はおかげさまで好評だったようで嬉しい限りです。「不思議！」「どういう仕組みなんだ？」という声も多かったので裏側を紹介します。コピペできない訳ではないタイトルは「コピペできない」としていいますが、実際にはコピペはできます。正確に表現すると「コピーすると違う文字になる」という状態になっています。 ではなぜ違う文字になるのでしょうか。結論をいってしまうと「そこにある文字が、人間の目に見える文字とは違う」からです。といっても、これでは分からないですね。今回のために作成された独自フォントトリックの肝は「フォント」です。フォントといえば、文字の見た目を変えるために利用するものです。たとえば、「ほ」という文字を「メイリオ」フォントで表示するとこうなります。フォントを変えて「HG創英角ポップ体」フォントで表示すると、ポップな雰囲気になり
ハッシュ値にも可読性を求める時代？なPythonライブラリ·humanhash MOONGIFT
humanhashは可読性の高いハッシュを生成するPythonライブラリです。 データのハッシュ化というと、MD5やSHA-1が思いつきますが、今回紹介するのはhumanhashです。とても変わったハッシュ生成ライブラリになっています。 ダイジェストを読みやすく加工しています。 文字数を変更できます。 UUID生成もできます。 humanhashでは256個の分かりやすい文字列を用意しておくことで、16進数2つずつに対して一つの文字を割り当てているようです。ハッシュ値なので不可逆変換ですが、元になるリストさえ同じであれば別なプログラミング言語でも同じ可読性高いハッシュ値が作り出せるはずです。 humanhashはPython製、Public Domainのオープンソース・ソフトウェアです。 MOONGIFTはこう見る ハッシュ値やUUIDに対して可読性を求めるというのは面白い考えです。確か
G+の投稿からリンク（URL）を取得する (PythonにてGoogle Plus APIの利用例）
Google + のActivity（投稿のこと？）を抽出して、添付情報でURLが付いているものを取得する方法を考えます。 先日の matu さん作の gr2e.sh ( Googleリーダで共有した記事を(ほぼ)全文化し自動でEvernoteに保存する！ 〜 スクリプト公開 | matuダイアリー ) の中間ファイル urls に似た形式で出力して send_en.pl を利用してもいいんじゃないのかと思っている所です。時間があればその辺りも全て Google App Engine 辺りで書きなおして利用できればいいかと思うのですが時間もないのでとりあえずAPI（python）を使ってみたメモを備忘録的に書いておきます。 複数の言語ライブラリとかあるので選択肢は多いのですがここではPythonを使用してデータを取得してみます。個人的にPythonはあんまり使用したこと無いのですがGoog
Pythonで簡易Webサーバを立てる - 強火で進め
Pythonがインストールされた環境で以下のコマンドを実行。 python -m SimpleHTTPServer (2017/09/11 追記) Python 3 では SimpleHTTPServer が無くなっています。代わりに http.server を使って下さい。 python -m http.server(追記ここまで) [注意]このサーバ本当に簡易的なのでほとんど機能は有りません DocumentRoot(ドキュメントルート)はこのコマンドを実行したフォルダとなります ブラウザで http://0.0.0.0:8000/ にアクセスするとドキュメントルートのファイル一覧が表示されます。開きたいファイルをクリックして下さい サーバは ctrl+c で停止させます ポート番号を変更したい場合は以下の様に記述します。 python -m SimpleHTTPServer 8080
WebKit サーバーというものを作ってみた - IT戦記
みなさん お久しぶりですヽ(´ー｀)ノ夏休みの宿題終わりました？ 毎日が夏休みの最終日みたいな生活してるあまちゃんです！ さてさて 今日は WebKit サーバーというものを作ってみたので、紹介してみます。 WebKit って何？ WebKit っていうのは Chrome や Safari の中に入ってるブラウザのエンジンのことです！ 実はブラウザっていうのは、エンジン部分と見た目の部分（タブとかボタンとかね）に別れていて、意外と違うブラウザでもエンジン部分は同じものを使ってるってことも多いんですよ(*´ー｀) ブラウザのサーバーってどういうこと？ 要は、サーバーサイドでブラウザを起動して JavaScript を実行したり、 JavaScript が実行されないと読めないページから値を持ってくるのに使ったりしようという魂胆です。 今まではそういうのなかったの？ 実は、今までは JavaS
あらゆる数独パズルを解く
Peter Norvig / 青木靖 訳 このエッセイでは、 あらゆる数独パズルを解くという問題に取り組む。制約伝播と探索という2つのアイデアを使うと、ごく簡単に解けるということがわかる(主要なアイデアはコードにして1ページたらずで、補足的なコードが2ページある)。 数独の記法と予備概念 最初に記法をいくつか決めておこう。数独パズルは81個のマス(square)からなる盤面を使う。数独ファンの多くはカラムを1-9で、行をA-Iでラベル付けしており、カラム、行、ボックスのような9個のマスの集まりをユニット(unit)と呼び、ユニットを共有するマスをピア(peer)と呼んでいる。パズルではマスのいくつかが空いており、他は数字が入っている。パズルの目的はこうだ。 それぞれのユニットのマスが1から9の数字の順列によって埋められるようにする。 つまり、1つのユニットに同じ数字が2度現れてはならず、そ
Windows と linux で同じPythonスクリプトを使いまわすときの注意点 - 玉虫色に染まれ!!
年末年始は長めに休みを取って実家にゆっくり帰省してきました。 その際、以前エントリに書いたとおり、Windows に Pyscriptor をインストールして持ち帰り、趣味グラミングを楽しんでおりました。親がナンプレにはまっていたので、ナンプレを自動で解くプログラムを書いてみたり。 余談ですが、親の持っていた専門誌に載っていた問題は難易度が5段階に設定されており、難易度2あたりまでは完全に理詰めで「ここにはこの数字しか入らない」を順に埋めていけば解けるようになっていました。また、最高難易度の物でも、仮定を高々1段置く、つまり、「理詰めで解く」→「どこかのマスの数字を仮定したうえで理詰めで解いたら矛盾が出る物を探す」→「そのマスにその数字は入らないことが判明」→（最初に戻る） を繰り返すだけで解けるようになっていました。上記の手順では解けないけど答えは一意に確定する問題も、理論的には存在する
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
10分前に放送アニメを通知する - lql.be::hateda
サーバを入れ直して、なにがツラいって plagger の環境作り直すことですね。なんか毎回のようにハマるし悲しい限りです。今 plagger でやらせてることってのが、朝に今日の天気予報を push させるというのと、10分前に放送アニメを通知すること。天気予報はどうにでもなりそうだったので、アニメ通知のほうをなんとかできれば、いちいち plagger 入れる必要ないんじゃないかなーということで、python で書いてみた。 cron で10分間隔で回す。しょぼかるから番組情報を拾ってくる。〜10分後に放送する番組があったら im.kayac に push するという感じ。feedparser は標準じゃないので、apt-get install しよう!!! #!/usr/bin/env python # coding: utf-8 import feedparser import dat
Pythonで5分で便利なことをするレシピ - 西尾泰和のはてなダイアリー
5分でわかる Python を知らない人が Python の便利さを学べる記事をかいたよ | HIROKI.JPが、Pythonの説明なのにところどころ「Rubyでは」になっていたり、そもそも無理やりPHP的なことをしようとしていていまいちなのでTwitterでひどいなぁと言っていたら @bellonieta: ここは是非とも@nishioさんに正しい5分記事を書いてもらいたいところ… と言われてしまった。まー、ぼやくのは生産的じゃないからねぇ。Pythonを使ってて色々便利なことはあるけど、一番手軽そうなものを軽く説明してみよう。たとえばなんか書類をつくっているとするじゃない、こんな感じの。 社長: 山田太郎 支社長: 田中一郎 部長: 山川三郎面倒なので3人分しか書いてないけど本当はもっとたくさん30行くらいあるとしよう。さー書けた、と思ったらそこに上司が来て「あーあー、そうじゃないよ
5分でわかる Python を知らない人が Python の便利さを学べる記事をかいたよ | Act as Professional
昨日はJavaScript版が出たので、あまり書いたことのない Python を勉強がてら書いてみました。 Python を知らない人に Python の話をして欲しいと言われてないけど、ブログを書きました。(*1) 難しい話は抜きにしたいんだけど、抜きにしちゃうとまったく訳わかんないから簡単に説明する。 今回は Python の psp ってのを使って元ネタ同様のことを実現する。 mod_python や CGI が動くサーバなんて自分でつくらないとないだろうけど、その辺はどうにかしてもらう。 そんなこんなで、どうにかしてもらったら、 <%= と %> で囲めば動きます。 import ではじまるコードの部分とか事前に処理するところは <% と %> で囲んでください。 どうにかしてもらったサーバで example.html というファイルの拡張子を example.psp すれば良いだ
仕事で便利。CSVファイルを読み込んでソース/検索可能なHTMLに変換·Latimes Table Stacker MOONGIFT
Latimes Table StackerはCSVファイルを設置し、ソート/検索可能なHTMLで表示するソフトウェア。 Latimes Table StackerはPython/Django製Google App Engine用のフリーウェア（ソースコードは公開されている）。高度なWebアプリケーション、システムが開発され個人のIT利用度はどんどん高くなっている。対してビジネスの場ではあまり大きな変化は起きていない。 CSV一覧 未だにAccessのようなデータベースが使われ、Excelベースのデータ集計がされている。それは決して悪いことではないが、ソフトウェアの依存や再利用性を高めるのには不向きだ。そこで使ってみたいのがLatimes Table Stackerだ。 Latimes Table StackerはCSVファイルを読み込み、テーブル上に表示するソフトウェアだ。一行目がカラムに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.freia.jp/taka/blog/2012-03-27-python-professional-programming/index.html
技林ブログ: Pythonをインストール(Pythonはじめの一歩)
Charming Python: Functional programming in Python, Part 3
