Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記
こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
Welcome to Fabric! — Fabric documentation
Welcome to Fabric!¶ Fabric is a high level Python (2.7, 3.4+) library designed to execute shell commands remotely over SSH, yielding useful Python objects in return. It builds on top of Invoke (subprocess command execution and command-line features) and Paramiko (SSH protocol implementation), extending their APIs to complement one another and provide additional functionality. To find out what’s ne
FireLogger is a sexy server logger console in Firebug
Usage Django: After installation, enable middleware by adding its path to MIDDLEWARE_CLASSES: firepython.middleware.FirePythonDjango. WSGI: After installation, enable middleware firepython.middleware.FirePythonWSGI. Custom: Look for inspiration at middleware.py Real-world examples FirePython added to Bloog (blog engine for GAE) FirePython added to DryDrop (GAE hosting engine for GitHubbers && !Pyt
たまには$を書かない日を -No Dollar Sign Day-
PHPを日々書いている人へ。 たまにはPHPから離れて他の言語でプログラムを書いてみましょうという話です。 Webシステムのプログラムを書く手段としてPHPは実用的なのですが、他にも様々な言語が存在しているのは周知のとおりです。PHPにはPHPの、他の言語には他の言語の良いところ悪いところがあり、それらは普段使っている言語を離れて他の言語を知ることによって、初めて気付かされます。 また他の言語での実装方法を知ることにより、PHPで実装する際に別の角度からプログラムを見ることができ、さらに深い理解を得ることができます。 PHPを極めていくことはとても良いことなのですが、ある程度頭で描いた仕様が実装できるようになったのなら、是非他の言語を触ってみることをおすすめします。 では実際どの言語を触ってみるのが良いかという話になるのですが、普段PHPでWebシステムを開発しているなら、おすすめはPyt
Linux上で動くSkype用のbotを作る方法 - muddy brown thang
はじめに 以前、知人のやっているBeProudという会社を手伝ったのですが、BeProudでは、エンジニアの主要なコミュニケーション手段としてSkypeが使われていました。当時、趣味でたまたまSkypeのAPIについて調べていたので、悪戯っ気を出して、開発環境に即席でSkype APIを使ったbotを設置してみたところ、思いのほか好評を博し、いまやインフラと言っても過言ではない存在 *1 *2と化したようです。 まあそんな状況を眺めつつ、自宅のサーバにSkype botを設置して、お気に入りのSkypeチャットにもbotを加えてみたところ、これも結構好評だったので、興味ありそうな人向けに作成方法をまとめることにします。 Skype Public API Skype Public APIとは、Skypeを外部からコントロールするためのインターフェイスです。 Skype Public APIを
GT Nitro: カーレーシング・ドラッグレーシングゲーム - Google Play のアプリ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
Tornado Web Server — Tornado 6.5.5 documentation
¶ Tornado is a Python web framework and asynchronous networking library, originally developed at FriendFeed. By using non-blocking network I/O, Tornado can scale to tens of thousands of open connections, making it ideal for long polling, WebSockets, and other applications that require a long-lived connection to each user. Quick links¶ Current version: 6.5.5 (download from PyPI, release notes) Sour
コマンド1つで今すぐWebサーバを起動させるためのワンライナー(Ruby or Python) - 元RX-7乗りの適当な日々
複数人で作業をしていると、ふとWebサーバを使いたくなるときがあります。 簡単なファイルの受け渡し等、ローカルマシンですぐにWebサーバを起動させることができると結構便利です。 でも、Apacheみたいな専用のWebサーバをわざわざインストールするほどでもない・・・。 そんなときにローカルマシンにRubyかPythonがインストールされていれば、コマンド一発(ワンライナー)ですぐにWebサーバを起動させることができます！ Python編 Pythonでは、バージョン2.4以降で追加されたモジュールをスクリプトとして実行できる"-m"オプションを活用します。 $ python -m SimpleHTTPServer上記のような感じでコマンドを実行すると、デフォルトの8000番ポートで、実行時のカレントディレクトリをドキュメントルートとしたWebサーバが起動します。Pythonコマンド1つでW
twitter で 60 日以上発言が無い人を remove する - Djangoへの片思い日記
いつのまにやら Twitter に Follow 制限とか出来て 色々な人の発言が見たいのに Follow 追加出来なくなって コンピュータの癖に人間様の処理能力に制限かけるんじゃねーよと お怒りのみなさまこんにちは オープンソースとバザールモデルの御祭に参加出来なくてさみしい僕ですが、 みなさんいかがおすごしですか？ そんなこんなで Twitter にむかついても 「サポートに連絡しても制限解除するつもりはネーYO！！」 と言われてしまいますし、 かといってむかついたままなのも精神衛生上良くないので 60 日以上発言の無いユーザを remove するスクリプト書きますた。 pit と simplejson が入ってれば動くはずですｗｗｗｗ #!/usr/bin/env python # -*- coding: utf-8 -*- import sys, simplejson, urlli
Flickrから2000枚の品質の高いグラビアアイドル画像を取得してみた - FutureInsight.info
今、ちょっと作成を考えているWebサービスがあって、その練習のためにFlickrから画像を取得するスクリプトを書きました。RubyやPerlをお使いの皆様には申し訳ありませんがPythonです。PerlならPlaggerというのを使うのでしょうか？ちょっと使ったことないのでわかりませんが。 # -*- coding: utf-8; -*- import sys import urllib import time def search_photos( text ): args = { 'method' : 'flickr.photos.search', 'api_key' : 'ここに自分のAPI_KEYを入れてください！', 'per_page': '500', 'sort' : 'date-posted-desc', 'format' : 'json', 'nojsoncallback'
MyMiniCityにいい感じでリダイレクトしてくれるPython製リダイレクタ ― TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー ヘンに時間があまってしまったので，XMLでステータスを読み込んで，必要に応じていい感じのURLにリダイレクトするスクリプトをちょろっと書いてみた。街を健全な状態に保ってくれます。 以下のリンクをクリックすると，ステータスに合わせて「/ind」とか「/tra」といったURLにリダイレクトしますよ:-)。 http://coreblog.org/ats/mmredirect 最初はElementTree使ってXMLをパースしてたんだけど，PureなPython2.3とかでも動かしたくなったので正規表現でバースするように変更したのでした。 ApacheなどにCGIとして仕込んで動かすことを前
PHPで高速に携帯ゲートウェイのIPから携帯キャリアを判別する - グニャラくんのグニャグニャ備忘録@はてな
[追記]id:hetimaに指摘された、32bitアーキテクチャでの問題を修正。大感謝。 携帯電話からのWebアクセスゲートウェイのIPアドレスから、 携帯キャリアを判別したい場合がある。 通常は、id:tokuhiromによる Net::CIDR::MobileJP(WWW::MobileCarrierJP)を使うといいと思う。 DSAS開発者の部屋:携帯ゲートウェイのIPアドレス帯更新を効率的に確認する方法 http://d.hatena.ne.jp/tokuhirom/20071207/1196989588 YAMLが出力されるので、さまざまな環境で利用ができるよ！ 今回、PHPで携帯キャリアを判別したいと思ったんだけど、 PHPでYAMLを読んでその中身をすべて検査するなんてやだいやだい！ と沸き立つような強い衝動が。 というわけで、cidr-mobilejpというPythonスク
2007-12-26
http://twitter.com/ha_ma 今まではtwitterログの空気を読まずにランダムに生成していたのだけど、今度のは次のように変えた。 twitterのログから名詞を抽出 名詞で統計を取り、多いうちのいくつかから一つの単語を選ぶ その単語が入るように文章を作る。 具体的に言うと、単語から後ろに向かって続く文章を作る。(これはいままでのやり方) さらに単語から前に向かって続く文章を作る。(このとき必要なのが、逆転させたマルコフテーブル) Read more 偶然気がついたんですが、pdfファイルを携帯に向かってメールで送ると、DoCoMo側で一旦保存して、そのあとダウンロードさせてくれるんですね。 うちの携帯(D902is)だとpdfファイルが読めるんで、これはちょっと便利。 分かち書きした単語列から、上位n個を得るプログラム。 Read more
Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleではどこのどんな部分をPythonで書いていますか?
[skype api]skypeで電話をかけ指定のwavを再生して切断 : maaash.jp
Google Code Archive - Long-term storage for Google Code Project Hosting.
reddit – Trac
http://www.mindswap.org/~katz/pychinko/
2008-02-17