KLab-データ分析グループのblog : pythonでElastic MapReduce
2013年02月06日 カテゴリpythonHadoop pythonでElastic MapReduce まとめElastic MapReduceは、amazonのAWS上でHadoopを使えるサービスです。一時的にインスタンスをたくさん立ち上げることで、重めのバッチ処理を分散処理できます。料金はEC2インスタンス分 +αで使用できます。http://aws.amazon.com/jp/elasticmapreduce/#pricing 楽！ インスタンスいっぱいたちあげます、計算します、結果まとめますという一連の処理を気軽に書けて、コマンド一発で実行できます。特に集計処理、バッチ処理には便利です。ただデバッグは手間がかかります。 MapReduceについてMapReduceは、大量のデータを複数のマシンで分散して扱うための技術です(デザインパターン的な)。基本的な考え方は、処理を以下の
プログラミング言語/Python - プログラミングスレまとめ in VIP
どんな言語なの？ † Pythonの特徴として 純粋オブジェクト指向スクリプト言語 豊富なライブラリ 欧米で人気 無料エディターのIdleが付いてる などが挙げられますが、プログラミングをやったことのない方にはいまいちピンとこないかもしれませんね。 それでは、Google、Microsoft、Yahoo!、Youtubeなどで使用されていると聞いたら、少しは興味がわいてきませんか？ Pythonは開発者がもともと教育用の言語（ABCといいます）に携わっていたこともあって、初心者の方も覚えやすい。 ところがどっこい、超優れた標準ライブラリ・超超優れたサードパーティーのライブラリがある。 なのでPython一つで何でも出来てしまうのだ。 ↑ やってみたい！ でもどうすればいいの？ † それではPythonをインストールしましょう。以下ではWindows XPを想定して解説していきます。 まずは
MeCabとPythonで遊んでみたメモ - Λάδι Βιώσας
MeCab http://mecab.sourceforge.jp/ ココからインストール。MeCabには Python binding っていう便利なのがあるんだけど、Winだとどうも上手くコンパイル出来ない。あれこれ調べたところ、ココに、ctypes*1を利用したMeCabの使い方が書いてあったので、これを使うことにする。 ctypes ココからダウンロード。0.9.9.3はうまく動かなかったので、前のバージョンの0.9.6を使う。とりあえずこれでPythonからMeCabを使えるようになりました。 マルコフ連鎖 で、、、マルコフ連鎖アルゴリズムの説明やらサンプルが、ココとかココらへんにあったので参考にして、Pythonで書いてみた。 # -*- coding: sjis -*- from ctypes import * def sparse(s): # ライブラリの場所を指定 lib
weboo-returns.com
We’re getting things ready Loading your experience… This won’t take long.
マルコフ連鎖を使って簡単な問題を解いてみよう
"Cute Gyoza / Meat Dumpling Key Chain" by ♥ Rainbowcatz ♥ はじめに人工無能、一時期流行りましたねー。 難そうなわりに以外と簡単で、しかも結果が面白いということでRubyやなんかで実装している記事をよく見かけました。そういった中でマルコフ連鎖が注目されていた時期が一時期ありましたが、正直あれはマルコフ連鎖を利用しているというよりは、別のアルゴリズムにマルコフ連鎖という名前をつけたというか、あんまり関連性がないなーという印象でした。 マルコフ連鎖の本質はそういうことではなく、状態の遷移確率を行列によって求めたり、定常分布を固有値問題で計算するところにある、と自分は考えています。マルコフ連鎖についてのより詳しい説明は他のブログにお任せするとして(自分がやるとすぐにボロが出てしまう)、今回はマルコフ連鎖を使って簡単な問題を解き、実際にマルコ
Pythonで形態素解析 - よしなしごと
授業で，日本語文書を単語に切り分け索引語リストを作りtf-idfを求めよという課題が出たので，Pythonで取り組んでみることにしました．基本的には初心者なので，誤りなどあればご指摘いただければ幸いです． まずは日本語文書を形態素解析するために，オープンソースの形態素解析エンジンMeCabをインストールします．形態素解析とは文を形態素という言語で意味を持つ最小単位に分割し，それぞれの品詞を判別する技術です．自然言語処理の基礎技術でかな漢字変換や機械翻訳などに使われたりします．形態素解析 - Wikipedia．国立国会図書館の前館長である長尾真先生は自然言語処理における第一人者で，形態素解析エンジンには長尾先生の研究室で作成され現在も開発が続けられているJumanというシステムもあります．*1 Try JUMAN MeCabのインストール 公式のページからPythonバインディングも提供さ
Pythonのバージョンを管理するツール、pythonbrewを作ってみた - Bits of Log
Perlのperlbrewってツールが凄く使いやすくて羨ましかったので、Pythonで使えるpythonbrewってツールを作ってみました。 perlbrew？ perlbrewとはPerlをバージョン毎にインストールして、それらをswitchして使ったりできるツールのこと。 既存の環境を壊さずに最新のPerlを簡単に試すことができます。 PerlからCPANモジュールまでホームディレクトリ以下に全部インストールしてくれるので、自分専用のPerl環境を構築することができます。 perlbrewの作者の劉康民さんは、本当にすばらしいアイデアの持ち主。 pythonbrewとは 基本的にperlbrewをパクったと同じ思想なツール。 Pythonインタプリタのインストールから、それらの管理まで面倒をみてくれます。 例えば、一からPython2.6.6、2.5.5、2.4.6の環境を構築したいな
Post by @bonpworks
OS に元から入っている環境をあまりいじらずに使いたかったので pythonbrew を使ってみました。 > pythonbrew is a program to automate the building and installation of Python in the users $HOME. > pythonbrew is inspired by perlbrew and rvm. - [utahta/pythonbrew - GitHub](https://github.com/utahta/pythonbrew) 以下インストールのメモ。[utahta/pythonbrew - GitHub](https://github.com/utahta/pythonbrew#readme) の Installation、[Macにpythonbrew+virtualenvでPython
AWSコマンドラインツールのPython版をインストールした - okochangの馬鹿でありがとう
聞くところよにると、AWSのコマンドラインツールPython版が出たらしいという事で自分のMBAにインストールしてみました。 今年のブログは先日の投稿で終了のはずが、どこかの環境に改めてインストールする事があるかもしれないので、手順とか参考リンクをログとして保存しておこうと思います。 参考リンク（ありがとうございます） AWS Command Line Interfaceのページ aws-cliのGithubページ pipの使い方 MBAへインストール awscliはeasy_installかpipでインストール出来るようです。 今回はpipをインストールしてからawscliをインストールします。 pipのインストール $ sudo easy_install pipawscliのインストール $ sudo pip install awscli 設定 bash_profileにはこんな設定に
WindowsでPython3.3科学計算用環境を整えてみ…ようとしたんですが - あんちべ！
Python2.7から3.3に移行しました。 このタイミングで移行した理由は、Python3.xは文字コードがunicodeに統一されているとか高速化されていると言われてたので前々から移行したかったところに、SciPyなどの科学計算ライブラリが3.3でも動作するようになったと聞いたからです。 参考として以下を読みました。 2.x系と3.x系の違い Python 3.3 が間もなくリリースされるので新機能を確認しておく 確認したところ、大体のライブラリは動いてるけど、全てが上手くいくわけではないっぽいので、今の時点で移行する必要性があるかどうかはかなり微妙です。おすすめするつもりはありません。 インストール作業 本家からPython3.3本体をダウンロードしてインストールします。 Windows用科学計算ライブラリなどのバイナリファイルは下記から落としてきます。 Unofficial Win
sqlite3
1. 初めに (書きかけ) SQLite は RDMS (関係データベース管理システム) の一種です。 通常の RDMS と異なり面倒なセットアップが不要で、簡単に利用することができます。 通常のファイル並に簡単に扱えるので、 今まではテキストファイルなどに保存していたデータは sqlite に保存するようにすると便利です。 2. Python から SQLite を使う もちろん、Python からも SQLite を利用できます。 Python 2.5 から sqlite3 が build-in package として配布されているので、 すぐに使うことができます。 次の例のように、データファイルに connect するだけで、使うことができます。 データファイルは、 存在しなければ自動的に作成され、 存在すれば、それが開かれます。 また、データの保存はデータベースオブジェクトの co
sqlite3 – 組み込み関係データベース - Python Module of the Week
sqlite3 モジュールは SQLite 関係データベースに対する DB-API 2.0 準拠のインタフェースを提供します。SQLite はアプリケーション内に組み込むように設計された、インプロセスデータベースであり、MySQL, PostgreSQL や Oracle のような独立したサーバプログラムではありません。SQLite は高速且つ柔軟で徹底的にテストされており、プロトタイピングのみならず、アプリケーションによっては本番環境にも使用できます。 データベースを作成する¶ SQLite データベースはファイルシステム上の1つのファイルに格納されます。ライブラリはそのファイルへのアクセスを管理し、複数のプログラムがそのファイルへ書き込むときにデータが破損しないようにロックします。そのファイルへの初回アクセス時にデータベースが作成されますが、アプリケーションはデータベース内のテーブル定
SQLite3を使用する - Python Tips
軽量・高速なデータベースSQLiteをPythonから扱うためのライブラリ。 インストール Python2.5から標準ライブラリに入りました。 インストール作業は不要です。 使用方法 sqlite3をインポートする #!python2.6 # -*- coding: utf-8 -*- import sqlite3 データベースを作成する con = sqlite3.connect("data.db") ファイルがすでに存在するときはファイルを開く。 ファイルがないときは新しいデータベースを作成する。 isolation_levelにNoneを指定すると、自動コミットモードになります。 con = sqlite3.connect('temp.db', isolation_level=None) 特別な名前である ":memory:" を使うとRAM上にデータベースを作ることもできます。 c
11.13. sqlite3 — DB-API 2.0 interface for SQLite databases — Python 2.7.18 documentation
This document is for an old version of Python that is no longer supported. You should upgrade and read the Python documentation for the current stable release. SQLite is a C library that provides a lightweight disk-based database that doesn’t require a separate server process and allows accessing the database using a nonstandard variant of the SQL query language. Some applications can use SQLite f
電力測定するよ （SQLite3 / Python / JSON / Chart.js とか)
前からちょろちょろ作っていた 「電力測定するやつ」 が一通り完成した。正確には、電力ではなく、電流を測定するやつだが。 Pythonとか、JSONとか、Chart.jsなどという、C言語ばっかり書いている私にとっては、最近ぽい（そうでもない？）ものをグニグニくみあわせてみた。お勉強をかねて。 電流測定とデータの蓄積 この電流測定するやつは、電流を測定するモジュール(AVR+Xbee)と、測定結果を蓄積する部分(Raspberry Pi+Xbee)に分かれる。 電流を測定する部分 AVR (ATMega8) が、30秒に一回Wakeupし、電流センサの値（電圧出力）を1秒間の間128回 AD変換する。128回の測定値の合計(正確には基準点との絶対値の合計）を、その時刻の消費電流量とする AVRは、12回分の測定結果が溜まるごと、つまり30秒 * 12回 = 5分ごとに、その5分間の平均消費電
Mouseover dictionaryのSQLiteファイルをpythonで作成した。
Mouseover dictionaryの辞書登録をPythonを用いて直接行ってみました。流れとしてはCSVファイル（PDIC）を読み込んでSQLiteのDBを作成し、Firefoxのフォルダに放り込んだだけです。rubyでやっておられる方がいたので真似してpythonの勉強がてらやってみました。 PDICでCSV形式の辞書ファイルを作成 エンコードをUTF-8に変換 下記のプログラムでSQLiteのDBを作成 /.mozilla/firefox/default.*/に出来たmoseoverdictionary.sqliteを入れる。 こんな流れで適用しました。PDICを使ってしまっているので邪魔くさいだけのような気がしますが、趣味なので仕方ありません。 #!/usr/bin/env python #-*- coding:utf-8 -*- import sqlite3 import c
第11回 標準になったjsonモジュール | gihyo.jp
jsonモジュール WebアプリケーションなどではJavaScriptと連携させることが珍しくないと思います。Python3.0および、Python2.6ではJSON（JavaScript Object Notation）をサポートするためのjsonモジュールが標準として追加されました。これにより、手軽にPythonとJavaScript間でデータのやりとりを行うことができるようになりました。 基本的な使い方 jsonモジュールの基本的な使い方はPickleと同じです。文字列にして返すにはdumps、ファイルオブジェクトの場合はdumpを使用します。同様に、文字列からPythonのオブジェクトにするためにはloadsを使用し、ファイルオブジェクトから読み込む場合にはloadを使います。 リスト1 dumpsを使った例 import json s = json.dumps( list(ran
最強オブジェクト指向言語 JavaScript 再入門！
この資料では、JavaScript でオブジェクト指向プログラミングを行う際に備えておくことが望ましい、基礎知識や概念について解説します。 【対象者】 ・JavaScript でアプリケーションを構築できる方 ・JavaScript におけるオブジェクト指向プログラミングの 実現手法や原理への理解を深めたい方 ・Java 的なクラスベースの言語との違いに違和感や混乱を 感じてらっしゃる方
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to run a code in an Amazone's EC2 instance?
Python : How to insert a dictionary to a sqlite database?