リレーショナルデータベースはNoSQLを取り込み始めた。NewSQLの登場とNoSQLの終わり、という予想
リレーショナルデータベースはNoSQLを取り込み始めた。NewSQLの登場とNoSQLの終わり、という予想 MySQLの次期バージョンとPostgreSQLの次期バージョンにどのような新機能が追加されるのか、昨日、一昨日の2本の記事で紹介しました。 MySQLの次期バージョンはMemcached APIを備える！ MySQL Conference & Expo 2011基調講演 PostgreSQLの現状と次期バージョン9.1の新機能。MySQL Conference & Expo 2011 この2つのデータベースの次期バージョンに共通しているのが、NoSQLの機能を取り込んでいることです。NoSQLに対するリレーショナルデータベースによる反撃が始まっています。 リレーショナルデータベースがNoSQLを取り込み始めた MySQLの次期バージョンであるMySQL 5.6に搭載予定の新機能の1
Google App Engine – GAE で twitter のリプライをチェックしてメールでお知らせ | trash-area.com
最近 GAE こと Google App Engine + python で遊んでます。 なかなかマゾくて楽しいかもしれません。 で、GAE の標準機能から ・URL Fetch API … URL をフェッチして Web 上の他のリソースにアクセス ・Mail API … メールを送信 ・Datastore API … DBみたいな感じ ・cron … 指定した日時などでコマンドを実行 と、twitter API の mentions を利用して、自分宛のリプライまたは言及があるポストを任意のメールアドレスに転送するサンプルを書いてみました。 python の文化がまだいまいちよくわからんので なんか記法とか違うかもしれませんが、とりあえず全部貼ってみようかと。 数あるサンプルの足しにでもなればいいなーと。 ちなみに、”new_project_template” からなるべく構成はいじっ
Google App Engine PythonのDatastore APIを使用する
アプリケーションの公開やテンプレートの使い方など、徐々にわかってきたので、 今度はDatastore APIの使い方を調べてみます。 参考になるのは、Googleさんの標準ドキュメント。 Google App Engine データの作成、取得、削除 http://code.google.com/intl/ja/appengine/docs/python/datastore/creatinggettinganddeletingdata.html データ登録用のオブジェクトを作成 イメージ的には、オブジェクト指向データベースという感じでしょうか？ ※使ったことないですが。 登録したいデータをオブジェクトで表現します。 触った感じだと、CouchDBに近いかも。 サンプルとして、郵便番号と住所を保存することを考えて見ます。 ・・・いつもと同じで申し訳ないです。 郵便番号と住所の二つの文字列フィー
SQLite3を使用する - Python Tips
軽量・高速なデータベースSQLiteをPythonから扱うためのライブラリ。 インストール Python2.5から標準ライブラリに入りました。 インストール作業は不要です。 使用方法 sqlite3をインポートする #!python2.6 # -*- coding: utf-8 -*- import sqlite3 データベースを作成する con = sqlite3.connect("data.db") ファイルがすでに存在するときはファイルを開く。 ファイルがないときは新しいデータベースを作成する。 isolation_levelにNoneを指定すると、自動コミットモードになります。 con = sqlite3.connect('temp.db', isolation_level=None) 特別な名前である ":memory:" を使うとRAM上にデータベースを作ることもできます。 c
sqlite3
1. 初めに (書きかけ) SQLite は RDMS (関係データベース管理システム) の一種です。 通常の RDMS と異なり面倒なセットアップが不要で、簡単に利用することができます。 通常のファイル並に簡単に扱えるので、 今まではテキストファイルなどに保存していたデータは sqlite に保存するようにすると便利です。 2. Python から SQLite を使う もちろん、Python からも SQLite を利用できます。 Python 2.5 から sqlite3 が build-in package として配布されているので、 すぐに使うことができます。 次の例のように、データファイルに connect するだけで、使うことができます。 データファイルは、 存在しなければ自動的に作成され、 存在すれば、それが開かれます。 また、データの保存はデータベースオブジェクトの co
SQLiteをPythonで - みずぴー日記
30分プログラム、その213。前々から気になっていたSQLiteをPythonで使ってみる。 Python2.5からsqlite3モジュールが標準添付されたらしいけれど、MacPortsだと別途py25-sqlite3をインストールする必要があった。sqlite3モジュールは存在するけど、importすると例外を吐く。 SQL文が使えつつ、SQLサーバがいらないのはありがたい。特にレンタルサーバなどで動かす場合には。 インストール方法 $ sudo port install sqlite3 $ sudo port install py25-sqlite3 ソースコード #! /usr/bin/python # -*- mode:python; coding:utf-8 -*- # # sqlite.py - # # Copyright(C) 2008 by mzp # Author: MI
PythonでSQLite3を使う（Python覚書 ver3.1/WindowsXP）
PythonにはSQLite3が組み込まれた状態で配布されています。SQLiteを使用する為にインストールや環境構築を行う必要はありません。 import sqlite3 conn = sqlite3.connect("test.db") # Create conn.execute("create table tbl_name(num, val)") # Insert conn.execute("insert into tbl_name values( '1', 'test1' )") # ?で置き換え可能 conn.execute("insert into tbl_name values( ?, ? )", [ 2, "test2" ]) # executemanyで複数SQLの実行 conn.executemany("insert into tbl_name values( ?, ?
既存のSQLiteデータにSQLAlchemyでアクセスする
多数の化合物のファイルはSMILES形式でsqliteのデータベースにしておくと、あつかいやすいのだけど、たまにさくっとアクセスしてゴニョりたいときにsqliteでSQL文発行してとかめんどくさかったりする。 で、SQLAlchemy使うとpythonの対話環境で使えてそのままpybelとかに持っていけるので便利なんだけど、いちいちマッピングしなくても良いらしい。 create_engineでsqliteのファイルを指定して、reflectをTrueにすればよい。 from sqlalchemy import * db = create_engine('sqlite:///test.db') metadata = MetaData(bind=db, reflect=True) table = metadata.tables['table_name']
Flaskrの認証をOAuthで
Flaskのチュートリアルの認証をFlask-OAuthを使ったものに変えてみた。 loginのとこを変えるのと、新しくoauth-authorized,get_twitter_tokenというメソッドを追加してoauthの認証に対応させただけ。 import sqlite3 from flask import Flask, request, session, g, redirect, url_for, abort, render_template, flash from contextlib import closing from flaskext.oauth import OAuth DATABASE = '/Users/kzfm/flask/flaskr/flaskr.db' DEBUG = True SECRET_KEY = 'development key' app = Flas
Twitterで自分宛のリプライ・メンションをDBに自動的に蓄積する方法 - とりあえず9JP
自分宛のリプライでも、元ツイートが削除されると、自分の「@関連」からも消えるらしい。 んで、統失気味の自分は… という結論に至った。 というわけで、PHPで、特定のID宛のリプライやメンション、ついでに自分のツイートをSQLiteに自動的に保存する方法。 TwitterSearchAPIを利用。 現在 非公開中 書いてる途中で「あ、やっぱ保存とか要らないや。」と思って動作確認とかロクにしてないのだけれど、上記のスクリプトを適当なファイル名、 ツイッターIDの部分を書き換え、hogehoge.php などで保存し、それと同階層にdataディレクトリを作成し、書き込み権限を与えてやってからhogehoge.phpを実行すると、とりあえず動く気がします。 あとはcron等で定期的に叩いてやればどんどん蓄積されていくはず。 書いてる内に面倒になったので試しては無いけれど。 ▼詳細▼ DB：スクリプ
PRGEAIR：ProgressionにGoogle App Engineのパワーを！ | デベロッパーセンター
みなさん、「Progression」というFlash用フレームワークをご存じでしょうか。Progressionを使えば、Flashサイトであっても、HTMLサイトのようなページ構成や画面遷移といったサイト基本機能を簡単に実装することができます。すでに多くのクリエイターが利用しており、個人サイトだけでなく、企業サイトでもProgressionが採用されています。 Progressionには豊富な機能が用意されていますが、さらにProgression用拡張機能を使って様々な機能を追加することができます。そして、先頃、Progressionをもっと便利に、もっと楽しくしようと「extends Progression 拡張機能コンテスト」が開催されました。受賞作品をみると、グランプリ作品「CaptureSheetMaker」をはじめ、みなさんのFlash開発に役立つ作品ばかり。ぜひ、Progre
GAEの画像処理リソース使って画像のサムネイル生成＆データストアへ保存 - 先がまっくろー
ここを参考にした。 Images Python API - Google App Engine - Google Code 画像をアップロード 元画像と生成したサムネイル画像を保存 保存した画像を表示する これらを実現できた。やったね！ アプリケーション作成 > python manage.py startapp img manage.py settings.py # INSTALLED_APPS に追記 INSTALLED_APPS = ( 'img', ) urls.py # urlpatterns に追記 urlpatterns = auth_patterns + patterns('', # ごにょごにょ (r'^img/(.*)', include(img.urls)), # ごにょごにょ ) + urlpatterns img/urls.py # -*- coding: utf
PythonでWebアプリ開発入門のススメ Flask/MongoDB - mizchi log
TwitBlogin! http://twitblogin.com/ とか作ったことだし、そこそこ開発環境整って、今なら思いつく限りのサービスはさっくり実装できそうだったのでPython初心者向けに書いておく。 少しでもPythonユーザが増えれば幸い。 対象は Python の基本的な構文程度はわかるけど、具体的に何から手をつけていいかわからない人 目次 Apache/WSGI/MongoDBの環境構築 flask [ Sinatra風ウェブアプリケーションフレームワーク] pymongo [ MongoDBラッパー ] werkzeug [Web Application デバッガ] jinja2 [ HTMLテンプレートビルダー ] pyquery [ jQuery風HTMLパーサ ] nose [ TDD ] 細かいライブラリの使い方とかPython本体の言語仕様とかは適当にぐぐって
ウノウラボ Unoh Labs: MySQLのチューニングのためのデータの集め方
いつの間にか会社で古株になったyamaokaです。 webアプリケーションのバックエンドにMySQLを使っている場合、 クエリ（SQL）のチューニングをする必要がありますよね。 皆さんはチューニングの計画をどのように立てていますか。 もちろん、既に明らかに重いことが想定されているページがあれば、 その処理で使われているクエリを中心にEXPLAINなどを使って解析していけばいいと思います。 でもそうではなく、全体的にクエリの見直しやチューニングを行いたい場合は 実際に実行されているクエリを確認していくという作業が必要です。 そこで使うことができる3つの方法について書きたいと思います。 遅いクエリを記録する MySQLにはスロークエリログといって、 実行に時間がかかったクエリを記録する機能が最初から付いています。 /etc/my.cnfに次のように設定を書けば実行時間が1秒を超えたクエリが出力
MySQL初心者入門講座
・本格的なプログラミングを学びたい場合は Java初心者入門講座 を次のステップとしてご活用ください。 ・Web系のプログラミングを学びたい場合は PHP初心者入門講座 を次のステップとしてご活用ください。 MySQLのインストールが完了したら、早速データベースを利用してみたいところですが、まだまだ準備が必要です。 Excelのような表計算ソフトは、インストールしたらすぐに利用できます。しかしMySQLのようなデータベースの場合は、どんなデータを保存するのかという設計が必要です。最初は面倒に感じますが、設計することで蓄積されたデータを効率よく利用できるようになります。 またMySQLではユーザーごとに、データベースに対してどのような操作を許可するのか設定することができます。これを権限付与といいます。 MySQLをインストールした段階では「root」という管理者ユーザーがありますが、root
Stanford Large Network Dataset Collection
Open research positions in SNAP group are available at undergraduate, graduate and postdoctoral levels. Social networks : online social networks, edges represent interactions between people Networks with ground-truth communities : ground-truth network communities in social and information networks Communication networks : email communication networks with edges representing communication Citation
MOONGIFT : WordPressを使ってデータをビジュアル化する「DataPress」 オープンソース・ソフトウェア/フリーウェアを毎日紹介
DataPressはデータのグラフ化、ビジュアル化を行うWordPressプラグイン。 [/s2If] DataPressはPHP製のオープンソース・ソフトウェア。プレゼンテーションを行ったり、人に情報を適切に伝える際にデータのビジュアル化はとても大事なことだ。一覧表では分かりづらいことも、グラフ化したり地図上にマッピングすることで容易に理解できるようになる。 地図 データの管理を行うには表計算やデータベースを使うのが一般的だろう。そしてそのデータをビジュアル化したものを管理するにはCMSを用いられる。この二つを組み合わせてデータを表現するソフトウェアがDataPressだ。 DataPressはCMSとしてWordPressを使い、データのビジュアル化を行う。データソースとしてExhibitまたはGoogleスプレッドシートが選択できる。そしてリスト、テーブル、地図、タイムライン、散布図
Fluidinfo
Today we are incredibly proud to announce a major new release of Fluidinfo. Our vision is that information should be easy to create, find and use. This led us to develop our core technology: an openly writable database for storing and organizing metadata. Our database is useful for developers looking to glue together data from multiple sources, be it from the web or in-house systems. Information s
ウノウラボ Unoh Labs: 今からはじめるCassandra入門
こんにちわ、7月に入社したばかりの@emorinsです。 題名の通りですが分散データベース『Apache Cassandra』を紹介したいと思います。 少し前はHadoop(とHBase)と比較されることの多かったCassandraですが、最近はHadoopの人気に押されつつあるようにも感じます。 しかし、CassandraとHadoopは特徴が異なり、よく言われるのがCassandraはリアルタイム処理に向き、一貫性のかわりに可用性を重視し、またHadoopとは違って単一障害点もありません。 今日はそんなHadoopとは違った魅力のある分散データベース『Apache Cassandra』をはじめてみましょう。 目次 Cassandraとは アーキテクチャ Cassandraの特徴 コンシステンシレベル データモデル MemtableとSSTable セットアップ storage-conf
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQLite入門
