きのふよりけふ、けふよりあした 【GoogleAppEngine】バルクローダーを使う【Datastore】
【GoogleAppEngine】バルクローダーを使う【Datastore】 2011-07-24 03:27:03 Sun GoogleAppEngine/JavaでDatastoreのデータをエクスポート／インポートする際のコマンドメモ。 GAE/Pythonだとわりと記事があってGgりながらやればできるって「安心感」があるのですが、 GAE/Javaでバルクローダーの記事はあまりないので、できるのかどうか不安になりました。 公式ドキュメントにはできるように書いてあるのですが詳細な手順はありません…。 なお、Pythonが実行出来る環境で、たしかhttplib2などのライブラリをインストールしておく必要はありますが、こちらはpython版でGgるといっぱい出てきますので割愛。 実行時エラーで足りないライブラリを確認しながらいれてもそれほど時間にもなりません。 pythonライブラリのイ
Python CSVデータ 一括登録 bulkloader編
以前に書いたブログ。 Python CSVデータ 一括登録 TaskQueue編 なんだけど今回別の方法があると、こっちのほうが効率がいいのではと。 というかこっちを使うのが一般的ではないかと。 なので検証することに。 いろいろ検索するとたくさんの方が記載していました。Google本家も参考に。 ・Google App Engine データのアップロードとダウンロード ・bulkloader.py を使って Google App Engine の本番サーバーから開発サーバーにデータを移す 他多数。 ただ今回実際にやってみて、整理するためにも書いときます。 まず、remote_apiの設定。app.yamlにて簡単に設定できます。 次に一括登録のために必要な登録するデータ（今回はCSV）とKindのPropertyとをマッピングすることが必要。 そのために下記ファイルを使用する。 bulkl
Bulkloader demo
The new bulkloader configuration format requires the Google App Engine Python SDK version 1.3.4 or later.Files on this siteSample configuration and databulkloader.yamlmodels.pycustomer.csvcustomercall.xmlvisit.tsv Hierarchical XML example Visit + Activitiesbulkloader_visitactivity.yamlvisitactivities.xmltransformhelper.py Custom connector examplejson_connector.pybulkloader_json.yaml Mapreduce base
endo blog: GAEのbulk loaderツールを使って駅データのCSVをデータストアにアップロードする
駅データのcsvファイルをGAEのデータストアにアップロードしたい。 csv等をデータストアに一括アップロードする場合、bulk loaderツールを使う。bulk loaderはappcfg.pyコマンドから使用できる。bulk loaderツールは、remote_apiを使用してGAEアプリのデータストアに一括アップロードする。 remote_apiが設定されていない場合は、まず最初に設定する必要がある。 http://bit.ly/9YoNpV に2種類の設定方法が書いてある。 remote_apiの設定が終わったら、次にbulk loaderの設定をする必要がある。bulk loaderの設定をするには、まずbulkloader.yamlを自動生成する。 appcfg.py create_bulkloader_config --filename=bulkloader.yaml {d
bulkloader.py を使って Google App Engine の本番サーバーから開発サーバーにデータを移す
Google App Engine SDKの開発サーバーのデータストアはtmpディレクトリにデータを保存するため、マシンを再起動するとデータの中身が全部消えてしまいます。毎回テストデータを用意するのが面倒なので、本番サーバーからデータを移してくるための方法を調べてみました。するとbulkloader.pyというユーティリティを使うと、簡単に本番サーバーのデータをダウンロードして保存し後からリストアすることができることがわかりました。ということで早速試してみます。 参考にしたのは以下のサイト。 http://code.google.com/intl/en/appengine/docs/python/tools/uploadingdata.html ※2010/01/31追記：--db_filenameオプションの使い方を掲載しました。 ■前準備 app.yamlに以下の設定を追加してから、a
google app engine のデータストアをバックアップ、リストア（bulk loader ツール）
google app engine のデータストアをバックアップ、リストア（bulk loader ツール） 今日はGAEのデータストアのバックアップとリストアに挑戦。 （bulk loader ツール） まずここを参照。 「データのアップロードとダウンロード」 http://code.google.com/intl/ja/appengine/docs/python/tools/uploadingdata.html ふむふむ。 まずRemote API を有効にする必要があるとの事。 app.yamlの末尾に以下を追加 builtins: - remote_api: on - datastore_admin: on ・・・「datastore_admin: on」はついで。ダッシュボード側のデータストアのコピー操作ができるようになるおまじない。これは今回は使わないけどおまけｗ で、コマンド
CSVファイルのデータをアップロードする方法 - 気楽に開発メモ
使用するモデルとCSVファイル 例として、以下のモデルを使用します。 class ExModel(db.Model): data1 = db.StringProperty() data2 = db.StringProperty() data3 = db.StringProperty() アップロードするCSVファイルは data.csv とし、内容は以下とします。CSVファイルにはヘッダを必ず含みます。 data1,data2,data3 ←ヘッダ aaa,aaa,aaa bbb,bbb,bbb ccc,ccc,ccc remote_apiの設定 app.yaml に以下を追記します。 - url: /remote_api script: $PYTHON_LIB/google/appengine/ext/remote_api/handler.py login: adminアプリケーションを
いまどきのGAE/Py bulkloader - すぎゃーんメモ
GAE/Pyでbulkloaderを使ってデータをアップロードする - すぎゃーんメモのあたりからGAE/Pyをほとんど触ってなくて最近の事情も知らなかったのだけど、最近久々に触ってみたらこのへんもちょっと変わっているようで。 Backing Up and Restoring | Python | Google Cloud Platform 以前はbulkloader.Loaderを継承したクラスの.pyを作ってそれを使う、というやり方しかなかったと記憶しているのだけど、今はそのへんの変換方法をyamlで指定することで代替可能になっているようで。 #!/usr/bin/env python from google.appengine.ext import db class Tweet(db.Model): date_time = db.DateTimeProperty(requir
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.piconix.net/archives/gaecsvencodingerror/
azul» Blog Archive » bulkloader de list
Google App Engineで本番環境と開発環境のデータを同期する | 風おあ