appengine ja hack-a-thon #7とappengine ja night #11が終わりました - スティルハウスの書庫の書庫
今回はMA6さんとの共催で、リクルートMTLをお借りして朝10時からよる11時までApp Engine三昧の一日でした。 appengine ja hack-a-thon #7はこんな感じ： 10月16日開催 Mashup Camp Collabo Day お寿司おいしかった！ 2つも食べた！ 私はjsonengineに全文検索機能を追加する作業をなんとか終えましたよ。 さてappengine ja night #11はこんな内容でした： ＜BeerTalk1＞ 発表者：@kissrobberさん 参考URL: http://d.hatena.ne.jp/kissrobber/20100916/1284623867 テーマ：「GAEで全文検索」 内容：数万件データに対応、階層カテゴリ検索やソートもできる実用的な全文検索の実装を紹介 →これは気合いの入ったセッション＆資料でした。。本格的な全
はてなブログ | 無料ブログを作成しよう
南関東の「いろんなところから富士山が見える」状況に驚きつづけている 大阪から東京に引っ越して３０年以上経つが、じわじわと蓄積されてきた驚きがついに閾値を超えたので筆を執った次第である。正確には「ポメラ DM250を起動してmenuキーを押して新規作成を選んだ」のだが、ポメラを持っていなかったら、さらに驚きが蓄積されていないと…
AppEngine ja night #11 に行ってきたよ - たごもりすメモ
いま見てみたら ajn10 のときはblogエントリ書き忘れてた……。まあいいや。 YAPC二日目のあと、そのまま AppEngine ja night #11 に移動して参加してきました。感想などをつらつらと。ひとセッションで自分もしゃべりました。 なお遅刻したため最初のセッションは聞けなかった。全文検索の話だったはず。 「appengineを携帯サイトで使ってみた」@yanaginさん ATNDに携帯サイト向けの画像処理とか書いてあってなんのこっちゃと思ってたら、けっこう違っててGAEをCDNがわりに使おうという話だった。資料はどこかに上がるのかな？ 簡単にまとめると以下のような感じ。 携帯サイト向けに使ってる今のデータセンタが、回線の帯域が細いのでアクセスが増えたときにサチっちゃいそう 回線帯域を増やしてもいいけど、お金かかる これまで使ってみていたAppEngineを仕事でも使って
Google Developer Day 2010（GDD）とGDD Bootcampにいってきた。 - あおうさ＠日記
Google Developer Day 2010（GDD）基調講演 Google App Engineは現在1week 55億ページビュー 日本はユーザが多い。appengine ja nightも紹介された appengine ja nightブース appengine ja nightの発表 @shin1ogawaさん(GDDBootcamp) Slim3 ハンズオン資料 Slim3 体験 - Bootcamp2010 チューターとして@kazunori_279さんと私 @higayasuoさん,@kazunori_279さん GDD2010 appengine ja night + Slim3 GDD2010 appengine ja night + Slim3 @urekatさん LT資料 GoogleAppEngine/JRubyという茨の道 appengine-jrubyの紹
はてなブログ | 無料ブログを作成しよう
トルコ水紀行 －前編 イスタンブール－ みなさんこんばんは、地図子です！8月は久しぶりに毎月更新にしようと思います。今までずっと名古屋について書いてきましたが、ワープして・・・ トルコについて書きたいと思います。 2024年6月に念願のトルコに行ってきました。いつからトルコに行きたかったかわから…
#appengine ja night #9が終わりました＋Slim3本とすっきり本が出た - スティルハウスの書庫の書庫
appengine ja night #9、皆様お疲れさまでした！ 今回はurekatさんshin1さん他の方々が大変詳細なwaveレポートを書いていただいています： @urekat隊長、@shin1さんほかによるwaveまとめ それと皆さんのレポートです： @bufferingsさん：#ahack6 と #ajn9 に行ってきたよ あおうささん：appengine ja night #9に行ってきた @y_kohさん：appengine ja night #9に行ってきた @tagomorisさん：AppEngine ja night #9 に行ってきたよ @koherさん：Single Property Indexを作らないとComposite Indexも作成されない？ @drillbitsさん：appengine ja hack-a-thon #6 と appengine ja n
はてなブログ | 無料ブログを作成しよう
2024年夏 かばんの中身記録 みんな大好きかばんの中身。 当然私も大好きで、人様のブログ記事やSNS投稿を飽きもせず読み込みまくっています。なぜこんなにも見飽きないのか… 自分も以前同じようにかばんの中身の記事を書いたんですが、気づけばもう３年前！去年くらいの気分だった、月日がたつの…
appengine ja night #9に行ってきた。 #appengine #ajn9 - あおうさ＠日記
おしながき 本編 @bufferingsさん：Datastoreのクエリを理解しよう @kazunori_279さん：Next gen queryを斬る！ BT（Beer Talk) @cht_007さん：BDレコーダー＋スマホ/PC連携サービス『Chan-Toru beta』 @ashigeruさん：近くを探す？ @tagomorisさん：SDKを試しに読んでみるよ Datastoreのクエリを理解しよう Google App Engine: Datastore のクエリを 理解しようView more presentations from bufferings. 京都からKotori Web JUnit Runnerの作者でもあるbufferingsさんです。京都でもappengine ja nightの活動を行っており、ajnk2でのクエリ解説が素晴らしい!ということで東京でも発表し
appengine ja night #9に行ってきた - 悪あがきプログラマー
簡単にですがまとめてみます。 appengine ja night #9 + BeerTalk : ATND ↓waveのまとめ（各位、あまりうまくwaveれなくてすみません。。 Status of Google Wave - Google Wave Help セッション1 発表者：@bufferingsさん 参考URL: テーマ：「Datastoreのクエリを理解しよう」 内容：App EngineのDatastoreがどのようにBigtableを使ってQueryを実行しているのかというお話です。 資料： #ahack6 と #ajn9 に行ってきたよ - bufferings Datastoreは連続した領域しか取得できない。 よって、いかに連続させるかが肝！ この辺がよくわかっていない人は（自分も含め）Slim3本が役に立ちますよー。 オープンソース徹底活用 Slim3 on Goo
Single Property Indexを作らないとComposite Indexも作成されない？ - $koherent->diary
昨日行われたappengine ja night #9で話題になった次の二つについて試してみました。 プロパティa、bに対してSingle Property Indexは作らずにComposite Indexだけを作った場合、a=1、b=2、c=3のようなフィルタを使えばComposite Index + ZigZag Scanを試せるんじゃないか。 プロパティa、bに対してSingle Property Indexは作らずにComposite Indexだけを作った場合、a=1のようなaだけを使ったフィルタは機能するか。 結果 Single Property Indexを作らなかったEntityは、Composite Indexテーブルに登録されないように見えます。下記コードの三つのQueryの結果はすべて空でした。Entity#setUnindexedPropertyメソッドを利用した
#appengine ja night #9 の Next gen queryセッション資料です #ajn9 - スティルハウスの書庫の書庫
appengine ja night #9 の私のセッション「Next gen queryを斬る！」のPDF資料です： http://dl.dropbox.com/u/4207279/docs/app-engine-next-gen-queries_with_note.zip このPDFは、GoogleのAlfredさんによるGoogle I/O 2010のセッション「Next gen queries」のPDF資料（以下）に私が日本語コメントを付けたものです。 http://code.google.com/intl/ja/events/io/2010/sessions/next-gen-queries-appengine.html
#appengine MapReduceで毎秒2000件×8日間＝15億件を処理！ - スティルハウスの書庫の書庫
まだMapper APIのみの提供でReducer APIがないappengine-mapreduceライブラリについては、10万件のデータを対象としたテストでは1000件／秒程度で処理できたよというレビューをお届けしました。しかしApp Engineの中の人であるBrettさんは15億件のデータを対象としてmapper APIを試したところ、毎秒2000件以上のスループットを達成したそうです。以下におもな点を要約します： Brett Slatkin - One Big Fluke - Biggest Map() of my own. I recently ran the biggest Map() job of my life on my own data using the new App Engine Mapper framework: 1.5 Billion rows. The d
Google Megastoreのお勉強メモ #appengine - スティルハウスの書庫の書庫
BrettさんのSTMに関する記事の中でGoogle Megastoreについて言及されていて、そのリンク先がハミルトン先生の2008年7月の記事（内で紹介されていたPhil Bernsteinさんのメモ）でした。つまりどうやらMegastoreに関する公開情報でGooglerのお墨付きなものはこれしかなさそうです。そこで改めて要点を写経しつつ、App Engineレベルから見た疑問点等をまとめてみました。なお、青色部分は私の訳注および感想です。同じ記事について解説したkuenishiさんの記事もありますので、合わせてご参照ください。 ところでここでは「BigTable」表記です。BigtableのTが大文字か小文字かについてguidoは「う〜ん論文ではtだったから小文字じゃないかな〜」と言ってました。つまりGoogle社内でも統一されてません。 Google Megastore What
データセンターの切替が必要なほどの障害時にはコミット済み更新内容が無かったことになる可能性があります - urekatのスカンク日記３
2009年9月のdatastoteの更新で"Megastore"レプリケーションになりました。 このおかげで、現在では、EGトランザクションの整合性が保たれたレプリケーションがされています。 しかし、「データセンタがクラッシュした場合には，ある程度のデータロスはあるが，整合した状態で，別のデータセンタをつかって続行」されるそうで、(EG内での)整合性は保たれているがDC切替によってコミット済みデータのロスが発生し、過去のバージョンにもどる可能性がある。ということです。 2010年5月の「エンティティ消えた疑惑( http://togetter.com/li/24245 )」はおそらくこれではないでしょうか。 注意すべき点は、保証されているのは「"単一EGでの"トランザクション整合性」であって(あるappidの)データストア全体ではないと言う点です。 複数EGにまたがるトランザクションをアプ
appengine ja night #8にいってきたよ - たごもりすメモ
去る6月4日にappengine ja night #8 : ATNDにいってきました。Beer Talkに参加し、その後の二次会にも参加。飲みまくりの夜だった。ていうか最近銀座づいてます。週に3回くらい銀座周辺(有楽町、日比谷)行って飲んでるぞ。大丈夫か。大丈夫じゃないぞ。 内容とか とりあえずshin1ogawaさんのまとめを読むといいんじゃないかな(手抜き 今回は貴重なGAE Python開発者*1による実運用サイトの事例ということで、@najeiraさんのプレゼンが最初に。月間1億PVとか、GAE使う意義がかなり大きそうな感じ。 GAE採用までのあれこれは実際に商売としてやるには大切だろうなーと思いつつ、自分が注目してたのはproxyのあたり。GAEのエラー画面をユーザに見せたくないなーとか、静的データはキャッシュしたいし、とかのあたりはブラウザ向けの普通のサイトをやるには大事なん
appengine ja night #8に行ってきた。 #appengine #ajn8 - あおうさ＠日記
今回はサッカーSNSを実際にAppEngineで運用している@najeiraさんをはじめ、ランキング問題をやっつけるために@koherと@kibayosさんがSkip Listをひっさげて来て下さいました。 BeerTalkでは、App Engineで動作するCMSを作成している@shuji_w6eさん、@zetta1985さんに発表頂きました。@koherさん、@kibayosさん、@shuji_w6eさん、@zetta1985さん、遠方から来てくれてありがとうございます。アルゴリズム、spinupの話しなど楽しい話が聞けました。 BeerTalkで@kazunori_279さんのGoogle I/O 2010報告を予定していましたが時間切れのため次回に延期となりました。こちらも次回が楽しみですね。 おしながき 本編 @najeiraさん：appengineでの開発 @koherさん：S
#appengine でComet！ Channel APIでpushできるぞ - スティルハウスの書庫の書庫
Google I/O 2010ではApp Engine関連の大きな新機能発表がいくつかありましたが、「Channel API」もそのひとつ。これは「Webブラウザとのpush通信（comet）のためのAPI」です。 ついにpushできるよ！ これまでApp Engineにおいてクライアントへのpushを行うには、 XMPPプロトコルを通じてのXMPPクライアントへのメッセージ送信 URLFetchを用いて外部のpushサーバー（WebSocket対応サーバーとかTornadoとか）経由でへWebブラウザにpush（例：松尾さんのwebsocket連携） のいずれかしか手段がありませんでした。 しかしXMPPクライアントの実装は容易ではなく、とりわけApp Engine側のXMPPサーバーとしてGoogle Talkサーバーを用いる場合はTLS通信が必須となり、利用可能なクライアントが極端に
こっちは本物のMapReduceだ！ グーグルがAppEngine-MapReduceをオープンソースで開発中
こっちは本物のMapReduceだ！ グーグルがAppEngine-MapReduceをオープンソースで開発中 グーグルはGoogle App Engine上でMapReduce処理を実現するオープンソースを開発中だと、先日行われたイベントGoogle I/Oで明らかにしています。プロジェクトのホームページもGoogle Code上に「appengine-mapreduce - Project Hosting on Google Code」として公開されています。 Reduce処理やJava版はこれから 1つ前の記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」では、グーグルがSQLライクな命令を用いて大規模データ処理のサービスを提供することをお伝えしました。 記事でも書いたとおり、これは内部でMapReduceを使っているかど
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作
「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spring | Home