BigQuery でランダムサンプリング - Qiita
ストック数的に誰も見ていないと思っていたけれど、意外と参考にしたという声を現実世界で最近ちょくちょく聞いているので Medium の方にちゃんと書き直しました。 やりたいこと タイトルの通り BigQuery でランダムサンプリングをする方法を調べたり考えたりしたのでメモを残しておきます。 方法その 1 乱数生成結果を入れただけの列を追加して、その列についてソートするという作業をサブクエリで記述します。 SELECT word FROM ( SELECT word, RAND() AS rand FROM [publicdata:samples.shakespeare] ) ORDER BY rand LIMIT 100 RAND() 関数が真の乱数を生成するという仮定の下でランダムサンプリングが実現できており、最も素直で確実な方法だと思います。 欠点 ただ、この方法には 1 つ大きな欠点
分散プログラミングモデルおよびデザインパターンの考察 その5 - Software Transactional Memo
これまでプログラミングモデルのプの字もなかったので申し訳程度にプログラミングモデルの話をする。 分散して特定のアプリを動かしたいだけなら、例えばbitcoinをマイニングするASICクラスタに対して特定のプログラミングモデルは必要とされない。そのように、行いたいタスク抜きにプログラミングモデルを語る事はできない。 HPC（ハイパフォーマンスコンピューティング）系のワークロードは古くからMPIがデファクトとなっている。 MPIでのプログラミング MPIというのは「Message Passing Interface」の略でSmalltalkなどの文脈で語るいわゆるメッセージパッシングとは哲学というかレイヤーが違う。こいつは 配列を引数に取る関数の形で1:1, 1:N, N:Nの通信の典型的なパターン(1:Nなら例えば `MPI_Broadcast` とか)をインタフェースとして定義しており、ユ
『夢のデータベース？「Cloud Spanner」の実力は？』について - Software Transactional Memo
こんな記事が目に入った。 www.itmedia.co.jp 大雑把に完全に間違ったことを言っているわけでもないが、読んでいくといろいろ鼻につくところがあり、どのあたりから間違っているのかと自分に問いただすのは現時点での自分の知識を棚卸しするためにも有用かも知れないと思ったので一言一句漏らさず思うところを書いていこうと思う。 中には枝葉末節な難癖もあるので全部を真に受けない感じで読んで欲しい。 Cloud Spannerの特徴は、これまでリレーショナルデータベースで不可能とされていた「トランザクション処理の大規模分散処理」を実現したところにあります。 単一のトランザクション処理を分散して実行しているかというと、Spannerはトランザクションごとに担当のトランザクションマネージャがそのトランザクション処理全体を取り仕切って行う仕組みになっている。なので「トランザクション処理の大規模分散処理
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ACIDRain: Concurrency-Related Attacks on Database-Backed Web Applications
A gallery of interesting Jupyter Notebooks · jupyter/jupyter Wiki · GitHub
