デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
BigQuery gets big new features to make data analysis even easier - Google Developers Blog 待望の新機能「Big JOIN」を始め、BigQueryに新しい機能が追加されました。 Big JOINについて試したのと、他の機能も少し読んでみたのでブログに書いてみます。 ◯Big JOINとは Big QueryではこれまでもテーブルのJOINをすることはできたのですが、 JOINするテーブルのサイズに制限がありました。 (クエリのメインのテーブルのサイズには元々制限は無いので、JOIN相手のテーブルに制限があるという感じ) データ集計においてJOINを必要とする頻度は高く、 これまではBigQueryを使う際にこの制限を回避するための対応が必要でした。 具体的には、 1.JOIN対象のテーブルをサブクエリ
BigQueryに新しい機能が追加されたので早速試してみました。 Cloud Platform Blog: Google BigQuery gets bigger, faster, and smarter with big result sets and new analytics functions ◯Large results - Destination Table クエリ結果をテーブルに出力するための指定。 「Select table」ボタンを押して出力先テーブルの「プロジェクト」「データセット」「テーブルID(名前)」を指定する。 -Write Preference テーブルへの書き込み設定。 3つの選択肢があるが、どの選択肢でも「テーブルが無ければ新規に作成して書き込む」は同じ。 その上でテーブルが既に存在している場合の挙動が下記のように異なる。 ・Write if empty
はじめに 本連載では、分析関数の衝撃シリーズを、PostgreSQL用にアレンジした内容と、OracleやDB2の分析関数をPostgreSQL 8.4で代用する方法を扱います。本稿では、PostgreSQL 8.4でOracleの分析関数のRows指定やRange指定と同じ結果を取得するSQLを扱います。 対象読者 PostgreSQLでwindow関数を使ってみたい方 分析関数の理解を深めたい方 必要な環境 本稿で扱うSQLは、PostgreSQL 8.4 beta2で動作確認しました。その他、次の環境でも応用が可能です。 Oracle DB2 SQL Server 1. Rows 2 Preceding 『PostgreSQLの分析関数の衝撃2』の「5. 移動累計を求める」では、PostgreSQL 8.4では文法エラーになるRows 2 precedingなsumを代用する方法を扱
はじめに 2009年7月に正式リリースされたPostgreSQL 8.4で、分析関数(window関数)がサポートされました。本連載では、分析関数の衝撃シリーズをPostgreSQL用にアレンジした内容と、OracleやDB2の分析関数をPostgreSQL 8.4で代用する方法を扱います。 本稿では、『分析関数の衝撃2 (中編)』を、PostgreSQL8.4用にリニューアルした内容を扱います。 対象読者 PostgreSQLでwindow関数を使ってみたい方 分析関数の理解を深めたい方 『自己結合の使い方』と 『相関サブクエリで行と行を比較する』に記載されているSQLをwindow関数を使って記述していきますので、『自己結合の使い方』と『相関サブクエリで行と行を比較する』を読まれてからのほうが理解しやすいと思います。 必要な環境 本稿で扱うSQLは、PostgreSQL 8.4 bet
Redshiftとは 技評の連載及びゆめみさんのSlideShareがまとまっていて分かりやすいと思う。 ので割愛(キリっ Amazon Redshift 運用や設計のベストプラクティスやトラブルシューティングの充実はまだまだこれからではないかと思います。 Redshift と psycopg2 + SQLAlchemyの準備 RedshiftへはPostgreSQLのドライバ各種を利用して接続出来るので、今回はpsycopg2と、申し訳程度にSQLAlchemyを利用して接続してみます。 予め以下の通り設定が行われているものとします。 DBホスト hogehoge.us-east-1.redshift.amazonaws.com DBポート 5439 DB名 testdb DBユーザー testuser DBパスワード testpass また、次のようなスキーマのDBが作成され、データが
This document is for an old version of Python that is no longer supported. You should upgrade and read the Python documentation for the current stable release. The so-called CSV (Comma Separated Values) format is the most common import and export format for spreadsheets and databases. There is no “CSV standard”, so the format is operationally defined by the many applications which read and write i
Scientific Computing Tools For Python — Numpy NumPy は Pythonプログラミング言語の拡張モジュールであり、大規模な多次元配列や行列のサポート、これらを操作するための大規模な高水準の数学関数ライブラリを提供する。(via Wikipedia) これまで知識があいまいだったNumPyについて、もう一度おさらいしたいと思います。NumPyはSciPyと併せて科学技術計算でよく利用されています。また、高速に行列演算ができるのでOpenCV(コンピュータビジョンライブラリ)でもNumPyを利用したPythonインタフェースが提供されるようになりました。 OpenCVのPythonバインディングについては去年のエントリーでも取り上げていますので参考までに。 * さくらVPSにOpenCVをインストールしてPythonから使う [2017/04/2
以下の読み込み用テキストファイルを用いて、 text.txt It is meaningless only to think my long further aims idly. It is important to set my aims but at the same time I should confirm my present condition. Unless I set the standard where I am in any level, I'll be puzzled about what I should do from now on. 以下のメソッドを用いた場合の処理を書いてみます。 read() – ファイルを全て読み込み、その文字列データに対して処理を行う readlines() – ファイルを全て読み込み、1行毎に処理を行う readline() – 1行毎
NumPy 配列の基礎¶ ここでは,NumPy で最も重要なクラスである np.ndarray について, 本チュートリアルの方針 の方針に従い,最低限必要な予備知識について説明します. np.ndarray は, N-d Array すなわち,N次元配列を扱うためのクラスです. NumPy を使わない場合, Python ではこうしたN次元配列を表現するには,多重のリストが利用されます. np.ndarray と多重リストには以下のような違いがあります. 多重リストはリンクでセルを結合した形式でメモリ上に保持されますが, np.ndarray は C や Fortran の配列と同様にメモリの連続領域上に保持されます. そのため,多重リストは動的に変更可能ですが, np.ndarray の形状変更には全体の削除・再生成が必要になります. 多重リストはリスト内でその要素の型が異なることが許
で簡単です。ただ、C関数を作るので、Python.hなどのdevライブラリやgccといっ たツールを事前にインストールしておく必要があります。 簡単な使い方¶ >>> import psycopg2 # コネクション作成 >>> conn = psycopg2.connect("dbname=test host=localhost user=postgres") # カーソル作成 >>> cur = conn.cursor() # SQLコマンド実行 (今回はテーブル作成) >>> cur.execute("CREATE TABLE test (id serial PRIMARY KEY, num integer, data varchar);") # SQLコマンド実行 (プレースホルダー使用。エスケープも勝手にされる) >>> cur.execute("INSERT INTO test
皆様こんにちは 以前、社内勉強会制度 Skill U Friday のご紹介をさせていただいた織田と申します。 昨年は多くのセミナーを通じて、当社エンジニアをお引き立てくださりありがとうございました。 さて今回は、昨年サイバーエージェントのエンジニア職が登壇したセミナーのプレゼン資料をまとめてご紹介差し上げます。 今年も、多くの外部セミナーや当社発信のセミナーを通じて皆様と技術交流が出来ることを楽しみにしております。 宜しくお願い申し上げます。 ■秋葉原ラボ
こんにちは、広報グループ原田です。 今回はmedibaも力を入れている今話題のサービス「DSP」についてご紹介したいと思います。 インターネット広告の伸長に伴い、広告配信技術が飛躍的に発展した事で、ディスプレイ広告の配信システムも随分と変化しています! 今まで広告主は、広告出稿を行う際に媒体属性からターゲット層を想定し、広告を枠ごとに購入していました。しかし、個々に広告枠を購入・配信し、広告配信結果を個別に分析するのは時間もコストも掛かるため、課題となっていました。 また、広告枠の価格は媒体側が決めるので、広告主にとって、本当に出稿したい価格と合わない料金を支払うこともしばしば・・・ このような状況の中「ターゲットユーザーへ最適な価格で、より効率的に効果の高い広告を配信したい!」という要望に応えるべく登場したのが、「DSP」です。 DSP(=Demand Side Platform)とは、
<< トップページへ << 目次へ 更新日:2013.4.29 小技集・豆知識 日付データへの変換 MySQLで「日付」の操作を行うことがよくあります。例えば、顧客の購買履歴のデータから「基準日からの直近購買日までの日数」などを計算することがあります。MySQLには以下に示す4つのデータ型が用意されています。 DATE型 ・・・ YYYY-MM-DD DATETIME型 ・・・ YYYY-MM-DD HH:MI:SS TIMESTAMP型 ・・・ YYYY-MM-DD HH:MI:SS TIME型 ・・・ HHH:MI:SS データマイニング業務において、実質的に取り扱うことが多いのは「DATE型」のみといってもよいでしょう。データとしてDATETIME型として保持しているケースもありますが、時間単位(HH:MI:SS)でデータを保持していても、使用するのはほぼ日付単位(YYY-MM-DD
S3は、まずは Management ConsoleやCloud Berry Explorer、CyberDuckといったGUIツールから使うか、 AWS SDK for PHP, Java, Ruby, .NET といったAPI経由で使うことが多い。(参考:S3の関連ツール・ライブラリ等 - aws memo ) バックアップ処理など、cronなどでスクリプトから操作したい場合は、s3cmdが便利。 インストール Amazon Linuxでデフォルト無効になっている epelリポジトリからインストール $ sudo yum -y --enablerepo epel install s3cmd もしくは、ここからyumのリポジトリファイルを取得して、/etc/yum.conf.d/にコピーした後にyum installする。 $ wget http://s3tools.org/repo/R
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く