Amazon Redshift：Redshift Spectrumの概要／仕様／制限事項など #awssummit | DevelopersIO
2017/04/19開催(日本時間:2017/04/20)の『AWS Summit in San Francisco』で発表されたAmazon Redshiftの新機能『Redshift Spectrum』。S3のデータをRedshiftから直接クエリ出来るという代物ですが、リリース時点での仕様や制限事項等のドキュメントは発表と同時に既に公開されています。当エントリではその内容を読み解き、現状どんな風に使えるのかについて理解・把握してみたいと思います。 【速報】Amazon Redshift：S3のデータを直接検索出来る新機能『Redshift Spectrum』が発表されました！ #awssummit ｜ Developers.IO 目次 Redshift Spectrum：概要 Redshift Spectrum：制限事項 Redshift Spectrum：IAMポリシー Redsh
Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
Bigquery上で実行するバッチ処理のテストコードを書く (Ruby編) - Qiita
bigquery上でデータを加工して集計する時、このSQLが本当に合ってんのかテストコードで検証したくなる。 しかし、こういう外部サービスを使った処理のテストコードを書くのはとても面倒臭い。 とはいえ、書かんわけにもいかんし、実際に動かしてみないと分からないこともあるので、実際にbigqueryで処理を実行してテストする方法をまとめてみる。 テストデータのロード bigqueryにデータを突っ込む方法はバルクロードするかStreaming Insertの二つ。 しかし、バルクロードはテストコードを書く時に困るのが、データ量に関わらず処理に一定時間かかること。 どれだけ小さいデータでも最低1分前後は待たされる上に、時々謎の刺さり方をして最悪数分かかる場合がある。 一方でStreaming Insertはまずテーブルを作っておかなければいけないし、Streaming Insertのレスポンスが
完全HTTPS化のメリットと極意を大規模Webサービス――ピクシブ、クックパッド、ヤフーの事例から探る
完全HTTPS化のメリットと極意を大規模Webサービス――ピクシブ、クックパッド、ヤフーの事例から探る：大規模HTTPS導入Night 2017年6月21日、ピクシブのオフィスで、同社主催の「大規模HTTPS導入Night」が開催された。大規模Webサービスで完全HTTPS化を行うに当たっての技術的、および非技術的な悩みや成果をテーマに、ヤフー、クックパッド、ピクシブの3社が、それぞれの事例について語り合った。 2017年6月21日、ピクシブのオフィスで、同社主催の「大規模HTTPS導入Night」が開催された。大規模Webサービスで完全HTTPS化を行うに当たっての技術的、および非技術的な悩みや成果をテーマに、ヤフー、クックパッド、ピクシブの3社が、それぞれの事例について語り合うイベントとなった。 本稿では、各講演の要点をダイジェストで紹介する。 pixivを常時HTTPS化するまでの道
新卒の非正規教員(女)だよ
《追記》7/14、追記を書いたのでぜひ読んでほしいです。 https://anond.hatelabo.jp/20170714184542 ーーー 在学中に受けた県の教員採用試験には不合格だったので、臨時登用の名簿に登録していたら3月30日に連絡が来て、4月1日から県立高校で非正規教員をしている。 まず前知識なのだが、非正規教員と一口に言っても｢期限付(任期付)講師｣と｢時間講師｣に区分されることは案外知られていないのではないか。 前者は常勤。半年や一年という任期付きではあるものの、クラスの主任を持ったり、部活動顧問や校務分掌(進路指導、生徒指導など)も持つ。 お給料も正規と同じく月給制で、ある程度の年齢までは毎年昇給があるらしい。 後者は非常勤。塾の大学生アルバイトのイメージが近いのではないだろうか。 週〇コマと決められていて、時間単価と勤務コマ数の掛け算で給料が支払われる。 校務分掌や
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログイン - はてな
