CSV ファイルを Parquet ファイルに変換してクエリを高速化 - nagix
この記事は Apache Drill Advent Calendar 2015 の8日目の記事です。 Apache Drill では Apache Parquet という大規模データの分析に適したデータフォーマットを利用することができます。Row-oriented フォーマットにカテゴリ分けされる CSV、TSV といったテキストファイルや伝統的なリレーショナルデータベースのテーブルでは、データは行方向に沿って格納されますが、Column-oriented フォーマットにカテゴリ分けされる Parquet、ORC といった形式のデータは列方向に沿って格納されます。 データ分析用途には Column-oriented フォーマットが向いているとよく言われますが、データ分析では特定の列の値を集計したり、特定の列の条件を元にフィルタリングやジョインが行われることが多いため、列方向にデータが連続し
iPad Proに少額の追加投資をしたら、さらに最高の使い勝手になった - カレーちゃんブログ
iPadはpdfの書類を読むのに最高に便利ですよね。 会うたびに友人にオススメしていたら、友人がiPadを購入しました。 すると、アプリやアクセサリを購入して、すぐに私よりも使いこなしていたので、私もiPadProのアプリを買ったりアクセサリを購入しました。 もっと早く購入すべきだったと後悔するぐらい、さらに最高の使い勝手になったので、紹介します。 全部で4,000円の追加投資で、ここまで最高の使い勝手になるのだから、絶対にオススメです。 以下買って良かったと思う順に記載します。 GoodNotes 4 GoodNotes 4 Time Base Technology Limited仕事効率化¥960 ipadでpdfを扱うときの定番アプリらしい。 これまでは他のアプリを使っていて、不満はなかったんだけど、GoodNotes 4は次元が違いました。 ApplePencilで文字が書けるのは
Amazon Redshift Spectrum 12 のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift Spectrum 12 のベストプラクティス 2019/7/22 に一部内容を更新しました． Amazon Redshift Spectrum を使うことで、Amazon S3 に置かれたデータに対して Amazon Redshift の SQL クエリを走らせることができます。つまり Redshift Spectrum によって、データウェアハウスのローカルディスク内に保存されたデータ以外に対しても、Redshift の分析を拡張できるようになるのです。S3 の “データレイク” に貯まった大量のデータに対して、面倒で時間のかかる抽出・変換・ロード（ETL）処理を行うことなく、クエリを投げることができます。Redshift Spectrum は洗練されたクエリ最適化を用いて、数千ものノードにまでスケールして高
コンピュータサイエンス探偵の事件簿
警察署で発生した書類盗難事件の解明を依頼された私立探偵フランク・ランタイム。さまざまなデータ構造と探索アルゴリズムを駆使して、事件の謎に迫る。事件を追ううちに、その背後にある国家転覆を謀る魔術師たちの存在に気づくフランク。彼は魔術師たちの陰謀を阻止し国の平和を守ることができるのか――。 探偵もののストーリーにのせて、コンピュータサイエンスの基本、「探索アルゴリズムとデータ構造」を紹介。取り上げる探索アルゴリズムは、線形探索、二分探索、幅優先探索、深さ優先探索、並列探索、反復深化、最良優先探索、そしてデータ構造は、配列、スタック、キュー、二分探索木など。推理小説を楽しみながらコンピュータサイエンスの基本を身に付けることができます。 1 探索問題 2 情報提供者の徹底的な洗い出し 3 無法者たちの牧場にある配列とインデックス 4 文字と隠されたメッセージ 5 密輸業者の船を二分探索で探し出す
Intelligent Tracking Prevention 2.0
Note: Read about improvements to this technology in recent blog posts about Intelligent Tracking Prevention, and the Storage Access API. Today we’re happy to bring you Intelligent Tracking Prevention 2.0, or ITP 2.0. It builds upon ITP 1.0, which we released last year, and ITP 1.1, which was released in March, adding the Storage Access API. Removal of the 24 Hour Cookie Access Window ITP 2.0, as o
kaggle初心者の私が3ヶ月でソロゴールドを獲得した方法 | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら こんにちは。今年2018年4月より新卒でRCOに入社した松田です。 kaggle というデータ分析のコンペティション運営サイトが昨今世間に注目されていますが、 今回 TalkingData AdTracking Fraud Detection Challenge において2月にkaggleを始めた私が単独で金メダル(ソロゴールド)を獲得できたのでそれまでにやったことなどをシェアしたいと思います。 図: kaggleサイト( https://www.kaggle.com/ )のプロフィール画面より 図: kaggleでの活動ログ。中2ヶ月はやってないので実質の活動期間は1ヶ月ほど コンペの具体的内容やテクニックの話は 別記事 にまとめたので、
CMU 15-721 :: Advanced Database Systems (Spring 2018)
This course is a comprehensive study of the internals of modern database management systems. It will cover the core concepts and fundamentals of the components that are used in both high-performance transaction processing systems (OLTP) and large-scale analytical systems (OLAP). The class will stress both efficiency and correctness of the implementation of these ideas. All class projects will be i
Reading Gauche - Mona OS developers Wiki
列挙体名がない列挙体変数は Reading Gauche/gauche/vm.h/SCM_ERROR_BEING_HANDLED のような書き方でいいでしょうか。 -- ココサブ 2007-09-27 (木) 23:26:32 はい。良いと思います。#define と同じような扱いですね。 -- ひげぽん 2007-09-28 (金) 00:43:20 週末に合宿に出ていた間の分のcatch-up中です。struct HogeHogeRef は HogeHoge のページに記載、という風になってきたようなので従います。その方が手繰りやすいですし。既にポストされたstruct関連ページのリンクや内容も適宜修正します。 -- naoya_t 2007-09-25 (火) 14:46:08 ReadingGaucheの階層構造でsrcを省略してしまっていたために、srcと同じ階層になるgcなどの
Amazon EKS – Now Generally Available | Amazon Web Services
AWS News Blog Amazon EKS – Now Generally Available We announced Amazon Elastic Kubernetes Service (EKS) and invited customers to take a look at a preview during re:Invent 2017. Today I am pleased to be able to let you know that EKS is available for use in production form. It has been certified as Kubernetes conformant, and is ready to run your existing Kubernetes workloads. Based on the most recen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
