圧縮効率のよいカラムナフォーマット 〜 Yosegi や ORC のエンコード方式調査
初めまして、2019年8月にヤフーのデータプラットフォームチームのインターンシップに参加した山添です。今回はインターンで検証を行ったカラムナフォーマットにおけるエンコーディング方式について紹介します。本ブログでは、特に数値型のエンコーディング方式について、データ圧縮率への効用を確認します。 カラムナフォーマットとは 昨今のデータ社会では、ログデータや購買データ、位置情報データなどさまざまなデータがものすごいスピードで生み出されています。企業ではそのような大規模なデータを蓄えておく必要があります。 私たち学生の間で最も親しみのあるファイルフォーマットは、JSON や CSV などのテキストフォーマットだと思います。これらのフォーマットは、データ保存時にスキーマを必要としない、人間からの可視性が高いなどの利点がありますが、データの圧縮効率が低いことや、処理性能の低さなどのデメリットもあります。
時系列データベースに関する基礎知識と時系列データの符号化方式について - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 SRE グループの吉川 ( @rrreeeyyy ) です。今期オススメのアニメはツインエンジェル BREAK です。 普段の業務並びに趣味の一環として、サーバのモニタリング環境の調査や改善に取り組んでいます。 そこで本稿では、モニタリングのコンポーネントの一つとして外すことが出来ない、時系列データベースの基礎知識に関して紹介します。 そもそも時系列データ・時系列データベースとは？ 時系列データというのは、特定の時間ごとに何らかの値を取得した際の、取得した一連の値を指します。 例えば、以下のようなフォーマットをしたデータなどは時系列データにあたるでしょう。 timestamp1,key,value1 timestamp2,key,value2 timestamp3,key,value3 : 時系列データベースとは、上記のような時系列データの保存・処理に
不合理極まりない軽減税率。大企業優遇の不公平な税制が加速する＜早川忠孝氏＞ « ハーバー・ビジネス・オンライン
いよいよ10月から消費税が引き上げられることになる。 消費税は、1989年4月1日に3％で導入され、1997年に5％に、2014年に8％に引き上げられてきた。導入当時、「直間比率の是正が必要」「税金は薄く広く負担すべき」といった議論が展開された。 だが、もともと消費税は格差拡大型の税制だ。所得が少ない人ほど、所得に占める消費税の割合は上がるからだ。そして、消費増税は法人税引き下げによる税収減を補うために、推進されてきたのだ。 このまま庶民の所得を大企業に奪われるような税制を放置すれば、消費はさらに冷え込み、五輪特需の反動で日本経済は奈落の底に叩き落されるだろう。 『月刊日本 10月号』では、「消費税のカラクリ あなたの所得が大企業に奪われる」として、消費税に関する特集記事を組んでいる。 同特集の中から、元衆議院議員であり弁護士である早川忠孝氏の軽減税率に関する論考を紹介しよう。 ── 消費
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
