カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 - Retty Tech Blog
こんにちは、Retty.Inc ソフトウェアエンジニア兼データサイエンティストのchie（@chie8842）です。 好きなたべものは焼肉とみかんです。 現在Rettyでは、次世代分析基盤を構築しています。Rettyでは、サービス拡大に伴いログの急増や分析需要の拡大が見込まれるため、高いスループットとコストパフォーマンスを両立する、スケールするアーキテクチャ設計が求められています。 今回は、こうしたスケールするアーキテクチャ設計の実現のために理解しておくべきDWHのコア技術の一つである、カラムナフォーマットに焦点を当てて紹介します。 はじめに - カラムナフォーマットとは カラムナフォーマットとは、データベースの分析用途に利用されるファイルフォーマットの種類の一つです。大量のデータを扱う際に効率的に圧縮してストレージコストを下げたり、計算時に必要なデータだけを取り出して計算コストを小さくで
ログ分析基盤のアーキテクチャを振り返る - Qiita
はじめに 現在の会社で、半年ほど前からログ分析基盤の構築に取り組み、昨日試験的に本番運用を迎えました。 これを機にアーキテクチャの振り返りを会社のブログにて公表しましたので、こちらでも紹介したい思います。 基本的には内容は同じですので、見やすい方で見ていただければと思います。 また、リンクを辿っていただければ、他の社員が書いたブログもたくさんありますので、興味持っていただければ幸いです。 解決したかった課題 当社では、ここ１，２年ユーザ行動ログ等のさまざまなデータを機械学習等の分析につなげようという動きが多くなっておりますが、主に以下の二つにより、分析、及び分析の結果を用いたアプリの作成が制限されてしまっておりました。 ログが一台のサーバのPostgresにhstore形式にて格納されている Postgresは分析に適していない スケールしない（複数サーバによりクラスタリング構成を組めない
逃げるように国会閉会、実態は「首相隠し」 安倍政権はなぜここまで追い込まれたのか | 毎日新聞
政府・与党は17日、新型コロナウイルス感染症対策に注力することなどを理由に、通常国会の会期を延長せず閉会した。だが、実態は内閣支持率の急落を受け、「首相隠し」で世論の追及をかわす狙いがあるとみられる。なぜ安倍政権はここまで追い込まれたのだろうか。 17日の国会閉会後、首相官邸に戻った安倍晋三首相は、野党が会期延長を求めた中での閉会について「閉会中でも求められれば政府として説明責任を果たす」と記者団に強調した。 与野党は同日、閉会中も新型コロナウイルスへの対応などで関係する委員会を開くことで合意した。ただ、開催は衆参両院でそれぞれ週1回、それも週替わりで別の委員会を開くため、自民党幹部は「（一つの委員会は）1カ月に1回ぐらいだ」と指摘する。さらに予算委員会を開く場合でも、「皆さんがイメージするような予算委ではない」（自民幹部）と、新型コロナ対応が担当の西村康稔経済再生担当相らが答弁に立つこと
香港に関するG7外相声明
（声明仮訳） 我々，米国，カナダ，フランス，ドイツ，イタリア，日本，英国の外務大臣及びEU上級代表は，香港に関する国家安全法を制定するとの中国の決定に関し，重大な懸念を強調する。 中国による決定は，香港基本法，及び，法的拘束力を有して国連に登録されている英中共同声明の諸原則の下での中国の国際的コミットメントと合致しないものである。提案されている国家安全法は，「一国二制度」の原則や香港の高度の自治を深刻に損なうおそれがある。この決定は香港を長年にわたり繁栄させ，成功させたシステムを危うくすることとなる。 開かれた討議，利害関係者との協議，そして香港において保護される権利や自由の尊重が不可欠である。 また，我々は，この行動が法の支配や独立した司法システムの存在により保護される全ての人民の基本的権利や自由を抑制し，脅かすことになると著しい懸念を有する。 我々は中国政府がこの決定を再考するよう強く
安倍晋三内閣の支持率はまさかの「21.6%」――文春オンライン6月調査 | 文春オンライン
5月末～6月に発表された各社の支持率は朝日新聞29%（不支持52%）、共同通信39.4%（不支持45.5%）、産経新聞36.4%（不支持52.5%）と軒並み急落していたが、今回の調査ではさらに“辛め”な数字となった。 政治ジャーナリストの後藤謙次氏は次のように分析する。 「政権を担うリーダーはこういう危機の際はむしろ“強くなる”ものです。ドイツのメルケル首相は支持率が一時80%に達し、多数の感染者・死者を出したイタリア・コンテ首相ですら支持を伸ばしました。 特に安倍首相にとって減点の対象となったのは、危機における『発信力』でしょう」 これまでのところ、日本では新型コロナウイルスによる感染者数、死者数ともに欧米諸国に比べると極端に少ないが、リーダーによる“伝え方”で差が出てしまったか。 ＜【前回】#1 「ポスト安倍」レースに異変 安倍首相は3位転落、1位は石破茂、では2位は？＞ ＜【続き】#
未知の素粒子観測か 欧米チーム、想定外の事象 - 日本経済新聞
未発見の謎の物質「暗黒物質」を探索している東京大や名古屋大、神戸大が参加する国際実験チーム「ゼノン」は17日、イタリアのグランサッソ国立研究所の地下にある施設で実施した実験で、想定外の事象を観測したと発表した。未知の素粒子を捉えた可能性があるという。暗黒物質である可能性は低いが、信号の特徴から素粒子物理学で存在が予想される粒子「アクシオン」かもしれず、東大などはさらに詳しく調べる。アクシオンも
Amazon API Gateway は何をしてるのか | DevelopersIO
アプリケーションをユーザに公開する場合, それがGUIであってもCUIであってもインタフェースが必要になります. Webアプリケーションを公開する場合にはWeb APIを利用するのが一般的であり, AWSもAPIをフルマネージドで活用するためのAPI Gatewayを提供しています. 非常に簡単に活用できるのですが細かい機能などを今一度洗い直す機会があればと思っており, 社内勉強会の機会があったのでAPI Gatewayについて話しました. 今回の記事では社内向け勉強会で登壇した内容をブログ向けに再編しています. 資料はSpeakerDeckで公開していますが, 内容についてより細かくこのブログで説明しますので, 是非ご閲覧ください. What is API まず最初にAPIが何かを確認します. 大雑把に伝えるとアプリケーションが呼び出せば予期した結果を返されるような仕組みです. 名前にあ
日本はギリギリ及第点 新型コロナ対応、検査で最低評価―英誌調査：時事ドットコム
日本はギリギリ及第点 新型コロナ対応、検査で最低評価―英誌調査 2020年06月18日13時32分 緊急事態宣言の対象を全国に拡大した際の記者会見で、マスクを外す安倍晋三首相＝４月１７日、首相官邸 【ロンドン時事】英誌エコノミストの調査部門は１７日、先進各国の新型コロナウイルスへの政策対応を指数化し、「優」「良」「可」「不可」の４段階に分類して評価した分析結果を発表した。日本政府の対応は下から２番目の「可」にとどまり、高評価を得られなかった。 【点描・永田町】“炎上”森法相が政権の「お荷物」に 新型コロナの第２波に備え、世界的に政策を点検する動きが活発化している。日本は特に人口規模に対する検査数で最低の評価となり、総合評価の足を引っ張った。 調査対象は、経済協力開発機構（ＯＥＣＤ）加盟の２１カ国。日本は４点満点で２．８９点で、順位は１３位タイだった。医療体制の確保や死者の少なさに関しては高
照会書や本人の同意なしに警察へ感染者情報を 警察庁の依頼で厚労省が自治体や保健所に通知 「人権侵害では？」との反発も
どこまでの情報が求められるかは不透明で、捜査のために拡大解釈される恐れもある。 ある自治体の職員は、「人権侵害につながる恐れがある。ハンセン病やHIVの歴史を忘れたのか」と反発する。 曽我部真裕・京都大学法学部教授（憲法・情報法）は「必要な情報であれば提供を求めることは可能だと思うが、乱用を防ぐための必要な措置が講じられていないように見える」と懸念を示している。 警察庁「警察力維持のため」に個人情報の提供を問題となっているのは、まず6月15日、警察庁長官官房企画課長の名前で、厚生労働省結核感染課長宛に送られた「新型コロナウイルス感染症の感染拡大防止と警察力維持のための協力関係の構築について（依頼）」という通知だ。 最初に、「警察は、新型コロナウイルス感染症対策について、『新型コロナウイルス 対策の基本的対処方針』に基づき、『空港、港湾、医療機関等におけるトラブル防止のための警戒警備』や『混
持続化給付金だけじゃない、日本の至る所にちらつく「竹中平蔵氏の影」（時任 兼作） @gendai_biz
規制緩和の先に利益がある 国の持続化給付金に関する経産省の委託費をめぐり、一般社団法人「デザインサービス協議会」から広告代理店大手・電通へ、さらに電通から人材派遣大手・パソナなどへ業務が何重にも外注されていたことが指摘され、問題となっている。 「新型コロナ禍で生まれた利権にまで食い込んでいるとは……彼の常套手段とはいえ、呆れてしまう」 さる政府関係者がこう述べるのは、かねて「政商」あるいは「レントシーカー」と指摘されてきたパソナグループ会長・竹中平蔵氏を指してのことだ。 「レントシーカー」とは、政府や役所に働きかけ、法や制度、政策を自らに都合のいいように変更させて、利益を得る者のことをいう。 竹中氏は、東洋大学教授、慶應義塾大学名誉教授といった学識者の肩書に加えて、パソナグループ取締役会長、オリックス社外取締役など企業人としての肩書を持つ。その一方で、安倍政権の成長戦略のアドバイザーとして
「河井案里」捜査担当検事が自死していた 夫妻は“暴露”の切り札に…（全文） | デイリー新潮
広島地検が河井案里議員（46）と夫の克行前法相（57）の本格捜査に着手したのは、今年1月。国会の閉会翌日となる6月18日が逮捕の「Xデー」とも噂されているが、その裏では、案里議員の捜査担当検事が自ら命を絶っていた。 ＊＊＊ 速報元従業員が告発！ 「山崎製パン」デニッシュ消費期限偽装の手口 「手作業でパンの袋を全部開封して翌日分として再包装」 速報「学習院大卒でメガバンク勤務」 佳子さまの“お相手”として名前が挙がる「名門華族」の子息 速報「殺したいくらい憎んでいたはず」 那須2遺体事件、“パシリ”だった娘の内縁の夫の素顔…「宝島さん夫妻が亡くなって得するのは彼」 「亡くなったのは昨年12月10日。広島市内のマンションです。この検事は国立大卒で30歳前後と若く、2年ほど前に東京地検から異動してきたばかりでした。遺書も残されていなかったようです」 と証言するのは、広島の政界関係者。上司のパワハ
日本人の｢給料安すぎ問題｣の意外すぎる悪影響
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
「業務スーパー」に行くことがあるなら、この5品は完全に神なので手にとって欲しい…！激ウマ活用術もつけとくよ - ぐるなび みんなのごはん
スーパー大好き芸人、もとい料理研究家のジョーさん。です。 突然ですが皆様、「業務スーパー」って行ったことありますか？ 僕はスーパーマーケットという空間がとにかく好きで、入場制限や密という言葉があまりなかった頃は、スーパーに立ってるだけで平気で5時間くらいつぶせていました。なかでもとりわけ好きなのが「業務スーパー」です。 業務スーパーのレシピまとめ本に寄稿させてもらったことがあるくらい、業務スーパーが好き。 業務スーパーについてご存知ない方のためにちょっとだけ補足すると、業務スーパーはその名のとおり、業務用の食材や資材をメインで扱っているスーパーです。 業務用なのでひとつあたりの量が多く、そのぶん1人前あたりの材料費が安く済む、という商品が多いのです。 買い占めや品薄という言葉に踊らされず、自炊するなら賢く買い物をして食生活を充実させたいところ…。 ということで今回は、業務スーパーの超絶オス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TISのテレワークサービス障害、復旧できず終了へ - 日本経済新聞