データ集計基盤の改善でLooker導入に至ったワケ - ZOZO TECH BLOG
こんにちは。開発部データエンジニアの遠藤です。現在、私はデータ×テクノロジーでZOZOグループのマーケティングを支援するデータチームに所属して、データ処理基盤の運用などに従事しています。 本記事では、Lookerを用いて運用中のデータ集計基盤をきれいなデータをスマートに取り出せる基盤に改良した件について報告します。 データ集計基盤で燻っていた問題 1. クエリ管理の限界 2. 集計定義に対するデータの信憑性が謎 Lookerは何が良い？ ～データガバナンス機能～ LookML データディクショナリ Gitによるバージョン管理 データ集計基盤（改）の設定フロー データ集計基盤（改）でのデータマート更新 まとめ データ集計基盤で燻っていた問題 ZOZOでは、サービスに関するあらゆるデータをBigQueryに集約しています。BigQueryに集約した大量のデータからデータマートとして必要なデータ
はじめてのPostgreSQLモニタリング入門 / PostgreSQL 11 Monitoring
エンジニアリングマネージャー視点での、自律的なスケーリングを実現するFASTという選択肢 / RSGT2025
社内でインフラエンジニア向けに作ったFargate勉強会の資料を公開します - inductor's blog
TL; DR 以前、社内向けにDocker/Kubernetes入門の勉強会を開催したのですが、今回はそれに引き続き、AWS Fargateに関する勉強会を開きました。 speakerdeck.com 資料の目的 前回の勉強会の資料についてはこちらをご覧ください。 inductor.hatenablog.com 今回の勉強会については、前回Kubernetesに入門してからそこそこ概要を理解した前提で、AWSのマネージドサービスであるECSやFargateの実態や、その特徴について理解してもらうために開きました。 ECS初心者がつまづきがちな、FargateとECSを比較してしまう問題や、そもそもECSというサービスの立ち位置などについて改めて解説した資料となっています。 インフラ向けではありますが、開発者が見てもわかりやすくなるよういくつか前提知識のスライドも含めていますので、もしよけれ
いまからはじめるReact - Qiita
この資料は 11/16(土)開催の勉強会 いまからはじめるReact の資料になります。 React未経験者/初学者向けに チュートリアルを通してReact(およびHooks)について学ぶためのものです。 そのため、サンプルコードには例外処理などが不十分な箇所があります。ご注意ください。 Reactとは？ Reactとは Facebookが中心となってオープンソースで開発されている ユーザーインターフェースを構築するためのJavaScriptライブラリです。 (2019/10/30現在、v16.10.2 が公開されています) React – ユーザインターフェース構築のための JavaScript ライブラリ https://ja.reactjs.org/ コンポーネント(部品)を作成し、これらを組み合わせることでSingle Page Applicationのような複雑なユーザーインター
そろそろなぜjQueryを使うのが難しいのかをちゃんとまとめようと思う。｜榊原昌彦
「jQueryはオワコン」「いや、jQueryは便利！」議論が行われるようになってから2年は経つでしょうか。Twitterを観測してると定期的に盛り上がるので、私なりにちゃんとまとめようと思います。 ちなみに結論を先に書いておくと ・ レンダリングブロックしない構成、かつ最新版を使おう ・ jQueryはいいものだけど、脱jQueryした方が手っ取り早い です。 1. 保守しないといけないサポートの切れたjQuery1, 2を使ってるけど、依存プラグインが動くかどうかわからないから最新版にアップデートしていないプロジェクトが散見されます。 jQuery1, 2 は、Officially End of Life（公式に廃止）が名言されてます。ですので、「jQuery におけるクロスサイトスクリプティングの脆弱性」みたいな報告も修正されていません。EOLのバージョンはやめましょう。 ちなみにj
2019年11月14日 Fedora、次バージョンでPython 3のパフォーマンス改善へ | gihyo.jp
10月29日にリリースされたFedora 31で行われた大きなアップデートのひとつに、Python 2を完全に削除し、PythonコマンドをPython 3にスイッチしたことが挙げられる。そして2020年春のリリースとなる「Fedora 32」では、Pythonのパフォーマンスをさらに向上させるための変更が実施されることになる。 Changes/PythonStaticSpeedup - Fedora Project Wiki これまでFedoraではPython 3パッケージをコンパイルする際には共有ライブラリである「libpython3.x.so」を使用しており、最終的なバイナリは/usr/bin/python3.xに動的にリンクさせていた。だが、libpython3.x.soのかわりに静的ライブラリ「libpython3.x.a」を使ってみたところ、ワークロードによって多少差が出るも
Build your own React
We are going to rewrite React from scratch. Step by step. Following the architecture from the real React code but without all the optimizations and non-essential features. If you’ve read any of my previous “build your own React” posts, the difference is that this post is based on React 16.8, so we can now use hooks and drop all the code related to classes. You can find the history with the old blo
人間が深層学習のAIを理解できないのには、理由がある：朝日新聞GLOBE＋
「『予測』という名の欲望」連続インタビュー＃７（完） 今泉允聡・統計数理研究所助教 囲碁の世界チャンピオンを破ったソフト「アルファ碁」などで一躍注目を浴びるようになったのが、人工知能（AI）の「ディープラーニング」（深層学習）という技術だ。大量のデータを学習してデータ間のつながりを見つけるのに長け、非常に精度の高い予測をする。文字・画像認識の分野での活用が広がるが、どうやってその答えを見つけ出したのか、人間には理解できないという。なぜ、人間はAIの考えが理解できないのか。分かるようになる日は来るのか。ディープラーニングの仕組みなどを研究している統計数理研究所助教の今泉允聡さんに聞いた。（西村宏治） 【特集】「『予測』という名の欲望」全記事はこちらから読めます ■人間にはAIの考えが分からない？ ――ディープラーニングは、大量の「教師データ」を読み込み、入力する変数と、出力する変数との間の関
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密
たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita