こんにちは。インフラストラクチャー部データ基盤グループの小玉です。 先日Amazon Redshift（以下、Redshift）で32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました。 普段はRedshiftのクエリをチューニングしたり、データ基盤周りの仕組みを慣れないRubyで書いたりしています。 突然ですが、スキュー(skew)という単語をご存じでしょうか。 「skew 意味」で検索すると「斜め」とか「傾斜」といった訳が出てきますが、コンピューティング界隈では「偏り」という訳語が定着していると思います。 さらに、分散並列DB界隈で単にスキューもしくは偏りと言った場合、それはしばしばデータの偏りを指します。 データが偏っているとは データが偏っているとは、複数ノードで構成される分散並列DBにおいて、各ノードが保持するデータ量（行数）に

safari のdesktop browserの規約変更をappleがアナウンスしたことでCriteo(Nasdaq)は300億円ほど、株価が下がった。 これは直近55USDから45USDと約10%株価を落としたことにより、6/13時点で約30億ドルとすると3億USD = 約327億円失ったことになる。 adexchanger.com この理由として、考えれているのが、WWDC 2017で発表されたIntelligent Tracking Prevention（ITP）という機能。 www.gizmodo.jp 要するに 3rd party cookie は1日以内しか保持されない。 1st party Cookie自体は30日以内しか保持されない。また会わせて自動再生動画広告もブロックすることになる。 appleの記事より索引 これにより、 計測および、リターゲティング用cookieが保

楽しかったですね、そしてとにかく疲れました。 皆様に感謝を。

builderscon.io 昨年は不参加だったので、今年が初参加。 話した 折角なので何か話してみよう、と応募したところ無事に通ったので、以下のセッションでトークをさせていただきました。 DeepLearningによるアイドル顔識別を支える技術 - builderscon tokyo 2017 資料はこちら。 speakerdeck.com 基本的にはこのブログに書いてきたことのまとめ的な内容で、今まで他の勉強会とかでもちょいちょい話していたし 自分的にはあまり新しい内容もなくてアレかなぁ…という感じもあったけど、 さすがにこれくらいの規模のカンファレンスだと僕のことをまったく知らない人も聴きに来て下さっていたようで。 そんな方々に少しでも「知らなかった、を聞く」を提供できていたら何よりです。 個人的には1時間枠で喋るというのが初めてだったので、当然緊張したし時間配分的なものも難しくて大

ねこげっとぷれす NEKOGET PNESKINの開発等PHPな話題を中心に書いていこうと思います。 メニューとウィジェット builderscon tokyo 2017 に行ってきました！ グラレコ風にメモをとったのでまとめておきます。（と言っても2件だけですが） 8/4に見に行った時のメモです。 初めてのMySQLチューニング -データベースは怖くない！ D #builderscon pic.twitter.com/bSuqmiR30z — NEKOGET (@NEKOGET) August 4, 2017 RDBアンチパターン リファクタリング メモ #RDBアンチパターン #builderscon #buildersconA pic.twitter.com/zheIiqEwWi — NEKOGET (@NEKOGET) August 4, 2017 その他聞いたセッションについて

Abstract Most programmers only know one thing about PHP - it is a bad language. It's also a language used to build some of the most extraordinarily successful software companies in history - Facebook, Wikipedia, Wordpress, Etsy, Baidu, Box, and now, Slack. In this talk, Carly will discuss the strengths and weaknesses of using PHP to build Slack's backend web application infrastructure. Drawing fro

Abstract 「歯ブラシは、歯磨き以外にも使えるんやで」 PHPが好きな私ですが、世の中は PHP=WEB という構図が強すぎて息苦しさを感じざるをえません。（主観） PHPはご存知の通りテンプレートエンジン（？）ですが、最近は相応にプログラミング言語です。ですからして、他のプログラミング言語と同じようなこともできるはずです…多分。やってやれないことはない…多分。 世間の皆様がおっしゃる「適材適所」というマットウな認識はごもっともであり、それを否定する気もありません。しかしプログラミングはウェブに限らないのですから、PHPがプログラミング言語ならばウェブ以外のコードを書くことも（私の認識では）合法です！！ 今回ウェブ以外でのPHPの利用（あるいは挑戦）を、未来のPHP7.2と共にお話させていただきます。 （※ PHP7.2は今日の時点でAlphaすらでてません、噂によればもうすぐAlp

Abstract パブリック・クラウドサービスで採用したブロックストレージで体験した問題と対応、そして代替装置へ交換するまでの話。 本セッションは前夜祭「大人のびるこん」の一部です。SNS等での内容の拡散は禁止です。 前夜祭はbuilderscon本編の前に、軽食とドリンクを楽しみながら聞くイベントです。本編のチェックインを行って先にノベルティグッズ等を受け取れます。本編入場時より素早くチェックインができます。

Abstract サービス終了になったクラウドホスティングサービス(PaaS)への弔い、生誕から終了までの歴史を皆さんと共有したいと思います。 本セッションは前夜祭「大人のびるこん」の一部です。SNS等での内容の拡散は禁止です。 前夜祭はbuilderscon本編の前に、軽食とドリンクを楽しみながら聞くイベントです。本編のチェックインを行って先にノベルティグッズ等を受け取れます。本編入場時より素早くチェックインができます。

Abstract voldemort、 kumofs… サービスの絶頂期を支えて消えていったデータストアたちについて 本セッションは前夜祭「大人のびるこん」の一部です。SNS等での内容の拡散は禁止です。 前夜祭はbuilderscon本編の前に、軽食とドリンクを楽しみながら聞くイベントです。本編のチェックインを行って先にノベルティグッズ等を受け取れます。本編入場時より素早くチェックインができます。

Abstract オンプレミスデータセンターを前面撤退してAWSへ… その引き金はとあるDDoS攻撃から始まった！ 本セッションは前夜祭「大人のびるこん」の一部です。SNS等での内容の拡散は禁止です。 前夜祭はbuilderscon本編の前に、軽食とドリンクを楽しみながら聞くイベントです。本編のチェックインを行って先にノベルティグッズ等を受け取れます。本編入場時より素早くチェックインができます。

Abstract わたしは普段、ブラウザ上で動作する業務アプリケーションをJavaScriptで開発しています。このセッションでは、複雑化するwebアプリケーションに対して、どのようなアプローチで設計し、その複雑さに立ち向かっているのかについて発表します。 ブラウザ上で動作するある程度以上に複雑なアプリケーションを開発する際には、例えば以下のような問題が起こりがちです。 DOM操作やスタイル操作とロジックが密結合してしまい、DOM構造を変えたいときにJavaScriptのソースを読み解く羽目になる APIコールなどの非同期な操作が、ソースコードの可読性を下げてしまう 「バリデーションはどこに書けばいいんだ？」 「APIから返ってきた値をそのまま表示するんじゃなくて、加工して表示したいんだけど、どこにそういうロジックを書けばいいんだろう？」 これらの問題に対して、万能の答えはおそらくありませ

Abstract HTML／CSS／JavaScriptを組み合わせてモノを作るフロントエンドの開発において、運用の効率アップとコードの破綻を回避するため、画面を構成するUIを、それなりの大きさの塊の集合として考えてコードを構成するのが一般的です。 このUIの塊のことは、「モジュール」「コンポーネント」「ブロック」「エレメント」など、様々な呼ばれ方をします。 HTMLとCSSを書く際、このコンポーネント（と呼ぶことにします）をどのくらいの大きさのものとして扱うかは、なかなか難しい問題です。私を含め、フロントエンドに従事する者の多くがこの不確定なコンポーネントの粒度（大きさ）に頭を悩ませていることでしょう。 HTMLとCSS的にコンポーネントをどう考えるかは、CSS設計方法論（CSS methodology）としてまとめられたものがいくつもあります。しかしその多くは、コンポーネントの粒度につ

Abstract どんなシステムを作るときでも今や必ずRDBを使うと言っても過言ではありません。 しかしRDBは便利な半面、リファクタリングが難しくレガシィシステムの中心として手を付けれない状況になっていませんか？ RDBアンチパターンにハマるとアプリケーションへの影響も大きく、パフォーマンスやコードの品質にダイレクトに影響します。 そこで今回は ・RDBアンチパターンの紹介 ・RDBアンチパターンが引き起こす問題 ・如何にRDBアンチパターンをリファクタリングするか ・リファクタリング後の未来 ・明日からDBリファクタリングするために必要な事 をお話したいと思います。 既存システムに棲みつくRDBアンチパターンを如何に攻略していくか… そんな明日から役に立つ物語を皆様にお届けします。

Intro XHR から fetch() に積極的に移行しづらかった最大のミッシングピースとして、中断できないという問題があった。 これは、 fetch() が選んだ Promise ベースのインタフェースにおいて、キャンセルをどうするかという議論と絡み、長く決着が付かずにいた問題である。 最近、やっと話が前進したので、ここまでの経過を解説する。 Fetch のミッシングピース fetch() は、ブラウザが発行するリクエストと、取得するレスポンスを扱う低レベルなインタフェースとして策定が始まった。 DOM の API が Promise ベースに移行しつつある流れを汲み、 fetch() もまた Promise を返す関数一発スタイルになった。 クラスからインスタンスを生成しメソッドを呼ぶ XHR スタイルでは、インスタンスを再利用した場合の挙動などを含め、オブジェクトのライフサイクルを

Malicious packages in npm. Here’s what to do | Ivan Akulov’s blog People found malicious packages in npm that work like real ones, are named similarly real ones, but collect and send your process environment to a third-party server when you install them 訳: 悪意のあるパッケージがnpmで発見された。それらは、実際のパッケージによく似た名前で同じように動くが、パッケージのインストール時にプロセスの環境変数を外部のサーバに送信する。 発見されたパッケージの一覧は元エントリをどうぞ。このようなマルウェアである偽パッケージの一例をあげると、 ba

Firefoxではdocument.body.scrollTopが常に0になって困る． scrollTopだけほしいとき https://www.npmjs.com/package/scrolltop scrollLeftだけほしいとき https://www.npmjs.com/package/scroll-left scrollTopもscrollLeftもほしいとき https://www.npmjs.com/package/window-scroll-position 自分で書きたいとき javascript - document.body.scrollTop Firefox returns 0 : ONLY JS - Stack Overflow

Chrome を起動し直してから Cmd + Shift + t で全部生き返るよ。 意外と知らない人が多いようなのでしたためておこう。