サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
猫
nii-yan.hatenablog.com
この記事は、datatech-jp Advent Calendar 2021の7日目の記事となります。 The Self-Service Data Roadmapという本がとても評判良さそうで、読んでみたいけど英語版しかないので1人で読むのは厳しいなぁ・・・って思っていたところ、Twitterから発展してあれよあれよと輪読会が開催されることになりました。 amzn.to 輪読会は現在はdatatech-jpというコミュニティに発展をしています。 詳細は@syou6162さんがブログに書いてくださっているのでこちらを参考にしてください。 www.yasuhisay.info The Self-Service Data Roadmapの輪読会で私が担当した章は最初のIntroだったので、この本の全体感をここでは説明させてもらいます。 それぞの章の細かい内容は別の日のAdventCalendar
Google Cloud Nextが始まって続々とBQの新機能が発表されてますね! Nextで發表された内容のまとめは来月書きます それでは先月までに引き続き9月のまとめもいってみましょう! nii-yan.hatenablog.com JOB履歴の削除が可能に BQでは過去6ヶ月分のJOB履歴を持ちますが、JOB履歴の削除が可能になりました。(悪用しちゃだめですよ bq rm -j ‘プロジェクト名:ロケーション.job_id’ where句に個人情報を入れてしまった場合などセンシティブデータを消したい場合に有効 メタデータ(INFORMATION_SCHEMAでの参照データなど)は消えますが、ログからは消えません セッションが利用可能に WebUIからセッションが使えるようになり、トランザクション(begin/commit/rollback)が利用可能に 本番作業を安心に出来るようにな
Prestoの速さ、便利さに驚愕しているにいやんです。 こんばんわ。 Prestoとは簡単に言うと、HiveやCassandra,Mysqlなどにつなぐことが出来る高速なSQLクエリエンジンです。 Prestoについての概要などは以下の資料がわかりやすいと思います。 『Prestoとは何か,Prestoで何ができるか』 - トレジャーデータ(Treasure Data)公式ブログ てなわけで、Prestoのインストール方法です。 基本的にはprestoの公式ページ参照にしていただければ、よいと思います。 https://prestodb.io/docs/current/installation/deployment.html 今回インストールしたprestoのバージョンは0.100です。 インストールしたサーバはCentOS(Linux) Coodinator1台 Woker3台で作ってみ
寝不足気味のにいやんです。こんばんわ。 最近毎朝娘が5時台から泣き始めて、全然寝てくれなくて・・・ なかなかまとまって睡眠が取れません それなのに明日は6時半出社とか・・・ さてさて、毎年のお楽しみYAPCに参加してきました!! やはりYAPCは楽しいですねー。 今まで参加したカンファレンスの中で1番好きです。 それなのに、今年が最後だなんて・・・ToT 今回はいくつか聞いた話の中から気になったものをかいつまんで ◾️EffectiveES6 Javascriptの新しいバージョンが今年出たので、その概要の説明でした。 classが出来たよ IE11では使えないのでBabel使いましょう 継承できるようになった 変数の宣言にlet,const追加された 組み込みクラスでmap,set使えるようになった シャローコピー出来るようになった など、まあ他の言語では当たり前だったのですが、当たり前
ビールはキリン党のにいやんです。こんばんわ。 一番搾りが好きですが、プリン体がラガーの方が少ないと聞き、ラガーに浮気しようかと・・・ さてさて、先日CDH5.4のアップデート方法を書いて、特に問題なかったぜ!って思ったのですが。 後から大問題が確認されました。。。 なんとHiveのバグを思いっきり踏んでいたらしく、selectした際のカラムずれが起きてました...orz バグは以下のチケットにあがっています。 [HIVE-9613] Left join query plan outputs wrong column when using subquery - ASF JIRA どのようなバグかざっくりいうと、 「left outer joinを繰り返すと、select したのと違うカラムが表示される場合がある」 という、なんとも悲惨なバグです。 すでにチケットはクローズされ、Hive1.2
CDH5.4が出たので動作検証してる最中に5.4.1が出て、うわーまだ間に合うーって動作検証してる最中に5.4.2が出て途方にくれたにいやんです。 こんばんわ。 よく見たら5.4.2は5.3以前のバージョンから5.4.1へのアップデート時のバグ対応なんで、5.4.1の人は5.4.2にしなくていいのね。 よかった。。。 CDH5.4が出ましたね!! さてさて、CDH5.4へのアップデート方法ですが、以下のサイトまたは公式サイトを参照してもらうと詳しくのってますw Quickstart VMをCloudera 5.4にアップデート(前編) | Tech Blog Upgrading Cloudera Manager 5 to the Latest Cloudera Manager 5.4へのアップデート時にはHDFSのメタデータの更新が必要なので、「何それ怖い!」ってなりますが、アップデート手
このページを最初にブックマークしてみませんか?
『nii-yan.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く