HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 執筆時点で最新版であった、Hive4 (Hive 2023.1)と、Presto 350を想定しています。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに

Reading Time: 4 minutesLast Updated on December 29, 2018 There have been many comparisons done between these cloud hosted Kubernetes providers already. However, probably none as honest as this one. Below is a screenshot of the Google sheet comparing GKE, AKS and EKS. You may notice that some of the cells have comments in already. These comments link to the place I got the information from. Edit: T

Redash v4 のリリースから約5ヶ月，正式に Redash v5 がリリースされた 🎉🎉🎉 blog.redash.io Redash v5 とは？ 約1ヶ月間のベータ期間を経て，現在は Redash v5.0.1 が最新バージョンになっている．デザインの大幅な変更があった v4 から，順当に便利になっていると感じている．特に以下は個人的な目玉機能と言える． クエリに「お気に入り登録」と「タグ登録」をできるようになった ダッシュボードに「お気に入り登録」と「タグ登録」をできるようになった ユーザーを無効化できるようになった パラメータで日付の範囲指定ができるようになった クエリ編集画面でレイアウトを変更するショートカットが使えるようになった Alt + D : テーブル一覧とクエリエディタを非表示にする Alt + Shift + D : テーブル一覧を非表示にする 詳細な C

失敗を学びに変える「障害報告書」の書き方 ─ RettyのCTOがGoogleで学んだ「問題を隠さない文化」 人間は失敗するものです。エンジニアもまたしかり。Retty株式会社の樽石CTOが考える、失敗を学びに変える考え方とノウハウを紹介します。 はじめまして。Retty株式会社でCTOを務める樽石将人（ @taru0216）です。Rettyにおける技術の責任者として不確実性の高いシステム開発を成功に導くよう牽引したり、メンバーが働きやすくなるような仕組みづくりを行ったりしています。 子供の頃からパソコンに親しみ、新卒一期生でレッドハットに就職して、Rettyに入社するまでGoogleや楽天を経てきました。エンジニアとして活動して約30年。日々失敗し続けていますし、過去には大規模サービスを止めてしまったこともあります。 人間である以上、バグやエラーは必ず起こるもの。エンジニアは失敗を繰り返

通常では大変なCloudTrailのセキュリティ監視をsumologicを使って簡単に実現します。sumologicはログ分析という分野の中でもクラウドに特化していて、特にAWSサービスへのデフォルトのインテグレーションが優れています。 こんにちは、臼田です。 皆さん、セキュリティ対策で疲弊してないですか？ 今回は面倒なCloudTrailのセキュリティ監視をちょー簡単にやってみたいと思います。使うのはSumo Logicです。 これからなんで大変なのか、なんでSumo Logicを使うといいのかというゴタクをつらつら並べますので、知ってるよって方は後半の「やってみた」部分まで飛ばしてください。 CloudTrailの必要性 AWSインフラの管理において、CloudTrailの有効化はすべてのユーザにおいて必須と言っても過言ではありません。 CloudTrailはAWSサービスのすべてのA

Amazon Elasticsearch Service は、Elasticsearch と Kibana 両方のオープンソースのバージョン 5.6 と 6.3 をサポートするようになりました。Elasticsearch 5.6 には多数のバグ修正や、検索パフォーマンスを高める最適化機能が含まれています。Elasticsearch 6.3 では Kibana クエリの自動入力機能が提供されるほか、集計 API やランク付け API が改善されています。 Elasticsearch 5.6 または 6.3 を実行する新規ドメインを作成できるようになりました。また、インプレースバージョンアップグレードを使用して、既存の 5.x および 6.x のドメインをダウンタイムなしで簡単にアップグレードすることもできます。 Amazon Elasticsearch Service で稼働する Elast

新しい HTTP/2 データ取得 API と拡張ファンアウトという、Amazon Kinesis Data Streams の 2 つの新機能をご案内します。この新機能により、Kinesis Data Streams アプリケーションのパフォーマンスが向上します。 この新しい拡張ファンアウト機能では、1 つ以上のコンシューマーとシャード間でスループットが最大 2MB/秒の論理パイプを利用できるため、お客様はパフォーマンスを維持しながら、ストリームから同時に読み取りを行うコンシューマーの数をスケールできます。SubscribeToShard と呼ばれる新しい HTTP/2 データ取得 API では、プロデューサーと複数のコンシューマー間のデータ配信速度が 65% 以上改善されています。この新しい API を使用すると、データは通常、拡張ファンアウトを使用して、プロデューサーから複数のコンシュ

「misspell」は，Go で実装された typo 検出ライブラリで，手軽に実行できるので，英語のドキュメントに対してよく使っている．例えば，以下のようにワンライナーで "World" の typo を検知することができる． $ echo 'Hello Worls!' | misspell stdin:1:6: "Worls" is a misspelling of "World" 機能は他にもいろいろある．ディレクトリに対して実行することができたり，オートコレクトができたり，検知した結果を CSV 形式で出力することもできる．また，実際に使うときに必要になる除外リストの指定もできる．もし Go の lint で gometalinter を使っている場合，gometalinter から misspell を呼び出すこともできる． github.com CircleCI + misspe

なお、2018年7月時点でAmazon EFS は Windows 系 OS には対応しておりません。 依存プログラム amazon-efs-utils を動作させる上で、以下のプログラムに依存します。 nfs-utils (RHEL/CentOS/Amazon Linux) または nfs-common (Debian/Ubuntu) OpenSSL 1.0.2+ Python 2.7+ stunnel 4.56+ 特に stunnel のバージョンにはお気をつけください。 stunnel をインストールする方法は次のブログを参照ください。 暗号化ラッパーstunnelをソースコードからインストールする Amazon Linux/Amazon Linux 2にインストール Amazon Linux 系の場合、オフィシャルパッケージが用意されています。 $ sudo yum -y inst

こんにちは、フロントエンド開発をリーディングしている古川 (@yosuke_furukawa)です。 昨年、こちらのブログで新人研修の特別講座の内容を紹介したところ、大反響だったので、今年も公開します。 リクルートテクノロジーズの新人研修 7月、リクルートテクノロジーズは新人の部署配属の季節を迎えました。 4月に(株)リクルートの新卒Web採用枠で入社した新人のうち、今年は20名が弊社に配属。3か月の研修期間を経て、早速現場での業務にあたってくれています。 リクルートテクノロジーズでは、配属までの3か月間「ブートキャンプ」という技術研修を実施しています。 ブートキャンプのコースは2つ。 一つは、プログラミングやWebサービスの構造の基礎を学び、その後1つのスマホサイトを企画からリリースまで行うコース。 もう一つは一定以上のプログラミングスキルと開発経験のある層向けに、より現場での技術に即し