BigQuery アンチパターンレコメンデーションツールで、パフォーマンスの悪い SQL を使っていないか確認してみる。 こんにちは、みかみです。 本州も梅雨入りの季節になってまいりましたが、沖縄はそろそろ梅雨明けです！ やりたいこと BigQuery で実行している SQL のパフォーマンスチューニングをしたい BigQuery のアンチパターン SQL を使っていないか確認したい どんな DWH を使うにしろ、SQL チューニングは避けて通れない道ではないかと思います。 実行計画確認して、データ処理エンジンの思想に思いを馳せて・・・。 というのも、特に顕著な改善効果が得られた時にはこの上ない喜びを感じられる作業ですが、SQL が複雑だったり、大量の SQL を確認しないといけない場合は、心折れそうになる場合もあります。 BigQuery でも、クエリプランを確認しながら SQL をチュ

SSHキーを1Passwordに保存しておき、 ~/.ssh/configに IdentityAgent "~/Library/Group Containers/HOGEHOGE.com.1Password/t/agent.sock" という設定を書いておくと秘密鍵を1Passwordから出すことなくサーバに接続することができます。 こちらの内容については下記ブログなどをご参照ください。 https://dev.classmethod.jp/articles/1Password-git-ssh/ 私はこの方法を愛用していたのですが、 ある日次のエラーが出るようになりました。 Received disconnect from UNKNOWN port 65535:2: Too many authentication failures Disconnected from UNKNOWN por

GPT-4が公開され、GoogleがPaLMやGoogle WorkspaceへのジェネレーティブAIの統合を発表するなど、AIサービスの進化のスピードは目を見張るものがあります。 この状況のなか、社内でもAIサービスの利用について方針がほしい、という声も上がってきていました。それに応えて本日AIサービス利用のガイドラインを策定し、リリースを行いました。せっかくですので、どんな内容なのかを共有したいと思います。 全文 基本 AIサービスを業務利用する場合は、原則として上長の許可を得ること。 検証目的で、業務に直接関連しない情報（テストデータなど）を入力して試すことは問題ない。 業務情報を利用したい場合は、この後の「業務利用する場合」のガイドラインに沿うこと。 サービス利用前に、データの取り扱いの規約を必ず確認すること。 AIサービスを業務利用する場合 業務情報を用いる場合は、利用規約を確認

GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ

監視という一種マニアックな領域を真正面から解説した貴重な本です。監視で悩む人のみならずシステム開発に携わるすべての人にオススメ。 「全然わからない。俺たちは雰囲気で監視をやっている」 自分はAWS事業本部コンサルティング部所属ということもあって、いろんなお客様にAWSインフラのコンサルティングしてます。最初のインフラ構成設計時に監視の話をすることも非常に多いんですが、 「どうしましょう。CloudWatchでいけますかね？」 「MackerelとかDatadogとかもありますが、どうしましょ。マネージドとの違いは〜」 「とりあえず、ディスク使用率80%でしきい値設定しておきましょうか。みんなそうしてますよ」 とか言っていた昔の自分に見せつけたい本、それが今回紹介する「入門　監視」。 監視設計の原則がよくわかんない メトリクスのしきい値決めるところから監視を考えてしまいがち よく考えずに、い

はじめに 中山（順）です AWSさん、CPU作っちゃったみたいです。 New – EC2 Instances (A1) Powered by Arm-Based AWS Graviton Processors Introducing Amazon EC2 A1 Instances Powered By New Arm-based AWS Graviton Processors A1インスタンスの概要 ざっくりまとめると以下のような感じです。 ARMベースのプロセッサ"AWS Graviton Processors"を開発 Graviton Processorsを搭載したホスト上で稼働するのがA1インスタンス 実行するアプリケーションの言語によってはビルドし直す必要あり（スクリプト言語であれば不要） 現時点でサポートされるOSは、"Amazon Linux 2", "RHEL", "Ubun

実際に起動してみる 各リージョンが起動できるオレゴンリージョンで起動してみます。また、AMIはAmazon Linux 2を使用します。 インスタンスタイプの選択 インスタンスタイプの選択では以下のようにインスタンスが並びます。 M5aの場合 R5aの場合 ストレージの追加 ストレージの追加でインスタンスストアのみの状態を確認してみます。 M5aの場合 EBSのみとなっています。 R5aの場合 EBSのみとなっています。 CPU情報の確認 実際に起動してSSHでログインしてCPU情報を確認してみます。 m5a.largeの場合 m5a.largeではCPUとしてAMD EPYC 7571が使用されています。AMD EPYC 7571はAMDのサイトにも掲載されていない特別モデル（product master listには記載があったらしい）のようです。 $ lscpu アーキテクチャ: x

Amazon Redshiftで何らかデータ操作を行う場合、Amazon Redshiftに対応しているDBクライアントツールを別途導入してアクセスを行う...というのが一般的ではありますが。AWS管理コンソールメニュー上で、「クエリエディタ(Query Editor)」なる機能が利用出来るようになっておりました。 存在を確認出来た本日(2018年09月27日)時点では「ベータ版」の扱いとなっておりますが、触れる範囲の部分に関して一通り見ていきたいと思います。 目次 利用するための設定・条件 機能へのアクセス クエリの実行 実行時間の表示 実行結果をCSVとしてダウンロード クエリの整形 クエリの補完 クエリの保存 まとめ 利用するための設定・条件 当エントリでご紹介する機能を利用するためには、IAMポリシーとしてAmazonRedshiftQueryEditorが必要となります。不足して

はじめに AWSチームのすずきです。 東京リージョンで利用可能となった「T3」インスタンス。 Wordpress(PHP7)の実行環境として導入し、「T2」インスタンスと比較する機会がありましたので、 紹介させていただきます。 【速報】T3インスタンスがリリースされました！ 環境 リージョン: AWS東京リージョン アベイラビリティーゾーン: ap-northeast-1a OS: AmazonLinux 2018.03 Linux version 4.14.62-65.117.amzn1.x86_64 AMI: aws-elasticbeanstalk-amzn-2018.03.0.x86_64-php70-hvm-201808172110 (ami-07202bf6c4a45e244) 構成図 t3.small 2台、t2.small 2台、4台のEC2インスタンスを用意し、同一ELB

はじめに 中山（順）です。 みなさん、T2インスタンス使ってますか？お安いので検証環境などでは御用達という方／負荷が低い本番環境でバリバリ使ってるぜって方も多いと思います。 そんな中、T3インスタンスがリリースされました！ New T3 Instances – Burstable, Cost-Effective Performance Burstable Performance Instances 提供されるインスタンスタイプ t2インスタンス同様のラインナップです。 t3.nano t3.micro t3.small t3.medium t3.large t3.xlarge t3.2xlarge 利用できるリージョン 以下の12リージョンで利用可能です。 US East (Ohio) US East (N. Virginia) US West (N. California) US Wes

こんにちは、菊池です。 ついにこの日がやってきました。AWS Summit Tokyo 2018でアナウンスされていた通り、EFS（Elastic File System）が東京リージョンで提供開始されました！ [速報] EFS（Elastic File System）が2018年7月に東京リージョンで提供開始！ #AWSSummit 最初のアナウンスから3年以上待ちましたが、ついに東京リージョンで堅牢でスケーラブルな、Multi-AZで利用できる共有ファイルシステムが利用可能になります。 EFSの使い方 改めてになりますが、EFSを使ってみます。利用方法は非常に簡単です。 マネジメントコンソールからサービスの画面を開きます。ちゃんと東京リージョンで使えるようになっていますよ！ VPCとサブネット、Security Groupを指定したら、 タグ、パフォーマンスオプション、暗号化有無を設定

こんにちは、菊池です。 MongoDB使いのみなさん、ニュースです。現地時間の2018年6月26、27日、アメリカ・ニューヨークでは MongoDB のカンファレンス、MongoDB World'18 が開催されています。 そんな中、現在開催されいてるキーノートで、MongoDBの新しいメジャーバージョンである、4.0 の正式リリースが発表されました。 Release Notes for MongoDB 4.0 MongoDB 4.0 の目玉は、以前よりアナウンスされていたマルチドキュメントトランザクションのサポートです。 MongoDB 4.0 では複数ドキュメントの ACID トランザクションがサポートされます 本記事では、マルチドキュメントトランザクションについてリリースノート、ドキュメントからわかる内容を紹介します。 Transactions | MongoDB Documenta

AWS AppSyncが一般公開されました AWS re:Invent 2017で発表された、モバイルアプリのための期待のマネージドGraphQLサービス「AWS AppSync」。本日ついに一般公開（GA）されました！ AWS AppSync now Generally Available (GA) with new GraphQL Features AWS AppSyncとは？ AWS AppSyncは、クロスプラットフォームでデータのリアルタイム同期を行うためのGraphQLをベースとしたアプリケーションのバックエンドを提供するサービスです。次の機能を利用できます。 リアルタイムアプリケーションの作成 同期を使ったオフラインプログラミングモデルの構築 必要なデータだけ GraphQL で取得 複数のデータソース（Amazon DynamoDB、Amazon Elasticsearch

nwdiagって何？ ブロック図生成ツール blockdiagシリーズの1つです。きれいな論理ネットワーク図を作成することができます！ 公式サイト(http://blockdiag.com/ja/nwdiag/introduction.html) 特徴 テキストベース 自動レイアウト SVG出力可能 インストール方法 Pythonで動き、Win・Mac・Linuxすべて対応しています。今回はMacでのインストール方法を紹介します。 Windowsの場合は事前にPythonのインストールを行ってください。2系、3系はお好みでどうぞ！ インストール 一行で簡単にインストール完了です。 pip install nwdiag サンプルコードを使って動作を確認します。 まず以下のファイルを作成してください。 sample001.nwdiag nwdiag { network dmz { addres

ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日正式リリースとなったPostgreSQL 互換 Amazon Auroraですが、Auroraの特徴の一つである高速なフェイルオーバーを試してみました。 高速フェイルオーバー ドキュメントにPostgreSQL互換Auroraの高速フェイルオーバーについて記述があります。PostgreSQL JDBC Driverを使用します。urlを複数記述して、targetServerTypeでmasterを指定するとWriterを高速にフェイルオーバーできます。 注意点として、targetServerTypeの指定ではコネクションのオープン時に判断されます。MySQL互換Auroraで使用されるMariaDB Connector/Jの場合はステートメントで判断しています。同じAurora用のフェイルオーバーでも挙動が異なるので注意して下さい。

こんにちは、小澤です。 この記事はHadoop Advent Calendar 21日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はDeepleaning4J on Sparkを利用して、SparkでDeep Learningを行いました。 今回はIbisというものを使ってみたいと思います。 Ibisとは ImpalaなどのSQL on Hadoopに対してPythonからDataFrame風に処理を実行できるライブラリのようです。 PythonのDataFrameのライブラリであるPandasと同じ作者が作っているようなので、そうあたりの親和性もいいのではないかと思い今回は使ってみたいと思います。 なぜこのようなライブ

神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし

はじめに いざSQL文を書こうと思ったけど、どこから書けばよいのか迷うことはないでしょうか？ まずはselect句から書こうかな。。 使用するテーブルはわかっているのでfrom句から。。 where句はちょっと長くなるから後回しにして。。。 などなど 長いSQL文を書く必要がある時に、どこから書けばいいのか迷う方（僕もそうです）に読んでいただければと思います。 今回ご紹介する書き方は、あくまでも僕がSQL文を書く時に気をつけている方法ですので、他にもっといい書き方・書き順がある可能性があります。 今回は順番にフォーカスしているため、個々の句についての解説は割愛します。 環境 MacOS 10.10.5 PostgreSQL 9.4.5 実行順序 SQLが実行される順番は以下のようになっています。 FROM → WHERE → GROUPBY → HAVING → SELECT → ORDE

こんにちは、虎塚です。 バンクーバーに来て2週目が終わろうとしています。今日は、クラスメソッドバンクーバーオフィスのお昼事情をご紹介します。 [クラスメソッド]バンクーバーリージョンはじめました ｜ Developers.IO 昼休憩事情 バンクーバーオフィスのメンバーはオペレーションのシフトを受け持っているため、時間をずらして昼休憩をとります。それぞれが1時間程度、だいたい11:30から15:00くらいの間に昼休憩に入っています。別々のお昼で、ちょっとさびしいですね（今回の記事を書いた裏の目的は、バンクーバーで仕事をしている弊社のメンバーに、ランチ情報を共有することです！）。 また、バンクーバーオフィスは立ち上がったばかりなので、昼休みついでに近くの文房具やドラッグストアを開拓して、業務用品を買ってくることもあります。 上の写真に写っているグッズは、オフィス用品のStaplesで買いまし

先日、Amazon Redshift で Avro フォーマットのデータをロードできるように COPY コマンドが拡張されました。Avro といえば、Hadoop のシリアライズフォーマットの一つです。Avro ファイルを実際に作成したり、Pig から Avro ファイルをエクスポート〜 Redshift に投入する方法をご紹介したいと思います。 Amazon RedshiftでAvroフォーマットのデータロードをサポートしました 新たに COPY 文で FORMAT が追加になり、このオプションとして AVRO が指定できるようになっています。 COPY COPY table_name [ column_list ] FROM data_source [ WITH ] CREDENTIALS [AS] 'aws_access_credentials' [ [ FORMAT ] [ AS