Google Cloudデータエンジニアのはんざわです。 2024年5月29日のアップデートにより、パーティション分割されたテーブルにおけるパーティション数の上限が増加しました。 これにより、これまで以上に長期間のデータをBigQueryに保存できるようになりました。 BigQuery release notes： 5月29日 2024 個人的には大きなアップデートだと思うので早速ブログを執筆しています！ どれくらい増えるのか 今回のアップデートでパーティション数の上限が4000から10000に増加しました。 これにより、アップデート前後のパーティション数の上限と日次パーティションの対応年数を表で示すと次のようになります。 項目 アップデート前 アップデート後

こんにちは、データアナリティクス事業本部のみかみです。 本エントリは、クラスメソッド BigQuery Advent Calendar 2020 の 6 日目のエントリです。 25日のアドベントカレンダー終了まで、弊社クラスメソッド データアナリティクス事業本部のメンバーで Google BigQuery に関する記事を紡いでいこうと思います。 実行計画と BigQuery のクエリプラン MySQL や PostgreSQL などのデータベースエンジンでは、SQL の前に EXPLAIN を付けて実行することで、SQL の中の各ステートメントがどういう順番でどのくらいのデータ量を処理するのか、実行計画を確認することができます。 SQL のパフォーマンスチューニングなどで実行計画を確認しながら効率よく処理できるように SQL を修正していると、だんだんデータベースエンジンの考え方が分かって

こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 冬休みの個人的課題図書(自習)として「Pythonによる時系列予測」を読み終えましたので、感想と振り返りを書いておこうと思います。 書籍情報 以下の書籍になります。 Pythonによる時系列予測 | マイナビブックス 発売 : 2023年10月 翻訳本であり原著は以下となります Time Series Forecasting in Python 発売 : 2022年08月 概要 概要として本書に記載されていることと、記載されてないことを紹介します。 記載されていること（感想含む） 記載されていることは以下のようになっています。 時系列タスクの説明 トレンド、季節性、残差という3成分に分けられることの説明 ランダムウォークという解けない問題の定義 統計モデル MA、AR、ARMA、SARIMA、SA

こんにちは、CX 事業本部 Delivery 部の若槻です。 このたびの GitHub.com のアップデートで、複数アカウントの利用がサポートされ、サインインをし直さずにアカウントを簡単に切り替えできるようになりました。 そもそも複数アカウントの利用が許容されているのかという問題については、下記ドキュメントによると OSS コントリビュートなどを行う個人アカウントと、所属組織が管理するアカウントを使い分けることに関しては少なくとも許容されているようです。 場合によっては、GitHub.com 上の複数のアカウントを使う必要があります。 たとえば、オープン ソース コントリビューションの個人アカウントがあり、雇用主が Enterprise 内でユーザー アカウントを作成および管理することもできます。 マネージド ユーザー アカウント を使って GitHub.com 上のパブリック プロジェ

さがらです。 現地時間10月16日～10月19日で、dbt Coalesceが開催されました。 基調講演で発表された新機能については、下記のブログが参考になります。 この基調講演で、MetricFlow統合後のdbt Semantic Layerが一般提供になったと発表がありました！ 連携できるパートナー製品も併せて発表され、Googleスプレッドシートも含まれています。 ということで、実際にGoogleスプレッドシートからMetricFlow統合後のdbt Semantic Layerを参照してみたので、本記事でその内容をまとめてみます。 ※Googleスプレッドシートからdbt Semantic Layerへ接続する機能は2023年10月29日時点ではBeta版のため、ご注意ください。 試す内容 下記の公式Docに沿って、Googleスプレッドシートからdbt Semantic Lay

ファイル比較 VSCodeのエクスプローラで、ファイル２つを選択して右クリックメニューから「選択項目を比較」で比較することができます。 また右クリックで、「比較対象の選択」をした後に「選択項目を比較」でも比較することも可能です。 VSCodeのSnippetの使い方 VSCodeのSnippetも便利です。似たような構造のクラスを実装する場合などや、プロジェクト共通で使いがちな書き方というものをSnippetに登録して、効率化することができます。 また、変数を持たせておくこともできます。この場合、Snippetを呼び出した後に変数部分にカーソルがあたるので、そこで変数部分をタイピングできます。 詳細は以下のリンクをご覧ください。 Visual Studio Codeに定型文（スニペット）を登録する方法 VSCodeのUser Snippetを活用しよう！ また後述するSnippet Gen

はじめに 新規事業統括部の山本です。 ChatGPTをはじめとした、大規模言語モデル（Large Language Model）を使用したサービスを利用することで社内の業務効率化をした、というニュースを聞くことが増えてきました。クラスメソッドでもOpenAI APIなど、AIを利用した社内の業務効率化に取り組んでいます。 前回の記事では、OpenAIのAPIを利用した業務効率化のためのはじめの一歩として、自社ブログ（DevelopersIO）の記事を検索するボットを作成してみました。ベーシックな文章検索+応答生成（Retrieval Augmented Generation）ではなく、クエリ自体もLLMに考えさせるChatの機能を付与し、実際の動作を確認しました。 https://dev.classmethod.jp/articles/implement-devio-articles-se

大阪オフィスの玉井です。 2020年12月7日〜11日の間、Fishtown Analytics社がcoalesceというオンラインイベントを開催していました（SQLを触っている方はピンとくるイベント名ではないでしょうか）。 「Fishtown Analytics社って何やってる会社？」という感じですが、dbtというツールを開発しているベンダーです。dbtについては、下記をご覧ください。 今回は、その中からPerfect complements: Using dbt with Looker for effective data governanceというセッションを受講したので、レポートを記します。 イベント概要 公式 Coalesce 2020 online - December 7-11, 2020 Perfect complements: Using dbt with Looker

こんにちは。AWS事業本部コンサルティング部に所属している今泉（@bun76235104）です。 ソフトウェア設計・クラス設計などの学習捗ってますか？ 私は実際にソフトウェア設計に関する本を読んで学習したり、OSSを書いてアウトプットしたりするのですが、なかなかフィードバックをもらえず上達しているのか分かりません。 普段のお仕事も直接的にコードを書くことも少ないので、先輩によるご指導などももらいにくい状況です。 そこで今回、話題のAIとソフトウェア設計の考え方について壁打ちしてもらったところ、非常に良い学習方法だと感じたので、この記事を書いてみました！ ちなみに私は以下のようにソフトウェア設計関連の書籍を読んで学習しています。 ちなみに今回は以下ブログ記事で公開しているくらにゃんGPTをベースにしたBotと会話をしています。 ChatGPT API model: gpt-3.5-turbo

ChatGPT面白いですね！ あんなことやこんなことできるんじゃないかと夢想して楽しんでいます。 そんなわけで、OpenAIのAPIキーを発行できたんだけれども、そのあとどうすればいいの？ という過去の自分のために、Pythonでの超基本的な使い方をまとめておきたいと思います。 結論から言うと、 Pythonのコード15行程度でChatGPTを使ったアプリが出来上がりました！ （APIキーを発行するやり方は他の記事をご参照ください） 準備 Python3でOpenAIのライブラリを使うので、pipでインストールしておきます。 pip install openai また、最小限のコードとはいえ、環境変数はハードコードしたくないので、 コマンドラインの環境変数に設定します。 export OPENAI_API_KEY="sk-xxxx" コード Pythonのコードを書いていきます。 ここに書

こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、VS Code拡張機能（Extension）の開発手順について簡潔にまとめたのでご紹介します。 前回のエントリでもVS Code拡張を作成しました。既存ブログなどを見ながら四苦八苦して実装したのですが、手順自体は意外と簡単でした。 手順概要 VS Code拡張機能を開発する手順は以下のようになります。 プロジェクト作成（yoコマンドで1発） コマンド内容を実装（JS/TSで処理を記述） コマンドの呼び出され方を定義（package.jsonを編集） 動作確認（VS Codeのデバッガーを使用） VS Codeで拡張機能として利用可能にする（vsixファイルに変換してインポート） なお、ここで紹介するのは自分で開発して自分で使うExtensionを作る想定の手順です。マーケットプレイスへの公開手順は紹介しません。（ただし公開手順も難

大阪オフィスの玉井です。 DevelopersIO 2021 Decade （4日目）で、アナリティクスエンジニアという、データ分析における新しい職種を紹介するテーマでプレゼンテーションを行いました。日本語でアナリティクスエンジニアについて言及したのは、おそらく私が初めてだと思います。 雰囲気 動画 登壇資料 補足 アナリティクスエンジニア（Analytics Engineer）に関する資料等 本セッションの内容のほとんどは、下記を参考にしました。 ビジネス側（データ分析の要件）と技術側（最新のデータ分析技術やツール）。その両方を把握できるロール（Purple people）が必要になってきている、ということが書かれています。アナリティクスエンジニアとも関連するトピックになっているので、よかったら読んでみてください。 dbtというツールに関する資料等 弊社の技術ブログに、いくつかdbtの記

こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 最近コードベースのデザインツール「UXPin Merge」を触る機会をいただいたので、実際に試したことをまとめたいと思います。 UXPin Mergeとは？ UXPin Mergeはコードベースのデザインツールです。 一般的なデザインツールでは描画したものはベクター、ラスターのイメージデータとして扱われますが、UXPinで描画したものはコード化が行われ実際に動作するコンポーネントとしてレンダリングされます。 また、UXPin Mergeでは作成したReactコンポーネントをインポートしてデザインに利用することができます。 今回試してみたこと UXPin Mergeでは「React」に対応していますが、今回は「Next.js」のプロジェクトでコンポーネントを作成し、作成したものをUXPinに取り込んで利用

ちゃだいん（@chazuke4649）です。 DeepLの公式Chrome拡張機能がヤバかったので勢いにまかせて紹介します。 "公式版"がリリースされてたの知ってた？ DeepL翻訳（ベータ版） - Chrome ウェブストア ベータ版ではありますが、いつの間にか公式版がリリースされていました。自分は今まで公式版がなかったので、以前は非公式版のツールを使っていました。 インストールする Chromeウェブストアからインストールすると、右上にアイコンが表示されます。それをクリックすると以下ポップアップ画面が表示されます。 現時点では以下２つの機能が存在します。 読む: ブラウザ上の文章を任意の言語に翻訳して表示できる 書く: ブラウザ上に入力している文字を任意の言語に変換できる それぞれ試してみます。 「読む」 一般的にはこちらがよく認知されている機能だと思います。 下図のように、翻訳したい

DevelopersIO 2021 Decade で「全員がOAuth 2.0を理解しているチームの作り方」というテーマで話させていただきました。 スライド 話した内容 なぜ人類は OAuth 2.0 に入門し続けるのか なぜ OAuth 2.0 をチームに根付かせたいのか 開発フローとしてコードレビューがある 仕様がわからないと、レビューができない コードと仕様のすり合わせのために仕様が分かる必要がある OAuth 2.0 はまあまあややこしい OAuth 2.0 では登場人物が4人いて、それぞれがいろんなやりとりをします。 それぞれのやりとりにパラメーターがあるので、誰が誰にどういう値をどうして送る、みたいなところまで考えるとまあまあややこしいのですが、このややこしいシーケンスを完全に頭に入れると学習がスムーズに進むと思います。 勉強会について 以下をゴールに設定しました。 各ロール

中山です ソリューションアーキテクトとして、AWS環境の利活用をお手伝いするお仕事をしています。 まれによく見るAWS環境 とりあえずこれを見てほしい。 これが絶対にだめと言いたいわけではないです。 一時的な検証環境だったり、とにかくスピード重視でサービスをデリバリーさせる必要があったり、サービスの提供者側が何ら責任を負わない・障害時のビジネスインパクトが無い（そんな状況あるのか？）という前提があったり、状況次第ではこれで十分な時もあると思います。 しかし、一般的な業務システムやサービスの場合にはいろんな意味で不十分でしょう。 では、このような環境をどのように育てていくとよいでしょうか。 この記事では、そんな育てかたの一例を紹介していきたいと思います。 なお、本記事はくっそ長いです。 ちなみに、最終的にはこうなります。 文字が小さすぎて読めない！ ちょっとそこのハ○キルーペ貸してくれーｗ

突然ですが、以下の機能がそれぞれどういうものか すべて ご存知でしょうか？ CloudWatch ServiceLens X-Ray CloudWatch Contributor Insights CloudWatch Synthetics CloudWatch Container Insights CloudWatch Logs Insights CloudWatch メトリクス Metric Math 検索式 カスタムメトリクス CloudWatch ダッシュボード CloudWatch 異常検出（Anomaly Detection） CloudWatch 埋め込みメトリックフォーマット CloudWatch アラーム 異常検出に基づいたアラーム 複合アラーム 私はわからなかったですね。ここ 1〜2年のCloudWatch系のアップデート量は凄まじいなと個人的には思っていて、Cloud

こんにちは、クラスメソッドの岡です。 先日MacBookProにコーヒーをこぼしてしまい、見事に壊れました。 電源はつくけどバックアップが取れない。。しかし不幸中の幸いで直前にGoogleDriveにデータを移していて、gitにもpushしていたので復元する必要はあまりないかも、、？ ということで、環境の見直しも兼ねて新しいMacをまっさらな状態からセットアップすることにしました。 今回はセットアップも兼ねて自分のお気に入りのツール等を一部ご紹介させていただこうと思います。 環境 macOS Catalina 10.15.6 アプリケーション 1Password: パスワード管理 Googleアカウントのパスワードすら覚えてないのでとりあえず1Passwordを入れます。 他にサインインしているデバイスがあれば、環境設定→アカウント→その他のデバイスを設定でセットアップ用のQRコードが出せ

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社の吉井 亮です。 日本国内においても多くのシステムがクラウド上で稼働していることと思います。 俊敏性、拡張性、従量課金、IaS、セキュリティなどクラウドのメリットを享受しやすい所謂 SoE で多くの実績があるように感じます。 ここ1~2年は、社内基幹システム・情報システム、SoR 系のシステムのクラウド移行が本格化してきたというのが肌感覚であります。 クラウドでのシステムインフラ構築は従来のようにゼロから非機能要件定義を行っていくものではなく、ベストプラクティスをまず実装して少しずつ微調整を行っていくものと考えています。とはいえ、システムごとの要件は予め明らかにしておくことがインフラ構築においても重要になります。 クラウド上では出来ること出来ないこと