BigQueryの便利な機能を知ろう！コンソールツアー
Google Cloud アドベントカレンダー【通常版】 2025 の初日を務めます Customer Engineer の Shu Aiba です。このブログでは、データ分析のサービスである BigQuery の様々な機能をコンソールを見ながら紹介していきたいと思います。 BigQuery のコンソール画面はたまに仕様が変わったり、ん？なんだこれは。みたいなメニューが追加されたりします。このブログでは、私の独断と偏見で、コンソールの気になるところを７個かいつまんで紹介します。 はじめにお断りしておきますが、このブログを読むことで BigQuery の基本的な機能や使い方が完全にわかるというわけではありません。今お使いのみなさまもこれから使おうかなと考えていただいている皆様も、おっ、こんな機能もあるのね、とちょっと驚いていただくことが目的になっております。ということで、よろしくどうぞ。 と
Pythonのパフォーマンス最適化Tips 必須知識 - Qiita
Pythonコードのパフォーマンス最適化の総合ガイド Pythonは動的型付けのインタープリタ言語として、Cのような静的型付けのコンパイル言語と比較すると、実行速度が遅い場合があります。しかし、特定の技術と戦略を通じて、Pythonコードのパフォーマンスを大幅に向上させることができます。 この記事では、Pythonコードを最適化して、より高速かつ効率的に実行させる方法を探ります。Pythonのtimeitモジュールを利用して、コードの実行時間を正確に測定します。 注意: デフォルトでは、timeitモジュールはコードの実行を100万回繰り返して、測定結果の精度と安定性を確保します。 def print_hi(name): print(f'Hi, {name}') if __name__ == '__main__': # print_hi('leapcell')メソッドを実行する t = t
確定申告を｢e-Tax｣で終わらせるために、いますぐ済ませておきたい3つの手続き
1：今回からマイナポータル連携対象となった書類の「初回連携作業」昨年度の確定申告から、マイナポータル連携による申告書への自動入力対象が拡大した。特に大きいのは「給与所得の源泉徴収票」だろう。また、フリーランス向けにも「国民年金基金掛金」「iDeCo」「小規模企業共済掛金」の証明書等のデータも一括取得・自動入力の対象となり利便性が高まった。 簡単便利な自動入力にはマイナポータル連携が欠かせない。すでにe-Taxアカウントと連携済みの人も、新しく自動入力対象となった書類を確定申告書へ自動入力できるようにするためには、初回手続きが必要だ。 「給与所得の源泉徴収票」 e-Taxマイページから「本人確認／情報取得希望」を登録する必要がある。国税庁のリーフレットに「確定申告の数日前までに事前準備が必要」とあるように、登録から利用可能になるまでタイムラグがあるので注意しよう。 e-taxサイトから、｢マ
【作業効率3倍UP】VSCodeチートシートの永久保存版 - Qiita
この記事はNuco Advent Calendar 2024の6日目の記事です。 はじめに 皆さんはPCで作業する際に下記のようなダサい操作をしていませんか？ 矢印キーを連打or長押し デスクトップ上をマウスで右往左往 同じテキストを繰り返し入力、削除 etc ... このような働き方は無駄な作業時間が増えるだけでなく側から見てもカッコ悪いですし、仕事ができない人間だと周りから思われてしまいます。 というわけで今回はMac用とWindows用でそれぞれVSCodeのショートカットをまとめました。 本記事のショートカットを全て使いこなして作業効率を3倍に上げましょう！ 実際にショートカットを使用した実践動画がありますのでご参考になればと思います。
Pythonチョットデキルになるためのテクニック集
Pythonは比較的自由な文法で記述できる言語で、様々な分野で利用されています。 一方で、その自由さ故、どうやって書くのが良いか分かりにくい側面もあります。そこで、本記事では、Python使いに布教したいテクニックをまとめてみました。 TLDR; Pydantic ClassをModelとしてImmutableに運用しつつ、Controller, Service, etc にTyping.Protocol使うとだいぶ体験が良い。 開発環境は、uvとTaskfileの組み合わせがおすすめ。 リポジトリ 参照しやすいように、GitHubで動くfizzbuzzのコードを用意しました。必要に応じて、ご利用ください。 環境構築 Pythonでは、メジャーな環境構築方法がいくつかあります。 virtual env Docker (この後に登場するツールとの併用を含む) PyEnv + Poetry u
Go初学者へのコードレビューでよくあったコメント20選
はじめに こんにちは、ソーシャルベッティング事業本部 海外ベッティング事業部の山崎です。 本記事では、Effective GoやGoogle のスタイルガイド、Code Review Commentsといった公式資料、Future Architectの記事などを参考に、Go を初めて触る開発者を対象にした汎用的なレビューコメントの 20 選を紹介します。 大きく以下の４つのセクションに分けました 言語仕様に関わる内容 標準パッケージの使い方 エラーの扱い方 単体テスト Linter の活用について 可能な限り lint で自動化して人の手が加わる前に静的解析でできればベターです。 特にこの記事で紹介するような汎用的なコメントについてはいくつか反映できる lint もあると認知しております。 そのような設定の lint config サンプルをまとめようとも思いましたが、実際に運用まで至って
知っておくと運用で役に立つbq loadのTips - yasuhisa's blog
今日もbq loadが失敗して涙を流していたデータエンジニアのid:syou6162です*1。このエントリではbq loadを使ったデータ取り込みで泣かないで済む、あるいは泣いても致命傷まではいかないようにするための色々なTipsを書きます。 bq loadをベースに書いていますが、SDKを使ってBigQueryにデータを取り込む際もほぼ同様のことを考えれば十分な場合が多いです。 bq loadの基本形 スキーマを自分で指定する 取り込み失敗時の対処方法 パーティショニング列やクラスタ列を指定する 必要であればbq queryと組み合わせて使う 洗い替えしたい場合 パーティション指定で洗い替え 一癖あるデータと戦う Shift-JISやEUC-JPのファイルを読み込む レコード内に改行を含むCSVを読み込む --max_bad_recordsオプションは最小限に 運用中のスキーマ変更に立ち
スコアが爆上がりしたAWS認定試験勉強法を紹介！ - Qiita
最初にとったSAAと比べると、 DVA、SOAはかなり高得点/短期間でパスしていることが分かります。 実は、この2つの資格ではSAAと勉強方法を変えています。 そのおかげで、短期間で高得点を得ることができるほど、 効率的に、楽しく知識がインプットできました。 私がどんなやり方で勉強したかを紹介します！！！ 結論 ずばり、qiitaにアウトプットすること です！！！ アウトプット最強！！ この結論に至った経緯を少し書きます。 SAA取得時の勉強方法 SAAを勉強していた時は以下を4週ループし、試験に挑みました。 問題を解く → 解説を見る → ノートに物理メモする → 最初に戻る → … 私の心は疲弊しました。得たものもありますが、遠回りだったように感じます。 SOA, DVA取得時の勉強方法 以下を2週ループし、試験に挑みました。 問題を解く → 解説を見る → qiita下書きにメモする
hadolintを使ってDockerfileをベストプラクティスに沿った状態に保つ
技術記事は 個人ブログ へお引越ししました。 興味を持ってくださった方はZennではなくこちらをご購読いただければと思います🙏 Dockerは公式にDockerfileのベストプラクティスを表明しています。 が、このベストプラクティスに沿っているかどうか？を人間がいちいちレビューしていくのは正直しんどい、というか現実的ではない… そこで「せや！静的解析したろ！」という時に便利なのがhadolintというライブラリです。 使ってみる 今回はVSCode拡張機能とGHAのCI時に静的解析してもらいたいと思います。 今回はちょうどメンテナンスしていない自分のリポジトリがあるので、これに対して静的解析をかけていきます。 まずはVSCode拡張機能で利用するための下準備として、hadolint本体をOSにインストールします。 Macの場合はこちら。 docker/php/Dockerfile:8
いい加減シェルスクリプトで [ $? -eq 0 ] や [ $? -ne 0 ] なんて エラー処理を書くのはやめよう！ - Qiita
はじめに [ $? -eq 0 ] や [ $? -ne 0 ] は冗長でデメリットしかありません。非常に多く見かける書き方ですが、1979 年に Bourne シェルが広く公開された時からこのようなコードは必要ありませんでした。実際に当時はこのような書き方は使われておらず、このような書き方をしなければならなかった歴史的な経緯などはありません。これはなぜか広まってしまった良くない書き方です。 優れたコードとは無駄がないシンプルなコードです。丁寧なコードとは無駄な処理を書くことではありません。[ $? -eq 0 ] や [ $? -ne 0 ] は書かないほうが、簡単で読みやすくわかりやすくなります。優れた文法を持つシェルは短いコードで正しく動作し、良い書き方は最短の時間と最小の手間で目的を達成することができます。コマンドのエラー処理を簡潔に書くことができるのが、シェル言語の優れている点の
![いい加減シェルスクリプトで [ $? -eq 0 ] や [ $? -ne 0 ] なんて エラー処理を書くのはやめよう！ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/49d4f5314f4e203044579a38e4407225da1ed322/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNTQ5MTglMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTM1Mjg_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmJnPUZGRkZGRiZmbT1wbmczMiZzPWE4NWVmYWZlYzFkZjcyYTVmYWIyN2ZmOGViMjQ1Nzdi%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D40c4de7a2283f8493d0f8cd798df1ed7%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JUUzJTgxJTg0JUUzJTgxJTg0JUU1JThBJUEwJUU2JUI4JTlCJUUzJTgyJUI3JUUzJTgyJUE3JUUzJTgzJUFCJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFBJUUzJTgzJTk3JUUzJTgzJTg4JUUzJTgxJUE3JTIwJTVCJTIwJTI0JTNGJTIwLWVxJTIwMCUyMCU1RCUyMCVFMyU4MiU4NCUyMCU1QiUyMCUyNCUzRiUyMC1uZSUyMDAlMjAlNUQlMjAlRTMlODElQUElRTMlODIlOTMlRTMlODElQTYlMjAlRTMlODIlQTglRTMlODMlQTklRTMlODMlQkMlRTUlODclQTYlRTclOTAlODYlRTMlODIlOTIlRTYlOUIlQjglRTMlODElOEYlRTMlODElQUUlRTMlODElQUYlRTMlODIlODQlRTMlODIlODElRTMlODIlODglRTMlODElODYlRUYlQkMlODEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz1jZDg3NWQ1NmUzYzAzYjJiYzA2NDJlODRkZjlhOGQ4ZQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrbzFua3NtJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9ODVlMzIyOWJiNjA2ZTE4YzM2ZmM0MzNjMTk0ZjJkMmI%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Def96afddc5803eb2d3bf0840fceb59e6)
【Git】同じコンフリクト解消を繰り返している人に教えたい「git rerere」 - Qiita
はじめに こんにちは、kenです。みなさんコンフリクト解消してますか！ チーム開発をしているとコンフリクトとは嫌でも向き合うことになりますが、コンフリクト解消って緊張感のある作業なのでやりたくないですよね。 そんなコンフリクト解消をちょっぴり楽にする(かもしれない)コマンドを最近知ったので今回はそれを紹介します、その名もgit rerereです。 git rerereとは Gitの公式ドキュメント（日本語版）には次のように記載されています。 git rerere コマンドはベールに包まれた機能といってもいいでしょう。これは “reuse recorded resolution” の略です。その名が示すとおり、このコマンドは、コンフリクトがどのように解消されたかを記録してくれます。 そして、同じコンフリクトに次に出くわしたときに、自動で解消してくれるのです。 ここに書かれているように、git
BigQuery縦持ちデータを動的に横持ちデータにする方法 - ドワンゴ教育サービス開発者ブログ
はじめに ドワンゴ教育事業でデータアナリストとして働いている小林です。 一般的にデータアナリストはデータの収集・分析を通して組織の意思決定を支援する役割を期待されることが多く、ドワンゴ教育事業における私のミッションもKPI動向の可視化やダッシュボード / レポートの作成・提供を通してデータドリブンな組織に貢献するところにあります。 私たち教育事業には施策を実行する企画者やビジネス上の意思決定者だけでなく、サービスを活用して教育の現場に立っている方々、サービスに展開している教材を制作しているチームなど多様な方面からデータ収集・分析の需要があります。それだけにやりがいも大きく楽しい日々を過ごしています。 課題について（導入に代えて） クエリを書いて、結果を分析して、資料にまとめて、展開して、共有して・・・みたいな仕事をしているとSQLで抽出した縦持ちのデータを横持ちに作り変えたいことがよくあり
AWS NAT ゲートウェイ を理解した上で起動＆停止 Lambda を用意する - Qiita
実現したいこと 既存のAWSのバックエンドシステムにおいて、コスト削減のため開発環境とステージング環境のNATゲートウェイ（NAT Gateway）を夜間と休日の間は停止させるべく、NATゲートウェイを起動・停止させるLambdaを作成します。 待て、まだコードを書こうとするな 「NATゲートウェイ 自動 停止」とかで検索すると少ないながらもいくつか記事が出てきますが、理解せずにそれをまるまるコピペして実行させるだけではうまくいかないことが多いですし、望まないNAT削除をしてしまう可能性があります。 NATゲートウェイ、ルートテーブル、Elastic IPなどが自分の開発しているシステムではどのように設定されていて、どのリソースを操作すれば良いかをちゃんと理解する必要がありました。 こちらは開発していたシステムの構成図を、NATゲートウェイ周りだけを抽出して描いたものです。 手描きでごめん
今日から始めるChatGPT+Zapierで雑パーソナライズ情報収集 - LayerX エンジニアブログ
皆さんこんにちは。CTOの松本です。LLM使ってますか？ChatGPT毎日触ってますか？ LLMに熱狂してすでに1年以上が経ちましたが周辺エコシステムが充実してきたことでいろいろな取り組みがとても簡単に実現出来るようになったなーと感じています。 ということで今回はZapierを使った小ネタのご紹介です。 AI・LLM事業部の今 とその前に、AI・LLM事業部での取り組みから着想を得たものでして、AI・LLM事業部について簡単に紹介させてください。 LayerXの新規事業であるAI・LLM事業部では、バクラクでも取り組んできたビジネス文書の解析の延長としてLLMを活用して文書分析エンジンの開発を進めています。現在このエンジンを使ったエンタープライズ向けの新規プロダクト開発にいそしんでおります。とても楽しいですし、最近は様々なお客様からの引き合いも増えておりまして、事業成長に向けて満を持しての
Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
SSMって20種類あんねん 〜Run Commandで定期バッチを起動する〜 - NRIネットコムBlog
どうも。小林です。 みなさん、自動化してますか？ 私の課では特定の顧客のシステムを多数運用しています。 かなり多くのシステムがあり、顧客側の担当者も異なるため、弊社側でも複数のチームを組んで手分けしてシステムを担当しています。 チームも顧客担当者も異なるとなれば、当然運用のやり方はシステムごとに変わってきます。その一方で統一できる部分は統一しておかないと全体の統制は効きづらくなってしまいます。 そこで「標準化チーム」を発足し、チーム間で共用するシステムのアカウント管理やその申請ルール、顧客報告やメンバーの勤怠管理といったものの標準化を進めています。 標準化の恩恵のひとつとして、「作業が単純化できて自動化しやすくなる」という点が挙げられます。 例えばアカウント発行の申請フォーマットを統一すると、「フォーマットにしたがって記載されたテキストをバッチに読み込ませてアカウントを自動的に発行する」と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゲーミングPCを買ったら最初にするべき初期設定まとめ | ちもろぐ
【初心者必見】Python中級者になるためのテクニック29選 - Qiita
これで猛暑を乗り越えよう！2024年真夏の最新トレンドTerraform Tips集
Pythonのデコレータってどう実装するん？ってことでフレームワーク的な実装を試してみた - Qiita
