スロークエリログをどう使えばいいのかって疑問、全て解決
これはなに ども、レバテック開発部のもりたです。 今回はMySQLでのスロークエリログについて調査してまとめました。 スロークエリログといえば古くからパフォーマンスチューニングの力強い味方といったふうに語られることも多いですが、最近はクラウドで使える便利なツールも生まれています。この記事ではスロークエリログの一般的な使い方を紹介するとともに、他のツールとの比較や、どんな場面でスロークエリログが役に立つのか、また役に立たない場合はどんなツールを利用することができるのかについてまとめました。 足りないところなどあればおおいにマサカリ投げていただけると幸いです。 記事の流れ 記事の流れ この記事はそこそこ長いので、初めに記事の流れを解説します。適宜読み飛ばしてください。 なぜスロークエリログなのか ここではそもそもスロークエリログをなぜ確認したいのかみたいなところを説明します スロークエリログの
個人開発でもADR （アーキテクチャデシジョンレコード）を書くことの利点 - laiso
起業なのか請負開発か趣味のプロジェクト（ペットプロジェクト）かによって状況は異なりますが「私のチームの開発者は私１人だけです」という個人開発においても、ADRは有効なツールとなりえます。 ADRとは何か？ ADR（アーキテクチャデシジョンレコード）は、ソフトウェアアーキテクチャにおける重要な設計判断とその根拠、影響、関係する検討事項などを記録した文書です。 一見、現代的な響きですが、その実態はシステム設計ドキュメントの一部です。 "ADR"で検索すると真っ先にヒットするアーキテクチャの入門書『Design It! ―プログラマーのためのアーキテクティング入門』では、ADRは「アーキテクチャ手法に対する開発者寄りのアプローチ」と説明されており、アーキテクトと開発者自身がアーキテクチャに関する意思決定を記録し、共有するための手法として位置づけられています。 アーキテクチャデシジョンレコード（A
Cloud DLPを使ってBigQuery上の個人情報をマスキング - Findy Tech Blog
はじめに Findyでデータエンジニアとして働いている開（hiracky16）です。 この記事ではGoogle Cloudの製品であるCloud DLPを中心に弊社で取り組んでいるデータマスキングについて紹介します。 弊社はFindyやFindy Freelanceなど人材に関する事業を取り扱っているため個人データがより集まりやすい環境にあります。 ファインディの組織が日々拡大しサービス拡張していく中で、利用者の安全性を担保し、データにおけるリスクを低くするためのデータ基盤づくりが求められてきました。 データ基盤には事業部のデータを集約しているため、利用者にすべてを公開してしまうと運用を誤り、思わぬ事故につながる可能性が上がります。 ただ、閲覧できないと困る業務もあり、データの閲覧権限を絞りすぎてもリスクがあります。 今回は、個人データなどのセンシティブなデータを自動で検出・マスキングを行
Remix Way を外れる自由
フレームワークに縛られない開発を実現する Remix https://offers-jp.connpass.com/event/324745/ での発表資料です。 https://user-first.ikyu.co.jp/entry/2024/08/05/142626 もあわせてご覧ください。
「詳解 AWS Lambdaコールドスタート」というテーマでClassmethod ODYSSEYに登壇しました #cm_odyssey #devio2024 | DevelopersIO
「詳解 AWS Lambdaコールドスタート」というテーマでClassmethod ODYSSEYに登壇しました #cm_odyssey #devio2024 Classmethod ODYSSEY OnlineとDevelopersIO 2024 OSAKAで「詳解 AWS Lambdaコールドスタート」というテーマで登壇させて頂きました。このブログでは登壇内容を抜粋しながら紹介していきます。 内容 コールドスタート時のLambdaのライフサイクル Lambdaのコールドスタートはざっくり以下のような流れです コールドスタートの過程で以下4つのフェーズが実行されています Create execution environment... Lambda実行環境が構築される Download code... 我々ユーザーがデプロイしたコードがLambda実行環境にダウンロードされる Start
LambdaでWEBアプリケーションをホストしたい - NRIネットコムBlog
本記事は AWSアワード記念！夏のアドベントカレンダー 18日目の記事です。 🎆🏆 17日目 ▶▶ 本記事 ▶▶ 19日目 🏆🎆 はじめに クラウド事業推進部の望月です。NRIネットコムでクラウドエンジニアをしています。 主にネットワーク領域を得意としています。 この度、2024 Japan AWS Top Engineersと、昨年に続き2024 Japan AWS All Certifications Engineersに選出いただきました。 Top Engineersについては、何が評価されて選ばれたのか全く分かりませんが、応募はしてみるものです。 Network領域で応募したもののService領域での選出だったので、狭き門なのですね。。 再流行しているコロナに見事に罹患しつつも、「AWSアワード記念！夏のアドベントカレンダー」の18日目を担当します。 先に結論 Lambd
Pythonのセキュリティ関連ライブラリを試してみました。 - Qiita
今回は問題なしと判定されていますが、役に立ちそうなので常に利用し続けたいですね。 公式ページ 2. pylint PyLintはコードの品質とセキュリティを向上させるための静的解析ツール。スタイルガイドに従ったコードを書きやすくし、潜在的なバグを早期発見に役立つようです。 インストール・実行結果 # pip3 install pylint # pylint main.py ************* Module main main.py:10:0: C0301: Line too long (114/100) (line-too-long) main.py:97:0: C0305: Trailing newlines (trailing-newlines) main.py:1:0: C0114: Missing module docstring (missing-module-docst
【Python】計算量を意識して「文字列収集 (paizaランク S 相当)」を解いてみた - Qiita
N M S_1 P_1 S_2 P_2 . . . S_N P_N Q_1 Q_2 . . . Q_M 入力の受け取り方については過去に次のような記事を書いているので参考にしてみてください。 この記事によると次のように入力を受け取れば良いことがわかります。 # 標準入力 n, m = map(int, input().split()) sp = [list(input().split()) for _ in range(n)] q = [input() for _ in range(m)] 計算量 計算量の観点から問題を捉えるためには制約に着目します。 本問題の制約は次のようになります。 $1 \le N \le 10^4$ $1 \le M \le 10^4$ $1 \le |S_i| \le 10^2$ $1 \le P_i \le 10^4$ $1 \le |Q_i| \le 10^
Pythonのアドホック分析の型を考える - Qiita
はじめに データサイエンティストの業務の中では、集計や可視化、簡易的なモデリングなど中心としたアドホックな分析を行うことがありますが、アドホック分析で品質を保つことは難しいと感じます。 第一に、アドホック分析は探索的な要素を多分に含むので、分析のスコープが変動することが多いです。例えば、集計の切り口やモデルのパラメータの設定を変更した上で、分析を再度実行し直すような場面に遭遇したりします。加えて、多くの場合データが綺麗ではありません。当然利用するデータソースに依存しますが、状況によっては整備されていないExcelファイルをベースに分析することもあったりします。 このような点でアドホック分析で品質を保つことは難しく、ともすると書き捨てのnotebookの山になってしまいがちです。本記事では、このような状況において少しでも品質を保ちつつ分析を行う方法について整理します。 方法 プロジェクトのデ
React｜todoアプリが開発できて、開発の理解が深まるサイト - Qiita
エンジニアのみなさま、日々の学習本当にお疲れ様です！ また本記事まで足を運んでいただき本当に感謝です。 約2分程度で読めるので最後まで読んでもらえると幸いです。 対象 Reactのインプットが完了してお手頃なアプリを開発したい方 フロントのみで実装したときの『データの流れ』を理解したい方 サイトのURL アプリのご紹介 こんなアプリが開発できます。 何が学べるか？ CRUDの開発 登録（Create）・参照(Read)・更新(Update)・削除(Delete)に加えて、参照後のtodoリストへの絞り込みの開発について学べます。 コンポーネントの使い方 メインページを一通り開発した後、コンポーネント化できる箇所をピックアップします。 具体的には『Todo』『FilterButton』『Form』コンポーネントとしてファイルの切り出しをします。切り出す時の開発手順が学べます。 propsの使
Cloudflare Workers 入門【はじめからそうやって教えてくれればいいのに！】
はじめに この記事の内容は、以下の動画でも解説しています。アニメーションでわかりやすくなっているので、ぜひ見てみてください。他にも Web に関する解説動画を投稿しているので、気になる人はチャンネル登録よろしくお願いします！ Cloudflare Workers とは？ Cloudflare Workers とは、一言で言うと、Cloudflare のエッジで動くサーバーレスの JavaScript 実行環境のことです。 ...と言っても、これだけだとよくわからないですよね。だから、今回は初めて触る人でもわかるように、順序だててわかりやすく解説していきます。 Cloudflare Workers 理解するための道のり Cloudflare Workers を理解するためには以下の3つのキーワードを理解することが重要です。 CDN エッジコンピューティング JavaScript 実行環境 こ
Snowflake × dbt で構築する ELT アーキテクチャ
こんにちは！シンプルフォームの山岸です。 当社では現在、Snowflake をベースとするデータ基盤への移行に向けて、機能・非機能それぞれについて検証・構築を進めています。今回は、機能要件の中でも特に重要な要素である ELT アーキテクチャについて、具体的な実装とともにご紹介できればと思います。 アーキテクチャ 早速本題ですが、移行後のデータ基盤として以下のような ELT アーキテクチャを構築しました。 プロダクト環境として product1, product2 ... のような複数の AWS アカウントが存在しているようなケースを想定します。各環境のプロダクト用 Aurora データベースを、Snowflake 環境上のスキーマとして再現します。 Snowflake 環境にデータを取り込んだ後のモデリングは dbt で行います。Staging 層から実際に利用されるテーブルを再現する部分
Security-JAWS 第34回レポート #secjaws #secjaws34 #jawsug | DevelopersIO
Security-JAWS 第34回のレポートです。いいサービスがいっぱい出ているので活用しましょう！ こんにちは、臼田です。 Security JAWS 第34回が開催されましたのでレポート致します。 Security-JAWS【第34回】 勉強会 2024年8月19日(月) - connpass ちなみに今回から、Connpassを利用しています。今後はConnpass中心となりますので、ぜひSecurity-JAWSのページからメンバー登録いただけると助かります。 動画 レポート Session1: マルチクラウド環境で3年間CSPMをやってきた Japan Digital Design株式会社 Technology & Development Div. 唐沢勇輔さん 自己紹介 2019年にJDDに入社してSecurity Teamを立ち上げた 2021年にエンジニアリング部門のHe
BigQuery の継続的クエリ（Continuous queries）を解説 - G-gen Tech Blog
G-gen の杉村です。BigQuery の継続的クエリ（Continuous queries）機能を使うと、事前定義した SQL ステートメントが継続的に実行され、リアルタイムなデータ変換やリバース ETL が容易に実現できます。当記事では継続的クエリの使い方を紹介します。 概要 継続的クエリとは ユースケース 実行可能な SQL ステートメント 料金 BigQuery Editions 制約 利用方法 シンプルな例 APPENDS 関数の利用 制約と注意点 利用できない関数 認証・認可 レコードの削除と更新 クエリの更新とキャンセル リージョン 概要 継続的クエリとは 継続的クエリ（Continuous queries）は事前定義した SQL を BigQuery で継続的に実行し、ニアリアルタイムなデータ変換やリバース ETL を実現するための機能です。 同機能では、BigQuery
2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊 - Qiita
2023年版データ分析の100冊 が好評でしたので、2024年版を作りましたよ。 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせて理論のほかはPython本のみにしています 「本記事のR版のご要望があれば爆裂書きます！」と去年書いたのですが要望0 あはは、Rの本は今回撲滅しました！ こういうリストを挙げる奴は大抵読んでいない、と過去にも言われたのですが、未読本は削除しました 最近好著連発なので読んでいる途中だけど挙
簿記２級のために何冊か本買ったけどCPAラーニング(無料)を見てネット模試数回解くだけで１ヶ月かからず受かった「あれなんで全部無料なんだ？」
ただもの就活 @jvcws 簿記２級のために何冊か本買ったけど、cpaラーニング(無料)見てネット模試数回解くだけで１ヶ月かからず受かった。 あれなんで全部無料なんだよ ただもの就活 @jvcws なんか伸びてるので勉強の進め方 ①簿記3級の動画or本で概要を把握 ②簿記２級の動画みる 商業簿記は動画内の例題を進めながら解くだけでOK 工業簿記は1周しただけではあんま解けないので、時間があるなら2周した方がいい。 ③ひたすら模試＆復習 難易度が模試>>本番だから点悪くても落ち込まないで x.com/jvcws/status/1… ただもの就活 @jvcws すみません、簿記に複数種類があることを忘れていました。 これは日商簿記2級の話です。 転職・就活でかなり有利に働く(下記参考)ので、夏休みで暇してる大学生なんかは今のうちに取っておくと良いかと思います。 pic.x.com/bffyft
3 台の Raspberry Pi で始める自宅 Kubernetes クラスタの構築 - Qiita
はじめに 最近 Raspberry Pi を3台購入し、自宅に Kubernetes クラスタを構築しました。 この記事ではその体験記を共有します。 また、自宅 k8s を構築する際に参考になる記事になる事も目指しています。 モチベーション 仕事で GCP 上で Kubernetes を使ったので、個人で Kubernetes クラスタを構築してさらに学習を深めたいと思いました。 実務ではクラウドサービスを使いますが、維持費が高額です。一日システムを立ち上げておくだけで数千円、一ヶ月では数万円かかってしまいます。 minikube などを用いてローカル環境で Kubernetes を動かすこともできますが、シミュレーター上の動作になってしまうので、どうせなら実際の環境に近いものを構築したいと思いました。 そこで、Raspberry Pi を用いることで、実際の環境に近い学習環境を構築してみ
コントリビュートで沢山の人が救われる。mattn氏が語る、好循環を実現するアウトプット活動の仕組み
コントリビュートで沢山の人が救われる。mattn氏が語る、好循環を実現するアウトプット活動の仕組み 2024年8月6日 mattn 大学卒業後、ソフトウェアハウスやSIerなどでソフトウェア開発に携わる。vi派生のテキストエディタVimの日本語化やプラグイン、Go言語などでOSS（オープンソースソフトウェア）の開発・コミュニティ運営に参加し、2019年からGoogle Developers Expert。2021〜2023年 GitHub Stars。著書に『みんなのGo言語』（2016年、2019年に改訂2版、技術評論社、共著）、『Go 言語プログラミングエッセンス』（2023年、技術評論社、単著）がある。関西在住。 X:@mattn_jp GitHub 前回はアウトプットのためのお題選びに際して、巷のエンジニアがよく選びがちな TODO アプリについてお話させていただきました。 いった
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DuckDB雑紹介
ソフトウェアの実装と事業戦略を結びつける
