MySQLのSQLクエリチューニングの要所を掴む勉強会を開催しました！ - ANDPAD Tech Blog
こんにちは！DBREの福間（fkm_y）です。先月、弊社でデータベースの技術顧問をして頂いてる三谷（mita2）さんに開発本部向けの「MySQL SQLチューニング」勉強会を実施していただきました。 今回はMySQLの得意不得意なことの説明やSQLチューニングの流れ、具体的な事例を元にした対応例、また最近話題のHTAPな製品も紹介していただきとても参考になったのでポイントをおさえてレポートをお伝えします！ 開催背景 本編 MySQL の得意なこと、苦手なこと データベースのチューニング手段と特徴 SQLチューニングの流れ インデックス SQLチューニング例 インデックスフルスキャンとカバーリングインデックス ソート まとめ 当日の資料 さいごに 過去開催されたデータベース勉強会レポート 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しています。数年前にも同じテーマで勉強会
本を読むたびに読みたい本がどんどん増え、積読が解消されないがどうすればいいか。 | レファレンス協同データベース
分類＜019（読書、読書法）＞の棚をブラウジングした。 （読みたい本を更に増やしてしまうかもしれないが、）読書法に関する資料を、積読に触れているものを中心に紹介する。 （1）本を速く読む方法・通読しなくてもいいという意見 資料1 『超速読力』 「超速読力」とは、本や書類を見た瞬間に内容を理解し、コメントを言えるという新しい力であるとし、その意義とトレーニング法について書いている。 資料2 『大学生のための速読法』 接する文献の多い大学生や大学院生のために、楽にポイントを読み取ることができる速読法を紹介している。 資料3 『読まずにすませる読書術』 読む必要のない箇所を見抜く技法や、本を読まずにすませる技法を紹介している。 資料4 『時間がない人のための即効読書術』 バスで読書する際に酔いにくい席の選び方（p.17-18）など、読書を効率化する具体的な技術を紹介している。 （2）多読や乱読な
AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ
先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ！という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と
タイムスタンプの精度を落とすときは切り捨てろ - methaneのブログ
とあるプロジェクトでナノ秒からミリ秒への変換で四捨五入してきた人がいて、時刻を扱うときは保存精度未満は切り捨てるべきというのが常識になっていないなーと思ったので。 2023-10-01 を、何年か表示する時に、2024年に丸める人はいないだろう。 13:45 が何時か表示する時も、13時と表示するだろう。（口頭で何時？と聞かれたら14時と答えるかもしれないけれど） つまり、ある精度で表した時刻は、実際には次のような半開区間を示しているのである。 2023-01-01 00:00:00 <= 2023年 < 2024-01-01 00:00:00 13:45:00.000 <= 13:45 < 13:46:00.000 そして、そう決めたからには一貫して同じように、指定精度未満は切り捨てというルールを維持しなければならない。秒以下は四捨五入で、とかやってはいけないのだ。 一貫しないと何が問題
入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい
内部監査の限界 - orangeitems’s diary
先日発表された「株式会社日本カストディ銀行 ガバナンス検証第三者委員会の調査・検証報告書」に考えさせられた。 ・調査・検証報告書 https://www.custody.jp/news/pdf/news_cbj/20240419_report1.pdf ・調査・検証報告書（要約版） https://www.custody.jp/news/pdf/news_cbj/20240419_report2.pdf 要約版だけ見ても理解できるだろう。 ガバナンス機能が欠落していた、と一言で言えば簡単だが、これらの件は誰が止めることができたのだろうか。 社内で自浄作用を働かせるとして、役員レベルで「こうしなさい」と内部監査人含め現場に命令が飛んだら、何も言えなくなるんじゃないかな。 内部監査人の指摘は役員レベル以上の重みを持つのなら発言ができるが、それこそ権限がおかしいことになる。内部監査の結果を役員が
鳥羽周作シェフおすすめ人気レシピ「ナポリタンを超えたナポリタン」作ってみた | ヨムーノ（くふうLive!から変更）
こんにちは、調理師でヨムーノライターのだいきです。 ナポリタンと聞くと、レトロな喫茶店で食べるどこか懐かしい味を想像しませんか？ホッとする味というか。 まあ僕はレトロな喫茶店って行ったことないんですけどね(笑)。僕的には、弁当に入っているハンバーグの下にひいてあるナポリタンの方が馴染みがあります。あれって不思議ですよね。 と、そんなことは置いておいて。今回はとある番組で紹介されていた「ナポリタンを超えたナポリタン」を紹介します。普段のナポリタンが確実に美味しくなりますので、ぜひ最後までご覧ください。 ミシュランシェフの「ナポリタンを超えたナポリタン」 「ナポリタンを超えたナポリタン」は、ミシュラン東京2020で星を獲得した、レストランsioのオーナーだった鳥羽周作さんのレシピです。 日本テレビ系『スッキリ(2020年4月30日放送)』では、水卜アナが「ナポリタンを超えたナポリタン」に挑戦し
年功序列をやめて成果主義にしたら「評価に繋がらない仕事」を誰もやらなくなって生産性が下がった
ℌ𝔞𝔯𝔱𝔪𝔞𝔫𝔫 @E_H_352 > ｢年功序列より成果主義の方がいい！｣ 2000年ぐらいに富士通が全社で成果主義を導入したら「評価に繋がらない仕事を誰もやらなくなった」「管理職の評価は相対評価ので馴れ合いだったので、優劣が付けられなくなった」その結果、組織全体の生産性が低下したと本社人事部の城繁幸が著書で書いてる。 x.com/fukuei_you_no_… 2024-04-07 19:16:36 福泳祐一@祝厩舎初勝利 @fukuei_you_No_1 年功序列から成果で評価するって ここ最近色んな会社が変わりつつあって ｢年功序列より成果主義の方がいい！｣ って思ってる人が多いんだなぁ みんなすごいなぁ 成果主義になったときに 自分が今より評価される側だと思っているのね 私はこのままでいいわ 2024-04-07 19:12:55
メンバー1人1人のスキルアップを促す「等級（グレード）」と「給与テーブル」｜風音屋（かざねや）
風音屋（@Kazaneya_PR）では、メンバー1人1人のスキル水準をモニタリングし、さらなる成長を促すための仕組みとして「等級（グレード）」を設定しています。プロフェッショナル人材が少しでも正当な評価とフィードバックを受けられるように試行錯誤を経てきました。 採用選考を進める中で「自分の場合はどのくらいのグレードになるのか？」というご質問をいただく機会が多々あります。この記事では、どういった考え方でグレードを設計・運用しているのかを、給与テーブルとセットで解説します。 注意事項クライアントワークを担当するAnalytics部門を想定した内容となっています。Backoffice部門の給与テーブルは試行錯誤中ですが、ベースとなる考え方は同じような形に落ち着くはずです。 人事周りのルールは今後変わっていく可能性があります。最新状況についてはカジュアル面談でお問い合わせください。 すべての人にと
｢結婚を避け､子供をもたない｣ほうが人生のコスパが良い…現代の日本人に起きている"憂慮すべき変化" ｢自己家畜化｣が進み､資本主義の下僕になっている
すべてが「コスパ化」している 今日、資本主義的な考え方は経済活動だけにとどまらず、投資・資本・費用対効果（コスパ）といった概念は色々な場面に適用されがちです。そうしたなか、タイパ（タイムパフォーマンス）という言葉も登場し、三省堂の「今年の新語2022」の大賞に選ばれました。 文化資本や社会関係資本といった言葉が象徴するように、社会学者たちは学歴・教養・礼儀作法・人間関係・健康・美容・マインドまでをも資本財とみるようになり、実際、それらは投資やリスクマネジメントの対象にもなっています。してみれば、現代人の行動の広い範囲が資本主義の思想に基づいていて、この思想はよく内面化されていると言えるでしょう。 コスパやタイパといった考え方は広く浸透し、たとえば動画サイトを二倍速で視聴するような習慣も生み出しました。人生についても、「コスパの良い人生」などといった言葉が語られ、賛否はあるにせよネットメディ
「MPがすぐに尽きてしまう人」は、企業では救えない。
企業は従業員に対して、労働力の対価として、報酬を払っています。 しかし中には報酬を受け取りながら 「依頼された仕事を、一向にやらない人」 も事実として、存在しています。 「クビにすればいい」という方もいるでしょうが、企業は彼らを雇った責任がありますし、人を活かすという社会的な役割もあります。 企業は決して、人を解雇するのが好きな訳ではありません。 しかも、日本では法律的にも倫理的にも「解雇してしまう」というのは本当に最後の手段ですから、あの手この手で、彼らを戦力化しようとするのが常です。 そういうとき、企業はまず注意をしたり、叱ったり、責任感に訴えたりします。 実際、「言うだけ」でなんとかなるケースもあります。 しかし、そうではないケースのほうがむしろ多数です。 その場合、企業は「仕組み」からアプローチして、なんとかしようとします。 教育。 配置転換。 他の社員によるアシスト。 ですが、た
妻の「進捗確認」のやり方に感心した話
身内褒めで恐縮なんですが、以前、子どもに対する妻の言葉選びで感心したことがありまして、ちょっとしたことなんですが文章にしたくなりました。 先に書いてしまうと、その言葉とは、子どもに頼んだ家事の進捗を確認する時の「○○(頼んだ家事)ありがとう！」という言葉です。 順を追って書きます。 しんざき家は5人家族でして、私と妻、高校生の長男、双子の長女次女で構成されています。 ついこの間生まれたばかりと思っていたら、先日長女次女が小学校を卒業してしまいました。時間の流れが早すぎてビビる他ありません。 で、しんざき家では現在、子どもたちを積極的に家事に参加させる方針をとっておりまして、自分が使った皿は自分で洗うことが前提となっていることを始め、料理やら洗濯やら掃除やら、家事が出来るタイミングでは色々な家事を担当してもらっています。 これ自体は特別なことではないと思いますが、家事を任せるとなったら「手伝
テレワークは若手の成長を阻害してるって話
komitsubo @komitsubo 最近痛感したのはやっぱり若い人にとってリモートワークは成長の阻害でしかないとう事。リモートワークでやっていたら何日もかかっていただろう問題が、出社しているだけでその辺歩いてる経験者が困ってると一緒に見てくれて問題を1時間とかで解決してたりするのをみるとホント思う。 2024-04-07 08:08:53 komitsubo @komitsubo 結局ググった所で自身の今抱えている問題に完全直結する解答を探すのは難しい。要求をどうまとめるかも、設計、実装をどうするかも、問題をどういうアプローチで解決するかや原因の推定も身近で経験者が一緒に同じものを見て考えて案をくれたり一緒に作ったりしてくれるのは莫大な経験値になる。 2024-04-07 08:14:25
「ダークパターン」とは？7つの類型を解説／企業30社 独自アンケート - クローズアップ現代 取材ノート - NHK みんなでプラス
うそのカウントダウンタイマーや、在庫が少ない、需要が高いなどの表示。 画像では、カウントダウンタイマーや「今だけ」の表示で焦らせて「今買わなければ」という気持ちに追い込んでいます。 今回私たちは、企業の間ではダークパターンがどのように認識されていて、どのような対策を取っているのか、現状を把握するために独自にアンケート調査を行いました。 調査は、武蔵野美術大学の長谷川敦士教授の監修のもとで行い、ダークパターンが使用されることの多い6つのジャンル（ネットショッピング、旅行予約サービス、飲食店予約サービス、動画配信サービス、音楽配信サービス、電子コミック配信サービス）について、利用者の多い5つのサービス、あわせて30のサービスを対象にしました（利用者数については、ニールセンとICT総研の調査を元にしています）。このうち、16のサービスの運営企業から回答がありました（回答率は53％）。 回答した企
データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
Linuxの各種仮想ネットワークデバイスにおけるSegmentation Offloadの振る舞い
LinuxにおけるSegmentation OffloadとはTCPなどのトランスポートレイヤのプロトコルが送信するデータをMTUに収まるように分割する処理(Segmentation)をNICのレイヤにオフロードすることによってスループットを向上させる技術です. Segmentation Offloadを使った場合, トランスポートレイヤのプロトコルはIPレイヤで許容される最大のサイズ(64KB程度)までのデータを1つのIPパケットで送信することができます. 受信側は逆にネットワークから入ってきたSegmentation済みのパケットをNICのレイヤで1つの大きなIPパケットに集約した上でプロトコルスタックの処理にかけます. これによってプロトコルスタックで処理されるパケットの個数を減らすことができるため, スループットが上がるという仕組みです. Linuxには仮想ネットワークデバイスとい
ソフトウェアエンジニアの複式生産性管理｜pandineer
この文書についてこの文書は、ソフトウェアエンジニアの生産性（アウトプット）を、複式簿記のような仕組みで表現・管理できないだろうか、というアイディアを発散させているものである。 発散はさせているけど、まとまっていないし課題も山積みな感じである😑 概要複式簿記のような仕組みで、ソフトウェアエンジニアの活動を表せないだろうか。 背景 社会人9年目にして、クラウド会計システムの開発に関わるようになって初めて複式簿記を学んで、シンプルながらよくできているなぁとその仕組にとても感動した。 一方で、ソフトウェアエンジニアとして、時にはチームリーダーやマネージャーとして働いていて、ソフトウェアエンジニアの生産性をうまいこと表したり管理したりできないだろうかとずっと考えていた。 そこでふと思いついた。複式簿記のような形でソフトウェアエンジニアの仕事（アウトプット）を表したり管理したりできないだろうか、と。
Microsoft、生成AIのプロンプト解釈を最適化するフレームワーク「SAMMO」を発表 | gihyo.jp
Microsoft、生成AIのプロンプト解釈を最適化するフレームワーク「SAMMO」を発表 Microsoftは2024年4月18日、生成AI/大規模言語モデル（LLM）で長文のプロンプトを効率的に処理できるオープンソースのフレームワーク「SAMMO」を発表した。 SAMMO: A general-purpose framework for prompt optimization -Microsoft Research Blog GPT-4などの新世代の言語モデルでは、長い入力テキストを処理する機能が向上している。このため、より長文でリッチな文脈と詳細な指示を言語モデルに入力することが可能となった。しかし、この文脈を新しいタスクに適応させるための迅速なエンジニアリングが必要とされている。 長文のプロンプトを処理する一般的な手法としてRAG（検索拡張生成）がある。RAGは特定の入力例に基
MoonBit が WebAssembly 時代の理想(の原型)だった
最近 moonbit という言語を知ったのですが、これが調べれば調べるほど好きになる言語だったので、紹介させてください。 文法的には GC 付きの Rust で、 WebAssembly にコンパイルされます。とくに CDN Edge Worker 上での実行を想定しているようです。もう好き。 注意: まだ若い言語なので、これから言語仕様がガンガン変わっていくと思われます。あくまで現時点での情報です。 tl;dr Pros だいたい GC あり Rust と捉えていい 文法面のキャッチアップが容易 ライフタイムの難しさを考えなくていい すでに vscode 拡張やパッケージマネージャ等のエコシステムが整っている Cons まだ安定していない / しばらくはソースコードが公開されない 現時点では学習リソースやパッケージ数が足りず、書き手の腕力が求められる はじめに: JS/TS/Rust へ
MoonBit
> moon new hello> cd hello> cat main/main.mbtfn main { println(@lib.hello()) }> moon run mainHello, world! The Full-Product Collaborative DesignThe collaborative design of programming language, compiler, build system, and IDE ensures the integrity of the system, reduces component friction, and improves overall efficiencyGenerate significantly smaller WASM output than any existing solutions Program
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
読書メーター スマートフォン版 - あなたの読書量をグラフで管理
JSON攻略法.pdf
日本におけるデータエンジニアリングのこれまでとこれから
アングル：ホームレス化の危機にＡＩが救いの手、米自治体で実験進む
Amazon.co.jp: ニッポンのじてんしゃ旅 Vol.01 しまなみ海道をゆく。瀬戸内7海道サイクリングガイド (ヤエスメディアムック481): 本