Spread SheetからBigQueryを参照している箇所を特定する方法 - Qiita
BigQueryのConnected Sheet機能を使うと、BigQueryとSpread Sheetを簡単に連携できてとても便利です。 しかし、その便利さ・気軽さが仇となるケースも存在します。 定期的にBigQueryを参照しているシートが不要になった後もクエリを実行し続け、費用が無駄にかかってしまうことが考えられます。 また、スキャン量やスロット数に問題のあるクエリの監査ログを確認して、実行ユーザーに連絡をとってもConnected Sheet経由のクエリの場合は、身に覚えないと返答されることも多いです。 この記事では、Spead SheetからBigQueryにクエリを実行したログを活用して、どのシートURLからどのクエリが実行されているのかを調査する方法を説明します。 まずGCPの監査ログをCloud LoggingからBigQueryに転送するようなLog Sinkを作成します
AWS FargateではなくECS on EC2を選ぶメリット〜コスト編〜 - Uzabase for Engineers
このブログは NewsPicks Advent Calendar 2022 1日目の記事です。 qiita.com NewsPicksのSREチームでリーダーをしている安藤です。 NewsPicksに入社して1年が経ちましたが、最近は円安により親の顔よりもAWS Cost Explorerを見る毎日です。 ということで、コストの話をしていきたいと思います。 NewsPicksでのコンテナ移行について ECS on EC2とは？ コンテナの実行環境としてFargate or EC2を選択する時の評価基準 実際、Fargateはどれだけ割高なの？ CPU性能の比較 コンピューティング料金の比較 パフォーマンスに対するコスト コストに対して、マネージドサービスのメリットが上回るか 終わりに NewsPicksでのコンテナ移行について NewsPicksでは、Amazon ECSによる全面コンテナ
もう「GU」を超えた…“日本で爆売れ”中国発「SHEIN（シーイン）」が抱える「２つのヤバい大問題」（小島 健輔） @moneygendai
日本向けECサイト設立からわずか2年でH&MどころかGUの売上も超えたと推計される中国発越境ECサイト「SHEIN」（シーイン）。契約インフルエンサーの投稿がSNSに氾濫するのに加え、原宿に世界初の常設ショールームを開設して6000人が行列する騒ぎになり、あたかも08年にH&Mが上陸した時のごとくマスコミが囃し立てているが、「『SHEIN』には目を背けてはいけない問題がいくつも指摘される」。そう警鐘を鳴らしているのはアパレルの流通に詳しい流通ストラテジストの小島健輔氏だ。 「SHEIN」、日本での売り上げ1400億円突破…!? 「SHEIN」が日本向けECサイトを開設したのは2020年末。そこからわずか一年足らずの21年11月末で公式インスタグラムのフォロワー数は23万人に達し、直近では60万人に迫っている。 8000億円を売り上げた21年の米国のフォロワー数が141万人だったから、単純計
業務システム開発でsqlcを導入して良かった点とハマった点 | フューチャー技術ブログ
はじめにTechnogoly Innovation Group 辻です。Go には Gorm や SQLBoiler をはじめとして様々な O/Rマッパ があります。2021 年には当社のブログで OR マッパーの連載を行ったこともありました。絶対的な O/Rマッパ があるわけではなく、業務システムの特性やチーム構成などに合わせて O/Rマッパ を選択することになるでしょう。 今回、私たちのチームでは、バッチ処理が中心的な業務システム開発において Go の O/Rマッパ に sqlc を採用しました。素の SQL を書いていくチームの開発方針1とマッチし、開発体験は非常に良かったです。一方、枯れきってはいない O/Rマッパ ではあります。いくつか想定外の挙動が発生し GitHub の Issue を見ながら問題を切り分けることもありました。 これから sqlc を導入してみようかな、と考え
弁護士ドットコムサービスでモノリスをマイクロサービス化しようとして失敗した原因を振り返る - 弁護士ドットコム株式会社 Creators’ blog
初めまして。弁護士ドットコム株式会社でエンジニアをやっている井出です。 弊社は 2022 年 2 月から Creator's Blog を始めております。 その記念すべき最初の記事として 弁護士ドットコムサービスのビジネスと共にみるマイクロサービスの進化 を投稿いたしました。 こちらの記事で弊社がマイクロサービス化に挑戦したこと、その後の課題をどう解決していったかについて分かりやすくまとめられておりますので、ぜひ一読してから今回の記事を読んでみていただければと思います。 さて、上記記事内でも触れられているとおりマイクロサービス化プロジェクトである Gavel プロジェクトでは様々な課題が出てきました。 今回はその中の 1 つである、 ビジネス分析が不十分で一部のサービス境界が想定と異なり、開発速度が低下 について、何をどう間違え、なぜ開発速度が低下したのかについて振り返ります。 もしこれか
Obsidian がすごくいい
Obsidian（オブシディアン） と出会ってまだ3日目ではありますが、ここ最近で一番興味をそそられるアプリだったので紹介します。 A second brain, for you, forever. https://obsidian.md/ 出会いの経緯 を眺めていたときに一つの記事が目に付きました。 私がソフトウェア開発者として Notion から Obsidian に移った理由トップ3 何やら少し挑戦的なタイトルです。私も情報を整理するときに Notion はよく使用しています。不満がないとは言わないものの、Notion の機能を超える情報整理ツールは中々ないことくらいはわかります。 気になった記事は、まず読んでみることです。 読みながらの感想 "Obsidian" ……なんて読むの？ｶﾀｶﾀ……オブシディアン。いやー、スペルも読み方も覚えられないなぁ……。どんな意味なの？ｶﾀｶﾀ……
新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
マンションで植物のある暮らしを。配置のコツは大小さまざまな植物をまとめて「島」をつくること - マンションと暮せば by SUUMO
コロナ禍で在宅時間が長くなったこともあり、自宅で「観葉植物」を楽しむことに関心を持つ人が増えているようです。しかし興味はあっても、マンションで暮らしていると日当たりやスペースなどの都合もあって「うちで植物を育てるのは難しいかも」と感じている人は少なくないかもしれません。もしくは過去に枯らしてしまった経験から、何となく手が出しづらい、ということもあるでしょう。 レンタル撮影スタジオを運営するSHINPEIさんは、都内のマンションで100を超える植物とともに暮らしています。部屋には森のような空間が広がり、さまざまな形、大きさの植物がありながら雑多な雰囲気にならず、古いマンションに合わせてコーディネートしたというレトロなインテリアと絶妙にマッチしています。 今回はそんなSHINPEIさんに、ご自身の部屋のこだわりと、意外と簡単なマンションで植物を飾る際のポイントなどについて伺いました。 生きたイ
ポール・グレアムの「反論する方法」｜Jack
ポール・グレアム（Paul Graham）が執筆したエッセー「How to Disagree」の日本語訳になります。 2008年3月 ウェブは文章を会話に変えつつある。20年前、書き手は書き、読み手は読んでいた。Web は読み手に反応するようにし、次第に読み手はコメントのスレッド、ネット掲示板、自分自身のブログ上で反応するようになる。 何かに反応する人たちの多くはその何かに同意しない。これは予想されることである。同意することは同意しないことよりも人びとを動機づけさせない傾向がある。そして、あなたが同意するとき、言うことはあまりない。あなたは作者が言ったことを膨らませることもできるが、作者はおそらく既に最も興味深い意味合いを探っていた。あなたが同意しないとき、あなたは作者が探っていなかったもしれない領域に踏み込んでいる。 その結果、意見が食い違うことが多くなっている。特に言葉で比較すると。こ
Why Twitter Didn’t Go Down: From a Real Twitter SRE
Twitter supposedly lost around 80% of its work force. What ever the real number is, there are whole teams with out engineers on it now. Yet, the website goes on and the tweets keep coming. This left a lot wondering what exactly was going on with all those engineers and made it seem like it was all just bloat. I’d like to explain my little corner of Twitter (though it wasn’t so little) and some of
Twitter での 2年 · eed3si9n
2022-11-20 僕は Twitter社の Build/Bazel Migration チームでスタッフ・エンジニアとして勤務していた。信じられないような 2年の後、2022年11月17日をもって退職した (企業買収後のレイオフでも任意でもあんまり関係無いが、僕は任意退職希望のオファーを取った)。Twitter社は、切磋琢磨、多様性、そして Flock を構成する全ての人に対して溢れ出る優しさというかなり特別な文化を持った職場だった。これを間近で経験して、その一員となる機会を得たことに感謝している。(Flock は「鳥の群れ」の意で、社内での Twitter社の通称) 以下は過去2年の簡単な振り返りだ。尚本稿での情報は、既に公開されているトークやデータに基づいている。買収後、うちのチームだけでも 10名以上のメンバーが Twitter社を抜けたので、在籍・元含め LinkedIn プロ
データ活用の関係者に課題感のヒアリングをする時の型を紹介する - yasuhisa's blog
背景: データマネジメントのアセスメントのために各部署に現場の課題感をヒアリングしたい 課題: よいヒアリングをするのは簡単ではない 解決案: ヒアリングの型を決める ヒアリングの質問とリサーチの質問を別々に持っておく ヒアリング対象者について事前に理解を深める 全員に同じ項目を聞かない & 全体のカバレッジも担保する その場で問題解決を始めない まとめ 参考 背景: データマネジメントのアセスメントのために各部署に現場の課題感をヒアリングしたい データガバナンスを強化したいときにアセスメント(データマネジメント成熟度アセスメント)をやる人は多いと思う。データ基盤やデータに強い人だけでアセスメントをやって「えいや!!」と優先度を決めるのも一つの手ではある。 しかし、データを通じてユーザーに価値を届けるということまで考えると、データ活用に関わる幅広い職種の現場へヒアリングに行くことが、データ
GA4の計測設計には設計ドキュメントが重要な件 - ブログ - 株式会社JADE
こんにちは、あるいはこんばんは。村山です。皆さまGoogleアナリティクス4(以下、GA4)との戯れには慣れてきましたでしょうか。GA4の使い方は「完全に理解した」という方もいれば「まだまだこれから計測実装していくから触っていない」みたいな方もいらっしゃるのではないかと思います。 今回は、後者である「これからGA4を計測実装していく」方にむけて、どのようにGA4の計測実装を推進したら良いのか書いていこうと思います。 どのようなイベントを計測するべきか？ データに関わる方が1名と少ない場合 データに関わる方が2名以上の場合 データ計測の設計書となるドキュメントが必要だ GA4はさまざまなイベント計測方法がある GA4管理画面内の「イベントの変更」 GA4管理画面内の「イベントの作成」 GA4管理画面内の「オーディエンストリガーイベント」 GTM内からイベントタグの発火 GA4の計測設計にはN
植物 Q&A 無葉ランの呼吸について | みんなのひろば | 日本植物生理学会
葉を持たないランとして日本に自生しているクモランの件です（腐植ランとは違います） 根だけで光合成をし、成長を続けるらしいのです たしかに、根に葉緑素をもっているようで緑色の根ですが、 光合成で作られたでんぷんの合成はどのように行われているのでしょうか？ 根の働きの本来の呼吸は酸素を取り入れ二酸化炭素を放出していると仮定した場合、葉が退化したのか？それと進化途中で葉がないクモランは二酸化炭素をどのように取り入れているのでしょうか？ やはり、根が二酸化炭素を取り入れているのでしょうか？ その場合、気孔のようなものが根にもあるということでしょうか？よろしくお願い致します。 Nakamoto 様 質問をお寄せ下さりありがとうございます。 ご質問には根の緑化のメカニズムなどについて解析しておられる東京大学の小林先生がご回答下さいましたので参考になさって下さい。 【小林先生からの回答】 葉を持たない着
コミュニケーション頑張ってる話 - 宇宙行きたい
なんか芸能人に影響されたって言うの格好悪いと思っててあんまり大っぴらに話したことなかったんだけど、id:kkawaとか id:ninjinkun とかに「メッチャ良い話だから書くべき」って言われて「そうだな、何を変な意地張ってたんだろう」と気が付いたので書こうと思う。 僕はコミュニケーションを頑張っている。 それはネットで見た星野源の言葉に影響されたからだ。正確に言うとその言葉で興味を持って原典の本を読んで「もっともだな」ど思ったので頑張っている。 「それまで、相手に好かれたい、嫌われたくないという想いが強すぎて、コミュニケーションを取ることを放棄していた。コミュニケーションに失敗し、そこで人間関係を学び、成長する努力を怠っていた。 それを相手に「人見知りで」とさも被害者のように言うのは、「自分はコミュニケーションを取る努力をしない人間なので、そちらで気を使ってください」と恐ろしく恥ずか
思考停止に陥る？ 仮説を持たないKPIが「ただのノルマ」と化してしまうワケ【連載：小城久美子】 - エンジニアtype | 転職type
本連載では、プロダクト開発に携わるエンジニア読者向けに「成功につながるプロダクト開発」を実現するためのプロダクトマネジメントの基本の考え方や応用テクニックを、国内外の企業の優れたプロダクト開発の取組みを事例にとり、小城久美子さんがエンジニア向けに紹介・解説。明日からすぐに使える「いいプロダクト開発」をかなえるヒントを提供します。 小城久美子（@ozyozyo） ソフトウェアエンジニア出身のプロダクトマネジャー。ミクシィ、LINEでソフトウェアエンジニア、スクラムマスターとして従事したのち、『LINE CLOVA』や『LUUP』などにプロダクトマネージャーとして携わる。そこでの学びを活かし、Tably社にてプロダクトマネジメント研修の講師、登壇などを実施。書籍『プロダクトマネジメントのすべて』（翔泳社）共著者 「エンジニアのためのプロダクト開発」連載、前回はユーザーとの対話をするためにどのよ
木更津に引っ越した - お気になさらず是非木更津
タイトル通りです。 新卒で会社に入って約2年住み続けた浅草橋を捨て、アクアラインの通る街木更津に居を移しました。 それに伴いブログタイトルも変更しました。住処を変えるごとにタイトルの変わるブログを運営しています。 会津(大学)時代: バグだらけ会津若松 浅草橋時代: 強く気高く台東区 木更津時代: お気になさらず是非木更津 今後家を立てたりしたら一生タイトルを変えることはなさそうです。 木更津に住んで約二ヶ月、住んでよかったことと良くなかったことについて書こうと思います。 良かったこと 住環境が良くなった 木更津は東京生まれの方からしたら田舎だそうです。 確かに浅草橋と比べたら大分田舎っぽさはありますが、住むことに関しては普通に住んでいられるくらいです。 家の近くにはでかいスーパーがあるので日用品や食品はそこで事足りる 家の前にコンビニがあるので便利 地価が安いので家賃が安くなって浅草橋の
Windows 11でのBluetoothパケットキャプチャ - Windows 11で本当にAACは機能している？ - Technically Impossible
Windows 11はBluetoothコーデックとしてAACをサポートしており、AAC対応のイヤホンならば、AACで接続できる、という話を聞いた。しかしMicrosoftサイトには、そのような情報はどこにも掲載されていない。 もし本当に対応しているのであれば、実際にAAC接続しているかを確かめたら良い。先日と同じくBluetoothパケットキャプチャ*1で、実際にAACが機能しているのかを確かめてみた。 結論から言うと、実際にAAC接続でき、Windows 11がAACに対応していることを確認できた。今回の投稿では、それを明らかにする方法、その作業手順を紹介する。 と言っても、やっていることは前回と何も変わりないのだが。 前提 注意事項 実作業 余談 参照 前提 この投稿での作業は、次の環境で検証した。 version Windows 11 Pro 21H2 22000.795 Wire
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
元アナリストがdbtでプロダクトのデータパイプライン構築できるようになった話
Polaris: A System for Query, Analysis, and Visualization of Multidimensional Databases By Chris Stolte, Diane Tang, and Pat Hanrahan