BigQueryにおけるdbtの増分更新についてまとめてみた - Timee Product Team Blog
はじめに ※Timeeのカレンダー | Advent Calendar 2023 - Qiitaの12月8日分の記事です。 okodooooooonです BigQueryの料金爆発。怖いですよね。 dbtでの開発が進んでたくさんのモデルを作るようになると、デイリーのビルドだけでも凄まじいお金が消えていったりします（僕はもう現職で数え切れないくらいやらかしてます）。 コストの対策として「パーティショニング」「クラスタリング」などが挙げられますが、今回は「増分更新」の観点で話せたらと思います。 「dbtのmaterialized=’incremental’って増分更新できておしゃれでかっこよくてコストもなんとなく軽くなりそう！」くらいの認識でさまざまな失敗を経てきた僕が、BigQueryにおけるincrementalの挙動を説明した上で、タイミーデータ基盤における増分更新の使い方についてまとめ
Gmailの新スパム規制対応全部書く
[2024年1月10日、19日追記] GmailとYahoo!側のアップデートに合わせていくつか細かい説明を追加しています（大筋は変わっていません）。変更点だけ知りたい方は「追記」でページ内検索してください。 2023年10月3日、Googleはスパム対策強化のため、Gmailへ送るメールが満たすべき条件を2024年2月から厳しくすると発表しました。また米国Yahoo!も、2024年2月 第一四半期[1] から同様の対策を行うと発表しています。端的に言えば、この条件を満たさないと宛先にメールが届かなくなるという影響の大きな変更です。 この記事では、Gmailや米国Yahoo!の規制強化への対応方法を解説します。ただし米国Yahoo!にメールを送る人は多くないと思うので、フォーカスはGmail寄りです。また、メール配信サービス（海外だとSendGridやAmazon SES、国産だとblas
GitHub - Blinue/Magpie: An all-purpose window upscaler for Windows 10/11.
Configuring scaling modes Magpie provides some simple scaling modes by default, but it is recommended to configure them according to your specific use case. Then, change the global scaling mode on the "Profiles"-"Defaults" page. Scaling a window To scale a window, bring the desired window to the foreground and press the shortcut key (default is Win+Shift+A) to display it in fullscreen mode. Note t
課長や部長などの中間管理職の階層は減っていく AI時代のフラットな組織で求められるリーダー像
生成AIが急速に進化する今、ビジネスにもたらす影響が注目されています。本イベントでは、AIを用いた社会課題解決に取り組む株式会社エクサウィザーズとベネッセの共同開催のもと、有識者を迎えて「生成AI時代の必須スキル」について語られました。今回は、株式会社エクサウィザーズ・はたらくAI&DX研究所所長の石原直子氏が、これからの経営陣の役割や、AIの進化によって価値が上がる能力・低下する能力について解説しました。 生成AIに「関心がない」人は、もはや0.2パーセント 石原直子氏：ご紹介ありがとうございます。それでは「生成AI時代のリーダーシップ」ということでお話をしていきたいと思います。 本当に「AI新時代」と言っていい時代が2023年に幕開けしたと思っております。画像、テキスト、コードなどさまざまなものを作ってくれるAI。しかもそれを自然言語で動かせるAIが登場したのが2022年の後半だったわ
SQLiteでLinderaを使った日本語全文検索 - *iroi*
これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？ たとえば Amazon
RAG(Retrieval Augmented Generation)を用いたPostgreSQLアシスタントAIの試作 - Qiita
この記事はNTTコムウェア Advent Calendar 2023の4日目の記事です。 こんにちは、NTTコムウェアの平塚です。今月は2023冬 Chill Seasonで手に馴染むブキを探しているところです。 大規模言語モデルが持っていない最新情報や企業内情報を補うためのRAG(Retrieval Augmented Generation、検索拡張生成)というアーキテクチャーがあります。ごく簡単に説明すると、外部データベースを用意してそこで検索した結果を大規模言語モデルに説明させるというものです。以下はRAGのイメージ図です。 現在多くの企業さまがRAGの検証に取り組んでいるところかと思います。今回RAGを用いてPostgreSQLに詳しいアシスタントAIを試作したので、気づいたところをいくつ か共有いたします。 まとめ PostgreSQLアシスタントAIはある程度使えるものになりそ
GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
Visual Studio Codeに入れるべき拡張機能【2023年最新版】 - Qiita
弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 はじめに VSCodeは世界で多くの人が使っているコードエディタです。 開発の際に使用している人も多いのではないでしょうか。 今回はそんなVSCodeの拡張機能を一挙に紹介していきます。 拡張機能 VSCodeは世界中で支持されているコードエディタですが、最大の魅力が「拡張機能」です。 機能を追加して、より自分が使いやすいコードエディタにすることができます。 拡張機能のインストール 拡張機能のインストールのやり方を説明します。 アクティビティバーの拡張機能マークをクリックする（四角が4つあるマークです） インストールしたい拡張機能を検索する 拡張機能を選ぶ インストールをク
世紀末LSM-Treeプチフリ神話の終わり - Software Transactional Memo
凍った木が溶け始める様子をそれっぽく描いてもらった この記事はデータベース・システム系 Advent Calendar 2023の2日目の記事である。前日は僕、明日も僕。 Log Structured Merge Tree（以下LSM-Tree）という物をご存知だろうか。データ構造としては順序付きの辞書であり結構昔に発明されており各操作の計算オーダーは赤黒木等と同じである。システム系学会を追っていると無限に亜種が提案されているので特徴を一言で言い表すのは難しいのだが、その一種であるLevelDBはChromiumの中でも使われている。 https://chromium.googlesource.com/chromium/src/+/HEAD/third_party/leveldatabase/leveldb_chrome.h LSM-Treeの典型的な実装の概要とその利点・欠点を整理すると
元キーエンストップセールスが語る、営業失敗の8割は「不戦敗」 戦わずして負けないための情報収集術
営業力強化・営業生産性向上をテーマにしたSansan主催イベントに、『シン・営業力』の著者で、株式会社FAプロダクツ 会長の天野眞也氏が登壇。元キーエンストップセールスの天野氏が、「シン・営業力」を実践するための3つのエッセンスや、顧客の中からファンを見つける方法などを語りました。 営業の失敗の8割は「不戦敗」 天野眞也氏：続いて、「営業の失敗の8割が◯◯◯」。これもみなさんにぜひイメージしていただきたいんですが、わかる方いらっしゃいますでしょうか？ ちょっとテーブルは離れていますが、私と目が合ったそちらの方はどうでしょう？ 回答者4：準備不足。 天野：準備不足。お隣の方はいかがですか。 回答者5：ちょっと出てこないですね。 天野：大丈夫です、大丈夫です。これはちょっと変化球かもしれませんが、実は営業の失敗の8割は「不戦敗」です。 サービスがちょっと足りないとか、コストが足りないとか、サー
中間管理職の「過剰負担」は、なぜいつまでも解消しないのか？ 見逃しがちな“落とし穴”とマネジメント再構築の4ステップ
多くの企業がこれまで以上に注力している管理職育成。一方で管理職に求められる機能は減ることがなく、むしろ時代の流れとともに求められる役割は増え、負担そのものは増加し続けているという現状も。そこで今回は、組織強化のコンサルタントサービスなどを提供する株式会社タバネルの奥田和広氏が、マネジメントを仕組み化するための4つのステップを解説します。 組織課題の1位は“ミドルマネジメント層の過剰負担” 奥田和広氏：まずは今日の主題の「中間管理職の実態」からお話をさせていただきたいと思います。どんな企業でも、中間管理職の方はいらっしゃいます。「中間管理職は組織の要」なんて言われることが多いですね。 経営者からの要求と、現場からの要求、「経営と現場をつなぐ要」ということで、中間管理職は組織の中で非常に重要な役割を果たしていることになるかと思います。 こういう重要な役割を果たしていますので、当然、業務的にも責
pmconf 2023 プロダクトと事業を無限にスケールするための最強のロードマップの作り方 / The Greatest Roadmap for Unlimited Scaling your Business and Products
プロダクトマネージャーカンファレンス 2023 Track A 15:35~ LIVE 50min プロダクトと事業を無限にスケールするための最強のロードマップの作り方 https://2023.pmconf.jp/session/zBfEEEcp 近年、多くのプロダクトマネジメントに関する書籍が執筆され、日本でもプロダクトマネジメントが定着しつつある。特に課題発見からMVPローンチ、PMFまでのプロセスは、アジャイル開発関連の書籍の拡充あって、充実してきていると言える。一方で、一度PMFを迎えたプロダクトを更に進化させるためのロードマップの作り方については、未だ確立した方法論があるとは言えず、世界中で議論が続いている。本セッションでは、従来のロードマップの課題と近年議論されている対策を振り返り、その上で、プロダクトと事業を無限にスケールするための新しい考え方を導入し、状況に合わせて変更可
チュートリアルでDDD体験: ドメインモデルの成長を紹介 - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
プロダクト技術本部の川口です。 3年間、ビッグローブ光といった固定回線のインフラ部門に所属していましたが、今年の4月に BIGLOBE の基幹システムのリニューアルを推進していく部署に異動することになりました。 所属するチームでは、ドメイン駆動設計（DDD）で開発しています。 チームにジョインすると開発チュートリアルをやることになっており、そこで IntelliJ や Spring Boot での開発の仕方を学んだり、チュートリアルを通して DDD を学んだりします。 今回は、DDD のチュートリアルで実際に作成したドメインモデルがどういう風に成長していったかについて紹介します。 勤怠管理アプリ チュートリアル 初期ドメインモデル 中期ドメインモデル 後期ドメインモデル 学んだこと、感想 勤怠管理アプリ チュートリアル お題は GitHub のパブリックリポジトリに公開されています。 ht
プロダクトマネージャー必読！吉羽龍太郎が教える4つのCOREスキル | ITエンジニア向けのトレンド情報
プロダクトマネージャーとして成功するための道を模索するあなたに贈る成長ガイド。理想と現実が交錯する厳しいフィールドで、どのようにスキルと視点を磨き、チームやプロダクトをリードするのか。その秘訣を詳細に解説します。 この記事は、2023年9月5日発売 『プロダクトマネージャーのしごと 第2版 ―1日目から使える実践ガイド』共同訳者の吉羽 龍太郎氏 による connpass勉強会 を再編集し、記事化したものです。 すべてにおいて「銀の弾丸」は存在しない 「 ◯◯の成功事例やベストプラクティスを教えて欲しい」と頻繁に質問されます。最先端の調査研究や他社の輝かしい成功事例を聞きつけると、手当たり次第に導入したくなることを「シャイニー・オブジェクト症候群」と呼びますが、人間の心理として十分に理解できる一方、まずはすべてにおいて「銀の弾丸」が存在しないことを冷静に受け入れましょう。 ベストプラクティス
【Cloud Run】ElasticsearchをCloud Runで運用する
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
ノア・スミス「1997年から日本経済がどれほど不調だったか」（2023年11月26日）
通説では，1990年にかの不動産バブルがはじけてから日本は「失われた○十年」に苦しんできたという話になっている．実のところ，一人あたり GDP を見ると，他の豊かな国々にくらべて日本の実績が見劣りしはじめた起点は1990年ではなく1997年に思える．97年といえば，アジア金融危機のあった頃だ． この「失われた○十年」論に対して典型的に向けられる反論では，こう語られる――日本が停滞しているように見えるのは，大半が人口の高齢化によるものであって，実際の生産性で見ると日本は2000年頃から問題なくやっている．新しく出た Fernandez-Villaverde, Ventura, & Yao の論文は，こう主張している： 多くの先進諸国では，この数十年で，高齢化にともなって，一人あたり GDP成長と労働年齢の成人一人あたり GDP 成長のちがいは大きくなってきている．日本のように一人あたり GD
今後5年で成長する10の職種と急速に縮小する10の職種 AIや自動化による「技術的失業」に備える、リスキリングの重要性
ようやく解けてきたリスキリングの誤解 西舘聖哉氏（以下、西舘）：それでは後藤さん、よろしくお願いいたします。 後藤宗明氏（以下、後藤）：よろしくお願いいたします。 西舘：僕は1冊目の書籍から後藤さんを知って、いろんなセミナーやカンファレンスを見させていただいていますが、最近のリスキリングの状況はどうですか？ 後藤：「やっと機が熟してきたな」という手応えを、この数ヶ月間で感じ始めています。 西舘：というと？ 後藤：書籍の中でも書いたんですが、「個人が自主的に取り組む学び直しだ」という誤解によってうまくいっていないところがあったんです。ですが最近は、リスキリングをすると「自社にとってよいことがあるんだ」「自社の未来の事業を担う人材を育てていくことだ」と、経営者の方々にだんだん理解していただけるようになっています。 それで、組織の中でリスキリングの制度をちゃんと作っていくかたちが徐々に始まりつつ
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog 記事化したものです！ こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている 新卒２年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。 データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第１世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第２世代では、マネージドサービスを駆使した Aurora MySQL 構成。この２世代の中で生じた “ツラミ” を解消する次の世代、言わば 第３世代に該当する新しいデータベース構成を現
![次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7a9ef2e383cbfc8885ee9e5572b0b143267e771/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F01%2Finfra-meetup-tidb%2Fcover.png)
ヘルプデスク業務を楽にするためにSlackとGitHub Projectを同期するヘルプデスクツールを自作した - MNTSQ Techブログ
こんにちは。MNTSQの下村です。 コーポレートエンジニアとして、MNTSQ従業員の生産系向上施策等を実施していたりします。 ( Twitterもやっている のでフォローしてもらえると嬉しいです！ ) 本日は社員からの問い合わせ業務 いわゆる ヘルプデスク業務について効率化するためのツールを自作した 話を書いてみます。 この記事の要約 一人目コーポレートエンジニアとして参画したがヘルプデスク業務が非効率だったので効率化した。 質問に対して特定のemojiを押すとGitHub ProjectsのItemを作成するようにした。 SlackスレッドのコメントとGitHub ProjectsのItemを双方向同期するようにした。 Azure OpenAIも利用して効率化した。 きっかけ 2023年5月からMNTSQの一人目コーポレートエンジニアとして参画しています。 情報システムを色々と整備してい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MyRocks introduction and production deployment
