dbt導入におけるデータモデリング環境整備 - pixiv inside
はじめに 初めまして。プラットフォーム開発部にてデータ基盤の整備をしているazukiと申します。 今回はdbt(Data build tool)を導入した経緯と非中央集権的なdbtの使い方についてご紹介したいと思います。 今回は導入に関してまとめていますので、dbtの運用面の詳細は別記事で解説予定です。 データモデリングツール導入の背景 ピクシブではプロダクトの多さを理由に非中央集権データ組織を採用しています。 ドメインチームがメインでデータの取り組みやデータモデリングを行い、データ駆動推進室やデータ基盤チームはそのサポートや整備を担当しています。 その背景に関しては、【PIXIV MEETUP 2023】の方でお話していますのでぜひご覧下さい。 speakerdeck.com 今までBigQueryのデータ加工SQLは自社で開発したツールで管理していました。 pythonから変数埋め込み
RubyKaigi 2024 - Ractor Enhancements, 2024 (Day1) - Techouse Developers Blog
こんにちは、株式会社Techouse バックエンドエンジニアの @nodematerial です。 今回は、RubyKaigi 2024 1日目のセッション「Ractor Enhancements, 2024」を聴講したので、その内容をブログにまとめさせていただきます。 Ractor とは Ractor は Ruby 3.0 で導入された並列(parallel)プログラミングを行うための機能です。Actor モデル*1をベースに設計されており、並行処理の干渉を防ぐために、オブジェクト空間を複数の単位に「だいたい」分割することで、スレッドセーフに並列処理を行うことができます。 同時に、この並行処理に用いる分割単位のことも、Ractor と呼ばれています。*2 複数 Ractor を実行する際には、Ruby 基本機能の一部が制限されます。 例えば、Ractor 間で共有できるオブジェクトは、i
いかにして動的型付けのRubyに静的な型検査を持ち込むか？ SteepとRBSが目指すもの - Findy Engineer Lab
Rubyをはじめとする「動的型付け」のプログラミング言語は、ソースコード中に型に関する記述が陽に出てこないことが特徴で、プログラムの実行前に（静的に）型検査をすることはありません。しかし、このようなプログラミング言語においても、大規模な開発における品質の向上や開発体験の改善、実行の高速化のために、静的な解析を活用しようという試みは多くなされてきました。この記事では、動的型付けの言語のための型検査の歴史を簡単に振り返って、現在私が開発しているRuby向けの型検査器Steepとその基盤となっている型記述言語RBSについて説明し、今後の展望を議論します。 著者：松本宗太郎さん（@soutaro） Rubyコミッター。大学院でRubyプログラムの型検査の研究に取り組み、修了後はスタートアップでWebアプリケーションの開発に従事。2017年から型検査ツールSteepの開発を始め、2019年からはRu
Microsoft 生成AI活用事例と評価方法について
生成AIの旅は続く 人工知能 機械学習 深層 学習 生成 AI 1956 人工知能 人間の知能を複製または超えることができるインテリジェントな機械の作成を 目指すコンピューターサイエンスの分野。 1997 機械学習 機械が既存のデータから学習し、そのデータを改善して意思決定や予測を行 うことを可能にするAIのサブセット。 2012 ディープラーニング ニューラルネットワークの層を使用してデータを処理し、決定。 2021 ジェネレーティブAI プロンプトまたは既存のデータに基づいて、新しい文字、視覚、および聴覚の コンテンツを作成します。 Microsoft と OpenAI のパートナーシップ Ensure that artificial general intelligence (AGI) benefits humanity 汎用人工知能(AGI)が人類に利益をもた らすようにする Em
Datadog でアラート通知の質を向上させるための取り組み
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" 44 週目の記事です！1 年間連続達成まで残り 9 週となりました！ はじめに はじめまして、2024 年 4 月にログラスにジョインしたエンジニアの石畑です。 まだまだドメインやシステムについて学んでいる最中なのですが、その中でアラート監視・運用周りをより良くできそうだったので、試行錯誤したことをまとめたいと思います。 どんな課題があったのか？ ログラスではフロントエンドからバックエンド、インフラに至る全てのログ・メトリクスが Datadog に集約され、横断的に分析・監視できる仕組みが整っています。アラートも Datadog でモニタリングを作成し、「Slack に通知 → ローテションのオンコール担当が対応」という体制が作れています。 しかし、歴史的に積み重なったモニタリングが過剰にアラー
分散トレーシングを使ってパフォーマンス改善をやってみたら、レスポンスタイムを2割近く改善できたお話 - Tabelog Tech Blog
目次 目次 はじめに そもそもシステム運用改善チームとは何か？ なぜアプリAPIのパフォーマンス改善が必要になったのか？ どうやって改善箇所を見つけるのか？ 分散トレーシングを使って、店舗詳細APIを細かく分析する 計測結果の見方 計測結果から分かったこと 計測結果から見つけたポイントに改善を実施していく コースに紐づくクーポンの取得 口コミを取得する処理と公開画像数のカウント ユーザーごとの公開口コミ投稿数の合計数カウント 全体での改善効果はどうだったか？ パフォーマンス改善の影響 ユーザー体験が向上した 今後の食べログ成長に備えたシステム上の余裕ができた 食べログの分散トレーシングを使って改善を実施してみてよかったこと おわりに はじめに こんにちは。食べログ開発本部 ウェブ開発1部 システム運用改善チームの @4palace です。 今回は、私の所属するシステム運用改善チームが食べロ
自然言語による説明でSQL文からDBアプリの生成まで実現する「Oracle APEX AI Assistant」発表
オラクルは、自然言語による質問からSQLクエリを生成したり、自然言語で求める機能を説明することでアプリケーションの生成まで実現する「Oracle APEX AI Assistant」（以下、APEX AI Assitant）を発表しました。 APEX AI Assistantは同社のローコード開発ツールであるOracle APEXの機能として提供されます。Orale APEXはOracle DatabaseはOracle Autonomous Databaseなどを含む同社のOracle Databaseクラウドサービスにおいて無償で利用可能です。 このAPEX AI Assistantを含むOracle APEXの新バージョンは今日から利用可能。 自然言語からSQL文を生成 Oracle APEXでデータベースアプリケーションを開発する場合、まずデータモデルを設定し、デザイナーで画面を作
/usr は何の略か – ビットログ
Unix系OSのルートディレクトリ直下にある “/usr” はなんの略なのか。 巷の意見はおおよそこんな感じです。 「もちろん “USeR” の略でしょ。」 「あまいな。 “User Services and Routines” の略だ。」 「その “User S*R*” の略だっていうソースはあるの？」 どうもはっきりしません。そこで調べ始めたら、思いのほか深入りしてしまったので、今回調べたことを書いておきます。 0. Unixユーザグループの機関誌に載っていた説 Unixユーザグループの機関誌に “User Services and Routines” の略だと書いてあったという情報が散見しますが、ここではそれをソースとして認めません。その記事に「XXXのドキュメントに書いてある」とか、「IEEE NNN.N で決まっている」とか書いてあれば一件落着なのですが、原典を見つけることはでき
ウォータフォールはやめて2024年の開発をやろう！｜牛尾 剛
今回の記事は特に私の意見であり、所属会社の意見ではないことをお断りしておきます。 最近になってまたウォータフォール vs アジャイルの議論を見かけることが多くなってきたので、私が勤務する米国の世界規模のクラウドプロバイダーでは2024年現在どんな開発をしているのかをご紹介したいと思います。私はこれが「正解」といいたいのではなく、何らかのポイントが皆さんの何らかの参考になったらいいなと思って筆をとりました。 ちなみに、2016年時点で私のウォータフォール開発に対する考え方は下記のブログの通りで今も変わっていません。ただ、2024年現在だからといってアジャイルをやるべきと思っているわけでもありません。 もし、今ウォータフォールをやっている人がいたら「そんなこと言ってもどうしたらええねん」となると思うので、自分なりの解決方法も考えてみました。 最初に自分的な結論を書いておくと「2024年の開発と
公益通報潰しに報道弾圧…前代未聞の「警察不祥事」、告発文書「返還」求めた鹿児島県警からの通話全容 - 弁護士ドットコムニュース
日を追うごとに事態がめまぐるしく動き続ける鹿児島県警察の「不祥事隠蔽」「報道弾圧」疑惑。今後さまざまな視点で検証されていくことになるその"事件"に、筆者は当事者の一人として巻き込まれた。 間接的ではあるものの、不当な強制捜査でライター生命を断たれかねない状況に追い込まれ、"善意"の公益通報者に顔向けができなくなった今日の思いは長く記憶に留まり続けることになりそうだ。 公憤と私憤とが混在する脳内を整理し、その熱が冷めないうちに鹿児島県警の不当な捜査の一端を記録しておきたい。現時点までで計4回にのぼった県警とのやり取りをここに再現する。（ライター・小笠原淳） ●4月3日に差出人不明の封書が届いた スマートフォンの記録によれば、その電話があったのは、6月4日午前10時21分のこと。電話の相手は男性の声で、鹿児島県警・組織犯罪対策課の職員（捜査員）を名乗った。 「うちの元生活安全部長が逮捕された件
クラウドロックインされないアーキテクチャ「Cloud Agnostic Architecture」のすすめ | フューチャー技術ブログ
この記事はQiitaのアドベントカレンダー記事のリバイバル公開です。 ※ 当時の記事から、一部表現を見直し加筆しています。 はじめに先日ガートナーのレポートで「多くの企業において、特定のクラウドベンダにシステムを集中させるリスクの重要度が上昇している」との発表がありました。 https://www.gartner.com/en/newsroom/press-releases/2023-10-30-gartner-says-cloud-concentration-now-a-significant-emerging-risk-for-many-organizations 日本においてクラウドの活用はますます進んでいる一方で、特定の Cloud Service Provider（CSP）にロックインされるリスクについては、常に議論の余地があると考えています。 本記事では、特定のクラウドに強く依
インシデント発生時に電源を入れたままにすべきか問題 - Qiita
はじめに とあるセキュリティインシデントにおいて、サーバを電源ケーブルごと引き抜いたという対応が行われ、X（Twitter）ではこの対応について賛否両論が見られました。このうち電源を入れたままにすべきという人の意見には、「マルウェアの中にはシャットダウンすることで自分自身を削除し、感染痕跡を削除するものがある」「メモリを調査すべきなのでシャットダウンすべきではない」のような意見が見られました。 本記事では実際にメモリからどのような情報がわかるか、そしてメモリダンプを解析することの有用性と課題について記載します。 メモリフォレンジック セキュリティインシデントにおいてはフォレンジック調査が行われる場合があります。フォレンジック調査には、HDDやSSDのようなストレージを調査対象とするディスクフォレンジック、パケットキャプチャやNetFlow、ProxyやFWのログのような通信を対象とするネッ
Googleのはじめ方
以下の文章は、Paul Graham による How to Start Google の日本語訳である。 本翻訳文書については、Shiro Kawai さんに誤訳の訂正を頂きました。ありがとうございました。 （これは、14～15歳の子たちに、いずれスタートアップを始めたいと思ったら何をやるべきかについて私が行った講演である。多くの学校が、スタートアップについて生徒に何か教えるべきだと考えている。これこそが、私が学校が生徒に教えるべきと思っていることだ。） あなた方のほとんどが、いわゆる現実世界に放り出されたら、いずれはある種の職に就かねばならないと考えているでしょう。それは正しくなくて、今日、私はあなた方が職に就かなくて済むために使える技を指南します。 その技は、自分の会社を始めることです。つまり、それは働くのを避ける技ではありません。自分の会社を始めたら、普通の職に就いた場合よりも懸命に
dig の全てのコマンドラインオプションを一覧にしたシートを作成しました - Qiita
概要 筆者は DNS Summer Day 2023 で「あたらしい dig」というテーマで発表を行いました(資料はこちら)。 DNS のテストツールである dig コマンドは、ネットワークエンジニアのみなさんが日常的に利用していると思います。 一方で、dig を用いているとたまに想定とは異なる結果が得られ、戸惑うことがあります。 原因としては、dig の送信するリクエストメッセージに関するデフォルト値が一般的な感覚と異なるために起きることが多いようです。 発表ではこれらの具体的な例を挙げつつ、もし dig のいくつかのコマンドラインオプションの存在やそのデフォルト値の知識があったならば、それらはすぐに解決したであろうことを示しました。 dig には非常に多くのコマンドラインオプションがあります。しかし、man ページや -h オプションで表示される簡易ヘルプではコマンドラインオプションが
Microsoft、「VBScript」を廃止するスケジュールを発表 2027年ごろにデフォルトで無効に
Microsoftは2024年5月22日（米国時間）、「VBScript」（Visual Basic Scripting Edition、VBS）について、廃止に向けたスケジュールを発表した。Microsoftは2023年10月に、WindowsクライアントでVBScriptを非推奨にすることを発表している。 VBScriptは、「Visual Basic」に似たWindowsのスクリプト言語。以前は、Webページを動的に生成する技術である「Active Server Pages」（ASP）、「Internet Explorer」ブラウザ、スクリプト実行環境「Windows Script Host」（WSH）などのインタープリタまたはホストとともに、Webサイトの柔軟性や対話性を高めるために使用されていた。 Microsoftは廃止スケジュールやVBScriptで構築されたアプリやWebサ
定量データと定性評価を用いた技術戦略の組織的実践 / Systematic implementation of technology strategies using quantitative data and qualitative evaluation
CNDS2024 https://event.cloudnativedays.jp/cnds2024/
【JJUG CCC 2024 Spring】物理削除/論理削除 #jjug_ccc_c #jjug_ccc | ドクセル
TORANOANA Lab 物理削除 vs 論理削除 レコード消滅作戦 虎の穴ラボ 河野 裕隆 JJUG CCC 2024 Spring Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. #jjug_ccc_c 自己紹介 河野 裕隆（こうの ひろたか） 好きなもの ● 2019/08 虎の穴ラボ入社 ● VOCALOID（初音ミク） ● 新規開発チーム ● 謎解き、クイズ ○ ● クリエイティア他 X: @hk_it7 虎の穴ラボへの入社理由 ● スキルを高めあえる仲間がほしい ● ユーザーに近い仕事がしたい JJUG CCC登壇は半年ぶり3回目 初めてスタッフ参加🎉 2 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. #jjug_ccc_c
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Microsoft Loop」に「Trello」を統合 ～タスク管理をリアルタイムで双方向同期／最大で200枚まで対応
人生振り返って「これにお金を惜しまずかけて正解だったな」と思うことを教えてください→お金をかけてよかったこと様々
いかの活き造り大和 呼子・鎮西町にお越しの際にはぜひお立ち寄りください