初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase / Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い & Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ
はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
データ詰め替え戦略 - kawasima
このSpring Bootを使ったクリーンアーキテクチャの例は、データの詰め替え過剰にみえる。 https://www.baeldung.com/spring-boot-clean-architecture これだけのモデルと詰め替えが必要なのだろうか? 『Get Your Hands Dirty on Clean Architecture 』にこのマッピング戦略(詰め替え戦略)が書かれている No Mapping (レイヤ間でモデルを共有し、詰め替えをしない) 2-way Mapping (各レイヤで独自のモデルを持ち、レイヤを跨ぐ呼び出しは上位レイヤが詰め替えの責務を負う) Full Mapping (各レイヤで独自のモデルを持ち、レイヤを跨ぐ呼び出しには専用のモデルを使う) またこの戦略のどれを選ぶかの基準は『Balancing Coupling in Software Design
Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul, 2024 | Netflix TechBlog https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78 Netflixは「ユーザーが次に視聴する作品の予測」などを目的に機械学習を活用しており、記事作成時点では何千もの機械学習ワークフローインスタンスを起動し、平均して1日当たり50万のジョブを
自動テストの重要性が広く認知されるようになった一方、自動テストの活用に課題を抱える組織も依然として多く見受けられます。 本記事では『Developer eXperience Day 2024』（主催：日本CTO協会）における和田卓人氏によるセッション「望ましい自動テストとは：どのようなテストが開発生産性と開発者体験を共に高めるのか」の内容をお届けします。 和田卓人氏 執筆活動や講演、ハンズオンイベントなどを通じて自動テストやテスト駆動開発を広めようと努力している。 『プログラマが知るべき97のこと』（オライリージャパン、2010）監修。『SQLアンチパターン』（オライリージャパン、2013）監訳。『テスト駆動開発』（オーム社、2017）翻訳。『事業をエンジニアリングする技術者たち』（ラムダノート、2022）編者。 なぜ自動化テストを書くのか 和田 卓人です。インターネット上ではt-wada
こんにちは！PHPとCを主に書いています、Sakiです。日中はBASE株式会社さんでお仕事させていただいています。早朝と夜間にphp-srcでの活動をしています。PHP8.4のリリースマネージャーもやってます。 2024年からありがたいことにPHPコア開発者として採用していただき、半年とちょっとになりました。ちょうど一区切りということで、これまでの活動を簡単にまとめたいと思います。細かいものや、最終的に成果が出なかった（議論がまとまらなかったなど）ものは除外しています。 2023年、コア開発者になる前 実は私はphp-srcどころかOSSの経歴がかなり短いです。 はじめてのコントリビュート PHP8.1から、PDO MySQLでmysqlndをドライバとして使用し、PDO::ATTR_EMULATE_PREPARESがtrueの場合、PHPのネイティブタイプで値が返される、というように仕様
はじめに こんにちは。新規事業のプロダクトマネジメントを担当している taison です。 先日、顧客への請求金額を算出するために日々実行しているデータフローを刷新しました。 その際に Datastream という Google Cloud が提供する CDC サービスを活用したことで、構築・運用が楽になったのでご紹介します。 なお今回は開発にご協力いただいている 株式会社 Rabee の abyssparanoia さんの提案・検証があって実現したので、ここで感謝させていただきます。 全体像 それまではとある BI ツールを活用して、請求根拠となるデータを各内容にあわせて出力するデータフローを組んでいました。 下図のように、プロダクトの RDB（アプリケーションデータ）そのものに直接接続し、BI ツールで生成したクエリを定期的に実行することで要件を満たしていました。 ただ、おかげ様で事業
更新可能なデータレイクを構築するテーブルフォーマットApache Hudiについて - Repro Tech Blog
Reproでチーフアーキテクトを担当しているjoker1007です。 今回、社内のデータストレージの将来的な選択肢の一つとしてApache Hudiというテーブルデータフォーマットについて調査と実データでの検証を実施しました。 この記事では2回に分けて、そもそもhudiってどんなフォーマットなのか、どういうデータで検証してどんな結果が得られたのかについて紹介します。 ということで第1回は、hudiそのものについての紹介をしていきます。 この記事はhudi-0.14.1を利用して検証した時のものです。また社内向けに書いた資料の手直しであるため丁寧語でないことに御留意ください。 Hudiとは何か、その目的 hudiは更新可能なデータレイクを構築するためのテーブルフォーマットである。 ストリーミングによるデータインサートや、upsert, deleteをサポートする。 通常、データ分析に向いたデ
6万5000人以上の開発者に「好きな言語」「好きなOS」「好きな開発環境」「好きなAI」を聞いた年次調査「2024 Stack Overflow Developer Survey」の結果が公開される
開発者のためのコミュニティ「Stack Overflow」が実施した年次調査「2024 Stack Overflow Developer Survey」の結果が公開されました。6万5000人を超える開発者が、コーディングやAI、使用および学習したいと考えるテクノロジーやツール、職場での体験などについて回答しています。 2024 Stack Overflow Developer Survey https://survey.stackoverflow.co/2024/ まず、回答者の最終学歴は以下の通りで、41％が学士号を、25.6％が修士号を取得しています。Stack Overflowは「開発者の66％が学士または修士の学位を持っているが、学校でコードを学んだ開発者は49％に過ぎない」とも指摘しています。 コードを学習するために最も優先する選択肢を問うた項目では、「その他のオンラインリソース
Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開
Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開 Googleは、同社の最新生成AIであるGeminiをBIツールと統合した「Gemini in Looker」として、Looker Studio ProのグラフからGoogle Slidesのスライドを自動的に生成する新機能のプレビュー公開を発表しました。 Looker Studioは、Google SheetsやBigQuery、Cloud SQLやGoogle AnalyticsといったGoogleが提供するデータソースだけでなく、Amazon RedshiftやMicrosoft SQL Server、MySQL、PostgreSQL、SnowflakeなどのデータベースやFacebook Ads、LinkedIn
こんにちは、技術本部 SRE部 基幹プラットフォームSREチームの斉藤です。普段はZOZOの持っている倉庫システムやブランド様が触る管理ページなどのサービスのオンプレミスとクラウドの構築・運用に携わっています。またDBREとしてZOZOTOWNのデータベース全般の運用・保守も兼務しております。 7月11日、12日に行われた「db tech showcase 2024」に、DBREから5名のエンジニアが参加しました。この記事では会場の様子と印象に残ったセッションについてご紹介します！ db tech showcaseとは 会場の様子 セッションレポート おわりに db tech showcaseとは 国内最大規模のデータとデータベース関連のカンファレンスです。このイベントでは、データベースの専門家やエンジニア、IT業界のリーダーたちが一堂に会し、新しい技術やソリューション、事例、ノウハウを共
By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali Norwood TL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star. What is MaestroMaestro is a general-purpose, horizontally scalable workflow orchestrator designed to manage large-scale
プロ御用達の無償SQLクライアント「A5:SQL Mk-2」も生成AI対応、ベータテストが開始（窓の杜） - Yahoo!ニュース
「やじうまの杜」では、ニュース・レビューにこだわらない幅広い話題をお伝えします。 【画像】、「AI アシスタント」パネルで「直近の5つを抽出」というごくごく簡単な依頼 プロフェッショナルにも愛用者の多いフリーのSQL開発環境「A5:SQL Mk-2」が、生成AIへの対応を進めているそうです。7月21日に公開されたv2.20.0 beta 22に、AIアシスタント機能が実装されています。 ご存じない方に軽く紹介しますが、「A5:SQL Mk-2」はさまざまなデータベース（DB）サーバーに対応した汎用SQLクライアントです。データベースツリー、［Ctrl］＋［Space］キーによる入力補完を備えたSQLエディター、「Excel」との連携可能なテーブルエディターなどから構成される本格的なツールですが軽量で、しかも無償です（寄付歓迎なので、ぜひご協力を！）。SQLの実行計画を取得したり、ER図を作
As developers, we use databases all the time. But how do they work? In this series, we'll try to answer that question by building our own SQLite-compatible database from scratch. Source code examples will be provided in Rust, but you are encouraged to follow along using your language of choice, as we won't be relying on many language-specific features or libraries. As an introduction, we'll implem
こんにちは。開発本部 たんぽぽ室 DevRel グループの杉田です。 遅ればせながら、今年も新卒向け技術研修の資料と動画を公開しました。 MIXI の新卒向け技術研修は、一部の科目を除いて、実際の開発現場で活躍する MIXI のエンジニアが講師を務めており、現状に合わせて見直しも行われていますので、最新の情報で学習することができます。是非、自己学習や勉強会の教材として、スキルアップや成長支援にお役立てください。 <<おねがい>> 公開している資料や動画は、是非、勉強会や社内の研修などにご自由にお使いいただければと思いますが、以下のような場でのご利用はご遠慮ください。 受講者から参加費や授業料など金銭を集めるような場での利用 （会場費や飲食費など勉強会の運営に必要な実費を集める場合は問題ありません） 出典を削除または改変しての利用 なお、資料や動画、リポジトリは非公開の科目もございます。予め
チェック・ポイント・ソフトウェア・テクノロジーズは2024年7月19日、同年6月の最新版「Global Threat Index」（世界脅威インデックス）を発表した。 今回のインデックスでは「Ransomware as a Service」（RaaS）の状況変化が報告されており、新興のランサムウェアグループである「RansomHub」が「LockBit3」を超えて最も活発に活動していることが判明している。 LockBit3の衰退とRansomHubが急成長 日本国内の動向は？ 調査によると、長期間猛威を振るっていたLockBit3ランサムウェアグループが衰退していることが確認されている。LockBit3は2024年2月の法執行措置以来活動が低下しており、同年4月の被害者数は27件に減少した。同年5月に一時的に170件に増加しているが、同年6月には再び20件未満に転じている。 一方、2024
データオーケストレーションという言葉を聞いたことがあるでしょうか？データマネジメントにおいて重要な役割を担う概念であり、Future Market Insights社によれば、世界のデータオーケストレーションツール市場は2024年には13億米ドル、2034年までに43億米ドルに成長するとも予測されています（Future Market Insights発表）。 本記事では、データオーケストレーションという言葉にあまり馴染みがない人に向けて、データオーケストレーションとは何か、その意義、よく課題となることについて説明し、そして実践するためのツールやサービスとその導入事例を紹介できればと思います。 データオーケストレーションとは？ オーケストレーションという単語はあまり日常では耳馴染みがないかもしれません。楽団を指すオーケストラという言葉の派生語であり、さまざまな要素を組織化、編成することを
綺麗なコードを書くためのコードレビューチェックリスト PR出す前にこの観点は必要だよねリストまとめ 1. 設計と仕様の整合性 コードが既存のシステム設計に一致しているか確認します。 例えば、MVCアーキテクチャを採用している場合、モデル、ビュー、コントローラーが適切に分離されているかをチェックします。 機能要件 コードが仕様書に記載された機能を正しく実装しているか確認 テストケースを使って期待される動作を検証すると効果的 非機能要件 パフォーマンス、セキュリティ、拡張性などの非機能要件も満たしているかをチェックし YAGNI（You Aren't Gonna Need It）の原則 必要な機能だけを実装し、将来の要求に備えて無駄な機能を追加しない。これはコードの複雑さを減らし、保守性を高めます。 オブジェクト指向設計の原則 単一責任の原則 (Single Responsibility Pr
アンドパッドが新卒エンジニア採用 1 期生となるメンバーが入社をしたのは 2023 年 4 月でした。 それから 1 年、どのような成長を遂げたのか、アンドパッドの開発はどんな模様なのか、また就職活動ではどんなことを考えていたのか、 1 期生の中から高橋、神戸の 2 人と、メンターの市川が対談しました。 IT エンジニアを目指し、就職活動を行う学生の皆さんの参考になれば幸いです。 高橋 悠斗 thehighhigh ANDPAD図面 開発チーム 大学では材料系を専攻し、マーク・ザッカーバーグの Facebook 起業ストーリーに惹かれ、起業とプロダクト開発を中心としたキャリアを選択。 大学卒業後、アンドパッドに入社し、現在は ANDPAD図面 開発チームに所属。神戸 基貴 motokikando ANDPAD黒板 開発チーム 大学・大学院で心理統計を専攻。 インターン先での受託開発業務か
生成AIの登場によって、レコメンドの仕組みが大きく変わろうとしています。例えば、ChatGPTにおすすめのマンガを聞いてみると、各漫画の特徴を捉えたうえで、おすすめしてくれます。 ChatGPTによるマンガのレコメンド例生成AIはレコメンドタスクを解くように開発されたわけではないですが、あらゆるジャンルにおいてある程度の性能でレコメンドできてしまうのは、とても驚異的なことです。また、推薦理由の提示も当たり前のようにしてくれるのも驚きです。従来のレコメンドでは、アイテムの並び替えパートやアイテムの推薦理由作成パートなどの、それぞれのパートごとに、異なるアルゴリズムを駆使して、最終的にレコメンドをユーザーに届けていました。一方で、生成AIでは、その一連の作業が、1つのAIでできてしまいます。 このように、生成AIは、従来のレコメンドではできなかった新しいレコメンドを可能にしてくれます。この記事
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Looker Studioの魅力と便利な使い方を紹介します - yasuhisa's blog
NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化
望ましい自動テストとは｜どのようなテストが開発生産性と開発者体験を共に高めるのか｜Tech Team Journal
PHPコア開発者になって半年経ったので、php-srcでの活動を振り返る - Qiita
プロ御用達の無償SQLクライアント「A5:SQL Mk-2」も生成AI対応、ベータテストが開始／OpenAIの「ChatGPT」とGoogleの「Gemini」が利用可能、割と実用的【やじうまの杜】
Google Cloud の CDC サービスを活用した請求フローの構築 - Repro Tech Blog
DBREの行くdb tech showcase 2024レポート - ZOZO TECH BLOG
Maestro: Netflix’s Workflow Orchestrator
Build your own SQLite, Part 1: Listing tables
【2024年版】MIXI 新卒向け技術研修の資料・動画を公開しました！
チェック・ポイント、2024年6月のマルウェア動向を公開 国内で猛威を振るう脅威は？
効率的なデータ運用の鍵、データオーケストレーションとは何か | gihyo.jp
綺麗なコードを書くためのコードレビューチェックリスト - Qiita
新卒 1 期生に聞く、プロダクトの成長と自分の成長を重ねるキャリア戦略 | ANDPAD_Engineers
2024年第2四半期の攻撃はSQLインジェクションが最多、EGセキュアソリューションズ調査
生成AI時代のレコメンド｜masa_kazama