従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
関数名、メソッド名、変数名でよく使う英単語のまとめ
プログラミングをしていると関数名、メソッド名、変数名をどうするか悩みます。 ロジックより命名に時間を費やすこともざらにあります。翻訳したり、一般的な命名規則なのかいつも検索して大変です。 よく使うサイトの内容をコピってメモしておく 関数名とメソッド名の違いについて よく使う英単語のまえに、いつもごっちゃにして使っているけど、定義はこんな感じ 「関数」と「メソッド」の違い 似ているところ どちらも何か（引数）を入れると処理をして何か（戻り値）を返してくれます。 違うところ やってること自体は大差ありません。概念としては違います。 メソッドはオブジェクト指向で登場する用語で、オブジェクトの動作を定義したものです。 まずオブジェクトありきなのですね。一方の関数は、オブジェクト云々は関係ありません。 個人的な使い分け Java で登場する関数は「メソッド」です。C 言語で登場する関数は「関数」と呼
こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。 そのような処理を定期的に行っているため、ネットワークの問題やサーバーの不調などにより処理が途中で失敗することがあります。そこで、リトライを容易にするため、すべての処理を冪等にしました。今回その中でも、BigQueryの追記処理に絞ってどのように冪等化したのかについて紹介します。 目次 目次 マス・セグメント配信基盤の紹介 課題 冪等化 BigQuery追記処理に関する冪等化の取り組み 冪等にならないケース INSERT 初
はじめに Claude Sonnet 4はコーディングが得意だけでなく、ほかのAIより人間性豊かで会話していて深い哲学的な気づきを得られる。そのため、技術的なところだけでなくプライベートのことも含めていろいろ話している。 ただ、ChatGPTと異なりメモリ機能を備え付けではないので、正直物足りないことも多かった。 Claude Desktop では MCP を使えるので、自分で MCP を作ればツール自作できるということに気づいた。そこでローカルで簡易的なメモリ機能を実装してみたら、個人的にとても感動した。 ＊全体的に個人的感想が多く含まれてます。すみません。 実際に何ができるようになったか まず、どんなことができるようになったか見てもらった方が早いと思う。 私はなぜLocal Memory MCPを作ったかを聞いたら 記憶をベースにかなり詳細な理由を述べてくれた。 AWSが出した新しいA
CloudFront標準ログでは取れないHTTPヘッダ - リアルタイムログ×Rust/Lambdaで取得・加工 - Techtouch Developers Blog
テックタッチの SRE チームの tabito です。Rust, AWS, Terraform, Lambda が大好きです。 最近は、業務外で Terraform の AWS Provider にコントリビュートしています （コントリビュートを始めてから約1年で、マージされたPR数は約240）。 また、これまでに『コンセプトから理解するRust』（技術評論社）、 『［詳解］ AWS Infrastructure as Code ―使って比べるTerraform＆AWS CDK』（技術評論社）を出版し、 最近は3冊目の著書『AWS Lambda 本格入門 RustとTerraformでつくるサーバーレスシステム』（講談社）も出版しました。 この記事では、CloudFront のリアルタイムログの出力と、出力されたログを Rust の Lambda 関数によって編集して、利便性を高めた取り組
BigQueryとGemini 1.5 Proによるラーメン店クチコミの定量分析 - G-gen Tech Blog
本記事では、Google Maps API から取得したラーメン店のクチコミデータに対する定量分析手法をご紹介します。 従来の BigQuery による感情分析の有用性を踏まえつつ、Gemini 1.5 Pro の導入によって可能となった、より柔軟なデータの構造化や特定タスクの実行方法を解説します。 分析の背景と目的 可視化イメージ 分析の流れとアーキテクチャ クチコミデータ取得と BigQuery への保存 API キーの取得 データ取得のサンプルコード クチコミ数の制限と緩和策 料金 感情分析とデータパイプライン Dataform の利点 Dataform を使った感情分析のパイプライン定義例 感情分析の結果解釈 ML.GENERATE_TEXT（Gemini 1.5 Pro） 関数を使用した高度な分析 ユースケースに応じた独自の評価観点によるクチコミの定量化 クチコミに対する自動返信
動かして理解する。AI駆動型マルウェアとは ― デモ用PoCによる挙動検証 ― - NTT docomo Business Engineers' Blog
この記事は、NTT docomo Business Advent Calendar 2025 18日目の記事です。 みなさんこんにちは、イノベーションセンターの田口です。 普段はOffensive Securityプロジェクトのメンバーとして攻撃技術の調査・検証に取り組んでいます。 私たちのチームでは定期的に技術LTと称して、各メンバーが自由に技術的知見を共有する時間を設けています。 この記事では、私が技術LTの場で発表したAI駆動型マルウェア1の動作デモと、発表後のチーム内議論の様子について紹介します。 この記事では、AI駆動型マルウェアの概念を理解するために、実害のないデモ用PoCを作成してその挙動を確認しています。 また、PoC悪用の可能性を考慮して検証の中で作成したコードやプロンプトの全体公開は控えさせていただきます。 Offensive Securityプロジェクトについて AI
Parsing SQL - Strumenta
The code for this tutorial is on GitHub: parsing-sql SQL is a language to handle data in a relational database. If you worked with data you have probably worked with SQL. In this article we will talk about parsing SQL. It is in the same league of HTML: maybe you never learned it formally but you kind of know how to use it. That is great because if you know SQL, you know how to handle data. However
This post is an account of why I prefer using the attrs library over Pydantic. I'm writing it since I am often asked this question and I want to have something concrete to link to. This is not meant to be an objective comparison of attrs and Pydantic; I'm not interested in comparing bullet points of features, nor can I be unbiased since I'm a major contributor to attrs (at time of writing, second
こんにちは、カスタマーエンジニアの大戸(おおど)です。 この記事は、「Google Cloud Japan Advent Calendar 2022 - 今からはじめる Google Cloud」の17日目の記事になります。 はじめに ここでは、「今から始める Google Cloud」ということで、これから Google Cloud を使っていく/ 使ってみたい ユーザー を対象にした、入門向けの内容になります。 今回は、「決まった時刻にJobを実行する方法」として、「Cloud Tasks」を利用する方法、「Cloud Scheduler」を利用する方法を、それぞれご紹介します。 ここに書くこと/ 書かないこと 今回は、Cloud Tasks/ Cloud Scheduler を初めて使う人向けの記事とし、プロダクトの概要と簡単な比較、使い方に関してフォーカスして記載しています。 ここ
--- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S
It's Time For A Change: datetime.utcnow() Is Now Deprecated
I was going through the release notes of the new Python 3.12 version the other day, and one item caught my attention in the deprecations section: datetime.datetime’s utcnow() and utcfromtimestamp() are deprecated and will be removed in a future version. If you have followed my web development tutorials you must have seen me use utcnow() a lot, so I will clearly need to re-train myself to use an al
I’m excited to announce the project I’ve been working on for the last year and a half: Game Bub, an open-source FPGA based retro emulation handheld, with support for Game Boy, Game Boy Color, and Game Boy Advance games. May 2025 Update: Want to buy a prebuilt Game Bub? I’m launching a crowdfunding campaign on Crowd Supply! Sign up to be notified when the campaign goes live. Play Video: Game Bub ca
Try Mastering Emacs for free! Are you struggling with the basics? Have you mastered movement and editing yet? When you have read Mastering Emacs you will understand Emacs. It’s that time again: there’s a new major version of Emacs and, with it, a treasure trove of new features and changes. Notable features include the formal inclusion of native compilation, a technique that will greatly speed up y
設定ファイルはPythonコードを動かすディレクトリに置きます。 設定ファイルの[BigQuery]セクションに、GA4のテーブルが入っているGoogle Cloudのプロジェクト名とデータセット名を記述します。 [GCS]セクションに、Avroファイルを格納するCloud Storageのバケット名を記述します。 コード説明 上記のPythonコードで行うことは以下の通りです。 BigQueryのGA4テーブルをAvro形式でexportします まずBigQueryからCloud Storageにexportし、次にCloud Storageからローカルにダウンロードします。 記事執筆時点で、BigQueryからローカルに直接exportできないため、Cloud Storageを経由しています。 テーブル名が「events_」から始まるテーブルをGA4のテーブルとみなし、まとめてexpo
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
Understanding GPU Memory 1: Visualizing All Allocations over Time – PyTorch
Blog Understanding GPU Memory 1: Visualizing All Allocations over Time During your time with PyTorch on GPUs, you may be familiar with this common error message: torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 512.00 MiB. GPU 0 has a total capacity of 79.32 GiB of which 401.56 MiB is free. In this series, we show how to use memory tooling, including the Memory Snapshot, the Memo
Posts | Bluesky
This is an in-depth dive into how creating a post works on Bluesky. We'll use Python below, without a SDK, so you can see how it works behind the scenes. You can skip the tutorial and get the full script of examples here. Post Record Structure Here is what a basic post record should look like, as a JSON object: { "$type": "app.bsky.feed.post", "text": "Hello World!", "createdAt": "2023-08-07T05:3
A mega tutorial with dozens of examples on how to use the pathlib module in Python 3 When I started learning Python, there was one thing I always had trouble with: dealing with directories and file paths! I remember the struggle to manipulate paths as strings using the os module. I was constantly looking up error messages related to improper path manipulation. The os module never felt intuitive an
Does OLAP need an ORM?
TL;DR · ORMs have proven to be useful for many developers in the OLTP/transactional stack (Postgres, MySQL, etc). · OLAP/analytical databases like ClickHouse could potentially benefit from ORM abstractions. · Existing transactional ORMs probably shouldn’t be extended to OLAP due to fundamental differences in semantic meaning between OLTP and OLAP. · Moose OLAP (part of MooseStack) is an open sourc
[AWS IoT Core] 固定長バイナリを送信して、Lambdaで処理してみました | DevelopersIO
1 はじめに CX 事業本部のデリバリー部の平内（SIN）です。 IoT 機器としてのデバイスでは、通信回線が、比較的贅沢に確保できない場合が有ります。 この場合、「通信量は、できるだけ小さくしたい」というニーズとなり、必要なデータをバイナリで送信するものも少なくないように思います。 例えば、「タイムスタンプ」「温度」と「湿度」といった内容のデータを考えてみた場合、キー名や、精度にもよりますが、下記の場合、文字列で 96byte となっています。 data = { "timestamp":1672186603.354603, "temperature": 8.13476276397705, "humidity": 53.37971496582031 } payload = json.dumps(data) そして、同じ内容を固定長バイナリで表現すると、精度を失うことなく、僅か 16 バイト
![[AWS IoT Core] 固定長バイナリを送信して、Lambdaで処理してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f59fe9f599f9521fc9d617ca2ba0ae8f3c94f439/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-iot-core.png)
Introduction: These Aren’t the JSONs You’re Looking For JSON (JavaScript Object Notation) was designed as a simple, lightweight, and human-readable data interchange format, often positioned as a more accessible alternative to XML. It has become the de facto standard for web APIs and system integration. However, while the specification itself is straightforward, different programming languages and
Streamlining access to tabular datasets stored in Amazon S3 Tables with DuckDB | Amazon Web Services
AWS Storage Blog Streamlining access to tabular datasets stored in Amazon S3 Tables with DuckDB As businesses continue to rely on data-driven decision-making, there’s an increasing demand for tools that streamline and accelerate the process of data analysis. Efficiency and simplicity in application architecture can serve as a competitive edge when driving high-stakes decisions. Developers are seek
この記事は、dbt Advent Calendar 2025 の 20日目の記事です。 qiita.com バクラク事業部 BizOps部 データグループへ25年11月に入社した さえない（ @saeeeeru ）です。LayerX のデータグループは BizOps 部に所属し、「事業成果に直結するデータ基盤」を構築しています。事業の意思決定を支える Fact Base の提供から、AI エージェントが活用できるデータ環境の整備まで、幅広い役割を担っています。詳しくは昨日の記事で紹介していますので、気になった方は是非ご覧ください。 tech.layerx.co.jp このデータ基盤でデータモデリングの中核になっているのが dbt （data build tool）です。dbt はデータウェアハウス内のデータ変換を SQL で記述・管理するツールで、変換ロジックを持つモデルは基本的に SQL
Sketch of a Post-ORM
I’ve been writing a lot of database access code as of late. It’s frustrating that in 2023, my choices are still to either write all of the boilerplate by hand, or hand all database access over to some inscrutable “agile” ORM that will become a crippling liability in the 2-3y timescale. This post is about how I want to use databases, from the perspective of an application server developer—not a DBA
はじめに 現在この記事は作成中です! 年内に完成を目指して更新していきます! はじめまして｡ jodaと申します｡ 今回､アイデミー様の「実践データサイエンス講座」における成果物を作成していきます｡ 成果物として選んだものは､ 機械学習を使用した仮想通貨botとなっております｡ 自分はここ2年ほど､C++をベースとした 為替の自動売買システム(EA)を作って稼働させておりました｡ (結果はお察しください) 心機一転､世を賑わせる仮想通貨に手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 検証方法としては､pandasを使ったり､ エクセルを使ったりいろいろな方法がある模様ですが､ どうせなら機械学習をやりたい､ ということで､アイデミー様のお世話になっている次第です｡ チャレンジな内容になって来ると思いま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜田島将太 | TAJIMA Shota
BigQueryでのデータ追記処理における冪等化の取り組み - ZOZO TECH BLOG
Claude Desktopに記憶を与えるLocal Memory MCPを自作してみて感動した話
Why I use attrs instead of pydantic
Google Cloud で、決まった時刻にjobを実行する、2つの方法
prompts.chat - AI Prompts Community
Game Bub: open-source FPGA retro emulation handheld
What's New in Emacs 28.1?
GA4のテーブルをBigQueryからPostgreSQLにAvroファイル経由でコピーする - Qiita
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
Python pathlib Cookbook: 57+ Examples to Master It (2022)
JSON is not JSON Across Languages | Dochia CLI Blog
LayerXのdbt Pythonモデル活用術 - 外部連携の実装パターン - LayerX エンジニアブログ
機械学習を利用した仮想通貨Bot作ってみた い BaseCode - joda!!