従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
日本株3700社以上を分析。yfinance x「わが投資術」株式スクリーニングアプリを作った話（バイブコーディング）
いきなりですが。 海外旅行したり働き始めたりすると、日本の良さが身に染みたと感じた人は多いんじゃないでしょうか？ なんかとりあえず外で働いてみたいと思っていましたが、今はいつ戻るかと考える日々です。（とにかく温泉に入りたい） また色々と各国を回る中で、日本企業ってアジア圏や他の国にもかなり進出してるんだなぁと実感しました。（そりゃそう） そんなこんなで日本株に興味を持ち 昨年にわが投資術を購入して実践し始めました。（まだ初めて一年目なので成績はわかりません。。。が、マイナスは無し） 自分でバフェットコードや Claude mcp-yfinance などを利用しながらスクリーニングしてみましたが、毎回決算が出るたびに手動とチャット相手にあるのも何かなぁ。と思いまして。 じゃあ自動収集とスクリーニング用のアプリ作ってみよう(vibe coding) そんなノリから、日本株全銘柄を自動収集・簡易
関数名、メソッド名、変数名でよく使う英単語のまとめ
プログラミングをしていると関数名、メソッド名、変数名をどうするか悩みます。 ロジックより命名に時間を費やすこともざらにあります。翻訳したり、一般的な命名規則なのかいつも検索して大変です。 よく使うサイトの内容をコピってメモしておく 関数名とメソッド名の違いについて よく使う英単語のまえに、いつもごっちゃにして使っているけど、定義はこんな感じ 「関数」と「メソッド」の違い 似ているところ どちらも何か（引数）を入れると処理をして何か（戻り値）を返してくれます。 違うところ やってること自体は大差ありません。概念としては違います。 メソッドはオブジェクト指向で登場する用語で、オブジェクトの動作を定義したものです。 まずオブジェクトありきなのですね。一方の関数は、オブジェクト云々は関係ありません。 個人的な使い分け Java で登場する関数は「メソッド」です。C 言語で登場する関数は「関数」と呼
[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO
はじめに Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(電話番号,日時,名前,人数)を正しく抽出できるか検証しました。 コールセンターでは、有人対応から無人対応に変更したいニーズが増えているように思います。 電話予約の無人対応を想定し、1回の発話で、下記の５つの予約情報を抽出できるか確認します。 お名前 電話番号 予約日 予約時間 人数 発話で予約情報を抽出する方法として、GPT-4 Turbo のJSONモードを利用します。 JSONモードの詳細は、下記を参照ください。 例えば、「名前はクラスメソッドで、電話番号は09011111111。来週の火曜日の19時に4名で予約できますか？」というテキストの場合、予約情報を下記のようにJSON形式で抽出が可能です。 発話した日付が2023年11月20日なので、来週の火曜日は、11月28
![[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1411bfc9bab7285dac15be8b3eb226c0b7047813/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fhirai_reservation_1200x630.png)
はじめに 実行環境 ディレクトリ構造 app migrations/model pyproject.toml ソースコードと簡単な解説 app/core app/core/abstract app/core/decorator app/core/exception app/core/interface app/core/middleware app/core/mixin app/ddd app/ddd/application app/ddd/application/schema app/ddd/application/schema/studnet app/ddd/application/usecase app/ddd/application/usecase/student app/ddd/domain app/ddd/domain/student app/ddd/infra app/ddd
API シナリオテストツール Postman・Tavern・runn 徹底比較 – 私が runn を選んだ理由 - TechDoctor開発者Blog
はじめに はじめまして、テックドクターでバックエンドエンジニアをしている筧と申します。 最近、弊社では API の品質を担保するために「API シナリオテスト」をプロダクトに導入しました。今回は、この API シナリオテストのツールである Postman(+Newman)、Tavern そして runn を比較し、最終的に runn を選んだ理由をご紹介します。 API シナリオテストとは？ API シナリオテストとはなんでしょうか？ 開発におけるテストといえば、ユニットテストや結合テスト、API テストや E2E テストなどをよく耳にします。しかしAPI シナリオテストという言葉はあまり聞き馴染みがないという方も多いかもしれません。 API シナリオテストは API テストの一種で、複数の API を連鎖的に呼び出して実行するテストです。以下の特徴を持っています。 複数の API を順序
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream（KVS）への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時
モバイルとの相性最強と言われるgRPCをFlutter x NestJSで実装し、Stream通信や認証、複数言語実装に使えるか試す
まとめ 相性バツグンといわれる、モバイル x gRPCは思ったよりずっと簡単に実装可能 複数言語間でもProtocol Buffersの恩恵により型変換を意識することなくスムーズに開発が進められる。 メソッド、引数の型、引数の返り値の型が自動生成されるのでとても良い RESTful APIにおけるheaderを、表現力の高いMetaDataとして利用し、認証認可等にも使えそう Streamをうまく使いこなせば、ユーザー体験をめっちゃ高くできそう。チャットやゲームなどの双方向通信が比較的楽に実装できるかも どんな人向きでない記事？ NestJSの詳しい実装を知りたい方 Bidirectional streaming, Client streamの詳細実装を知りたい方 モバイル向け通信技術の本格的な選択肢、gRPCを実際に試してみたい 現在、私の働いているMinediaで開発しているサービス群
こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。 そのような処理を定期的に行っているため、ネットワークの問題やサーバーの不調などにより処理が途中で失敗することがあります。そこで、リトライを容易にするため、すべての処理を冪等にしました。今回その中でも、BigQueryの追記処理に絞ってどのように冪等化したのかについて紹介します。 目次 目次 マス・セグメント配信基盤の紹介 課題 冪等化 BigQuery追記処理に関する冪等化の取り組み 冪等にならないケース INSERT 初
メルカリのデータアナリストの@__hiza__です。メルカリではデータアナリストとして日々SQLを使ったデータ分析をしつつ、業務外ではPythonを使ったアプリケーション開発を行っており、どちらの作業にもLLMを活用しています。 この記事ではデータアナリストに向けて、LLMにSQLを作成させて効率的にデータ分析を行うテクニック と、その背景にある応用可能な考え方を説明します。 関連記事メルカリでは、LLMをデータ分析の現場に活かすさまざまな取り組みが生まれています。 例えば、対話形式で誰でも手軽にデータ分析ができる社内ツール「Socrates」があります。これはデータアナリストに限らず、より多くのメンバーがデータを活用できるようになる強力なツールです。 一方で、私たちデータアナリストが日々向き合う、より複雑で専門的な分析を効率化する取り組みも行っています。 先日、私と同じデータアナリストの
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
pytest でテストケース毎に DB を自動的に初期化して、テスト開発体験を向上させる - SalesNow Tech Blog
概要 Web バックエンドのテストコードを書く場合、その多くは DB に依存していることが多いです。 DB 関連のテストは、テストデータの準備やテストケース毎の DB 処理化を適切に行うことが重要ですが、手間がかかる場合あるため、Mock で擬似的にテストしてしまうことも多いかと思います。 ただ、Mock を使ったテストは本質的な問題を検知できない意味のないテストになってしまう可能性があり、可能な限り DB の Mock を行わずに、実際の DB を使用してテストすることが望ましいと考えています。 本記事では、pytest、sqlalchemy、PostgreSQL を使った場合に、テストケース毎に DB を簡単に初期化しつつ、テストケース毎の前提データ登録も簡単うことでテスト開発体験を向上させる方法を紹介します。 前提環境 本記事では、以下の環境を前提として説明いたします。 python
# ----------------------------- # 2nd Screening V1 # ----------------------------- import time global_start_time = time.time() from google.colab import drive drive.mount('/content/drive') import pandas as pd import numpy as np import os from tqdm.notebook import tqdm import yfinance as yf from curl_cffi import requests # -------------------------------------------------- # ヘルパー関数定義セクション # --------
Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます。 # DynamoDB ログデータ格納用
【Python 3.12】型ヒント機能がいつの間にか進化していたので、慌ててキャッチアップする - ABEJA Tech Blog
ABEJA でプロダクト開発を行っている平原です。 先日、バックエンドで使っているGo言語のお勉強しようと「go言語 100Tips ありがちなミスを把握し、実装を最適化する」を読んでいました。その中でinterfaceは（パッケージを公開する側ではなく）受け側で定義するべきという記述を見つけてPythonでも同じことできないかと調べていると（PythonではProtocolを使うとうまくいきそうです。）、どうやら型ヒント機能がかなりアップデートされていることに気づき慌てて再入門しました。（3.7, 3.8あたりで止まってました。。） この記事では、公式ドキュメントを見ながら適当にコードを書き散らし、どの機能はどこまで使えるのか試してみたことをまとめてみました。 docs.python.org 環境 Python: 3.12.1 エディタ: Visual Studio Code Pylan
型安全かつシンプルなAgentフレームワーク「PydanticAI」の実装を解剖する - ABEJA Tech Blog
はじめに こちらはABEJAアドベントカレンダー2024 12日目の記事です。 こんにちは、ABEJAでデータサイエンティストをしている坂元です。最近はLLMでアプローチしようとしていたことがよくよく検証してみるとLLMでは難しいことが分かり急遽CVのあらゆるモデルとレガシーな画像処理をこれでもかというくらい詰め込んだパイプラインを実装することになった案件を経験して、LLMでは難しそうなことをLLM以外のアプローチでこなせるだけの引き出しとスキルはDSとしてやはり身に付けておくべきだなと思うなどしています（LLMにやらせようとしていることは大抵難しいことなので切り替えはそこそこ大変）。 とはいうものの、Agentの普及によってより複雑かつ高度な推論も出来るようになってきています。弊社の社内外のプロジェクト状況を見ていても最近では単純なRAG案件は減りつつあり、計画からアクションの実行、結果
ChatGPTのAPIがオープンになったのでSlackに分身を配置した話 - Money Forward Developers Blog
※飯テロを要求する社員と飯テロするbotと飯テロにダメだしする社員戯画 ご機嫌よう、世界 なんかもう最近は猫も杓子もChatGPTじゃないですか？ 僕みたいに自然言語処理をかじっていると、社内外問わずいろんな人から「ChatGPT、どうっすか」と まるで宗右衛門町の客引きのように 声をかけられます どうもこうも、それはそれでしょう、そもそもあの子のベースになっているGPT-3.5は単純にパラメータ数がｒｙ ChatGPTのAPIがついにオープンになったのでSlack botを早速導入する ※とんでもない嘘をつくChatGPT図絵 どうもCTO室AI推進部とグループ会社HiTTOで 二股 兼務中の@ken11です。 いや今回の話は非常にシンプルで掲題の通りなんですが、冗談抜きで社内外問わずChatGPTに対する強い興味と関心のお声を頂戴しており、せっかくなのでAPIが使えるようになったならみ
生成AIとArduinoで作る姿勢矯正システム - 振動で教える猫背防止デバイス - Insight Edge Tech Blog
こんにちは、Insight Edgeの小林まさみつです。本記事は Insight Edge Advent Calendar 2025 の8日目の記事です。 最近は生成AIをソフトウェア領域に応用した開発をしていますが、今回は趣向を変えてハードウェアと組み合わせたシステムを作成してみたので紹介します。 目次 1. はじめに 1.1 なぜ作ったのか 1.2 完成システムの紹介 1.3 この記事で分かること 2. システム概要 2.1 全体構成図 2.2 使用技術スタック 2.3 動作の流れ 3. ハードウェア編：振動モーター制御回路 3.1 必要な部品リスト 3.2 回路図と配線 3.3 動作確認とコード 4. ソフトウェア編：姿勢判定システム 4.1 カメラ設置とPythonでの画像取得 4.2 生成AI(Bedrock Claude Sonnet 4)との連携 4.3 Arduino との
IAMのポリシー設定画面 IAMユーザの作成方法の詳細は、IAM公式ドキュメント、または他の参考資料をご確認ください。 IAMユーザを作成する時に、「アクセスキー」と「シークレットアクセスキー」が作成時のみ画面に表示されます。これらのキーは後ほどログを取得する際に利用しますので、大切に保管してください。 AWSプロファイルを手元のPCに設定する方法もありますが、今回はプロファイルを生成せずに環境変数でコードに渡す方法で説明します。AWSプロファイルの設定を行いたい場合は、AWS公式ドキュメント（Configure the AWS CLI） を確認してください。 環境変数への登録と確認 「アクセスキー」と「シークレットアクセスキー」を環境変数に設定します。 $ export AWS_ACCESS_KEY=****************JUMP # 作成したアクセスキー $ export
Parsing SQL - Strumenta
The code for this tutorial is on GitHub: parsing-sql SQL is a language to handle data in a relational database. If you worked with data you have probably worked with SQL. In this article we will talk about parsing SQL. It is in the same league of HTML: maybe you never learned it formally but you kind of know how to use it. That is great because if you know SQL, you know how to handle data. However
Amazon Bedrock AgentCore で実現する「Code excecution with MCP」 - Taste of Tech Topics
この記事は AI Agent on AWS - Qiita Advent Calendar 2025 - Qiita 16日目の記事です。 1. はじめに こんにちは。データ分析エンジニアの木介です。 Anthropic が公開した「Code execution with MCP: building more efficient AI agents」では、MCP（Model Context Protocol）とコード実行環境を組み合わせて、コンテキスト消費を抑えながらツールを使うための新しい設計パターンとして Code execution with MCP が紹介されました。 今回は、この Code execution with MCP を Amazon Bedrock AgentCore と Strands Agents で実装し、直接MCPを実行するAgent と比較して、実行時間・消
This post is an account of why I prefer using the attrs library over Pydantic. I'm writing it since I am often asked this question and I want to have something concrete to link to. This is not meant to be an objective comparison of attrs and Pydantic; I'm not interested in comparing bullet points of features, nor can I be unbiased since I'm a major contributor to attrs (at time of writing, second
Index 挨拶＆背景の話 構成 実装 感想 1. 挨拶 & 背景の話 こんちには、アプリケーションエンジニアで働いてます。キムでございます。 この前、運用してるアプリケーション内で発生するとあるエラーを検知する処理を入れたことがあります。 そこまで素晴らしい構成ではないが、この構成を作るときに、なかなか私と似てる状況の例文がなくてここに少しでも似てる悩みがある方に役に立てれば…と思って記録して残します。 2. 構成 前提条件 Cloudwatch Logsを使う FILTER機能はすでに別処理で動いてる 必ずリアルタイムでキャッチアップする必要はない １日１回のアラームぐらいでも構わない 要するに、Filterがすでに他のもので機能してるので、追加でなにかしたくて今回の構成を作りました。 正直Filterをもう少し汎用的に改善して運用することもいい案になったかもしれませんが、このような使
GCPのCloud TasksとCloud Pub/Subの違い - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のM.Mです。 前回のブログでは、はじめてのGoogle App Engineということで、Google App EngineでWEBアプリを作った場合、ログはどのように確認するのか、redisやMySQLとはどのように連携するのかについて紹介しました。 また、WEBアプリは前回実施したKVSやRDBMSとの連携以外にも、他サービスが提供するAPIとの連携も多く行われるので、Google App Engineで作られたWEBアプリからGoogle Cloud Platformにて提供されているサービスを利用して非同期で他のAPIを実行する方法について確認しました。 （以下Google App EngineをGAE、Google Cloud PlatformをGCPと記載します） 1. Cloud TasksとCloud Pub/Sub GCPにて提供されてい
BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog
背景 & Disclaimer DuckDB 概念や代表的なユースケース 使ってみる 1週間〜一ヶ月などある程度の期間、分析で使いたい場合 便利なCLIツールとして使う 所感 参考 Dataflow 代表的なユースケース 具体例 参考 背景 & Disclaimer BigQueryは非常に便利で、BigQueryにさえ上がってしまえばSQLで巨大なデータを簡単に相手にできます とはいえ、BigQueryに行きつくまでが大変な場合もありえます 例: 個人情報を含むsensitiveなデータで、BigQueryに気軽に上げられないケース 一時的であっても、相談なしにその手のデータを気軽にアップロードするのはやめてください... 数万件程度であれば手元のエクセルで開いて、問題ない行/列だけに絞る、ということもできるが、もっと量が多いデータだとそういうわけにもいかない。そもそも分析はSQLでやり
BigQueryでSendGrid Activityをセキュアに管理する仕組みを構築した - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回はBigQueryでSendGrid Activityをセキュアに管理する仕組みを構築したのでその紹介をします。SendGridを使い始めた方や、今後メール送信データを活用していきたい開発者の方は必見です。 SendGridのActivityを管理したい SendGridでActivityを保管するアーキテクチャ SendGridのEvent Webhookの基本 SendGridのEvent Webhookをセキュアに受け取る仕組み Signed Event Webhook Requests カテゴリの付与 メール送信後にすぐにイベントをチェックする まとめ We are hiring !! SendGridのActivityを管理したい 弊社
はじめまして！ askenのユウマと申します😊 shoku-pan🍞という名前でTwitterをやっています。 askenでは、MLエンジニアとして働いてます。 主に、画像処理や自然言語処理、データサイエンス周りを担当しています。 また、業務効率化のためのツールの作成や、ナレッジ共有のための社内勉強会を開いたりもしてます。 社外では、kaggleやatmaCupに参加したり、データサイエンティストの方達ともくもく作業したりと、ゆるゆると活動しています。 さて、先日以下のTweetが弊社のエンジニアの間で話題になりました。 7月に実施した全社キックオフの余興として、SmartHRのSlackで使われた絵文字のランキングを動くグラフにしてみました📊 絵文字って会社のカルチャーがめっちゃでますね🥰https://t.co/QYLNptK4e7 pic.twitter.com/CLaeu8
「MCP」の「Python SDK」で「MCPサーバ」を構築する手順をまとめました。 ・macOS ・Python 3.10 以降 1. お天気サーバ現在のお天気データを提供する「MCPサーバ」を作成します。 2. セットアップセットアップ手順は、次のとおりです。 (1) uvのインストール。 brew install uv(2) プロジェクトの作成。 「Project name」は「weather_service」としました。 uvx create-mcp-server --path weather_service cd weather_service(3) 追加の依存関係のインストール。 uv add httpx python-dotenv3. サーバの作成(1) 「server.py」を以下のように編集。 ・weather_service/src/weather_service/se
Python で映画をオススメしてみる〜ユーザー評価に基づくレコメンド・システムの基礎とデータに潜むバイアス〜 - GMOインターネットグループ グループ研究開発本部
2022.01.07 Python で映画をオススメしてみる 〜ユーザー評価に基づくレコメンド・システムの基礎とデータに潜むバイアス〜 導入 こんにちは次世代システム研究室の T. I. です。 さて、今回の Blog では、前回の Blog に引き続き「施策デザインのための機械学習入門」を参考に日常のデータサイエンスの業務で生じうるバイアスとその対処方法について紹介します。 今回の課題はレコメンド・システムです。我々がインターネットを利用していると、日常の様々な場面で商品・作品をお勧めされていると思います。これらは各種Webサービスが日夜集めたアイテムや顧客のデータを元になされています。アイテムの推奨には２種類考えられます。 (1) ユーザーが興味を持って何度も閲覧・視聴しているものを推奨して再度コンヴァージョン(購入・試聴)してもらう。 (2) ユーザーが興味を持ってもらえるであろう新
--- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S
Iceberg × dbt × BigQuery × Snowflakeでつくる、マルチDWHパイプライン - ENGINEERING BLOG ドコモ開発者ブログ
1. はじめに NTTドコモ データプラットフォーム部の田中です。 近年、データ基盤のオープン化と相互運用性を背景に、OTF（Open Table Format）が話題になっています。 OTFは、クラウドストレージにあるデータレイク上のファイル群をDWHのテーブルのように安全かつ一貫性を保って扱うことができるオープン仕様であり、複数エンジンからの共通利用が可能になります。 その主要なフォーマットの一つであるApache Icebergは、主要クラウドDWH/エンジンでのネイティブ対応が進んでおり、ドコモ内でも活用検討がなされているところです。 本記事では、ドコモのデータパイプラインで、SnowflakeとBigQueryをまたぐ横断的な構成を実現した話をします。 今回はApache Iceberg Tableを用いて、Snowflakeにある上流データをBigQueryで加工しつつ、分析結
ある特徴的な文字列がある。 11b484b6-cfeb-4730-8fba-467aee2d26ad 使ったことがあれば、恐らくすぐに UUID であると分かると思う。UUID は16進数がハイフンで分けられた特徴的なフォーマットをしている。その区切り方は、 8-4-4-4-12 となんだか不思議な感じだ。 そもそも、UUID は 128bit の数値であり、それを文字列で表現したものなのでハイフンが無くたって問題ない。にもかかわらずわざわざ覚えにくいケタで区切ることが多い。 その理由として、最初に思いつくのは人間が読みやすくするためだとは思うが、覚えやすく均等に区切ったり、左右対称の形にはできなかったのだろうか？ UUID の定義 生成した UUIDv1 を眺めてみる 元祖 UUID（Network Computer System の UUID） 形式の謎 RFC4122 で times
Gemini CLIとVirtual Try on APIで試着アプリを開発してみた - G-gen Tech Blog
G-gen の奥田です。当記事では、Gemini CLI を利用した開発事例を紹介します。Google Cloud が提供するAPI である Virtual Try on API と、Web UI 用の Python フレームワークである Gradio を使用した、シンプルな画像生成 Web アプリの開発手順を紹介します。 はじめに Gemini CLI Virtual Try on API Gradio Gemini CLI を用いたアプリの開発 初期のディレクトリ構成 Gemini CLI による開発 Cloud Storage バケットの作成 エラー対応 ローカルでテスト Cloud Run にデプロイ 生成されたソースコード requirements.txt app.py Dockerfile はじめに Gemini CLI Gemini CLI とは、ターミナルから直接 Gemi
Azure Databricksで試す、レイクハウスでの非構造化ログの分析 - NTT docomo Business Engineers' Blog
この記事は、NTT Communications Advent Calendar 2024 12日目の記事です。 Azure Databricksを使ってレイクハウスアーキテクチャのログ基盤を構築し、 構造化されていないアプリケーションログの保管や加工、分析を試します。 はじめに レイクハウスアーキテクチャ ログ基盤とレイクハウス Azure Databricksでアプリケーションログを分析する Azure Databricksの準備 Terraformを使ったリソース作成 カタログとスキーマの作成 ログの取り込み ログの加工 BronzeからSilver SliverからGold ログの分析 (可視化) まとめ 参考文献 はじめに こんにちは、コミュニケーション&アプリケーションサービス部の吉仲です。 2022年度に入社し、初期配属からメール系システムと文書要約APIの開発・運用業務に取
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
【製造業 IoT の第一歩】三菱電機のシーケンサ MELSEC から取得した設備データを AWS に保存するまで | DevelopersIO
製造業の IoT 導入はとても奥が深い世界です。実際に試してみた内容や考慮したポイントの一端をご紹介します。 概要 最近、製造業の設備データを収集して AWS で可視化・活用したいというお問い合わせを受けることが多くなりました。 特に、一定の規模以上の工場などでは、PLC （Programmable Logic Controller）という設備機器を制御する装置が利用されていることが多く、この PLC から直接データを取得したいというケースがあります。 そこで今回は、この PLC からデータを取得して、時系列データベースである Amazon Timestream に保存するまでの手順を紹介したいと思います。 余談 製造業においては、「シーケンサ」というと一般的に PLC 全般のことを指して表現されることが多いですが、シーケンサは 三菱電機の PLC 製品名です。 しかし、国内の PLC 製
Understanding GPU Memory 1: Visualizing All Allocations over Time – PyTorch
Blog Understanding GPU Memory 1: Visualizing All Allocations over Time During your time with PyTorch on GPUs, you may be familiar with this common error message: torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 512.00 MiB. GPU 0 has a total capacity of 79.32 GiB of which 401.56 MiB is free. In this series, we show how to use memory tooling, including the Memory Snapshot, the Memo
A mega tutorial with dozens of examples on how to use the pathlib module in Python 3 When I started learning Python, there was one thing I always had trouble with: dealing with directories and file paths! I remember the struggle to manipulate paths as strings using the os module. I was constantly looking up error messages related to improper path manipulation. The os module never felt intuitive an
Does OLAP need an ORM?
TL;DR · ORMs have proven to be useful for many developers in the OLTP/transactional stack (Postgres, MySQL, etc). · OLAP/analytical databases like ClickHouse could potentially benefit from ORM abstractions. · Existing transactional ORMs probably shouldn’t be extended to OLAP due to fundamental differences in semantic meaning between OLTP and OLAP. · Moose OLAP (part of MooseStack) is an open sourc
こんにちは、メディアサービス開発部サービス分析課の佐藤です。推しTRPGはD&D5版です。今年4月に入社し、事業横断データ基盤を構築しています。 今回はブックウォーカー社内でデータ基盤を構築するにあたって身につけたAWS関連の知識、主にRDSのexport snapshot to S3、Glue Job、AWS Serverless Application Model （以下SAMと略します）周りについて書いていきます。 背景 手法1. 定期的なデータ抽出 手法2. 外部接続 手法3. Change Data Capture システム構成の詳細 Export Snapshot to S3 AWS Glue Job Step FunctionsとEvent Bridge SAMとCI/CD 最終成果物とシステム運用 課題 parquetのデータ型 データの更新頻度 最後に 背景 株式会社ブッ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜田島将太 | TAJIMA Shota
PythonでDDDやってみた💪 - techtekt
BigQueryでのデータ追記処理における冪等化の取り組み - ZOZO TECH BLOG
データアナリストのためのLLM時代のSQL作成術｜Mercari Analytics Blog
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
Python×株式投資：従来の100倍！銘柄選抜のバックテストを高速化した話 - Qiita
AWS CloudWatchのログをpandasで解析し、エラーの状況を可視化する | gihyo.jp
Why I use attrs instead of pydantic
AWS Lambdaを使って特定ログを通知する - Qiita
あすけんSlackの人気絵文字ランキング - asken テックブログ
MCP の Python SDK で MCPサーバ を構築｜npaka
prompts.chat - AI Prompts Community
なぜUUIDはハイフンで8-4-4-4-12に区切られているか？ - Buri Memo:
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
Python pathlib Cookbook: 57+ Examples to Master It (2022)
いくつものDBからデータをかき集めるには - BOOK☆WALKER inside