並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 40件

新着順 人気順

python timezone utc 1の検索結果1 - 40 件 / 40件

  • ChatGPT プラグイン機能一覧|しおぱん

    こんにちは。しおぱんです。ChatGPTのプラグインがあまりに多すぎて大変だったので、プラグイン機能一覧を作りました。 【お知らせ】 プラグインの増加速度が早すぎるため、記事作成が追いついておりません🙇 お急ぎの方はこの記事作成でも利用しております、こちらのプロンプトを使ってみてください🙌 【カテゴリ検索の方法】 ブラウザの検索バーに [カテゴリ名] を入力すると絞り込みできます🙆 Mac: Command + F / Windows: Ctrl + F 【カテゴリ一覧】 [エンタメ] [音楽・音声] [画像・動画] [学習] [学術] [語学] [プログラミング] [ビジネス] [マーケティング] [ファイナンス] [ニュース] [ツール] [リサーチ] [ウェブアクセス] [天気] [旅行] [レストラン] [ショッピング] [医療・健康] [不動産] [求人] [ユーティリティ

      ChatGPT プラグイン機能一覧|しおぱん
    • AIエージェント自作のための基礎知識 - 誰かの役に立てばいいブログ

      世は大 AI 時代ということで、調べ事や開発に様々な AI を利用するようになりました。 AI 失業だの SaaS is dead だのと騒がしいですが、そういうのは今日は置いておきます。 AI を使うのも良いですけど、せっかくソフトウェアエンジニアをやっているのですから、自分で作ってみるのもいいですよね。 結論から先に書いておくと、AIエージェントも今どきは簡単に自作できるようになっています。 この記事では Google 製の Agent Development Kit (ADK) を使いますが、何を使うにせよ、そもそも AI エージェントがどう動いているか理解しておかないと効率が悪いです。 それだって AI に聞けば出てくる、、わけですが、まあ人間が要点をまとめた記事にもまだ五円くらいは価値があるかなってことでまとめてみました。 ... お察しの通り、AI に指示して書かせたわけですけ

        AIエージェント自作のための基礎知識 - 誰かの役に立てばいいブログ
      • Deno入門 ─ 新しいTypeScript/JavaScript実行環境でWebアプリ開発とデータベース接続の基本を体験しよう|ハイクラス転職・求人情報サイト アンビ(AMBI)

        例えばmain.tsというスクリプトに対して、ファイルの読み取りだけを許可したい場合は、以下のようにコマンドを実行します。 $ deno run --allow-read main.ts このときmain.tsプログラムはファイルの読み取りだけが可能になるため、ファイルの書き込みやネットワークアクセスをするとPermissionErrorによる実行時エラーになります。 なお、実行時にフラグを何も与えなければ、どの権限も持っていない状態になります。 各フラグにはパラメータを指定でき、例えば次のように実行すると/home/userディレクトリの読み込みだけが許可されます(--allow-writeフラグも同様)。 $ deno run --allow-read=/home/user main.ts また、--allow-netを次のように指定すると、特定のドメインとポートだけのアクセスを許可で

          Deno入門 ─ 新しいTypeScript/JavaScript実行環境でWebアプリ開発とデータベース接続の基本を体験しよう|ハイクラス転職・求人情報サイト アンビ(AMBI)
        • 技術ニュースを毎朝スマホで流し読みしたい、だから自分専用サイトを開発した話

          Next.jsは使っていません。更新は1日1回で動的コンテンツもないので、Viteのbuildで十分です。 テストは先に書いて、実装と分けた Claude Codeに実装を任せるときに怖いのは、テストを通すためだけの嘘実装ができてしまうことです。 ダミーデータで埋めたり、assertを弱めたり、skipを入れたりするパターン。 対策として、テスト設計と実装担当を物理的に分けて、最後にクロスレビューするフローにしています。 1. テスト設計担当がテストとスケルトンを先に書く 2. 僕がテスト観点をレビュー 3. 実装担当がテスト全 PASS するまで書く。テストファイルには触らない 4. テスト設計担当がクロスレビュー。テストファイルのmtimeが自分の作業時刻で止まっているかを確認する Python側99テスト、Web側 35テスト、合計134テストで固めました。 mtimeベースの検証は

            技術ニュースを毎朝スマホで流し読みしたい、だから自分専用サイトを開発した話
          • KeyTrap (CVE-2023-50387)を検証してみた - knqyf263's blog

            DNSは趣味でやっているだけですし有識者のレビューを経ているわけでもないので誤りを含むかもしれませんが、DNS界隈には優しい人しかいないのできっと丁寧に指摘してくれるはずです。 追記:めちゃくちゃ丁寧にレビューしていただいたので修正いたしました。森下さんほどの方に細かく見ていただいて恐れ多いです...(学生時代に某幅広合宿で森下さんの発表を見てDNSセキュリティに興味を持った) 4万文字を超える大作、おつかれさまです。わかりやすく書けていると思いました。 ざっと読んで、コメントしてみました。ご参考まで。https://t.co/bVj5WeFHQr https://t.co/ku5NOx6ua8— Yasuhiro Morishita (@OrangeMorishita) 2024年2月19日 要約 背景 詳細 DNSSECとは? DNSSECの可用性 鍵タグの衝突 攻撃内容 SigJam

              KeyTrap (CVE-2023-50387)を検証してみた - knqyf263's blog
            • プロと読み解く Ruby 3.1 NEWS - クックパッド開発者ブログ

              技術部の笹田(ko1)と遠藤(mame)です。クックパッドで Ruby (MRI: Matz Ruby Implementation、いわゆる ruby コマンド) の開発をしています。お金をもらって Ruby を開発しているのでプロの Ruby コミッタです。 本日 12/25 に、ついに Ruby 3.1.0 がリリースされました(Ruby 3.1.0 リリース )。今年も Ruby 3.1 の NEWS.md ファイルの解説をします。NEWS ファイルとは何か、は以前の記事を見てください。 プロと読み解く Ruby 2.6 NEWS ファイル - クックパッド開発者ブログ プロと読み解くRuby 2.7 NEWS - クックパッド開発者ブログ プロと読み解くRuby 3.0 NEWS - クックパッド開発者ブログ 本記事は新機能を解説することもさることながら、変更が入った背景や苦労な

                プロと読み解く Ruby 3.1 NEWS - クックパッド開発者ブログ
              • distrolessコンテナイメージの中を覗いて「なんか軽くてセキュアらしい」より理解を深める - エムスリーテックブログ

                この記事はセキュリティチームブログリレー3日目 兼 AIチームブログリレー3日目の記事です。 こんにちは、セキュリティチーム 兼 AIチームの横本(@yokomotod)です。 今回は distroless コンテナイメージについて自由研究してみました。 エムスリーでもよく使われている gcr.io/distroless/static などの distroless イメージ、「シェルもパッケージマネージャもない最小限のイメージ」「軽量!なにもないから安全!」といった説明がされますが、今回は実際にその中身を確かめてみようと思います。 ブログリレーの前回記事はこちら www.m3tech.blog www.m3tech.blog コンテナベースイメージのおおまかな選択肢 scratch だけだと何が足りないか scratch で動かしてみる CGO_ENABLED=0 にしてみる distro

                  distrolessコンテナイメージの中を覗いて「なんか軽くてセキュアらしい」より理解を深める - エムスリーテックブログ
                • PostgreSQL Client から自作 DBMS に接続する - goropikariの備忘録

                  最近、Go の練習がてら書いていた自作 DBMS に PostgreSQL client で接続できるようになったので、そのやり方を残しておきます。(これから紹介するサンプルコードはすべて Python ですが) github.com psql --version psql (PostgreSQL) 13.2 pgcon の資料と PostgreSQL の公式 Document、加えて PostgreSQL server と client 間に流れるパケットを眺めると、自作DBMSは client から接続されたときにどういうパケットを返せばいいのかが見えてきます。 https://www.pgcon.org/2014/schedule/attachments/330_postgres-for-the-wire.pdf https://www.postgresql.org/docs/13/

                    PostgreSQL Client から自作 DBMS に接続する - goropikariの備忘録
                  • REST API Design Best Practices Handbook – How to Build a REST API with JavaScript, Node.js, and Express.js

                    By Jean-Marc Möckel I've created and consumed many API's over the past few years. During that time, I've come across good and bad practices and have experienced nasty situations when consuming and building API's. But there also have been great moments. There are helpful articles online which present many best practices, but many of them lack some practicality in my opinion. Knowing the theory with

                      REST API Design Best Practices Handbook – How to Build a REST API with JavaScript, Node.js, and Express.js
                    • GitHub - modelcontextprotocol/servers: Model Context Protocol Servers

                      Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. 2slides - An MCP server that provides tools to convert content into slides/PPT/presentation or generate slides/PPT/presentation with user intention. ActionKit by Paragon - Connect to 130+ SaaS inte

                        GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
                      • neue cc - Claudia - Anthropic ClaudeのC# SDKと現代的なC#によるウェブAPIクライアントの作り方

                        AI関連、競合は現れども、性能的にやはりOpenAI一強なのかなぁというところに現れたAnthropic Claude 3は、確かに明らかに性能がいい、GPT-4を凌駕している……!というわけで大いに気に入った(ついでに最近のOpenAIのムーブが気に入らない)ので、C#で使い倒していきたい!そこで、まずはSDKがないので非公式SDKを作りました。こないだまでプレビュー版を流していたのですが、今回v1.0.0として出します。ライブラリ名は、Claudeだから、Claudiaです!.NET全般で使えるのと、Unity(Runtime/Editor双方)でも動作確認をしているので、アイディア次第で色々活用できると思います。 GitHub - Cysharp/Claudia 今回のSDKを作るにあたっての設計指針の一番目は、公式のPython SDKやTypeScript SDKと限りなく似せる

                        • 雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog

                          2024/08/22修正: はてなブックマークのコメントから、「それってデシリアライズって言わないよ」というご指摘を頂戴しました。 恥ずかしながら浅学であったがゆえに用語を取り違えたまんま長らく覚えてまして、これを整形表示(Pretty Print)と修正させていただきました。最初の用語登場箇所のみ修正した内容として取り消し線付きで記述しておりまして、それ以降は置換させてもらっています。 ご指摘誠にありがとうございました<(_ _)> これとは別に、後半で記述してるコードの一部に使わないライブラリのinport文がありましたのでこれを削除しています。 割とこの辺り、勢いで作ったり書いたりしながら技術の基礎的なところを探索して回ってるところも多いため、色々誤植もほかにあろうかと思います。何卒ご了承くださいませ<(_ _)> こうも暑いと頭が回らず・・ 今年も見事に予想通りの酷暑となりました。

                            雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog
                          • 型安全かつシンプルなAgentフレームワーク「PydanticAI」の実装を解剖する - ABEJA Tech Blog

                            はじめに こちらはABEJAアドベントカレンダー2024 12日目の記事です。 こんにちは、ABEJAでデータサイエンティストをしている坂元です。最近はLLMでアプローチしようとしていたことがよくよく検証してみるとLLMでは難しいことが分かり急遽CVのあらゆるモデルとレガシーな画像処理をこれでもかというくらい詰め込んだパイプラインを実装することになった案件を経験して、LLMでは難しそうなことをLLM以外のアプローチでこなせるだけの引き出しとスキルはDSとしてやはり身に付けておくべきだなと思うなどしています(LLMにやらせようとしていることは大抵難しいことなので切り替えはそこそこ大変)。 とはいうものの、Agentの普及によってより複雑かつ高度な推論も出来るようになってきています。弊社の社内外のプロジェクト状況を見ていても最近では単純なRAG案件は減りつつあり、計画からアクションの実行、結果

                              型安全かつシンプルなAgentフレームワーク「PydanticAI」の実装を解剖する - ABEJA Tech Blog
                            • Vertex AIを活用したMLOps基盤の作成 | CyberAgent Developers Blog

                              みなさんどうもこんにちは、AI事業本部の「極予測TD」というプロダクトで2023年2月から2ヶ月間、機械学習エンジニアとしてインターンシップ「CA Tech JOB」に参加させていただいた、高橋駿一と申します。本記事では、インターンシップで行った、MLOps基盤の開発についてご紹介します。 極予測TDとは 極予測TDとは、レスポンシブ検索広告(RSA)を自動生成する「広告テキスト自動生成AI」と、広告配信効果を事前に予測する「効果予測AI」を掛け合わせることで、効果的なRSAを制作するプロダクトです。 本インターンシップでは、効果予測AIのMLOpsに取り組みました。 背景 チームに参加した際、以下のような状況にありました。 複数の予測モデルが運用されているうち、一部、MLパイプラインが未実装のものがあった 上記モデルはリリース当初からモデルが更新されていなかったが、時間が経過したことでデ

                                Vertex AIを活用したMLOps基盤の作成 | CyberAgent Developers Blog
                              • 人手のリサーチをデータパイプラインに。dbt Python model × LLM Web Searchで公開情報をSnowflakeに載せるまで - LayerX エンジニアブログ

                                LayerX BizOps 部データグループのさえない (@saeeeeru) です。最近は娘と『名探偵プリキュア!』にハマっています。「自分で見て、感じて、考えて、"本当"の答えを出す」。AI 時代だからこそ刺さるメッセージです(推理パートをちゃんと解けるようになりたい)。 前回の記事では、dbt Python model から外部 API を呼び出す実装パターンを紹介しました。今回はその応用として、LLM の Web Search 機能を使って公開情報を取得し、それをデータパイプラインに組み込む実践例を書きます。 この記事では、まず LLM の Web Search 機能をどう使うとデータパイプラインに載せやすい形になるのか を説明し、そのうえで Snowflake / dbt にどう載せたのか、そして本番運用の中でどんな品質課題が見えてきたのか、という順に整理します。 Web Sea

                                  人手のリサーチをデータパイプラインに。dbt Python model × LLM Web Searchで公開情報をSnowflakeに載せるまで - LayerX エンジニアブログ
                                • hypothesis+panderaで始める、データフレームに対するProperty Based Testing - Sansan Tech Blog

                                  技術本部 R&D研究員の前嶋です。梅雨の季節ですが、少しでも快適に過ごせるようにOnのCloud 5 wpを購入しました。水に強くて軽快な履き心地で最高ですね。(追記:この記事の公開作業をしている間に梅雨が終わってしまいました) 今回は、データフレームのテストについての記事です。 データフレームのテストをどう書くか データが中心となるサービスのネックになるのが テストをどう書くか です。というのも、データフレームは行×列の構造になっているため、入力あるいは出力値がデータフレームになるような関数が多いプログラムでは、テストケースを書くのが非常に面倒です。仕様の変更があった場合、それぞれのテスト用の疑似データに修正を加えることを考えると、より簡潔にデータフレームのバリデーションをする方法が欲しいところです。実は、データフレームのテストはProperty Based Testingという考え方と

                                    hypothesis+panderaで始める、データフレームに対するProperty Based Testing - Sansan Tech Blog
                                  • Backlogの通知をLambdaで受けてSlackに通知してみた | DevelopersIO

                                    Backlogの通知をLambdaで自由に色々いじってSlackに飛ばします。Lambdaに飛ぶのでピタゴラスイッチし放題です。 業務ではBacklogでプロジェクト管理を行っています。 一方、メンバーとのコミュニケーションはもっぱらSlackを使っているので、 情報はできるだけSlackに集約させたいなぁと思っています。 そう思った時、さすがはBacklog、当然のようにSlack連携が用意されています。 もちろんベーシックな通知はこれでばっちりです。 しかしBacklogで色々管理をしたり、徹底的にラクをしていくためにも、 私にはゴリゴリにカスタマイズ可能な通知が必要だな、と思ってしまいました。 ということで、Backlogでのイベント発生を起点としてピタゴラスイッチを楽しむためにも、 ここはLambdaへ全ての通知を飛ばしておくことにしました。 もちろんLambdaに飛ばすだけだと何

                                      Backlogの通知をLambdaで受けてSlackに通知してみた | DevelopersIO
                                    • Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG

                                      はじめに こんにちは、ML・データ部MLOpsブロックの松岡です。 本記事ではCloud Composerのワークフローにおいて、GPUを使うタスクで発生したGoogle CloudのGPU枯渇問題と、その解決のために行った対策を紹介します。 ZOZOが運営するZOZOTOWN・WEARでは、特定の商品やコーディネート画像に含まれるアイテムの類似商品を検索する類似アイテム検索機能があります。本記事ではこの機能を画像検索と呼びます。 画像検索では類似商品の検索を高速に行うため、画像特徴量の近傍探索Indexを事前に作成しています。近傍探索Indexはワークフローを日次実行して作成しています。 このワークフローでは大きく次のように処理を行っています。 当日追加された商品の情報を取得し、商品情報をもとに商品画像を取得する。 物体検出器で商品画像から商品が存在する座標とカテゴリーを検出する。 検出

                                        Google Cloud ComposerでGPUを使ったタスクを安定稼働するために行ったこと - ZOZO TECH BLOG
                                      • 業務日付を抽象化、その後具象から守る: 抽象オブジェクト&プロバイダーパターン - Nealle Developer's Blog

                                        こんにちは、ニーリーの佐古です。 現在開発速度や開発者体験の向上のため、取り組みの諸々を遂行しています。 ニーリーアドベントカレンダー 19日目の記事です。 トレンドや流れを無視して今回は「よく使うけどなぜかパッと見つかるところで資料化されていない設計パターン」についてのメモです。ご利用の際のタイムゾーンはよきように。 はじめに アプリケーションのあちこちで日付判定が重複したり、バッチ実行時にシステム日付をいじったり、UT追加の度に日付取得処理/判定処理をモックしたり、それが原因でUTがflakyになって煩悶したりしていますか?私は割としています。ということで今回はその対策について。 ステップ1: 業務日時の抽象化 業務に関する日時判断・計算を行う際はオブジェクトを定義して各種判定を楽にしたいものです。 from __future__ import annotations from dat

                                          業務日付を抽象化、その後具象から守る: 抽象オブジェクト&プロバイダーパターン - Nealle Developer's Blog
                                        • Supply Chain Attack on Axios Pulls Malicious Dependency from...

                                          Update 4/1: We dug deeper into the hidden blast radius of this attack and how dependency resolution expanded its impact: https://socket.dev/blog/hidden-blast-radius-of-the-axios-compromiseA supply chain attack targeting the widely used HTTP client Axios has introduced a malicious dependency into specific npm releases, including axios@1.14.1 and axios@0.30.4. The latest version pulls in plain-crypt

                                            Supply Chain Attack on Axios Pulls Malicious Dependency from...
                                          • Package Managers Need to Cool Down

                                            This post was requested by Seth Larson, who asked if I could do a breakdown of dependency cooldowns across package managers. His framing: all tools should support a globally-configurable exclude-newer-than=<relative duration> like 7d, to bring the response times for autonomous exploitation back into the realm of human intervention. When an attacker compromises a maintainer’s credentials or takes o

                                              Package Managers Need to Cool Down
                                            • Security Update: Suspected Supply Chain Incident | liteLLM

                                              Status: Active investigation Last updated: March 27, 2026 Update (March 30): A new clean version of LiteLLM is now available (v1.83.0). This was released by our new CI/CD v2 pipeline which added isolated environments, stronger security gates, and safer release separation for LiteLLM. Update (March 27): Review Townhall updates, including explanation of the incident, what we've done, and what comes

                                                Security Update: Suspected Supply Chain Incident | liteLLM
                                              • ChatGPT Containers can now run bash, pip/npm install packages, and download files

                                                Sponsored by: Teleport — Secure, Govern, and Operate AI at Engineering Scale. Learn more ChatGPT Containers can now run bash, pip/npm install packages, and download files 26th January 2026 One of my favourite features of ChatGPT is its ability to write and execute code in a container. This feature launched as ChatGPT Code Interpreter nearly three years ago, was half-heartedly rebranded to “Advance

                                                  ChatGPT Containers can now run bash, pip/npm install packages, and download files
                                                • prompts.chat - AI Prompts Community

                                                  --- name: skill-creator description: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Claude's capabilities with specialized knowledge, workflows, or tool integrations. license: Complete terms in LICENSE.txt --- # Skill Creator This skill provides guidance for creating effective skills. ## About Skills S

                                                    prompts.chat - AI Prompts Community
                                                  • オンプレDWHをBigQueryに移行した話 - ZOZO TECH BLOG

                                                    はじめに こんにちは。MA部MA施策・運用改善チームの辻岡です。MA部では、ZOZOTOWNのメルマガ・アプリPUSH通知などの配信・分析等の用途で約数十TBのデータを運用しています。今回は長年MAのデータ基盤として利用してきたオンプレDWHをBigQueryに移行したおはなしをします。 この記事はこんな方におすすめ オンプレDWHからBigQuery移行を検討・実施してる方 ジョブ・スケジューラ、ETLツールの移行を検討・実施してる方 概要 オンプレDWHからBigQuery移行する前後の構成イメージを元に、今回の移行の話について概要を説明します。 次の図が移行前の構成図です。オンプレ環境のWindowsサーバ上でジョブ・スケジューリングと実行を基盤処理として、データウェアハウス(以後オンプレDWH)に対してデータ生成や外部システムとの連携をしていました。 今回、以下を目的にオンプレDW

                                                      オンプレDWHをBigQueryに移行した話 - ZOZO TECH BLOG
                                                    • It's Time For A Change: datetime.utcnow() Is Now Deprecated

                                                      I was going through the release notes of the new Python 3.12 version the other day, and one item caught my attention in the deprecations section: datetime.datetime’s utcnow() and utcfromtimestamp() are deprecated and will be removed in a future version. If you have followed my web development tutorials you must have seen me use utcnow() a lot, so I will clearly need to re-train myself to use an al

                                                        It's Time For A Change: datetime.utcnow() Is Now Deprecated
                                                      • Instance Schedulerを使ってEC2の稼働時間を管理してみた

                                                        概要 会社で使っているEC2はSavings Plansを採用していてオンデマンドで使うよりも安い料金でEC2を利用しています。 ただそれでもEC2の数が段々と増えていて、当初の予想よりもコンピューティングリソースの消費が大きくなりEC2の利用料が大きくなってきました。 そこで検証環境のEC2の稼働時間を減らし、コンピューティングリソースの消費を抑えることでEC2の利用料を節約しようと思いました。 前職では先輩が作成したLambdaで21:00~翌9:00の時間帯は自動でシャットダウンする仕組みができており、当初はそれを真似しようと思いましたがInstance Schedulerなるものを今の会社のリーダーから教わりました。 今回はInstance Schedulerを実際に使ってみてどういったものなのか試してみました。 Instance Schedulerについて 先にお話しするとIns

                                                          Instance Schedulerを使ってEC2の稼働時間を管理してみた
                                                        • Cloud DataflowでGCS→BQのパイプラインをPythonで試してみる | DevelopersIO

                                                          はじめに データアナリティクス事業本部のkobayashiです。 GoogleCloudのETLサービスのDataflowを調査する機会があり、Google Cloud Storage(以降GCS)にあるCSVファイルをBigQueryにロードする処理をPythonスクリプトで試してみましたのでまとめます。 Dataflow  |  Google Cloud Cloud Storage Text to BigQuery DataflowはマネージドなApache Beam Runnerでプログラミング言語としてはJava,Python,Goを使うことができます。今回やろうとしている「Cloud Storage Text to BigQuery」に関してはGoogle提供のバッチテンプレートがありますが、このテンプレートはJavaで記述されているため使用せずPythonで実装してみます。 B

                                                            Cloud DataflowでGCS→BQのパイプラインをPythonで試してみる | DevelopersIO
                                                          • GCPとMarquezで始めるデータリネージ

                                                            データリネージの自動収集と可視化について調べた内容をもとに、実際にGCPで実装する方法をまとめていきます。 データリネージとは 業務システムから生成・抽出されるデータをなんらかの処理をして別のシステムへ連携したり、データ分析のために利用したりすることは企業内で日常的に行われています。また、これらデータのライフサイクルは適切に管理されていないと複雑化する傾向にあると思います。データのライフサイクルの複雑化により、利用されていないもしくは重複して保持しているデータが放置され無駄なコストが発生したり、データ品質の低下や機密情報への不適切なアクセスなどのトラブルに繋がることも予想されます。 このような問題に対処する手段の1つとして、データの生成元から利用先までの流れを常に追跡可能な状態に維持することが挙げられます。このデータの生成元から利用先までの流れをデータリネージといいます。 データリネージの

                                                              GCPとMarquezで始めるデータリネージ
                                                            • GA4のテーブルをBigQueryからPostgreSQLにAvroファイル経由でコピーする - Qiita

                                                              設定ファイルはPythonコードを動かすディレクトリに置きます。 設定ファイルの[BigQuery]セクションに、GA4のテーブルが入っているGoogle Cloudのプロジェクト名とデータセット名を記述します。 [GCS]セクションに、Avroファイルを格納するCloud Storageのバケット名を記述します。 コード説明 上記のPythonコードで行うことは以下の通りです。 BigQueryのGA4テーブルをAvro形式でexportします まずBigQueryからCloud Storageにexportし、次にCloud Storageからローカルにダウンロードします。 記事執筆時点で、BigQueryからローカルに直接exportできないため、Cloud Storageを経由しています。 テーブル名が「events_」から始まるテーブルをGA4のテーブルとみなし、まとめてexpo

                                                                GA4のテーブルをBigQueryからPostgreSQLにAvroファイル経由でコピーする - Qiita
                                                              • Handling Concurrency Without Locks

                                                                Concurrency is not very intuitive. You need to train your brain to consider what happens when multiple processes execute a certain code block at the same time. There are several issues I often encounter: Failing to recognize potential concurrency issues: It's not uncommon for both beginner and seasoned developers to completely miss a potential concurrency problem. When this happens, and the concur

                                                                • イベント ドリブン関数の再試行を有効にする  |  Cloud Run functions Documentation  |  Google Cloud

                                                                  イベント ドリブン関数の再試行を有効にする このドキュメントでは、イベント ドリブン関数の再試行を有効にする方法について説明します。自動再試行は HTTP 関数では使用できません。 イベント ドリブン関数が完了しない理由 まれに、内部エラーのため関数が早期に終了することがあります。関数は、デフォルトで自動的に再試行される場合もあれば、再試行されない場合もあります。 よくあるのは、関数コード内でエラーがスローされるためにイベント ドリブン関数が正常に完了できないケースです。これには、次のような理由が考えられます。 関数にバグがあるため、ランタイムから例外がスローされる。 関数がサービス エンドポイントに到達できないか、エンドポイントに到達しようとしている間にタイムアウトする。 関数から意図的に例外がスローされる(たとえば、パラメータの検証で不合格だった場合)。 Node.js 関数は、拒否さ

                                                                    イベント ドリブン関数の再試行を有効にする  |  Cloud Run functions Documentation  |  Google Cloud
                                                                  • JSON is not JSON Across Languages | Dochia CLI Blog

                                                                    Introduction: These Aren’t the JSONs You’re Looking For JSON (JavaScript Object Notation) was designed as a simple, lightweight, and human-readable data interchange format, often positioned as a more accessible alternative to XML. It has become the de facto standard for web APIs and system integration. However, while the specification itself is straightforward, different programming languages and

                                                                      JSON is not JSON Across Languages | Dochia CLI Blog
                                                                    • Fakenet-NG 単体で証明書エラー無くHTTPS通信の復号をやらせるまで - 切られたしっぽ

                                                                      TL;DR Fakenet-NG を改造して、証明書のエラーなく任意の通信先に対して HTTPS の通信を行わせるための備忘録です 実質 MitM をさせる Proxy を作るための話になります TL;DR はじめに 環境構築 0. 事前準備 1. 通信先情報の取得 ドメイン(ホスト名) IPアドレス 2. 自己署名証明書の作成 3. Proxy Listener への組み込み 4. テスト おわりに はじめに マルウェア解析の動的解析環境(Sandbox 環境)を構築する際、TLS/SSL を用いた HTTPS 通信をどのようにして取得して分析可能とするかというのは一つの至上命題です。マルウェアがC2サーバと通信する際に TLS/SSL を使う場合はもちろんそのやりとりの中身を記録したいですし、解析環境検知のためにメジャーなWebサービスに対して HTTPS でダミー通信を発する場合もあ

                                                                        Fakenet-NG 単体で証明書エラー無くHTTPS通信の復号をやらせるまで - 切られたしっぽ
                                                                      • 年齢とともに弱る記憶を補う:ブラウザ履歴でつくる“外部の頭脳” - 43号線を西へ東へ

                                                                        年齢ともに記憶が弱ってくると、ちょっと前にやったことを忘れがちです。あれこれ調べ物をしていると、数時間前に見たはずのWebサイトの記憶が全くない時があります。 ブラウザの履歴からもう一度アクセスするとさすがに思い出すのですが、見直すまですっかり忘れてしまっているという。なんとも困ったものです。 自分の記憶の補助にブラウザのログを使おうと思います。朝起きたら前日に閲覧していたサイトの要約を書き出して見直す、そんな作業をPythonにやってもらおうと思います。 この記事では、Pythonを使って自動でWeb閲覧ログを収集・分析する事について述べます。 ブラウザ履歴でライフログ? 実際にやってみよう! まずは準備その1:Macに“アクセス許可”をあげる 準備その2:Pythonで履歴をのぞいてみる コードを書いてみよう!(AIに書いてもらおう!) コードのポイント(簡易版) アウトプット例 ちょ

                                                                          年齢とともに弱る記憶を補う:ブラウザ履歴でつくる“外部の頭脳” - 43号線を西へ東へ
                                                                        • datetime の UTC / JSTの変換についてまとめ

                                                                          datetime.datetimeのオブジェクトをUTCやJSTに変換するさいのパターンを網羅してみます。 datetime型には、timezone情報がついているかどうかの区別がある。timezone情報があるもの=aware。ないもの=native。 タイムゾーンの準備 timezoneを扱う場合はdateutilを使用するのが今日では一般的のよう。 メジャーな日付操作ライブラリとしてはdateutilかpytzがある 標準ライブラリのtimezoneにtimedeltaで生成するのも+-9時間のようなシンプルなものなら便利 pytzは厳密すぎて+09:19のようなハマりがあるので避けたほうが良い Python3.9以降限定ならば標準ライブラリのzoneinfoを使うのも良い ひとまずここでは、Python3.9以前のことも考慮してdateutilを使用します。 pip install

                                                                            datetime の UTC / JSTの変換についてまとめ
                                                                          • Amazon Bedrock AgentCore Gateway のターゲットに Amazon API Gateway が追加されたので Claude Code から呼び出してみた - Qiita

                                                                            Amazon Bedrock AgentCore Gateway のターゲットに Amazon API Gateway が追加されたので Claude Code から呼び出してみたAWSAPIGatewayAIエージェントClaudeCodeBedrockAgentCore はじめに & 内容 2025 年最後の記事! AWS re:Invent 2025 で発表があった Amazon Bedrock AgentCore Gateway のターゲットに Amazon API Gateway が追加されたことについてシンプルに纏めるのと、実際に触ってみることを主としています。 Amazon Bedrock AgentCore Gateway とは何かをざっくり勉強したい方はよければ過去の記事を参考にご覧ください。 考慮事項 Amazon Bedrock AgentCore Gateway の

                                                                              Amazon Bedrock AgentCore Gateway のターゲットに Amazon API Gateway が追加されたので Claude Code から呼び出してみた - Qiita
                                                                            • 週刊Railsウォッチ: YJITがRuby 3.1向けにマージ、ripperのドキュメント化、crontabの罠ほか(20211026後編)|TechRacho by BPS株式会社

                                                                              週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを(鍋のように)社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます(例:週刊Railsウォッチタグ) 🔗Ruby 🔗 YJITリーダーによるYJIT紹介記事 つっつきボイス:「以下↓はYJITリーダーであるMaxime ChevalierさんによるYJIT

                                                                                週刊Railsウォッチ: YJITがRuby 3.1向けにマージ、ripperのドキュメント化、crontabの罠ほか(20211026後編)|TechRacho by BPS株式会社
                                                                              • Django: what’s new in 6.0 - Adam Johnson

                                                                                Django 6.0 was released today, starting another release cycle for the loved and long-lived Python web framework (now 20 years old!). It comes with a mosaic of new features, contributed to by many, some of which I am happy to have helped with. Below is my pick of highlights from the release notes. Upgrade with help from django-upgrade If you’re upgrading a project from Django 5.2 or earlier, please

                                                                                • Amazon Managed Workflows for Apache Airflow (MWAA) を導入・運用してみて - GO Tech Blog

                                                                                  ※本記事の背景にある『DRIVE CHART』は、2025年8月1日付けで会社分割に伴い新会社GOドライブ株式会社に移管されました。現在は、GOドライブ社のテックブログにて継続的に技術情報を発信していますので、そちらもご参照ください。 DRIVE CHARTでは、機械学習システムのデータパイプラインとしてAirflowを利用しています。 今回は、AWSで提供されているマネージドサービス「Amazon Managed Workflows for Apache Airflow(MWAA)」に移行したので、ちょっとしたtipsや導入・運用時のハマリポイントをまとめようと思います。 はじめに こんにちは スマートドライビング事業部システム開発部AI基盤グループで、皆VSCodeを使ってる中で1人寂しくVimで開発している大内です。 今回は、機械学習システムのデータパイプラインとして、AWSが提供し

                                                                                    Amazon Managed Workflows for Apache Airflow (MWAA) を導入・運用してみて - GO Tech Blog
                                                                                  1