なぜ DuckDB を採用したのか
概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 変更履歴 2025-03-12: DuckDB の開発体制と Zstandard で圧縮されたファイルの読み込みについて追記 2025-02-13: 今後やりたい事 v2 を追記 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS を利用する事で、クライアント側での統計情報のため込みができるようになる 解決したい課題 解決したい課題は基本的にサービスの運用費を抑えるということです。中小規模のサービスでは運用費が大きな課題になります。 自社パッケージ向けのログ解析ツー
GitHub - microsoft/data-formulator: 🪄 Create rich visualizations with AI
[03-20-2025] Data Formulator 0.1.7: Anchoring ⚓︎ Anchor an intermediate dataset, so that followup data analysis are built on top of the anchored data, not the original one. Clean a data and work with only the cleaned data; create a subset from the original data or join multiple data, and then focus your analysis from there. The AI agent will be less likely to get confused and work faster. ⚡️⚡️ Che
SIEM on Amazon OpenSearch Serviceによるセキュリティログの可視化について - SEGA TECH Blog
はじめに 株式会社セガ ｹﾞｰﾑｺﾝﾃﾝﾂ&ｻｰﾋﾞｽ事業本部技術本部開発IT支援部の長谷川と申します。今回はセキュリティログの活用法の一例としてSIEMを用いた可視化方法を紹介します。 目次 はじめに 目次 背景 Opensearch(Elasticsearch)とは SIEMとは Cognitoとは ユーザプールとは IDプールとは アーキテクチャ 設定方法 Cognitoによるログイン セキュリティログの可視化 補足 まとめ 参考 背景 昨今セキュリティ対策不足によるデータの抽出やサービス操作される被害が発生しており、ログからユーザの行動を抽出し、可視化するまでを一括管理できるものが求められていました。さまざまなサービスの中でSIEM on Amazon OpenSearch Serviceにてログ情報からユーザの行動を可視化・検索により原因を改善するができるため、利用し始めました。
Visualizing the CPython Release Process
Below are the high-level steps (with numbers corresponding to the above diagram) in the order they occur during the CPython release process: Freeze the python/cpython release branch. This is done using GitHub Branch Protections. Update the Release Manager's fork of python/cpython. Run Python release tools (release-tool, blurb, sphinx, etc). Push diffs and signed tag to Release Manager's fork. Git
Visual Regression Testが誤検知した動画やアニメーションの問題解決 - Uzabase for Engineers
NewsPicksのWeb Reader Experience Unitで学生インターンをしています。西(@yukinissie)です。 弊チームの開発基盤では、reg-suitやstorycapを利用したVisual Regression Test（以降 VRT）を導入しています。本ブログではVRTが誤検知した動画やアニメーション周りの問題に対してどのように解決したかをそれぞれご紹介します。 VRTの誤検知とは？ 行ったこと 1. 既存のコードに触れずにReactPlayerの再生をテスト時には静止させる 2. 描画に時間を要するアニメーションには撮影に遅延秒数を設定する まとめ VRTの導入背景や導入の流れについて知りたい方へ VRTの誤検知とは？ 弊チームではVRTを以下の6ステップで行なっており、これらはGitHub Actions（CI）上で自動化されています。 Storyboo
効率的なダッシュボードの作成 - MicroAd Developers Blog
京都研究所・TechLabの田中です。 マイクロアドでは、主にエンジニア以外のメンバーが広告配信実績などの各種データにアクセスする際にRedashを利用しています。 Redashから接続しているデータソースには、以前このブログでも紹介した分析用Hadoopクラスタ*1に加えて、MySQLのレプリやBigQueryなどがあります。 これらの異なるデータソースに対してRedashからは同じインターフェースでアクセスでき、手軽にデータの抽出や可視化・分析などが可能です。 また、クエリで抽出したデータを利用して、Redash上にダッシュボードを作成することもできます。 本稿では、そんなRedashの活用方法の1つとして、 スケジューリング機能とキャッシュ機能を利用した簡易的なデータパイプラインを使ってダッシュボードを作成する例をご紹介します。 なお、この記事で扱うRedashの説明はバージョンv1
Include diagrams in your Markdown files with Mermaid
EngineeringOpen SourceInclude diagrams in your Markdown files with MermaidA picture tells a thousand words. Now you can quickly create and edit diagrams in markdown using words with Mermaid support in your Markdown files. A picture tells a thousand words, but up until now the only way to include pictures and diagrams in your Markdown files on GitHub has been to embed an image. We added support for
GitHub Next | Visualizing a Codebase
That wasn’t terribly difficult, but it also probably took a bit of time and exploration. Can we do better? Instead of the typical folders & files view, we can create a visual representation of the code. Below, I've visualized the same repository, but instead of a directory structure, each file and folder as a circle: the circle’s color is the type of file, and the circle’s size represents the size
ゼロから始める、データ分析と可視化 - Kyash Product Blog
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary
概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えた linetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo
図解を制するものは、エンジニアリングを制す。diagrams.netを使ったチーム開発のススメ。 - MonotaRO Tech Blog
こんにちは、初めまして、フロントエンドエンジニアの八木です。 普段、モノタロウのECサイト開発を行っています。 エンジニアだとシステム構成図やシーケンス図など、何かと図を作る機会が仕事柄たくさんあります。その多くは要件定義や詳細設計などのフェーズで、人に何かを伝えるために使われます。 最近では、テック系のイベントやセッション登壇などでも使われる機会が多く見られるようになってきましたね。 エンジニアが図を用いる理由 図を用いる理由は文字だけでは直感的に伝わりづらいなど様々ですが、共通して言えることはビジュアライズすることによって皆が同じ認識を持つことにあります。 しかし、人によって描き方が異なっていたり、描き方に正解はないことから個人の解釈にずれが発生することが多々あります。 例えば以下の例を考えてみます。 伝えたいことは次の通り。 WebサーバーはNginxを使用 Appサーバー上ではDo
都の財政データをビジュアル化！若き職員の思い｜＃シン・トセイ 都政の構造改革推進チーム（東京都 公式）
都は、2021年1月29日に「令和3年度予算案」を発表しましたが、同日に都の財政データをダッシュボードで公開しています。 本ツールは、マイクロソフトの「Power BI」を使用し、「予算案」「普通会計決算」「普通会計財務諸表」に関するデータをビジュアル化しています。各項目をクリックすることで、知りたい情報に簡単にアクセスでき、過去データとの比較を視覚的に行うことも可能です。 今回は、このダッシュボード作成の中心人物である若きリーダー、財務局主計部財政課主任の堤 佑城（ゆうき）さんにオンラインインタビューを敢行。デジタル化に取り組む経緯や反響などを伺いました。 コロナ禍で都財政への関心が高まる——まずは、堤さんのキャリアと、主な業務内容を教えてください。 2013年度に東京都に入庁し主税局に配属され、その後2018年度に財務局に異動となりました。 現在は、従来の発想に捉われない新たな視点など
AWS構成図おすすめツール - Qiita
AWSの構成図を作成する際に便利なツールを紹介します。 vscodeの拡張プラグイン「Draw.io Integration」です。 インストール方法 vscodeの左サイドにあるExtensionsをクリックし、検索窓にdrawと入力するとDraw.io Integrationが表示される。そして、Installボタンをクリックするとインストールされる。 作画ツールの表示 インストール後に新規ファイル作成ボタンを押し、 拡張子を.drawioにすると自動的にvscode上でdrawioの作画ツールが表示される。 これを使って簡単なAWSの構成図を描いていきます。 構成図 VPCを作成して、その中にパブリックサブネット、EC2インスタンス、インターネットゲートウェイを作成する。 使い方 AWSアイコンの追加 下部の+More Shapesを押すと、アイコンのセットが表示される。 ここからA
生産性・技術的負債をMetabaseで可視化した話 - LIFULL Creators Blog
技術開発部の清水です。好きな食べ物は広島風お好み焼きと広島県産牡蠣と広島県産穴子です。 拡張に次ぐ拡張でサービスは便利なものに成長していく一方でソースコードは次第に複雑になっていきます。 そのまま放っておくと積み上げた技術的負債により開発コストが上がっていき、最悪の場合にはサービスの発展を停止させてしまう可能性もあります。 このような理由から、弊社では技術的負債を着実に返済していくべく生産性・技術的負債の可視化をMetabaseで行っています。 可視化する情報元はGithub API、CodeClimateQuality APIの2つのみです。 生産性の可視化 本流ブランチにマージされたPR数（生産数） 本流ブランチにマージされたPRによる意味のある変更行数（生産規模） 本流ブランチにマージされたPRの平均レビュー応答数（生産を助けた人員の労力） 本流ブランチにマージされた「1コミッターあ
アート作品の鑑賞状況をOpenCVで可視化する - Qiita
概要 アート作品の価値を可視化するシステムを作りたいと、福岡のアーティストの方より依頼があった。 アート作品をどれだけの人が、どのくらいの時間鑑賞したかをできるだけ安価なシステムで実現できないか検討した。 RaspberryPiをアート作品の前に設置し、OpenCVで顔検出した時間を累積することとした。 データ可視化サービスとしてAmbient(https://ambidata.io) を使った。 データのアップロードはRaspberryPiのWifi経由とした。 インターネットにカメラ映像は流れず、送信する数値データのみとすることにした。 福岡市のスタートアップ支援施設 FGN(https://growth-next.com) に設置し運用してみた様子。 用意するもの Raspberry Pi3 Model B (4でもおそらく大丈夫) Raspberry Pi用のケース Raspber
CodeBuildでRSpecのテストレポートを表示する - ANDPAD Tech Blog
はじめまして。サーバーサイドエンジニアの kinakobo です。 唐突ですが、自動テストの実行にはどんなCIツールを使用していますか？ 色々と選択肢があると思いますが、自分は今までCircleCI、GitHub Actionsを使うことが多く、ANDPADに入社して初めてCodeBuildでテストを実行しました。 それまでCodeBuildを使ったのはDocker imageの構築くらいだったので、あまりテストの実行に向いている印象は持っていませんでした。 ですが調べてみると意外と機能が充実しており、中でもテストレポート機能は便利だと思ったので今回紹介したいと思います。 テストレポート機能とは AWS CodeBuild でのテストレポートの使用 - AWS CodeBuild テストレポート機能は、テストのレポートファイルをいい感じに整理して表示してくれる機能です。 CircleCIに
scikit-learnで機械学習パイプラインをインタラクティブに描画、HTML保存する方法 - Qiita
本記事では、scikit-learnのv0.23から搭載された、インタラクティブなパイプライン確認の実装、そしてそれをHTML化して保存、活用する方法を解説します。 環境 scikit-learn==0.23.2 Google Colaboratory 本記事の実装コードはこちらに置いています https://github.com/YutaroOgawa/Qiita/tree/master/sklearn 実装 [1] バージョン更新 まず、Google Colaboratoryのscikit-learnのバージョンが2020年9月ではv0.22なので、v0.23へと更新します。 !pip install scikit-learn==0.23.2 pipで更新したあとは、Google Colaboratoryの「ランタイム」→「ランタイムを再起動」を実行し、 ランタイムを再起動します。 （
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/
How GPT3 Works - Visualizations and Animations
Jay Alammar Visualizing machine learning one concept at a time. Read our book, Hands-On Large Language Models and follow me on LinkedIn, Bluesky, Substack, X,YouTube Discussions: Hacker News (397 points, 97 comments), Reddit r/MachineLearning (247 points, 27 comments) Translations: German, Korean, Chinese (Simplified), Russian, Turkish The tech world is abuzz with GPT3 hype. Massive language model
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
network-sketcher/User_Guide/Japanese/User_Guide[JP].md at main · cisco-open/network-sketcher![network-sketcher/User_Guide/Japanese/User_Guide[JP].md at main · cisco-open/network-sketcher](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d2f4883b63b5f51f6dc8580664a5cc13b2fc27b/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F221da36346f5ab1294e5c452fc61f7adc3a8e5e2d8b6149f81565e01be97dab8%2Fcisco-open%2Fnetwork-sketcher)
