PythonとQuartoでデータ分析レポートを速攻作成 - Qiita
はじめに Quartoを使ってみたらPythonでのデータ分析レポート作成がとても便利だったので紹介します。 想定読者: Pythonでデータ分析をしている方、これから始めようとしている方。(Pythonおよびマークダウンを書いたことがあると想定します) なおR Markdown+RStudioと非常に似ていますが、R/RStudioをインストールしなくても使える点が便利です。 Quartoとは 公式サイト解説(抜粋・翻訳) QuartoはPandocを使って科学技術ドキュメントを生成するオープンソースのシステムです MarkdownまたはJupyter notebookからドキュメントを生成できます Python, R, Juliaに対応 HTML, PDF, MS Word, ePubで出力可能 Jupyterlabによるレポート作成(HTML出力)よりも優れている点 ソースコードが短
RMarkdownでLeafletを使った地図描画と配布 - Qiita
R言語のR MarkdownでLeafletを使った地図描画をして、出力されたHtmlファイルを人に配布したい時、というとんでもなくニッチな時に役立つTipsです。 地図の描画ができない時の対処法 サクッと行きましょう。 Leafletは地図の描画が簡単にできるライブラリです。詳しい使い方は下部の参考リンクの解説がとてもわかりやすいです。 以下のようにシンプルに書くと、R Studio上で実行した場合は地図が描画されますが、出力されたhtmlファイルをブラウザで開くと地図が描画されないという現象がおきます。 library(magrittr) library(leaflet) # data.leaflet がデータの入ったデータフレームとします # 列としてlongitude, latitude, name, radius があるというようなイメージでご覧ください # width, hei
大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab
RAG用ドキュメントとしてのデータカタログ
データカタログの悩み dataplexやdbt docs、その他無数のSaaS製品に代表されるデータカタログは、データリネージを自動的に生成できるなど便利な機能を数多くそろえている一方で、物足りない点もまだ多く、特にマネージャー陣など非データ分析職や他チームからの問い合わせを削減することは過去の経験から考えてもまだ難しいと感じている。 自チームがデータ分析を行う際には、とりあえずデータカタログで調べてみるという形を実現できたことはあるのだが、 マネージャー「AのディメンションごとにBのメトリクスを自分で集計したいが、どのテーブルを使えばいいか」 別チームのメンバー「プロダクトXに関する指標Yが数日前から変動しているが、Xのチームで何らかの変更を行ったのか」 といった相談や問い合わせは依然としてそれなりの工数を占めていた。 組織全体でのデータ活用や複数ドメインでのデータ連携ができているという
データ基盤 Knile のプロダクトマネジメントの取り組み
こんにちは、データエンジニアの多田です。 私は現在、データ利活用基盤「Knile（発音は “ナイル"）」の開発をしています。 今回は、私が Knile チームでスクラムマスターからプロダクトマネージャーへと役割が推移していく中で取り組んできた、チーム開発の課題とその対策について紹介いたします。 Knile とは Knile とは、以前 CET と呼ばれていたチームが開発するデータ利活用基盤です。 Knile のビジョンや設計思想については、最近行われた社外への登壇資料があるので、ご覧ください。 第14回MLOps勉強会 CloudNative Days Tokyo 2021 時間軸で取り組むチーム運営 この記事では以下の 4 つのサイクルに分けて取り組みを紹介します。 長期計画 半期 四半期 スプリント(2 週間) チーム運営のサイクル これは実際に業務の中で考える思考の順番でもあります。
ドキュメントベースの型安全なモバイルアプリ行動ログ基盤の構築 - クックパッド開発者ブログ
こんにちは。PlayStation 5が一向に買えない@giginetです。普段はモバイル基盤部というところでiOSの基盤開発をしています。 皆さん、行動していますか？我々は日々Webサービス上で様々な行動をしています。サービス開発において、改善に活かすための効率的な行動ログの収集方法はしばしば課題になります。 今回は、サービス開発者がモバイルアプリ上で簡単にログを定義し、分析を行えるログ基盤を導入した事例について紹介します。 行動ログとは何か モバイルアプリの行動ログとは、ユーザーのアプリ上の操作や利用状況を取得、集積するためのものです。 例えば、特定の画面を表示したり、特定のボタンをタップしたり、といったユーザー操作を起点として送信されています。 集められたログは、サービス開発のための分析や実態把握に役立てられます。 最近はFirebase Analyticsなど、PaaSの形態で提供
R Markdownによるレポート生成 - Qiita
はじめに システムの稼働状況とかミドルウェアの統計情報とかを手っ取り早く可視化するためにRを使ってみようということで書き始めた連載企画です。今回はレポート生成編です。 R Markdownというパッケージを使用すると、Word, PDF, HTML等の形式のレポート生成を自動化できます。Rでデータを集計してグラフを作ったとしても、それをExcelやWordにコピペしてレポートを作っていたのでは非常に効率が悪いです。そこをサクッとスマートにやりましょうという話です。 レポート生成の自動化の意義や、R Markdownの使い方等については、以下にすばらしい連載記事がありますので是非一読されることをお勧めします。 R Markdownで楽々レポートづくり 詳細は上の記事見ていただくのがよいと思うので、ここでは一通りレポート生成させてみる所を中心にまとめます。 関連記事 インフラ屋さんのためのR言
～knitr+pandocではじめる～『R MarkdownでReproducible Research』
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
knitr ではじめるデータ分析レポート作成 ~基礎編~ - Qiita
対象読者 knitr でのドキュメント生成は体験済みの方 データ分析をやっていてそのレポートを Word などで作るのが面倒くさい方 チームで分析をやっていて，データ分析の再現性を共有したい方 記事のゴール ゴール：knitr を基本的に使えるような知識を身に付けて，R での分析結果を HTML として生成できるようになる 前提 RStudio をインストール済み knitr をはじめるにあたっての基礎知識 knitr とは？ knitr パッケージは．R の実行結果をレポートして作成するのに役立つパッケージです． 組織でのデータ分析には，報告書を作成する業務がつきまといます． たとえば，Word で報告書を作成していてデータ分析結果のプロット図を何百枚も貼り付けているとします． その途中で分析に誤りがあったり，条件を変更したりするときに，もう一度画像を貼り直す作業をするのは大変です． k
Markvis - make visualization in markdown
make visualization in markdown
データベースドキュメント管理システム dmemo のご案内 - クックパッド開発者ブログ
こんにちは、みんなのウェディングに出向中の小室 (id:hogelog) です。 今回はクックパッドとみんなのウェディングで利用しているデータベースドキュメント管理システム dmemo を紹介します。 https://github.com/hogelog/dmemo dmemo を作成し導入した経緯 私は2016年3月頃からみんなのウェディングで Redshift, bricolage, embulk, re:dash 等を利用したデータ分析基盤の構築を進めています。 (みんなのウェディングのデータ分析基盤の現状 - みんなのウェディングエンジニアリングブログ) 社内の誰でも扱えるデータベース、データの集約・計算・加工、ダッシュボードの作成、クエリの共有などは上記ブログ記事でも書いたように Redshift, bricolage, embulk, re:dash 等を組み合わせることで実現
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データカタログの最初の一歩 〜データ組織向けに dbt docs を整備している話〜 / Maintaining dbt docs for data organizations