実践 時系列解析
時系列データが使われる範囲は広く、医療データ、金融分析、経済予測、天気予報など、さまざまな分野で使われています。本書は時系列データを通してデータ解析手法を学んでゆくアプローチで、データのクリーニング、プロットの方法、入出力など基本的なトピックについてひととおりカバーしてから、さまざまな分野の事例を数多く取り上げ、統計的手法と機械学習手法の両方を時系列データに適用し、また人気のオープンソースツールも積極的に取り入れた手法を紹介します。プログラムにはRとPythonの両方を利用。データセットやコードはGitHubからダウンロード可能です。 はじめに 1章 時系列の概論と簡単な歴史 1.1 時系列の多様な用途の歴史 1.1.1 時系列問題としての医学 1.1.2 気象予測 1.1.3 経済成長の予測 1.1.4 天文学 1.2 時系列解析の人気に火がつく 1.3 統計的時系列解析の起源 1.4
はじめに 一般の方は耳にしたことがないだろうが、「Numerai（ヌメライ）」というヘッジファンドがある。2016年後半から2017年前半くらいにWiredやForbes等のメディアに取り上げられ、界隈で少し名が知られるようになったヘッジファンドだ。このヘッジファンドはいわゆるクラウドソーシング型ファンドと呼ばれる、不特定多数の人間による株価の予測結果をもとに運用するヘッジファンドである。 筆者も2017年頃、Numeraiに参加したことがある。Numeraiの方式は予測結果に基づいてランキングされるトーナメント方式であり、つまりKaggleのようなものだ。トーナメントは毎週開催され、ランキング上位には暗号通貨で報酬が支払われる。しかし当時のトーナメントは、ランキングの基準が不明瞭であり、その順位変動がとてつもなく激しく（TOP10に入っていたのに翌週は100位以下に落ちる等）、いわゆる運
【暫定版】 Kubernetesの性能監視で必要なメトリクス一覧とPrometheusでのHowTo - kashinoki38 blog
2021/03/01 追記 記載していたリポジトリにあるマニフェスト系があまりに不親切だったので、ちゃんとまとめてみました。 後日、もうちょっとちゃんと記事書こうとは思いますが、大体はREADMEにあるので読んでみてください。 sock-shopをベースにObservability（Prometheus, Loki, Istio(Jaeger, Kiali)）とProgressive Delivery＆自動負荷試験スタック（Flagger, Jmeter, influxdb）をHelmとKustomizeで詰め込みました。 今回はちゃんと誰もが入れれるようにがんばってみたので、どうぞ。 github.com この内容でCloudNativeDaysOnline2021に登壇しています。 kashionki38.hatenablog.com 後、随分前ではありますが、本投稿に関連してKube
OpenTelemetry を利用して PHP アプリケーションのテレメトリデータを計装する方法をまとめました。 本エントリのコードは下記で公開しています。 github.com OpenTelemetry とは 用語 PHP アプリケーションのマニュアル計装（手動計装） 構成 OTel Collector Jaeger 動作環境 必要なパッケージ PHP コード 設定 実行 PHP アプリケーションのゼロコード計装（自動計装） 必要な拡張とパッケージ 設定 PHP コード 実行 さいごに 参照 OpenTelemetry とは opentelemetry.io OpenTelemetry は、サービスやアプリケーションのテレメトリーデータ（トレース、メトリクス、ログなど）を計装、生成、収集、送信するためのオブザーバビリティフレームワークです。ベンダーニュートラルな OSS であり、CNC
なぜブログ記事を書くのか。 俺は「読んでもらうため」である。 その理由を掘り下げてみた。 何のために書くか この記事を読んだ。 phaは思いつきを言葉に落とし込むことが面白いため、書いたところで目的は達成している。だから誰にも読まれなくても文章を書くらしい。 「あれはこういう風に説明できるんじゃないか」とふと思いついて、それを言葉にする、という瞬間が一番楽しい。それを読んでくれる人がいればこしたことがないが、賞賛を求めて書くわけじゃない。 これを読んで俺が思い出したのは『ヒストリエ』の1シーンだった。 『ヒストリエ』6巻 工房の職人たちが最も楽しんでいるのは「製作」であった。これではその理由として、「素材が最適用の姿に形成されてゆく、その工程がたまらない」と語られる。やはり「自分の手で形にする」のが楽しいのだ。 このような回答はいかにも職人的で様になる。しかし、俺自身はどうかというと、この
※アンダースコアのpip install seaborn_analyzerでもインストール可能です。 インポート時はアンダースコアのimport seaborn_analyzerやfrom seaborn_analyzer となるのでご注意ください コード モジュールcustom_pair_plot.py内のクラスCustomPairPlotに、必要な処理をまとめました。 GitHubにもアップロードしています モジュール本体 import seaborn as sns import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats class CustomPairPlot(): #初期化 def __init__(self): self.df = None sel
Pythonグラフ入門
Matplotlibの2Dグラフ 折れ線グラフ 棒グラフ 積み上げ面グラフ 散布図 ヒストグラム ヒートマップ 等高線図 極座標系の図 箱ひげ図 円グラフ Matplotlibの3Dグラフ 3次元の折れ線グラフ 3次元の散布図 3次元の等高線図 ワイヤーフレーム サーフェスプロット Matplotlibの設定 図のタイトル Figureオブジェクトの書式 軸の設定 目盛りの設定 凡例の設定 線の書式 色の書式 カラーマップ 文字の書式 日付と時刻の書式 グラフの保存 複数のグラフ 日本語表示 オブジェクト指向なグラフ作成 Tips Seaborn ヒートマップ 2変数間の関係 relplot 多変数間の関係 pairplot カテゴリ変数の関係 catplot 見た目の変更 Pandas 折れ線グラフ 棒グラフ 積み上げ面グラフ 散布図 グラフ作成の共通設定 ご案内 当サイトについて お問
世の中にはよい機械学習の結果が存在する。高い精度で推論（分類・検出）できるものがある。 だから、データの特性が、元々の想定から変わった時にも「機械学習だから、学習させればなんとかなるよね」と期待する人がいるかもしれない。 この文章は、そのような安易な考え方に立つことを戒めるために書く。 (もちろん、機械学習は今までになかった価値をいろんな分野にもたらす可能性が極めて高い。) (主張したいことは、 ビジネスとして見返りが期待できる内容の機械学習をすること。 100%の精度が期待できる機械学習は、そんなに多くない。それでも見返りが期待できる使い方をしてほしい。 1人のエンジニアに支援なしに丸投げするのではなく、チームとしての支援が有効であること。 最初の問題設定を疑ってかかること。手書き文字認識の強化で宅配便の伝票をなんとかするよりは、手書きを必要としない方がいい。 ) garbage in
データビジュアライゼーションの基礎
情報を正しく伝え、美しくかつ明確な図やグラフを作成するための基本を解説します。「ビジュアライゼーションで大切なことは、本質を正しく伝えること」との信念に基づき、見栄えの悪い図、不適切な図、誤った図を避け、情報を正確にかつ効果的に伝えるために最適な要素、かたち、色の選択をするための指針をまとめています。著者は統合生物学の分野で著名な研究者であるだけでなく、cowplot、ggridgesをはじめ、数多くのRのデータ可視化関連パッケージの開発者であり、著者の豊富な経験から蓄積された知見の集大成と言える本書からは、優れたグラフを作成するための原則、哲学、美学を学ぶことができます。本書収録のグラフを作成したRコードはGitHubから利用可能。 訳者まえがき まえがき 1章 はじめに 1.1 見栄えの悪い図、不適切な図、誤った図 第Ⅰ部 データからビジュアライゼーションへ 2章 データを可視化する：
デプロイ頻度やリードタイムの正確な計測にこだわらなくていい（前提はあるが） - mtx2s’s blog
デプロイ頻度とリードタイムは、開発チームが自らのパフォーマンスをモニタリングするうえで欠かせないメトリクスである。それらが、収益性や市場占有率といった組織パフォーマンスに影響を与えるからだ。その調査結果は、DevOps Research and Assessment（DORA）が特定した4つのキーメトリクス、いわゆる「DORAメトリクス」の要素として浸透した（後述するが、DORAメトリクスで扱うのは、リードタイムではなく「変更のリードタイム」である）。 その重要性ゆえに、チームや組織はこれらのメトリクスの計測と可視化に努める。可能な範囲で正確な値が欲しい。そうして、チケット管理ツールやバージョン管理システムからテレメトリを収集、集計し、チームのモニタリングダッシュボードにその実績値を可視化するのだ。 しかし、しばらくメトリクスを運用してみると、その扱いづらさに気づく。計測値や集計値のばらつ
最近はZX-25Rが気になっている菅原です。4気筒250ccといえば、以前バリオス2に乗っていたんですが、あれもよく回るよいバイクでした。足つきの良さが懐かしいです。 この記事では、クエリログを使ったAurora MySQLの負荷テストの話を書きます。 MySQLの負荷テスト サービスに使われているデータベースは、Webサーバと比べて自動的なスケールアップ・スケールアウトが簡単ではないためキャパシティプランニングは非常に重要です。サービスへのアクセス増による負荷増大の結果、急激に性能が低下するためなるべく事前にキャパシティを把握しておきたいところです。 クックパッドではサービスのデータベースとして主にAurora MySQLを利用しているのですが、キャパシティを把握するための負荷テストには以前から苦労してきました。 1. シナリオを書くのが大変 サービスで使われているデータベースの負荷テス
理工系俗語辞典 - Qiita
本記事の概要 理学・工学で主に用いられている俗語を網羅しようと試みられた企画です。詳細は以下のツイッターを参照してください。 サチる:値が頭打ちになる タウい:平均自由行程が短い ログる:両辺にlogを施す ネグる:無視する アグる:タンパク質を凝集する アセチる:化合物をアセチル化する キャビる:キャビテーション現象 まだまだ理学・工学の俗語を募集中じゃ。 — 中の人はダンブルドア (@tweet_nakasho) October 19, 2019 スペシャルサンクス このツイートを元に情報をくださった皆様 & リツイートで拡散してくださった皆様。 こんな俗語もあるよ、という方 おりましたらいつでもコメントください。折を見て、追記させていただきます。 あ行 上がる: 観測機が軌道に乗る アグる: タンパク質を凝集する アセチる: 化合物をアセチル化する アセニト: アセトニトリル あぶる
ミルクボーイ漫才「P&Gマフィア」｜松本健太郎
角刈り「どうもー、ミルクボーイです」 マッチョ＆角刈り「お願いしますー」 （マッチョ、前に移動して何かを受け取る仕草） 角刈り「あー、ありがとうございますー…今、モロゾフのプリンのガラス容器を頂きましたけどね」 マッチョ＆角刈り「ありがとうございますー」 角刈り「こんなん、なんぼあっても良いですからね。関西人は、これに麦茶入れて飲むんですよ。水屋（台所にある棚）に10個は常備してますからね」 マッチョ「関西人はコップなんて買ったことないですから」 角刈り「ねー有り難いですよ、ほんとにね」 マッチョ「いきなりですけどね、うちのオカンが好きなマーケターの総称があるらしいんやけど、その名前をちょっと忘れたらしくて」 角刈り「好きなマーケターの総称を忘れた？ どうなってんねん、それ」 マッチョ「色々聞くんやけどな、全然分からへんねん」 角刈り「分からへんの？ ほな俺がね、おかんの好きなマーケターの
ChatGPT Code Interpreterで画像データを加工してみる - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして発表された「Code Interpreter」ですが、 趣味の写真でもなにか使えないかと思い、画像処理を試してみることにしました。 openai.com Code Interpreterの概要や有効化の方法は前の記事をご覧ください。 acro-engineer.hatenablog.com 以前撮影した、富士山の写真から、Zoomの仮想背景に使うことを想定し、色々と加工させてみたいと思います。 画像処理/加工 今回、以下のような画像処理／加工を実施してみました。 画像サイズの確認 画像をFullHDサイズにする 画像の明るさと彩度を調整する 指定の形で切り抜く データをダウンロードする 画像サイズの確認 まずは画像のサイズを確認します。 これくらいはお手の物。写真アプリで確認したサイズとも一致
はじめに データとモデル 確率モデル 確率モデルを作る 複雑なモデルを使うことが最善手であるか モデルの具体的な作り方 モデルの仮定 アンサンブルモデル 点推定モデル 最尤推定 制約付き最尤推定※ （最大事後確率推定） ベイズ予測分布と点推定 ベイズ統計学 ベイズ予測分布を得ることの意義 ベイズ統計学の主題 特異モデルと正則モデル ベイズ統計学のまとめ はじめに ベイズだの頻度論だので盛り上がっているので、ぶん殴られる覚悟で書いてみます。 データとモデル 観測値がランダムに見える場合、それを確率変数 $X$ として扱います。 さて、今、$X$ には我々が知ることのできない真の分布 $q(X)$ があるとしましょう。もしも、$X$ を無限回観測し満遍なくデータを集められるとすれば、$q(X)$ の形状を把握することができるかもしれません。 ところが、そんなのは幻想であって実際に無限回の観測を
純正より優秀なカメラアプリ7選
純正より優秀なカメラアプリ7選2020.05.24 12:00212,712 David Nield - Gizmodo US ［原文］ （ 禿頭帽子屋/Word Connection JAPAN ） スマホのカメラとは思えない機能の充実っぷり。 今や、スマホでいくらでも素晴らしい写真を撮れる時代。カメラアプリについては、あまり深く考えたことがないかもしれませんが、iOSやAndroidに最初から入っている純正アプリばかり使っている必要はありません。スマホでレベル違いの写真を撮れる最高のカメラアプリが、サードパーティーから出ています。 そうしたアプリを使えば、撮影方法をもっと細かくコントロールできるほか、フィルターやエフェクトなどの機能も使え、スマホ上の他のアプリとも連携できます。GoogleフォトやAppleのiCloudはそのまま使えるので、必要であればクラウドに写真をバックアップでき
» Python実践データ分析100本ノック | 下山輝昌, 松田雄馬, 三木孝行 はじめに この本を手にした動機 元々データ分析に以前から興味があったものの、次に繋げられなかった 非エンジニアがR言語を始めるときの手引き｜Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day1メモ｜中野ヤスオ｜ARI ｜note 2021年10月から12月まで受講した初級Python講座で得たことをなにか繋げたかった 講座受講の経緯等こちら：若手エンジニア成長支援No1企業を目指して｜中野ヤスオ｜ARI ｜note コードを書くことが楽しくなってきたので、毎日少しづつ出来るテーマを見つけたかった 今回の読み方 冒頭にある「本書の効果的な使い方」を参照し、それに準拠 各章各ノックの内容を「写経」しつつ、本文とコードを読み進め、分からないところをGoogleで調べる感じ 人それぞれだが、
先日ですが、旧知の*1Grahamianさんのこんなツイートが話題になっていました。 データ分析をするときシンプルに重要なことは「生のデータを眺める」と「データの分布をグラフにする」ことなんじゃないかと思うんですよね。すぐにクロスとかファネルとかコホートとかやりたくなるんですけど、まずは目の前のデータがどんなものか頭にマッピングさせることが長期的に効いてくる感じ。— Grahamian📊データ分析と機械学習 (@grahamian2317) 2021年1月12日 何を当たり前のことを言っているんだと眉を顰める向きもあるかもしれませんが、これだけデータサイエンスやら機械学習（人工知能）やらが喧伝されている昨今においては、少なからぬ現場で「データはどこかのAPIからバルクでダウンロードしてくるor本番DBから転送してくるだけ」「やってきたデータは中身を見もせずにそのまま統計分析や機械学習など
結論 コードメトリクスの一つ、保守容易性指数と、バグ発生率とに、相関の兆候を見つけた まだ下調べの段階だけど、大規模調査および統計的検定の結果、 保守容易性指数とバグ発生率との相関が認められたら、 保守容易性指数をKPIにすることで、数値的品質評価・管理ができるかもしれない バグをまき散らすけど手が早いエンジニアの影に隠れて、 丁寧にモノづくりをしているけどいまいち評価されていないエンジニアに、 日の目をあてられるかもしれない。 バグ対処コストと保守容易性とを掛け合わせることで、 技術的負債を金銭的評価ができる可能性がある 金銭的に評価できれば、返済に関して、ビジネスサイドと有意義な議論ができる可能性がある はじめに 僕ら(@gakuri、@ahera、@yukke7624)は、とあるSI会社で横断的にプロジェクト支援をしている。 マネジメント状況の監査、支援、テコ入れから、技術的アドバイ
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！ 2020-06-25-1 [Programming][Python][BookReview] データサイエンティストに俺はなる！！ Python 初学者のタツヲです。 いまどきは高校の授業（情報II）でデータサイエンスをやるのですね。 文部科学省から教員用の資料が公開されてるのを知りました。 「情報II」を取った高校生がどんなことを学んでいるのかを知るために、さっそく調査です！ 高等学校情報科「情報Ⅱ」教員研修用教材(本編)：文部科学省 第3章がデータサイエンスの話題ですので、そこを読みました。 で、読んでみた感想ですが、内容が本格的すぎて震える。 大学のデータサイエンス演習のテキストじゃないのかよ、これ。 流し読みでは一部ついていけないところも（真面目に読む必要あり）。 高校生のうちからこの辺をマスターできれば将来安泰でしょ
SQL Server / SQL Database パフォーマンスチューニングのための基礎知識 - Qiita
本投稿について 本投稿は、Microsoft Learn で公開されている、「SQL Server でクエリのパフォーマンスを最適化する 」を確認していた際に、いくつかの情報を補足しながら日本語化したものとなります。 SQL Server / Azure SQL Database のパフォーマンスチューニングには様々な方法があり、「このケースであればこの方法」ということを断定することは難しいのではないでしょうか。 そのため、様々なケースで利用することが可能な、チューニング方法の基礎知識 (一般論) はとても重要です。 本投稿で、確認を行った「SQL Server でクエリのパフォーマンスを最適化する 」は、チューニングに対しての体系的な考え方を無償で学ぶのには適しているコンテンツではないかと思いました。 チューニング系の講義は様々なノウハウが絡みますので有償が多く、ノウハウがない状態で体系
はじめに こんにちは。estieでデータサイエンスをしている齊藤です。これはestie夏のブログ祭り8日目の記事です。 8/10はヤドンの日なので、ヤドン好きな私が記事を書いています。 ヤドンと私 PLATEAUとは PLATEAUとは、国交省のオープンデータプロジェクトです。雑に説明すると、「日本中の都市をまるごと3Dデータとして整備・公開・活用しよう！」というプロジェクトです。 基本的にはビルや道路の3Dデータなので、UnityやVRに持っていって遊ぶような使い方がまず想定され、実際にさまざまな活用がされています。 3D都市モデル PLATEAU LT 01 - connpass 3D都市モデル PLATEAU LT 02 - connpass 一方で私はestieでビルの賃料を予測したり、補正したりする業務に携わってきました。そのため、ビルの属性（竣工年は？造りは？価格は？）といった
Linuxには多くのフリーソフトがある。無料であっても、Windows向け有料ソフトに劣らない機能を持つものもある。厳選したLinuxフリーソフトを100本紹介する。 1 GIMP 商用レベルの多機能な画像編集ソフト 画像の作成や編集、フォトレタッチなどに役立つ、多彩な機能を持つ画像編集アプリです（図1）。レイヤー機能やブラシエディタ、ヒストグラム、ベジェ曲線を使った描画ができるパスツール、さまざまな加工ができるフィルター群など、商用ソフトレベルの充実した機能を持つのが特徴です。
Step 3：データを可視化しよう！ データ可視化の重要性 ggplot2でデータを眺めよう geom_histogram ヒストグラム geom_density 密度分布 geom_point 散布図 aes(color) 色を表現する facet_wrap, facet_grid グラフを分ける geom_boxplot 箱ヒゲ theme_*** 全体の雰囲気を変える color（aesの外） 線を特定の色にする fill（aesの外） 特定の色で塗りつぶす color（aesの中） 線を値に応じた色にする coord_cartesian 軸の範囲を変える labs タイトルや軸ラベルを書く／書き換える theme 文字の大きさなどを細かく設定 ggsave() 図をファイルとして保存 その他のグラフの描き方を知りたい方は ggplot2公式サイト Jaehyun Songさんの解説
SREの探求
組織の大小を問わず、システムやアプリケーションの信頼性がビジネスにとって重要なこと、また市場が求めるスピードでイテレーション（反復）しながら、信頼性を維持するのは難しいことが認識されています。サイトリライアビリティエンジニアリング（SRE）は、この課題に対する取り組みです。 本書は、大規模なプロダクションシステムの運用において、様々な企業や組織がSREをどのように実践しているかについて紹介します。Microsoft、Dropbox、Google、SoundCloud、Spotify、Amazon、Facebook、LinkedIn、Netflix、Lyftなど、規模や業種、提供するプロダクトやサービスが異なる様々な企業でのSREの導入と発展、そこから得た課題について解説します。 全33章で約40名の著者陣が「SREの導入」「SREの周辺領域」「SREのベストプラクティスと技術」「SREの人
DeNA のインフラエンジニアの勤務実態を可視化してみた | BLOG - DeNA Engineering
(補足) 始業（終業）時間の定義: その営業日の一番最初（最後）に勤怠を入力した時間 分析期間平均/中央値/標準偏差: 分析期間の日ごとの全メンバー分のデータを統計処理したもの ヒストグラムの 1 データ: ある IT 基盤部メンバーの、分析期間内のある一営業日の始業 (終業) 時間 考察 始業時間 平均始業時間は 10:54 であり、標準偏差は 1.58 時間。つまり、9:30 〜 12:30 の間に約 7 割のメンバーがそろうということ IT 基盤部の勤怠ルールで 基本的に 12:30 までに勤務を開始する と決められているので、このルールがあらわれている ヒストグラムを見ると、10:00 付近、11:00 付近、12:30 付近にピークがある IT 基盤部は、それぞれのライフスタイルに合わせた働き方が認められている ということがあらわれている 12:30 以降(勤怠ルール外)に勤務開
大学生のためのデータサイエンス（Ⅰ）
講座内容 本講座は改訂版として、本学を含む数理・データサイエンス教育強化拠点コンソーシアムが提示した「数理・データサイエンス・AIモデルカリキュラム」に添い、新たなトピックスに「情報倫理」を、データ分析手法に「主成分分析」や「クラスター分析」等を盛り込んだ他、近年のデータサイエンス・AI分野の動向をアップデートし、リニューアルを行ったものです。 今日の社会は、情報通信技術の普及により、個人の様々な履歴、各種製造・販売データ、ネットワーク情報などの大量かつ多様なデータが簡単に集められるようになってきました。このビッグデータなど様々なデータを対象とする学問分野がデータサイエンスです。データサイエンスは多くの場面で注目されており、たとえば、様々な行動履歴に基づくタイプ診断、調査・アンケートに基づく顧客の需要予測、不良品の製造・機械の故障に関する予兆検知などに活用されています。 現在、データサイエ
JavaScript 第7版
JavaScriptは最も多くのソフトウェア開発者に使用されているプログラミング言語です。JavaScriptを包括的に解説する本書は、第6版から大幅に加筆および更新し、全面改訂しました。 はじめにJavaScript言語仕様の基本的な構文と機能について豊富なサンプルコードを使って学習します。そしてJavaScript標準ライブラリを詳述し、Webブラウザで使われるクライアントサイドJavaScriptやNode.jsで使われるサーバサイドJavaScriptについてわかりやすく説明します。またNode形式と標準形式のモジュールの使い方、イテレータとジェネレータ、async/awaitやPromiseなどの非同期プログラミングの新しい構文、クラスの定義方法などを紹介し、さらにツール群や言語拡張機能、理解の難しいJavaScript特有の動きなどについても学ぶことができます。 Webプラット
前職FOLIOではめっちゃいろんな経験をしたので、今更ながら少しずつブログに出してみることにしました。 はじめに 今回のテーマはチームの「ふりかえり」です。レトロスペクティブとか言ったりもするアレ、KPTとかやるアレです。 多くのチームと同じように、私の所属する開発チームも定期的なふりかえりを行っていました。会の構成を決めファシリテーションをするのは私です。 ふりかえりを進めるのは結構難しく苦戦しましたが、「これで上手くいってるのかな？」「どうしたらもっと良いふりかえりができるかな？」と考えながら色々試していくと、解決したい課題や改善点が段々と見つかってきました。そんな中、行き着いた*1方法があるので紹介します。 ふりかえりのやり方 道具はありきたりで、ホワイトボードとふせん(色の区別はしないので1色で十分。カラフルでも別にOK)です。 まずはホワイトボードを縦に1本区切り、左は「ポジティ
概要 OCRを使った文字読み取りの開発をしていると、読み取られたテキストと画像と見比べて結果の確認をすることがよくあります。読み取られたこの文字は画像のどこから出てきたのかとか、単語の区切りが不自然なときになぜそうなったのかとかといった確認の際には、テキストとその座標から画像中の該当箇所を見つける必要があり、人間が目視で行うにはなかなか大変な作業です。物体認識などのタスクでは、画像上に四角形のバウンディングボックスを物体名のラベルとともに描写して可視化していますが、OCRの読み取りの場合は文字が画像上で密に配置されていたりと、画像上に直接描写するには情報量が過多になってしまいます。なるべくインタラクティブに操作出来る形で情報を表示し、必要な部分だけを確認できるようにしたい場合が多いです。 この記事では、OCR読み取りの結果を画像上に描写して、インタラクティブに結果を確認する方法を紹介します
知り合いを6人辿れば、世界80億人と繋がれるのに、組織内のコミュニケーションに6人以上必要なのは、おかしくない？ #TACO - 名前考えるの苦手
Tokyo Agile Community (TACO)の「Scaled Agile with Jim Coplien」の講演メモ。 taco.connpass.com 英語がわからない私が、同時通訳してくれた内容を私の理解でメモしたものです。 断片的な上、正しくない表現や誤りが多いと感じます。いつも以上に自信がありません。 講演者と質問者と通訳者と私の言葉がとてもまざっています。 正しく理解したいため、違う点や補足などあれば、ぜひフィードバックお願いします。 Tokyo Agile Community (TACO) について 私は3回目の参加でした。 今回は、講演者の影響なのか、いつもと参加者層が違った（増えた）ように感じました。 （Twitterで聞いたら、来たことある人は、少数だったらしいと、川口さんが教えてくれました） TACOは、主催者の方の多くが日本語ネイティブではない日本（東
2023年度 早稲田大学「計量分析（政治）」補助教材
最終更新日 RStudio と R Markdown R Markdown の使い方と文法 Sep. 21, 2022 R の「あるある」エラー Sep. 13, 2022 Rを使ったデータ操作 1. データ・ハンドリング（基礎） Sep. 13, 2022 2. データ・ハンドリング（応用） Nov. 17, 2023 3. データ・クリーニング Sep. 13, 2022 データの可視化 4. ggplot2（基礎） Sep. 26, 2022 5. ggplot2（棒グラフ） Oct. 20, 2022 ggplot2（ヒストグラム） Sep. 10, 2022 ggplot2（箱ひげ図） Oct. 20, 2022 ggplot2（散布図） Sep. 20, 2022 ggplot2（折れ線グラフ） Sep. 20, 2022 ggplot2（ロリポップ・チャー
運営管理人すしぱくです。('A')ﾉ ぱくたそでは、誰でも自由に利用できるフリー素材を配布しています。公開している写真は撮って出しもありますが、基本的にはレタッチを行いできるだけ雰囲気に合わせた仕上がりに加工しています。 そのレタッチの際に各カメラマンが使っている Photoshop / Lightroom / Brigde のプリセットを配布するサイトを作りました。 Photoshop / Lightroom 用 Camera Raw プリセットの「ぱくたそプリセット」 その名も「PAKUTASO PRESET」です。 PSはPhotoshopの略名とか、PAKUTASOの文字列から抜粋とか、色々と考えはありますが気にしないでください。読み方は「ピーエスプリセット」となります。 どのようなサイトなのか ぱくたそでは、日々多くの写真を追加し続けています。ポートレート、ネイチャー、ブツ撮り、
連載目次 前回は、「ビジュアライズ（可視化、視覚化）」というテーマの前編として、関数をグラフ化することによりモデルを可視化する方法を見ました。今回は後編です。収集したデータや分析結果を可視化するために、棒グラフやヒストグラム、散布図、ヒートマップなどを作成します。 今回の練習問題としては、3D散布図と個別の2D散布図を並べて描く例、回帰分析を行って散布図に回帰直線を重ねて描く例を取り上げます。もちろん、全て中学／高校までの数学の知識があれば作成できるプログラムです。グラフ化するデータの準備についてはある程度Pythonの経験がないと難しい部分もありますが、分からない部分については「おまじない」だと思ってサンプルコードをそのまま入力してもらって構いません。 見出し／図／リスト／脚注などの番号は、前編である前回からの続き番号となっています。
最近、身近なスモールデータをさくっと分析してみる機会があったので、過程をまとめてみました。スモールデータの解析であっても、前処理、可視化、示唆出しなどデータ分析に必要な所作というのは変わりません。ステップに分けながら紹介したいと思います。 今回はツールにGoogle Spreadsheetしか使っていないので、ノンエンジニアのビジネスサイドの人であっても同じ分析を回すことができます。Google Workspace(Gsuite)を使っている企業であれば紹介した生データも取得ができるかと思いますし、30分くらいしかかからないので、試してみると面白いかもしれません。 今回取扱いたいデータはGoogle Meetのログデータです。COVIDの影響で営業や採用文脈でリモートMTGが増えました。「最近、リモートMTGのちょっとした遅刻、多くない？」という社内のふとした問題提起から、実際にログをみる
なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること | CyberAgent Developers Blog
概要 同じ介入を比較するA/Aテストで統計的に有意な差が出てしまうケースがある その原因は、A/Bテストの指標の設計に失敗していることかもしれない この問題の対処法としてユーザベースCTR、デルタメソッド、クラスターロバスト標準誤差を紹介する これらの手法は実務で運用する上では一長一短 はじめに AI事業本部Dynalystの伊藤、小売セクターの藤田(@6km6km)です。 DynalystはReal Time Biddingと呼ばれる広告オークションにおいて広告枠の買付を行うプラットフォーム（DSP: Demand Side Platform）です。DSPでは、ユーザに広告を表示する際に複数あるクリエイティブの候補からひとつクリエイティブを選ぶ必要があり、その選択ロジックにバンディットアルゴリズムを用いています。（参考リンク1, 2） 以下では、バンディットアルゴリズムのA/Bテストをす
課題 Lokiとはなにか？ ログ転送の仕組み ログ可視化の仕組み 使ってみてわかってきたこと Grafanaでログをササっとみられるのは楽 『indexを作らない』の意味 ログから作成するメトリクスと統計情報 nginx-module-vts GrafanaのSlackが温かい 現在のLoki環境 VMの情報 コンテナの構成 負荷状況 今後 こんにちは！インフラユニットの小林です。 今回はログ監視ツール『Loki』の導入事例を紹介をします。 課題 これまでもログ可視化集約ツールを使っていたのですが、メモリ使用量の多さや気が付いたら落ちていたりして、VMのランニングコストや運用負荷が課題とされていました。 またUIが非常にリッチなツールだったんですが、我々のやる事と言えば『ApacheやNginxのログからステータスコードやリクエストタイムを可視化』したり、『アプリケーションでエラーが起きた
データサイエンスのための統計学入門 第2版
データサイエンスにおいて重要な統計学と機械学習に関する52の基本概念と関連用語について、簡潔な説明とその知識の背景となる最低限の数式、グラフ、RとPythonのコードを提示し、多面的なアプローチにより、深い理解を促します。データの分類、分析、モデル化、予測という一連のデータサイエンスのプロセスにおいて統計学の必要な項目と不必要な項目を明確にし、統計学の基本と実践的なデータサイエンス技法を効率よく学ぶことができます。データサイエンス分野における昨今のPython人気を反映し、第1版ではRのみの対応だったコードが、今回の改訂でPythonにも対応。コードはすべてGitHubからダウンロード可能です。 日本語版まえがき 訳者まえがき まえがき 1章 探索的データ分析 1.1 構造化データの諸要素 1.1.1 さらに学ぶために 1.2 テーブルデータ 1.2.1 データフレームとインデックス付け
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 はじめに こんにちは。SREの二橋です。最近の楽しみは、キャンプと釣りの動画を見ながら、お家で妄想を膨らませることです。 この度、TypetalkのEC2のインスタンスをインテルプロセッサを搭載したM5系からARMベースのAWS Graviton2を搭載したM6g系に完全移行しました。そこで、Graviton2の概要から移行しようと思った理由、作業内容、移行の効果などをお伝えしたいと思います。 AWS Graviton2とは？ Graviton2はAWSがArm Neoverse コアをベースに独自開発したプロセッサです。2020年夏にAmazon EC2で一般用途向け(M6gとM6gd)、コンピューティング最適化(C6gとC6gd)、メモリ最適化(R6
BOOTHで販売されている、VRChat向けを想定した3Dモデルの市場概況について結果を考察を述べていきます。なお、以下の解析はすべて2021年12月12日 時点に行った解析を元にしています。 アバター販売本数 現在、2,692 体のアバターモデルが販売されています。 これはサブカテゴリが「3Dキャラクター」となっている販売商品の数です。ちなみに、昔はアバターも衣装も「3Dモデル」という一本のカテゴリに混在していて検索が大変でした。現在は、サブカテゴリが出来たおかげでこのあたりがだいぶ検索しやすくなっています。 ただし、厳密には集計漏れがあります。サブカテゴリ設定前に販売開始をして、登録をし直していない商品は「その他」のサブカテゴリになっているからです。 アバター販売価格 すべての販売アバターの価格をヒストグラムにしました（図1.）。十万円以上の商品は極めて少ないことから（販売避けのダミー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習による株価予測 はじめようNumerai - Qiita
PHP アプリケーションのトレース計装ではじめる OpenTelemetry 入門 - Shin x Blog
「読んでもらうため」に書くのはドーパミンが出るから - 本しゃぶり
Pythonでデータの挙動を見やすくする可視化ツールを作成してみた - Qiita
機械学習でなんとかしようと安易に考えるな - Qiita
クエリログを使ったAurora MySQLの負荷テスト - クックパッド開発者ブログ
ベイズ統計 - HELLO CYBERNETICS
「Python実践データ分析100本ノック」を写経してみた - Qiita
データ分析をする前に、まず生データを見てみよう - 渋谷駅前で働くデータサイエンティストのブログ
もしかしたらコードメトリクスこそが、僕たちを救ってくれるかもしれない。 - Qiita
PLATEAUから街の構造を見る - estie inside blog
Linuxに商用レベルの画像編集フリーソフト、動画編集ソフトも豊富
Rを用いた データ解析の基礎と応用2022
コミュニケーションの方向に着目したふりかえりの方法 - よこなのへたのよこずき
Python&Plotlyを使って、OCR結果を画像上でインタラクティブに可視化する
Adobe Camera Raw プリセットの配布サイト「ぱくたそプリセット」を公開しました｜フリー素材のぱくたそ
Pythonでグラフを描こう ― 棒グラフ／ヒストグラム／散布図／ヒートマップ
身近なデータで30分クッキング：Google Meetのログを解析してみる編 - MNTSQ Techブログ
Lokiで本番環境のログ監視を始めました - WILLGATE TECH BLOG
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 | 株式会社ヌーラボ(Nulab inc.)
BOOTH3Dモデル市場概況（2021年）｜hibit