ビックデータ時代の到来に伴い、データ活用やデータ利活用という言葉をよく耳にします。ビッグデータの活用というのは、簡単にいうと手元にある膨大なデータから様々な情報を引き出しから、それを未来の予測、ビジネスの意思決定、新産業の創出などに活用していくことができます。しかし、膨大なデータからどのように有益な情報と洞察をと得られますでしょうか？本記事ではデータを分析に役に立つデータ可視化ツール30選を紹介します。初心者向けのツールも含めていますから、データ分析に興味を持つ方はぜひご覧ください！ ノーコード型データ可視化ツール 1.チャートグラフ｜テクニカル分析ツール 1) Tableau Tableauは世界中で有名なデータ視覚化ツールとして、人々にデータを効果的な見える化にするサービスを提供しています。Tableauは非常に強力で柔軟な分析プラットフォームで、プログラミングなどの専門知識・スキル不
こんにちは、イノベーション推進部イノベーション開発グループの青野です。 社内外のデータ活用やAIモデルの実装などを行う部署に所属しております。 さて、AIモデルの構築やデータ分析をするにあたり、プログラミング言語を必要としますが、よく使われる言語が「Python」や「R」です。特にPythonは広く使われており、AIモデルの構築やデータ分析のためのライブラリが豊富です。今回はその中でもPythonの可視化ライブラリについて、4種類のライブラリを比較しながら紹介したいと思います。 はじめに 私は2年間ほどデータ分析を使った、実業務の効率化や新たな取り組みへの意思決定のサポートを担当していました。データ分析の案件の中で、どの案件でも必ず行っていたことが「可視化」でした。 その中で可視化は 業務有識者の方々が暗黙知として持っている知識ではあるが、明確にはわかっていないことをわかりやすく見せること
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点について - Qiita
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点についてMachineLearningMLOps この記事では MLOps における Data Validation (データバリデーション: データの検証) について概要を述べます。 Data Validation はこれ単体では新しい概念ではありません。たとえば入力フォームで入力値に制約を設け、その制約を満たすデータのみを入力値として受け入れるようにするのは、サービス開発では一般的なことでしょう。入力欄において空欄を許さない、値は特定のリストからのみ選択できるといった制約を設けている例は、開発者でなくても一般的に目にしたことがあるかと思います。 このように Data Validation は一般的な概念ですが、MLOps においては非常に重要な概念となります。また、そこ
AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)の学習方法とマシンラーニング・ディープラーニングの基礎知識が学べる学習リソースの紹介 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 機械学習 – 専門知識(AWS Certified Machine Learning – Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 機械学習 – 専門知識」とは 「AWS 認定
食べログ、航空チケット価格、旅行予約サイトの嘘、最近DATAサイエンスの矛盾が露わになっている件についての簡潔なまとめ - 食いしん坊パパ(嫁の金魚の糞)
最近twitter界隈で、食べログのアルゴリズム、旅行予約サイトの価格矛盾、現在サイトを見ている人の数の嘘？が露わになってきています。 ちょっと探ってみよう。 （調査した人を基に） まずは誰もが知っている「食べログ」 これを知ったのは田端大学の田端さんのツイートを見てから。 食べログ3.8問題を検証 - 食べログの評価は「3.8を超えると3.6に下げられる」という話の真実性を、 食べログの評価の分布の偏りを調べることで調査しました。 https://t.co/1GQa9Ep0v5 — 田端信太郎 ＠田端大学塾長である！ (@tabbata) October 8, 2019 出典〜食べログ まじかよ食べログ、、、 ここからはリンク先の「食べログ3.8問題を検証」を参考に 評価点に操作が加えられているなら、 特定の評価点に偏りが現れるはずです。 そこで、評価点がどのように分布しているかを調べま
人生100年時代の会社と人の付き合い方 井上和幸氏（以下、井上）：野田さん、今、若干すっ飛んだ話をポッと思いついたので、聞いてみていいですか？ 40代以降、大手さんを中心にセカンドキャリアプログラムをよくやるじゃないですか。僕がふとおもしろいなと思ったのは、その時に言う「セカンドキャリア」って、自分の会社の中のことを考えさせないんですよね。 外の機会を一生懸命考えさせて、ある意味ちょっと言い方はアレですけど、この場なので言ってしまえば「出ていけ」「気持ちよく出ていってね」みたいなね。 野田稔氏（以下、野田）：ぜんぜん違うセカンドキャリアプログラムを作っているんですよ。僕のやっているプログラムはジョブ開発を中核的な概念として置いています。「会社の中で自分の座る椅子を作れ」というセカンドキャリアプログラムを展開してます。 井上：それは良いことですよね、すばらしい。 野田：会社はもう道具。会社を
あらゆるオペレーションが生成AIによって「代替」されるであろう未来、テクニカルスキルを磨いただけのエンジニアが生き残っていくことは難しいとされる。AIに代替されることなく、AIの担い手となりうるエンジニア像とは、どのようなものだろうか。本セッションには、東京大学工学部在学中にフリーランスエンジニアとして独立、その後株式会社AppBrewを起業し、現在も代表兼エンジニアとして第一線で活躍している深澤 雄太氏が登壇。生成AIによって「代替」されていく世界でエンジニアはどう立ち回るべきか、自身の経験をもとに語った。 生成AIによって「代替」されていく世界 初めに深澤氏は、GPTの出現によって、エンジニアリングだけでなくさまざまなオペレーションが「代替」され始めている現状について整理した。 たとえばある機能を持った関数を作成したいときや、既存のコードはあるものの、それぞれの会社の「お作法」に合わせ
本記事はJPモルガン、PEファンドのOak Hills Caitalで投資やM&A案件に携わってきたShin Kim氏のブログ記事、「Lessons on Capital Efficiency from 21 SaaS IPOs」を、著者の許可を得て翻訳、公開するものです。日米市場の違いはあるものの、成功したSaaS企業が、どういうペースで資金調達を行ったかの分析は興味深いものがあります。 SaaS企業のファウンダーが共通して抱く疑問は、資金調達を行うペースに関するものです。どのタイミングでいくら調達すると会社にとって早すぎ、多すぎとなるのでしょうか？同業他社の典型的な調達額はいくらなのでしょうか？最も優秀な企業の資本効率はどれくらいでしょうか？ 過去30か月の間で（2017年第2四半期以降）、Zoom、Slack、Datadogをはじめ¹、米国拠点でVCの出資を受けたSaaS企業、合わせ
Matplotlibライブラリの魔法：データを可視化するPythonの力 - Python転職初心者向けエンジニアリングブログ
データの可視化は、システムエンジニアやデータサイエンティストにとって不可欠なスキルです。PythonのMatplotlibライブラリは、豊富な可視化機能を提供し、データを直感的に理解するのに役立ちます。この記事では、Matplotlibの基本的な使い方から高度なテクニックまで、具体的なコードを交えながら詳しく説明します。 Matplotlibの基本 Matplotlibは、グラフやプロットを描画するための広く使用されているライブラリです。まずは、基本的な使い方から始めましょう。 import matplotlib.pyplot as plt 折れ線グラフの描画 # データの準備 x = [1, 2, 3, 4, 5] y = [2, 4, 6, 8, 10] # 折れ線グラフの描画 plt.plot(x, y) # グラフにタイトルとラベルを追加 plt.title('折れ線グラフの例')
はじめに この記事は、特徴量エンジニアリングについてわかりやすく説明することを目的として書きました。特徴量エンジニアリングについては、多くの記事で取り上げられていますが、最初に読む入門的な内容を目指しています。 「特徴量エンジニアリング」とは、大雑把に言えば「機械学習モデルの予測精度を上げるための入力データの加工」のことですが、実はこの言葉の定義には曖昧さがあります。様々な記事を読むと、この言葉は使う人により若干意味が異なっていることが分かります。 例えば、ある記事では、欠損値の補完は「前処理」で、カテゴリカルデータのワンホットエンコーディングが「特徴量エンジニアリング」と解説されています。一方、別の記事では両者とも「特徴量エンジニアリング」と解説されています。したがって、この言葉でイメージするものは人によって異なっていると言えます。 データサイエンティストの中でも自然言語処理をメインに扱
先日のことですが、Querie*1で以下のような質疑がありました。 恐らくですが、これは僕が懇意にさせていただいているマクリン謙一郎さんがコメントしていた件に関連する話題だと思われます。 たしかにこれではないからHARKingとはちょっと違うと思うんだけど、実際は「同じストーリーを別のデータで何度も解析」してるわけだから多重検定になる。被説明変数は一緒だから複数の説明変数を試して有意になったやつを報告するのと構造は一緒。 https://t.co/WjnK5MnKcJ— Ken McAlinn (@kenmcalinn) 2024年3月11日 分かる人が見れば「典型的な多重比較補正問題だ」と分かる話なんですが、普段から意識していないと意外と見落とされがちなポイントだと思うんですよね。ということで、最近ネタ切れなのを糊塗する目的も兼ねて今回の記事では簡単にこの話題を改めてサクッと深掘ってみよ
eBPF for Rubyist 現状確認(1) - RbBCC の使い方 in March 2020 - ローファイ日記
気づいたら3月に... このたび、Rubyアソシエーションの助成対象となった RbBCC の開発について、最終報告書を出したのですが、せっかくなのでブログで何をやったかも書いとこうという気持ちです。 udzura.hatenablog.jp これの話です。 で、サラッと書くつもりでしたががっつりしています。週末プログラミングのお供にでもどうぞ。 RbBCC の話 以前ブログに書いた気がしていたんですが、 hello world が動いた！みたいなことしか内容がなくて、 udzura.hatenablog.jp 今はもうちょっと現実的なツールが動くんで、とりあえず書いて動かしてみましょう。 動かす環境づくりとインストール まずLinuxを用意します。カーネルのバージョンは新しいほど嬉しいです。今回はもうすぐリリースされるであろう Ubuntu Focal(20.04) を使います。カーネルバ
1. はじめに Researchグループの片野です。 UXResearchといえば定性分析を主な分析手法としているResearcherが多い中で、「データ分析×UXリサーチ」の分析手法でユーザー体験の最大化の数値化を目指しています。 定性・定量分析に限らずプロダクトの改善提案に必要なのは、説得力のあるデータを挙げることでもありますが、それ以前に自社サービスを利用するユーザーを正確に把握していることが重要な基礎になります。 顧客分析を行うにあたってよく使われる手法として、デシル分析やセグメンテーション分析などもありますが、今回はユーザーを正確に把握するのに用いる分析手法である、RFM分析について説明します。また、最後の方に少しだけデシル分析と比較して、なぜRFM分析の方がユーザーの把握に適しているかも紹介していきます。 2. RFM分析とは RFM分析は以下の3つの指標を使い、ユーザーの分析
Jリーグの観客動員数をあえて平均を使わず考察する【コラムその１２６】 - スタ辞苑〜全国スタジアム観戦記〜
プロスポーツの大きな指標の一つ、それが観客動員数です。 プロたるもの、お客を呼んでナンボというのは避けて通れない宿命です。 一方、観客動員数の評価の時によく使われるのが「平均値」です。 その算出方法はあえてここで説明はしませんが、この平均値には実は大きな落とし穴があるのです。 その例えとして、「全国中学校校長の平均売春人数」というのがあります。 イメージで言えばもちろん0人のはず…ですが、実はこれは1.2人なのです。 え、中学校の校長ってみんな売春してるの…？ …というわけではなく、これは一人のレジェンド校長が平均値を押し上げまくっているにすぎないのです。 www.youtube.com このように平均値は数値のある一面を表現しているにすぎず、平均だけを見ていると必ず見落とす部分があるのです。 今回は平均値で語られがちなJリーグの観客動員数を、あえて平均値を使わずに考えてみたいと思います。
アプリケーションとインフラのパフォーマンスをモニタリングしよう /「入門 Prometheus」を読んだ - kakakakakku blog
今年5月に出版された「入門 Prometheus」を読んだ．本書は Prometheus の仕組みから，実際に本番環境で運用するときに必要になるデプロイの観点まで解説されているため「Prometheus に興味のある幅広い読者層」にオススメできる1冊だった．僕自身も Prometheus を本番環境で運用した経験はなく，Kubernetes や Microservices のハンズオンを試しながら，合わせて Prometheus と Grafana を使う場面が多く，本書の読者層に合っていた． 本書は O'Reilly Japan 様より献本を頂き，ありがとうございます！そして，本書の監訳者である @superbrothers さん，出版おめでとうございます！本書を読んでいたら，多くのページに「監訳注」が入っていて本当に素晴らしかった！原著出版後に追加された Prometheus API
Elasticsearchでマルチモーダル画像検索その１ 前置き Elasticsearch 7.2が出る以前からexperimentalな機能としてvectorまわりを扱う機能が提供されていた。 経緯はよく覚えていないが、そのあとここでrevertされたと思ったらX-Packに入った、みたいなことだったと思う。 どんなものかというと、通常のクエリでヒットした文書セットを文書それぞれに予め付けておいたベクトルを利用した類似度でリランクできる、というものだ。 文書が持つ特殊なvector fieldになんらかのベクトルを入れておき、クエリ時にもそれらと比較可能なベクトルを渡すことで、_sourceに格納されているvector fieldを使ってscript内でベクトル間の距離をスコアリングに利用できる。 この機能によってできることというのは、 userとitemで行列分解したベクトルの内積で
1. 二値分類タスクにおける評価指標 二値分類タスクにおける評価指標には、予測値を連続値のまま評価するものと、0/1に割り当てた上で評価するもの（混同行列に基づくもの）の2通りがあります。 機械学習モデルの全体的な予測性能を評価する場合は、LogLossやAUCなどの前者の指標が使われることが多いですが、予測値に基づくアクションが二値になる場合（例：広告を配信する/しない、病気と診断する/しない）などでは、後者で評価を行いたいこともあるでしょう。 後者の混同行列に基づく評価指標にはいくつかありますが、本記事の主旨はインバランスデータにおけるそれらの挙動を比較、考察することです。 初めに断っておきますが、「こういう場合にはこの指標を使うべき」とか、そういった結論らしい結論は、すみませんがありません。豆知識程度のものだと思ってください。また、本記事で述べる考察は、極めて単純な人工データに基づく
AUD/NZDの3種類の設定を公開！ 本記事では、ココの考える3つのAUD/NZDの設定を紹介します。各自の許容リスクに応じて参考にして頂ければ幸いです。 またココが実際に稼働させている設定も開示します。 ココのトラリピ運用実績 AUD/NZDがトラリピ向けだと思う理由 AUD/NZDの特徴 高い連動性 先進国同士の通貨ペア レンジが狭い ショック相場に比較的強い AUD/NZDのトラリピ設定紹介(3種類) AUD/NZDのトラリピ設定(いのちをだいじに) AUD/NZDのトラリピ設定(ガンガンいこうぜ) AUD/NZDのトラリピ設定(いろいろやろうぜ) バリトラ(バリアブルトラリピ)の考え方 ココのトラリピAUD/NZDの設定 ココの「いろいろやろうぜ」設定 ココの「いのちをだいじにVer.2」設定 ココの「いろいろやろうぜ」の注文方法 2020/9/26から、ついに、トラリピ に、AU
【超初心者向け】GIMPでテキスト入力して縁取りする方法(一連の手順) - 赤兎馬おじさんの足跡 ～経験値のお裾分け～
GIMPのテキストで縁取りする方法をは？ 初心者でもGIMPでカッコいいテキストを作れるの？ ピカーン！って光る感じの目立つアイキャッチの作り方は？ グラフィック編集の知識が0で専門用語がわからないけど、できるのかな？ こういった疑問に答えます。 GIMPの超初心者ユーザー向けに、同じく超初心者の私が作成できたアイキャッチ画像 の様に、縁取りを施して光り輝くような目立つテキストを作る方法のみに特化した 覚え書き的な記事としてまとめます。 当ブログにお立ち寄り頂きまして、ありがとうございます！m(_ _)m こう見えて実は、完全なる超初心者でありながらGIMPで目立つテキストを入力できる ようになって、ちょっぴりスキルアップした赤兎馬おじさん(@sekitoba1007)です。 やればできるもんですねえ！ こんなアイキャッチ、作ってみたかったんですよねぇ！(^^♪ 今回は、スキル0・知識0で
この記事は KLab Engineer Advent Calendar 2019 24日目の記事です。 AdventCalendarどころか、Qiitaへの、もっと言えばネットに向けた技術エントリの投稿自体が初めてになります suzuna-honda といいます。よろしくお願いします。 はじめに 私は書籍をスキャンして電子書籍として読む、いわゆる「本の自炊」を趣味としています。 不眠症のケがあり、眠くなるまでの暇潰しとして、自炊した本を読書するのが日課になっています。枕の横にはiPadが欠かせません。 どの程度、深く、この「本の自炊」と向き合っているかといいますと、 書籍のスキャン 1冊ごとにパッケージング、管理の為のタグ付け スキャンした画像の画質調整、端末(iPad/iPhone)への最適化 端末(iPad/iPhone)へのデータ転送、閲覧 までの一連のワークフロー、ほぼ全てのツール
星景写真，特に天の川の写真を撮った時に，「もう少し天の川をくっきりと浮かび上がらせたい」と思うことがよくあります。その時に使うと便利なのがフォトショップの「トーンカーブ」です。ここでは天の川を浮かび上がらせるために，僕がどのようなトーンカーブを使って画像処理しているかを紹介します。もちろん異なる処理をしている人もいると思いますが，一例としてご覧いただければと思います。トーンカーブを使った処理に先立って行う，フラット化についても触れます。 お題はこちら トーンカーブの前に…フラット化 フラット化について グラデーションマスクでフラット補正 天の川を強調するトーンカーブ ヒストグラムを眺めてみよう：基本的な考え方 トーンカーブで天の川を浮かび上がらせます 天の川を強調します さらに強調してみます もう少し手を加えて仕上げます 空の明るさを調整します 空の色も調整します これで完成です まとめ
リサーチインターンの成果が紆余曲折を経て国際論文誌 Applied Sciences 誌に採録されるまで - Gunosyデータ分析ブログ
こんにちは。Gunosy TechLab R&D チーム リサーチインターン の北田 (shunk031) です。今回はようやく皆様にお見せできる、可愛い我が子（もちろん研究のことです）について書きます。 今回採録された論文の全体像：広告クリエイティブを最適なタイミングで停止するよう支援する深層学習を元にした枠組みを提案しました。 この度、私と研究開発チームの 関さん で取り組んでいた研究が MDPI 社が発行する Applied Science 誌 という論文誌 （査読付き journal article) に掲載されました。 www.mdpi.com 今回の論文は "Ad Creative Discontinuation Prediction with Multi-ModalMulti-Task Neural Survival Networks" というタイトルで、 配信効果が悪くなっ
ビジネス上の意思決定に欠かせないデータ活用。その効果を最大化するビジュアライゼーションは、データ分析に携わる方であれば習得しておきたい技術です。その入門書として、CodeZineを運営する翔泳社では『データ分析者のためのPythonデータビジュアライゼーション入門』を発売。本書からデータビジュアライゼーションの意義について解説されたパートと、Pythonで利用できるグラフとチャートの例を紹介します。 本記事は『データ分析者のためのPythonデータビジュアライゼーション入門 コードと連動してわかる可視化手法』（小久保奈都弥）から抜粋したものです。掲載にあたり一部を編集しています。 意思決定におけるデータビジュアライゼーション 意思決定の判断ツール 私たちがビジネスにおいて日常的に行っているのが意思決定です。そのレベルは様々ですが、あらゆる事象に対して意思決定が行われています。 意思決定の主
SQLではじめるデータ分析
クラウドの普及とともに、SQLの利用範囲は拡大し、データサイエンティストもデータベースを直接扱う機会が増えています。本書は、データ分析に関わるSQLのテクニックを学び、分析プロセスにおいてSQLを最大限に活用するためのものです。時系列解析などでは、SQLが日付・時刻の比較や処理に長けており、威力を発揮できる最たるものです。本書ではデータの前処理から始め、時系列解析、コホート分析、テキスト分析、異常検知など、SQLの操作を通じて高度なテクニックまで学ぶことができる構成になっています。サンプルコードはGitHubからダウンロード可能で、実際に手を動かしながら学ぶことができます。 はじめに 1章 SQLによる分析 1.1 データ分析とは 1.2 なぜSQLなのか 1.2.1 SQLとは 1.2.2 SQLの利点 1.2.3 SQL vs. R/Python 1.2.4 データ分析ワークフローの一
iPhone 12で撮影・編集ができるようになった「Dolby Vision HDR」っていったいどういうもの？
Dolby Vision HDRはHDRの規格の1つで、米Dolby Laboratoriesがライセンスしています。HDR規格の1つである「HDR10」が色深度10bitまでなのに対して、Dolby Vision HDRは12bitまで対応し、より多くの色数に対応できます。iPhone 12シリーズでは、4Kで10bitのDolby Vison HDRが撮影可能で、搭載しているSuper Retina XDRディスプレイは1200ニト（カンデラ／平方メートル）までの明るさで表示できます。 Dolby Vision HDRで撮るならiPhone 12しかない Dolby Vision HDRを再生できるデバイスは、米Appleだけでなく他社のスマートフォンでも発売されてきました。iPhoneでは、iPhone 11、iPhone 11 Pro、iPhone X、iPhone XS、iPho
Pythonでデータの挙動を見やすくする可視化ツールを作成してみた（ヒストグラム・確率分布編） - Qiita
概要 近年、品質管理やマーケティングの分野で「ばらつき」分析の重要性が叫ばれていますが、 ばらつき分析と切っても切り離せないのが**「ヒストグラム」と「分布の種類の判断」**です。 今回はPythonのグラフ描画ライブラリ「seaborn」をベースにして、 分析の種類の判断を強力にサポートするツールを作成しました！ 機能1. 正規分布かどうかの判断 機能2. 各種確率分布のフィッティングとあてはまり評価指標 2021/7 修正：pipでインストールできるよう改良しました 下記コマンドでインストール可能となりました こちらの記事で紹介しているseaborn_analyzerライブラリの一部として、githubにもアップロードしております。 histクラスが、本記事の内容に該当します。 バグや改善要望等ありましたら、コメント頂けますとありがたいです また、もしこのツールを良いと思われたら、Gi
機械学習のルール: | Machine Learning | Google for Developers
ML エンジニアリングのベスト プラクティス Martin Zinkevich 氏 このドキュメントは、ML の基本的な知識を持つユーザーが、Google の ML のベスト プラクティスを活用できるように支援することを目的としています。Google C++ スタイルガイドや他の実用的なプログラミング ガイドと同様に、ML のスタイルを提示します。ML のクラスを受講したことがある方、ML モデルを構築または作成した経験がある方は、このドキュメントを読むために必要な知識があります。 Martin Zinkevich 氏は、ML に関するお気に入りの 10 のルールを紹介します。以下に、43 のルールをご紹介します。 用語 効果的な ML の説明では、次の用語が繰り返し登場します。 インスタンス: 予測を行う対象。たとえば、「猫について」または「猫についてではない」として分類したいウェブペー
リンク Wikipedia ヒストグラム ヒストグラム（英語: histogram）とは、縦軸に度数、横軸に階級をとった統計グラフの一種で、データの分布状況を視覚的に認識するために主に統計学や数学、画像処理等で用いられる。柱状図、柱状グラフ、度数分布図ともいう。 工業分野では、パレート図、チェックシート、管理図、特性要因図、層別法、散布図と並んで、品質管理のためのQC七つ道具として知られている。 histogram （ヒストグラム）の語源は、定かではないが、古代ギリシャ語で「なにかを直立にする」（帆船のマスト、織機のバー、ヒストグラムの縦棒など） 19 users 9
CSVファイルのデータを手軽にグラフ化するGUIツールを作ってみた - EurekaMoments
Python実践データ分析100本ノック 作者:下山 輝昌,松田 雄馬,三木 孝行出版社/メーカー: 秀和システム発売日: 2019/09/27メディア: 単行本 目次 目次 背景・目的 ソースコード 使い方 インストールと起動 CSVファイルの読み込み 各データの最大値、最小値、平均値、標準偏差の計算 グラフの作り方と種類 2次元の線グラフ 3次元の線グラフ 2次元の散布図 3次元の散布図 1次元のヒストグラム 今後 背景・目的 何かしらのデータを取得し解析する時は、まずCSVファイルに保存して、 それをPythonなりMATLABなりで読み込んでグラフ化する、というやり方を よくやります。 ただし、解析するたびにそのためのコードを書くのも面倒くさいので、 どんな内容のCSVファイルでも同じ処理でグラフ化出来る方法がないかと 調べていたところ、こちらのような可視化ツールを作っている人達が
問題解決のための新QC７つ道具の使い方 ご訪問ありがとうございます。 某大学の兼任教員をしているまねき猫です。 問題解決に有効な道具たちを紹介する２回目です。 新QC７つ道具を取り上げました。 道具を上手に利用することで、仕事や私生活の質や効率を上げていくことが出来ます。 そうした道具たちを、どんなタイミングでどう利用するか書いてみました。 興味を持たれた方はお付き合いください。 数字をクリックするとジャンプします。 お忙しい方は一部だけでもご覧ください。 目次 １．問題解決に活用したい新QC７つ道具 ２．新QC７つ道具とは 親和図法 連関図法 系統図法 マトリックス図法 アローダイアグラム PDPC 法 マトリクスデータ法 ３．ご参考：QC７つ道具 ４．まとめ １回目の記事はこちらです。 www.my-manekineko.net １回目の記事を読まれた方は、２にお進みください。 ２．新
Excelを活用したデータ分析の方法
多くの人は、エクセルでのデータ分析はなかなか難しいと思っているかもしれません。しかし、専門の分析ツールを使わなくとも、できることは意外に多いんです。 エクセルには「分析ツール」という大変便利な機能があります。 「分析ツール」とはエクセルのアドインの一つで、クリックや簡単なパラメータの入力のみでデータ分析を可能にしてくれる機能です。 「分析ツール」機能を使用すれば、特別な関数やコードを書く必要が一切ありません。導入も簡単ですので、初心者でも気軽にデータ分析を行うことができます。 本記事では、エクセルにある「分析ツール」機能を使って、「エクセルのデータ分析でどこまでいけるのか」を8つのケースを通じて解説します。 この記事を読み終えたころには、「分析ツール」機能でデータ分析ができるようになっているはずです！ 1. 「分析ツール」機能は、短い時間で少量のデータを分析したいときに最適な機能である「デ
写真家には古い格言があります。｢最高のカメラとは、あなたが持っているものです｣ 写真を撮りたい瞬間が現れたとき、どんなカメラも手元になければ意味がありません。 大きな一眼レフだって、家に置いていては意味がないのです。 しかし今、私たちは（ほとんど）何処にだってスマートフォンを持ち歩いているのですから、常に最高のカメラを持っていることになります。 最近のiPhone(iPhone XRやiPhone XS、iPhone XS Max)には優れたカメラが搭載されており、スマートフォンの限界を押し上げ、一般のデジカメにはない多くの機能があります。 しかし写真をさらによく撮りたいなら、よりパワフルなカメラアプリが必要です。 今回はiPhoneのカメラを引き上げるための最高のカメラアプリをご紹介します。 Camera+ 2 最新のiOSになっても、Appleが開発したカメラアプリは非常にシンプルで機
過去最強の音圧を実現！DOTEC-AUDIOのマキシマイザ、DeeMaxシリーズの最終兵器、DeeMaximizerが爆誕｜DTMステーション
一世を風靡したDOTEC-AUDIO(ドーテック・オーディオ)のマキシマイザ、DeeMax。レバーをグイっと持ち上げるだけで音圧を思い切り上げることができるDeeMaxはDTMの世界に大きな影響を及ぼしました。そのDOTEC-AUDIOは、その後、マスタリング専用の高音質マキシマイザDeeMMax、SNSや音楽ストリーミングサービスでカッコよく音を聴かせるマキシマイザDeePopMaxと、さまざまなキャラクタを持つマキシマイザをリリースしてきましたが、この度、そのDeeMaxシリーズのフラグシップモデルにあたる、史上最強ともいうべくマキシマイザ、DeeMaximizerがリリースされました。 これまでのDeeMaxシリーズはいずれもレバー1つで使える簡単操作だったのに対し、DeeMaximizerは見た目もちょっと違います。真ん中の大きなノブがあり、これを動かすだけでいい感じに音圧を上げら
BTC-TAKEOFF
テクニカル分析を行う上で特に使える指標MACDについてお話します。 正式名称を「Moving Average Convergence Divergence」と言います。 これからお話する内容は一見複雑に感じるかもしれませんが、 名前からわかる通り移動平均線を実践向きに改良した指標です。 イメージはし易いと思いますが、 一回読んだだけではなかなか身につかないので読み終わった後も実際のチャートと照らし合わせた確認作業をおススメします。 ■ MACDの特徴 ・MACD線、シグナル線、ヒストグラムによって構成されます。 ・オシレーター系、トレンド系の両方を分析することができます。 ・指数平滑移動平均線（EMA）を使用しています。 次に計算式を見てみましょう。 ■ 計算式 ・MACD線＝12EMA-26EMA ・シグナル線＝MACD線の9日平均 ・ヒストグラム＝MACD線-シグナル線 計算式だけ見て
最近仕事では機能開発ではなくデータ分析の仕事をしばらくやっているのだが、同僚から「本物のデータ分析力が身に付く本」というムックが良かったと聞いたので読んでみた。 本物のデータ分析力が身に付く本 (日経BPムック) 作者:河村 真一,日置 孝一,野寺 綾,西腋 清行,山本 華世日経BPAmazon この本は「データを集計し計算する」といった、いわゆる一般的にはデータ分析のメインと考えられていていろんな書籍で語られているような部分には焦点を当てず、その前後で何をすべきかを語ってくれている。たとえば データ分析実行の前には、開発設計で書くようなdesign docのようなものをデータ分析設計としてまとめる。さらに生データを見てデータの信頼性や傾向を事前チェックし、設計と事前チェック結果を見て分析方法を選択する データ分析実行の後には、結果の確からしさの検証をしつつ、バイアスを避けた結果の解釈を行
8月8日、ElasticsearchとOpenSearchのパフォーマンスとリソース利用に関する分析結果が発表されました。 この比較によると、ElasticsearchはOpenSearchに比べて40％〜140％高速であり、より少ない計算リソースを使用しています。 この記事では、テキストクエリ、ソート、日付のヒストグラム、範囲、および用語などの6つの主要な領域でのパフォーマンス比較結果を詳しく紹介します。 以下に詳細をご紹介します。 Elastic社は、2023年8月9日、ElasticsearchとOpenSearchの性能とリソース利用に関する比較結果を公開した（Elasticsearch vs OpenSearch: Performance and Resource Utilization Analysis）。 Elasticsearchは、Elastic社によって開発された検索エ
露出やホワイトバランスを画面上に表示して調整も簡単にできる高機能カメラアプリ「Blackmagic Camera」のAndroid版が出たので使ってみた
プロ向けシネマカメラや動画編集ソフト「DaVinci Resolve」などの開発で知られるBlackmagic Designは、高機能なスマートフォン向けカメラアプリ「Blackmagic Camera」も無料で配布しています。そんなBlackmagic CameraのAndroid版が2024年6月24日(月)に登場したので、実際にインストールしてどんな機能が搭載されているのか確かめてみました。 ブラックマジックデザイン、Android用Blackmagic Cameraを発表 | Blackmagic Design https://www.blackmagicdesign.com/jp/media/release/20240624-01 Blackmagic Camera | Blackmagic Design https://www.blackmagicdesign.com/jp/p
Prometheus を用いた、Amazon EKS API server のトラブルシューティング | Amazon Web Services
Amazon Web Services ブログ Prometheus を用いた、Amazon EKS API server のトラブルシューティング “クラスターで問題が発生した” と朝3時に監視システムからのアラート通知で起こされれば、オンコール担当者にとっては悪夢です。その場合、問題が Amazon EKS のマネージドコントロールプレーンにあるのか、それとも先週ロールアウトした新規のアプリケーションにあるのか、即座に切り分けなければなりません。たとえブログで推奨されたデフォルトのダッシュボードをインストールしたとしても、参照するメトリクスの意味を理解することはやはり難しいでしょう。 よくある問題にフォーカスしたダッシュボードの用意があれば、すぐに全てが意味することを理解でき、不明瞭な問題を効率的に素早くスキャンできるようになります。 API サーバーのトラブルシューティング 上記は野
【中級者向け】RAW現像前提とJPEG撮って出し前提では露出設定が異なる場合があるという話 - Circulation - Camera
～Introduction～ こんにちは、Circulation - Cameraです。今回は写真撮影テクニックのお話です。RAW現像は非常に便利なツールです。必ずしも全ての写真でRAW現像が必要なわけではないですが、これを知っているか知らないかで写真表現の自由度は大きく変わってきます。 さて、タイトルの通りですが、RAW現像を前提で撮影するときって、JPEG撮って出し前提で撮影するときと設定が異なる場合があります。例えばRAW現像前提で行くなら、現場ではこんな感じで撮り終われば良かったりします。ぱっと見では失敗写真ですよね ^^; でもこれでOKなんです。。。なんで？ ということで、今回はこの点に注目してみたいと思います。4000字近い長い記事ですが、興味のある方は良かったら見て行ってやってください。それではよろしくお願いします m(_ _)m ～そもそもRAW現像って？～ 「そもそもR
Twitterで何かを分かりやすく伝える時に棒グラフや表があると便利ですが、わざわざ画像データとしてグラフを作成するのは大変です。そんな時に「Tweetable Charts」を使うと、入力欄にテキストと数字を入れるだけで簡単にグラフや表を作ることができます。 Tweetable Charts - Create Text based Charts and Visuals you can embed on Twitter https://tweetable-charts.agiliq.com/ ・Tweetable Chartsで作れるもの ◆1：ヒストグラム ◆2：スパークライン ◆3：プログレスバー ◆4：表 ◆1：ヒストグラム Tweetable Chartsのページにアクセスしてみたのが以下。水平ヒストグラムの作成に必要な値(左上)とグラフ(右上)、それをツイートした時のどう見えるか
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2023】データ分析・データ可視化ツールおすすめの30選！ | Octoparse
Pythonの可視化ライブラリを使いこなそう | LAC WATCH
「辞めたい」「我慢」…働く人の約7割が自社にネガティブな思い 従業員数100人以上の企業で働く会社員・役員への調査でわかったこと
"代替"されないエンジニアになるために──生成AI時代に求められるスキルポートフォリオとは
上場した米国有力SaaS企業21社に学ぶ資本効率 | Coral Capital
改めて「特徴量エンジニアリング」とは何か？ - Qiita
どのような場面で多重比較補正が必要なのか - 渋谷駅前で働くデータサイエンティストのブログ
顧客分析にRFMを使う理由 - coincheck tech blog
Elasticsearchでマルチモーダル画像検索 1 - riktorのメモ
インバランスな二値分類タスクにおける評価指標の実験的比較 - Qiita
【FX】トラリピ AUD/NZD(豪ドル/NZドル)設定 - ココブロ
画像処理で自炊書籍画像を読みやすく加工する 初級編
天の川を浮かび上がらせるトーンカーブ【星景写真のレタッチ】 - sunsun fineな日々
データビジュアライゼーションの意義とは？ Pythonでできるグラフとチャートを紹介
レポートの提出時間を分布図にしてみたらいろいろと面白かった「人は何故ギリギリにならないと提出しないのか」
新QC７つ道具を問題解決に利用する勘どころ - まねき猫の部屋
iPhoneで写真を撮るのにおすすめのアプリ10選！【2019年最新版】
データ分析設計を知るために「本物のデータ分析力が身につく本」を読んだ - $shibayu36->blog;
Elasticsearch vs OpenSearch ー パフォーマンス比較の結果が公開
無料でTwitterに投稿できる表やグラフを作成可能な「Tweetable Charts」