BI/ダッシュボード導入を成功に導くための5つのポイント - Qiita
ビジネスの現状を把握し、さらにモニターし続けるためにダッシュボードなどを使ったBI（ビジネス・インテリジェンス）の仕組みを社内に導入したものの、社内ではあまり活用されていない、またはプロジェクトが途中で終わってしまったといった話をよく聞きます。 そこで、こちらの記事ではBI導入やダッシュボード作成プロジェクトを進めるときにぶつかることの多い問題、さらには、そうした問題を乗り越えてプロジェクトを成功に導くための5つのポイントを紹介します。 1. データの加工 ダッシュボードの作成プロジェクトに関わるタスクを考えると、真っ先に思い浮かぶのは、ダッシュボードに、どのようなチャートを入れるのかや、そのレイアウトをどうするかといったことです。 しかし、ダッシュボードの作成に関わるタスクを紐解くと、ほとんどの業務はダッシュボードに入れるチャートの作成にかかる時間ということになります。また、チャートの作
「NHK全国ハザードマップ」を公開した理由 34テラバイトのデータと格闘 - NHK
34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場所のリスクを知ることが、災害から命を守るスタートだから
エンジニア不足が加速する日本｜現状と原因、対処法をくわしく解説 - GALK（ガルク）
「日本のエンジニアは不足しているというけれど本当？ その原因は？」 「わが社でもエンジニアが不足していて困っている、何かよい解決法はないか？」 いまこの記事を読んでいる方は、そのような疑問や悩みを持っているのではないでしょうか？ 「エンジニア不足というのはウソだ」と主張する向きもありますが、実際にデータを見ると確実にエンジニアは不足しています。 2018年時点の調査で22万人、このままいけば最悪の場合は2030年時点で79万人が不足すると予想されているのです。 原因として考えられるのは以下のようなことです。 ・IT市場が急成長している ・技術革新のスピードが速い ・エンジニアの高齢化が進んでいる ・IT業界の労働環境がよくない そして、この解決のために企業がとれる対策としては、以下が挙げられます。 ・エンジニアの待遇を改善する ・社内で人材を育成する ・海外人材を活用する そこでこの記事で
Rによる一般化線型モデル（GLM）
はじめに 本記事では、Rによる一般化線型モデル解析を紹介する。線型回帰、ロジスティック回帰、ポアソン回帰を行う。入門的な記事で記されている内容に加え、係数ベクトルによる算出、対比検定、offset項を用いたポアソン回帰による率比推定を記載した。 【参考文献】 一般化線形モデル入門 原著第2版 Modern Epidemiology 4th edition 目次 一般線型モデルと一般化線型モデル Package 一般線型モデル（LM） Cervical Dystonia longitudinal dataset Variables データの読み込み 線型回帰分析 係数ベクトルによる算出 例1: treat_c2群の16週目のtwstrs 例2: treat_c2群の治療効果 対比検定 一般化線型モデル（GLM） Byar & Greene prostate cancer data Varia
1000万ユーザに耐えるサーバを作ってみた
概要 スケーラビリティが高く1000万ユーザに耐えるAPIサーバを作成しました。TwitterのようなSNSです。実装はGitHubで公開しています。 開発環境は次の通りです。 Node 16.14 Express 4.17.3 DynamoDB 2012-08-10 機能要件は次の通りです。 ツイート機能 ツイートに対してコメント機能 フォロー機能 タイムライン機能 導入 Facebook、Amazon、Youtubeのような数億人のユーザを抱えるサービスでは大量のトラフィックを捌く必要があります。大量のトラフィックを捌くためのアプローチとして一般的に使われるのはスケールアップではなくスケールアウトです。スケールアップは性能の高い機器を使うためにコストが高いです。また、1つのサーバで運用するためにパフォーマンスの限界が存在します。 スケールアウトについて考えます。アプリケーションは大きく
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
どのSSDが壊れやすいのか「SSD故障率のメーカー・モデル別統計データ2021年版」をBackBlazeが公開
by Sinchen.Lin 長期間にわたって自社データセンターで利用しているHDDの故障率の統計データを公開しているBackBlazeが、新たに、SSDの統計データの公開を開始しました。 The SSD Edition: 2021 Drive Stats Review https://www.backblaze.com/blog/ssd-edition-2021-drive-stats-review/ BackBlazeによると、SSDは2018年第4四半期からストレージサーバーのブートドライブとして利用を開始し、以後、すべての新しいサーバーとHDDブートドライブに障害が発生したサーバーではSSDが利用されているとのこと。2021年12月31日時点でBackBlazeが運用しているSSDは2200台です。 以下は2019年から2021年まで3年間のデータ。2019年は累計4万2522日稼
100秒でMySQLのローカル環境をDockerで作って、データも自動で入れる。最強のSQL練習環境構築法
【2022/2/26 追記】 主にはてブコメントで様々なご指摘を頂いたので、タイトルの修正＆内容を一部追記しました。分かりにくいタイトルを付けてしまい申し訳ございません。ご指摘ありがとうございます。 もともと本記事は自分用のメモを兼ねて駆け出しエンジニアの人が数人参考にしてくれたらいいかな、程度の気持ちで書いたものでした。 現在はてなブックマークのテクノロジーカテゴリーで 1 位になっており、予想の 1000 倍以上の人に見ていただける記事になってしまいました。 今後も精進します、ありがとうございます！ 特に理由もなくローカルに MySQL を入れて遊びたくなる気持ちって定期的に湧きますよね。 私は湧きます、半年に 1 回ぐらい。 業務ではフロントを触ることが多く、DB はそれほど触りません。 そのため久々に MySQL をローカルで立ち上げようとするといつも手順を忘れてしまっていて、なん
構造化Excelテク：複数のデータが含まれたセルを1セル1データに分割する
セルに複数のデータが含まれていると集計などが行えない 1つのセルに複数のデータが含まれた表は、集計や並べ替えなどが行えず、再利用などが難しい。そこで、1つのセルに複数のデータが含まれた表を、1セル1データに変換しよう。 「Microsoft Excel（エクセル）」で作成した表の中には、1つのセルに複数のデータを入れているものがある。こうした表は見やすい場合もあるが、セル内の値が文字列となってしまい、計算や並べ替えなどが行えないなど、活用する際に余計な工数がかかることになる。 総務省統計局が公開した各府省が政府統計の総合窓口（e-Stat）に掲載する統計表の表記方法の統一ルール「統計表における機械判読可能なデータの表記方法の統一ルールの策定」の2ページ目「チェック項目1-2 1セル1データとなっているか」でも、「1セルに複数のデータが入力されていると、計算や昇順・降順の並べ替え、コピー＆ペ
全てのUIデザインに必要な５つの状態（実例と共に） - The five UI states｜TK - UXデザイナー in 🇺🇸
授業ではあまり習わないですが、UIデザインの実務において常に考えなければならないフレームワークの一つにThe five UI statesがあります。雑に説明するとUIは以下の５つの状態になる可能性があることを踏まえて、それぞれに対してデザインを作っておくというコンセプトです。 • 何も登録されていない状態 (Blank state) • ロードしている状態 (Loading state) • 不完全な状態 (Partial state) • エラーが起きている (Error state) • 理想的な状態 (Ideal state) 授業のプロジェクトや提案型プロジェクトではそこまで深く考えないのかもしれませんが、UIデザインの実務では相当な時間を占めていることが多いです😑 特に複雑な構造のB2BプロダクトだとError stateのUIパターンを一週間考え続けるみたいなことも多々あり
ゼロから始める、データ分析と可視化 - Kyash Product Blog
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
2021年7月静岡県熱海市の土石流災害に関する空間データの可視化と共有 - Qiita
2021年7月3日に静岡県熱海市伊豆山地区で発生した土石流災害に関連して、静岡県では兼ねてから災害に備えて3次元点群データの蓄積・オープンデータ化が進められていたほか、災害発生直後より比較的短期間にもかかわらず、2次元・3次元を含めてさまざまな空間データ・デジタル地図等が共有されました。執筆者自身がSNS等から把握し、原典を調べてまとめた情報のため、網羅性・完全性は担保できませんが、二次利用可能なものを中心にリスト化しました（以下、順不同）。もし追加等あれば教えてください。【作成：瀬戸寿一 ｜本記事は、CC BY 4.0としますが、サムネイル画像はデータ公開元によって異なるライセンスを用いている場合がありますので二次利用される場合はご注意下さい】 静岡県庁 静岡県熱海市土砂災害動画（MOV形式 - CC BY 4.0/ODbL のデュアルライセンス） https://www.geospat
基礎線形代数講座
4. 公開にあたって ●まえがきに代えて 本書は 株式会社 セガ にて行われた有志による勉強会用に用意された資料を一般に公開するもので す。勉強会の趣旨は いわゆる「大人の学び直し」であり、本書の場合は高校数学の超駆け足での復習 から始めて主に大学初年度で学ぶ線形代数の基礎の学び直し、および応用としての３次元回転の表現の 基礎の理解が目的となっています。広く知られていますように線形代数は微積分と並び理工系諸分野の 基礎となっており、だからこそ大学初年度において学ぶわけですが、大変残念なことに高校数学では微 積分と異なりベクトルや行列はどんどん隅に追いやられているのが実情です。 線形代数とは何かをひとことで言えば「線形（比例関係）な性質をもつ対象を代数の力で読み解く」 という体系であり、その最大の特徴は原理的に「解ける」ということにあります。現実の世界で起きて いる現象を表す方程式が線形な振
全国民に配るべき！総務省が示した「データ入力の統一ルール」｜Excel医ブログ
2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020
地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ | 宙畑
地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ 地理空間情報を解析する上で有用なPythonライブラリGeoPandas。後編では、衛星データとシェープファイルを組み合わせて解析することで、テーブルデータを作成することにチャレンジします。筆ポリゴンを任意の大きさのベクターデータで切り取り、切り取ったデータを用いて、衛星データをその範囲で取得し、NDVIの推移を求めます。 前編ではシェープファイルのような地図に重ねることのできる幾何的な情報を含んだデータと、単なるテーブルデータ（ただし、そのシェープファイルと同様のデータを含む場合。例えば都道府県の名称）を重ねて、作成したデータを描画するということを学びました。 後編となる本記事では、シェープファイルと同様に幾何的なデータを含みつつ、ラスターデータとして扱われているもの（代
テレワーク環境の可視化 - sparkgene’s blog
2020年3月からテレワーク(Work From Home)が始まり、常時同じ部屋にいることも増えたこともあって、いくつかのデバイスを24/7で稼働させることを始めたけど、やりたかったとこまで一旦終わったのでブログにまとめてみました。 現在はこんな感じにモニターの下に置いて使ってます。 室温と湿度の可視化 まず最初にやったのが、M5StickCにFreeRTOSを入れて、DHT11センサーモジュールで室温と湿度を収集し、Raspberry Pi 3上で動いているAWS IoT Greengrass v1(v1.11.0)を経由してAWS IoTにデータを送っている。 IoT Coreで受け取ったデータはRuleの設定で、AWS CloudWatchのメトリックスとして登録され、その情報を使ってダッシュボード機能で可視化した。 ついでにAmazon QuickSightでも見れるようにしたか
どうして今、社会人がAIやデータサイエンスを学ぶとよいのか｜遠藤太一郎
AIやデータサイエンスといったキーワードが、人材や学び直しといった文脈で使われることが増えてきました。この記事では、社会人がデータ活用について学ぶことがどう繋がるのか、時代背景と一緒にみていきたいと思います。 AI、データサイエンスが力を発揮する時代に まず背景として、コンピュータや通信環境の発達というものがあります。身の回りを見ても、スマホはここ１０年くらいで当たり前のものになりました。通信環境も、ここ１０数年で圧倒的に良くなってきています。それにより、蓄積されるデータの量も爆発的に増えています。 扱えるデータの量が増え、コンピュータの性能も上がると、これまで試すことができなかったビッグデータを用いたアルゴリズムを試すことができるようになりました。いわゆるAI・機械学習のブームです。 そうすると色々な仕事で、これまで勘や経験で行ってきた業務を、データに基づいて推論することで、もっとよい結
Microsoft365Rが公開、「365」をR言語から操作できる
Microsoftは2021年2月9日（米国時間）、R言語を使ってクラウドサービススイート「Microsoft 365」を操作するためのオープンソースパッケージ「Microsoft365R」を発表した。Rは、統計解析やその可視化などに役立つオープンソースのプログラミング言語とランタイム環境だ。 Microsoft365Rは「AzureGraph」パッケージで提供されるMicrosoft Graph APIを拡張し、「Microsoft SharePoint」と「Microsoft OneDrive」に対する軽量で強力なインタフェースを提供する。今後は「Microsoft Teams」と「Microsoft Outlook」もサポートする見込みだ。Teamsチャネルへのポストや、Outlookによる電子メール送信が可能になるという。 Microsoft365Rは、CRAN（The Compr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データマイニング入門
ガラケーしか使えないデジタル音痴だった私が「GISでデータ分析」できるようになるまでの話｜NHK取材ノート
