社会人のためのデータサイエンス入門
この度、「社会人のためのデータサイエンス入門」の開講に先立ち、「誰でも使える統計オープンデータ」を特別開講しております。 入門編と学習することで、統計の基礎やデータの見方・データの取得方法などを学べます。この機会にぜひ2講座併せてご受講ください。 ※「《特別開講》誰でも使える統計オープンデータ」は、修了証の発行はございません。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用されているかについて、実際のデータを用いた分析事例を紹介する。第2週では、データを理解し、分析する際に必要な統計学の基礎につい
総務省、きょうから「社会人のためのデータサイエンス入門」を無料開講 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
「なんでも電子化すれば大丈夫！永久に残せるよなんて嘘」電子記録の脆弱さへの指摘とアナログ至上主義もまずいという議論
なぢ @nadhirin たかだか30年前の文献記録が一切合切残ってないってすげーよな…。「なんでも電子化すれば大丈夫、永久の残せるよ」なんて嘘、紙に印刷された本の方がよっぽど未来に遺産として残せるよ。電子書籍なんて「借りてる」だけだし、ケータイゲームももはやどこにも残ってないし、電子記録って実に脆弱だ 2022-05-22 23:53:25 なぢ @nadhirin プロフィール画像、変更しました。別に他界したわけじゃないんですが…日本尾張守ですｗ 政治ネタがかなり多いのでご注意下さい、それ以外にも「ビニ本の研究をしている人」という一面もあり…。あ、あと一応モデラーですｗ nadhi.blog63.fc2.com
Cloudflare D1 がヤバい
まだ検証足りないけど、マジで想像通りのブツなら魂震えるかもしれん…。 Announcing D1: our first SQL database Cloudflare D1 = Edge SQLite Cloudflare D1 は Cloudflare Worker で、つまり CDN Network 上で sqlite が動きます。これだけなら普通の sqlite ホスティングなんですが、もちろん Cloudflare が出すからにはそれだけではなく、CDN Edge 上に Read Replica がバラ撒かれた sqlite になります。ヤバくないですか？ 僕はヤバいと思いました。 このヤバさを知るために、Cloudflare が開発した基盤についていくつか抑えておく必要があります。 Durable Objects は CDN 上の Actor モデルを構築できます。この Acto
大量データの JSON serialize 処理を高速化し、レスポンスが倍速になった話 - freee Developers Hub
こんにちは、freee会計でワークフロー機能の開発をしている @mitubaEX です。 先日 freee会計のパフォーマンスチューニングに取り組みました。本記事では、調査の流れ、改善の事例を紹介します。 問題発覚までの流れ freee では自社の経理業務に freee会計を利用しており、その中でも経費精算の機能はほぼすべての従業員が利用しています。そのため日々多くのフィードバックをもらえます。そのフィードバックの1つで、「経費精算の一覧を開くのが遅い」という報告をもらいました。幸い表示件数を指定できるので調整すれば遅くはならないのですが、一覧性が下がってしまうため有用な解決策ではありません。 そこでワークフローを開発しているチームで、このパフォーマンスイシューの調査を始めました。 調査する まず事前調査として Datadog*1 で一覧画面を表示するリクエストの処理を確認しました。 一覧
「配信者は人気ゲームに乗り換えた方が視聴者数は増えるのか？」統計から分析する論文が公開。ゲーム論文大賞2022、優秀賞に選ばれる - AUTOMATON
ホーム ニュース 「配信者は人気ゲームに乗り換えた方が視聴者数は増えるのか？」統計から分析する論文が公開。ゲーム論文大賞2022、優秀賞に選ばれる 株式会社メディアクリエイトは4月18日、「ゲーム論文大賞 2022」の受賞者を発表した。優秀賞として、配信技術研究所株式会社（以下、配信技研）および中村鮎葉氏の共著「国内ゲーム実況ライブ配信におけるチャンネルのコミュニティ的性質の統計分析」が選ばれた。 ゲーム論文大賞 2022は、2021年8月から今年1月にかけて募集された懸賞論文募集。ゲーム産業に携わる個人・グループを対象に、コンシューマー、PC、モバイル、経営論、e スポーツ、ゲーム実況、社会経済への影響などを広くテーマとして募集した。結果として、今回の募集で大賞は該当作なし。優秀賞として、配信技研および中村鮎葉氏の論文が選ばれた。 配信技研は、インターネットライブ配信技術を開発する国内企
Google Analytics(UA)が使えなくなるのはどのくらいヤバくて、いつまでに何をしたら良いのかの話。 - フジイユウジ::ドットネット
タイトルにも書いていますが、Google Analytics(UA)がもうすぐ使えなくなるんですよ。 GA4っていうのになるらしいんですが、自動で切り替わったりしないし、何もしてないと単に使えなくなるんですよ。知ってました？ ※追記※2023年になって 自動的にGA4プロパティが作成されることになりました。しかし、むしろ手動ではないことで混乱しているようです。切り替えではなくGA4プロパティが追加されるんですが、そのデメリットについてはググって調べてね。 (UA)っていうのはGA4ではない、これまで使われてきたGoogle Analyticsだと思ってください。やや正確ではないのですが「GA4という最新版ではないGoogle Analyticsはすべてサービス終了される」くらいのイメージで捉えてもいいです。 業務で関わってる人たちからはGA4移行についての記事やツイートがたくさん流れてきま
ビデオ会議中にマイクをミュートにしてもアプリはマイクの音声を収集し続けている
ビデオ会議や音声チャットの途中で諸用を済ませるために一時的に離席する時、余計な音声が相手に届かないようにマイクをミュートにすることがあります。しかし、「ビデオ会議中にマイクをミュートにすると、たとえ相手に音声は届かなくても、アプリ自体は音声データを収集している」と、ウィスコンシン大学電気・コンピューター工学科のカッセム・ファワズ助教の研究チームが発表しました。 Are You Really Muted?: A Privacy Analysis of Mute Buttons in Video Conferencing Apps (PDFファイル)https://wiscprivacy.com/papers/vca_mute.pdf You’re muted — or are you? Videoconferencing apps may listen even when mic is of
S3のコストを大幅に削減した話 - Gunosy Tech Blog
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
エディオングループに不正アクセス 約8万件のデータが消される 流出の可能性も
家電量販店のエディオンは4月11日、同社グループが運用するサーバが不正アクセスを受け、8万件近いデータが削除されたと発表した。データが流出した可能性もあるとして原因の調査を行う。 不正アクセスを確認したのは8日正午ごろ。同社グループのHampstead（東京都品川区）から「サーバ内に保管していた情報が削除された」との報告を受けたという。対象データは7万7656件。エアコンなどの配送設置作業の際に取得した氏名や住所、電話番号などの情報や、荷物受け取り時のサイン画像、写真など。クレジットカード情報は含まれない。 攻撃を受けたのは配送管理システムを運用するサーバ。すでに情報セキュリティ対策を施したとしている。エディオンは外部の有識者とともに対策チームを設置し、個人情報の取り扱いについて管理体制の厳重化を徹底する。 関連記事 メタップス、不正アクセスやられ放題 最大46万件のカード番号やセキュリテ
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜Shota Tajima
従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
メルカリのデータ分析チームでやったことの振り返り｜樫田光 | Hikaru Kashida
こんにちは。 データアナリスト 兼 チームのマネージャ としてメルカリという会社に4年ほど勤めていたのですが、色々やった気はするが、思い返してみると結局の所何をしたんだっけ？という気持ちに突然なりました。僕は忘れっぽいので、今後もこういう瞬間は何度も訪れそうな気がしています。 ということで、この4月から新しいことを始めるこのモーメントに自分が何をしたのかをちゃんと書き残しておくことにしました。 自分自身の記憶のアーカイブの役割とともに、誰かの参考になれば望外の喜びです。 大体2016−2019年くらいの話です（今のメルカリのデータ分析チームはもっと進化していますのであしからず。） LTVの概念を導入した2022年現在となってみると非常に不可解ではあるが、私がメルカリに入社した2016年頃には、社内では「LTVを見る」という概念はなかった。 ゆえに、投資がリクープ（回収）できているかどうかを
RDBのデータモデリング・テーブル設計の際に参考にしている考え方と資料
はじめに タイトルのとおり、RDBのデータモデリング・テーブル設計を行う際に参考にしている考え方と関連資料をまとめました。 P.S. なんと本記事内でいくつか参考として挙げさせてもらっている増田さん・かとじゅんさん・奥野さん・そーだいさんからコメントいただくことができました。 本当にありがとうございます。 前提 RDBを採用するのは事実を無駄なく正しく記録するため 正規化、トランザクション、制約とデータ整合性 基本的には始めに理想として集合論・リレーショナルモデルに基づいて正規化を考え(論理設計)、パフォーマンスなどの現実問題に対して折り合いをつけていく(物理設計) 制約を最大限利用する cf: ↑P91〜 ↑P.29,41 ↑P56〜 ↑5章 ↑P347～ 情報とデータ データ：単なる事実の値→これを永続化して蓄えるものがRDB 情報：データから生み出される意味や目的のあるもの→RDBか
エロマンガを定量分析した統計同人誌が、とにかくすごかった件
【内容】 ○「年齢別の男女の主導権」「強姦／和姦とストーリー要素」「ストーリーパターン、ヒロイン性格・属性、主導権・動機・セリフの数量化分析」等々 ○数字から分析を引き出す構成など 【掲載画像所載】 続きを読む
自社のDB破壊しCEOに身代金要求、freeeが本当にやったクラウド障害訓練の舞台裏 「従業員はトラウマに」
自社のクラウド環境に侵入され、データベースから経営に欠かせないデータを持ち出される。バックアップも消され、データを取り戻したければ、身代金を支払うよう要求される──企業にとって絶対に直面したくない事態の一つだ。しかしこのシチュエーションをあえて再現し、訓練という形で自社のCEOに身代金まで要求した企業がある。クラウド会計サービスを提供するfreeeだ。 freeeは2021年10月、標的型攻撃とランサムウェアを組み合わせたシナリオを基に全社的な訓練を実施。AWS上のDBからデータを盗み出し、バックアップを消した上で、自社のCEOに社内SNSを通して身代金を要求したという。訓練を主導したのは、製品やサービスのセキュリティ向上を目指す社内組織「PSIRT」だ。 訓練を実施した背景には、情報システム部などのIT部門だけでなく、経営層まで巻き込みたい考えがあったという。同社のPSIRTが取り組んだ
ガラケーしか使えないデジタル音痴だった私が「GISでデータ分析」できるようになるまでの話｜NHK取材ノート
東京の多摩川沿いの浸水リスクがある地域で、「なぜか人口が増えている」ことをデータ分析ソフトを使って明らかにして、その背景を探りました。 次にこんな記事も書きました。 南海トラフ巨大地震によって津波の浸水が想定されている区域で、高齢者の施設がすごく増えていることを示した記事です。 どちらの記事も、誰もが入手できる「オープンデータ」と、後述する「GIS」という分析システムを使って隠れた事実を浮き彫りにした、データジャーナリズムのお手本などと紹介されたこともあります。 そしてつい最近手がけたのがNHKスペシャル「〝津波浸水域〟の高齢者施設」。蓄積してきた分析のノウハウを注ぎ込んだ番組です。 「データ分析」というと専門的で、すごく難しく思う方もいるかもしれません。しかし最初に述べたように私は数年前までは、パソコンを満足に使えない、データ分析とは無縁の「ガラケー記者」だったのです。本当に。 そんな私
データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至った背景 モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行なっていますが、社内のGCPプロジェクト全てのデータ管理にデータ基盤グループが深く関わっていくのは工数的に困難です*1。 INFORMATION_SCHEMAなどデータ管理に役に立つメタデータのノウハ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KARTE リアルタイムユーザー解析基盤のDB (450TB)をゼロダウンタイムで 新DBに移行したノウハウ
https://twitter.com/mosumiharuto/status/1525091629085777920
法務が知っておきたいデータセキュリティの基本
