本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツ…
はじめまして。デジタル庁ファクト&データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト&データユニット」ファクト&データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており(参考:デジタル庁 - 組織情報)、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト&データユニットも
本ページで公開している講義スライドはすべてCC-BYです(〈参考資料〉は除く). 編集可能なPowerPointファイル(無償, CC-BY)が必要な場合や,今後改訂したときに連絡が必要な場合は,下記までご連絡ください(PPTは100以上の大学等へ提供済みです. お気軽にどうぞ). 連絡先:mds-lecture-slides@human.ait.kyushu-u.ac.jp (内田(センター長)・福冨(センター秘書)) スライド内容について間違いがあった場合も,上記連絡先にご連絡いただけると,大変に助かります.(修正の上,改訂版を随時アップロードいたします.) データサイエンス概論Ⅰ&Ⅱ(夏休み中の3日間での集中講義を予定.2023年度からは,高年次基幹教育科目「データサイエンス総論Ⅰ&Ⅱ」としても開講予定.なお,電気情報工学科「データサイエンス序論」とほぼ同一内容.無編集ですが講義動画
グローバル化が進み、多様性が尊重される世界において相互理解の重要性を強調しすぎることはありません。DoubRing によって、私たちがいかに他者のことをほんのわずかしか理解していないことが明らかになるでしょう。 だからといってそれは悪いことではなく、むしろ大きな前進です。「いかに理解していないかを知ること」は理解を深めるための第一歩だからです。 1. コミュニケーションは幻想である 私たちの日々の悩みのほとんどは何らかの形でのコミュニケーションギャップから来ているといっても良いでしょう。ここでの問題は、私たちが他人とのコミュニケーションが有効に機能していると思い込んでいることです。アイルランド生まれの劇作家ジョージ・バーナード・ショーは「コミュニケーションにおける最大かつ唯一の問題はそれが達成されているという幻想である」という言葉を残していますが、これはコミュニケーションの本質をついた言葉
印刷されたコンテンツとデジタルコンテンツ。記事が読まれるときの大きな違いの一つが「タイトルとサムネイル」の重要性です。デジタルでは、ウェブメディアにしてもニュースアプリにしても、最初に読者の目に入るのは、タイトルとサムネイルだけ。それゆえに、記事に興味を持ってもらうためのタイトルの決め方には、多くの編集者・ライターが工夫を重ねていることでしょう。 しかし、本文を参考に記事を選ぶことができないというスマートフォンでの閲読体験のもとでは、タイトルの決め方は、記事の「選ばれ方」だけでなく、記事の「読まれ方」にまで影響を及ぼします。 今回は、毎日1万本以上にのぼる、SmartNewsで表示された記事の閲読データを分析しました。そこで見えてきた、本文まで読まれやすい記事タイトルの特徴をお伝えします。 タイトルと導入部の印象が異なるだけで読者は離脱する SmartNewsでは、記事の一覧を表示する画面
こんにちは、ひにしあい(@sunwest1)です。 2018年5月、3人の同僚とテストで始めたTwitterアカウントBuzzFeed Kawaiiが2019年5月、1年を待たずに30万フォロワーを超えました。 うれしい。 twitter.com 予算は0、立ち上げ当初から本体のBuzzFeedJapanからのRTや誘導、キャンペーン、広告プロモーションなど一切行いませんでした。 そんな"無理ゲー"な状態でしたが、 「投稿がすごいRTされてるけどなにしたの?」 「なんでそんな急に成長したの?」 など、最近いろんな人に聞かれるので、 主に分析や数字の振り返りを担当した私の観点から、やったことやどう進めたのかをまとめました。 ※ちなみに私は分析に関しては専門家ではないです。 SEO文脈でGAなどが最低限さわれるレベルかな?くらいの人です。 そもそも、何がしたくて立ち上げたのか? BuzzFee
(注)本noteは一切の政治的な主張を目的としておりません。マーケターまたはビジネスマンに「効果検証のデザイン」及び分析法を紹介するものです。 ※タイトル画像については私も大好きな超人気番組、水曜日のダウンダウンのタイトルコールを加工した方の動画素材を使用させて頂きました。https://www.youtube.com/watch?v=NlFjgVgI9O4 自己紹介と本note執筆目的「効果検証デザイナー」の小川貴史と申します。電通グループなどの広告会社やデジタルマーケティングコンサルのネットイヤーグループでインターネット広告、マス広告、UXデザイン、PR、データ分析など幅広く経験してきた知見を活かして、今はPR会社カーツメディアワークスでマーケティングコミュニケーション領域のコンサルティングを行っています。(効果検証デザイナーは個人作家活動の際の肩書きです) 日本のマーケティングの現場
この学習計画について更新しています。 データ分析に欠かせない五つの考え方【データ分析手法をたくさん知っても活用できない根本理由】 誰でもすぐわかるデータベース基礎の基礎~ 初心者が押さえておくべきSQLガイド データ分析をやっても無駄?実例から見る本当のデータ分析~【連載-1】 データ分析をやっても無駄?実例から見る本当のデータ分析~【連載-2】 ダッシュボードを作ってみたらそんなに難しくない 業務知識すら知らないとデータ分析をやれないでしょう【連載-1】 業務知識すら知らないとデータ分析をやれないでしょう【連載-2】 データ分析に最低限押さえるべき10つのビジネスフレームワーク 「文学系の人はデータ分析に向いていますか」 「プログラミング経験がありませんが、データアナリストになれますか」 「データ分析を勉強するなら、RとPythonを勉強しなければならないですか」 などはよく聞かれる話で
Googleデータポータル(旧データスタジオ)には、ダッシュボードとして使うことが多い「レポート」と、アドホックに分析(深掘り分析)する際に使うことが多い「エクスプローラ」が存在します。 今回、「エクスプローラ」でマルチレポート機能が追加されました。 エクスプローラの利用方法マルチレポート機能の利用イメージエクスプローラの利用方法エクスプローラはGoogleデータポータルを開いて、左サイドのナビゲーションから利用できます。 「レポート」と「エクスプローラ」の違いとしては、「レポート」は日次、週次、月次と定期的に閲覧するレポートが表示されているダッシュボード的な役割に対して、「エクスプローラ」はダッシュボード内で見つかった変化から、変化の原因となった要因を探るために行うアドホックに分析する際に使うイメージとなります。使い勝手としては、Tableauによる分析に近しいかなと感じます。 マルチレ
Attention: Your use of this Gallery is subject to the Galleries Terms of Service (User) and by using this Gallery, you confirm you've read and agree to these terms, either as an individual or on behalf of your company (as applicable). If you are accepting these terms on behalf of your company, you confirm you are authorized to do so on behalf of your company.
こんにちは、データ分析部の石塚です。 Gunosyではエンジニア以外の職種でもSQLを叩いて自らデータを集計・分析するという習慣と全社員が各サービスのログ*1に触ることができる環境があります。 例えば、ユーザー獲得を担っているプロモーションチームはエンジニアが0名のチームなのですが、実際にSQLを叩いています。 それによって、自分たちの獲得したユーザーはどのような行動をしているのかを確認したり、分析することができています。 これはGunosyのみの事例ではなく、AWSのRedshiftやAthena、GCPのBigQueryが台頭してきたおかげで、どの会社も低コストにログをSQLで集計・分析できる基盤が整ってきています。 個人的にはアプリやウェブの業界で働くマーケターにはSQLは必須の知識と言える時代になってきたと感じています。 そこで今回は特別プログラミングなどの経験が無い人でも、SQL
どんなに良い分析結果であっても、意思決定に活用されなくては意味がない 講演のテーマを「データを活かせる組織の作り方」とした理由について、西内氏は「企業のデータ活用で最大の課題と思われたため」と語る。実際、日本情報システムユーザー協会による(2015年)調査結果においても「ビッグデータの活用の課題」について「体制/組織の整備」と答えた企業が45.9%と最も多く、「誰にやらせるか、どんな部署でやるか、どのような権限を与えるか」と迷う様子がうかがえる。 株式会社データビークル 代表取締役 最高技術責任者 西内 啓氏 そして、それ以上に西内氏が問題視するのは、「導入する目的の明確化に問題がある」と答える人が2番目に多いことだ。世の中でデータの活用が是とされる中で明確な目的意識を持たず、「何かやらなくては」「やれと言われている」という企業担当者の姿が目に浮かぶ。 目的が定まらなければ体制・組織が設計
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~ 実装 from selenium import webdri
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub(https://github.com/ShoKosaka/Suumo)に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
概要と特長 KH Coderとは、計量テキスト分析またはテキストマイニングのための自由ソフトウェアです。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で本格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介(スクリーンショット) スクリーンショット集 [旧ページ:言葉・文書・可視化・他] KH Coder 3 正式版の新機能 New! 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 正式版ダウンロード (Version 3.02) 使い方を知るためのチュートリアル ヘルプ 質問&エラー報告用の掲示板 ※投稿にはGitHubへの登録が必要(無料)[旧掲示板] よくある質問(FAQ) 開発者が語る公式セミナー & サポート:㈱SCREEN A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く