円グラフについて「書くときの注意点」「円グラフの種類」「どういったデータが円グラフに向いているか」「実際の円グラフのデザイン」などを画像を使ってわかりやすくまとめました✨ note公式Twitterでも紹介された人気記事なので、よかったら見てね😊 さくっと書きたい人は「円グラフの種類」から読むことをおすすめします。いろいろな円グラフのデザインがあるので、気に入ったグラフを真似して使ってね。 しっかり考えて書きたい人は、「円グラフを書くときの注意点」を読めば、見やすい円グラフの作り方がわかるとおもいます。 円グラフを書くときの注意点・本当に円グラフでいいの？ 円グラフはわかりにくくなりやすいグラフです。 要素が3つ以上ある場合は、棒グラフを使ってみるのもおすすめです🙆 「円グラフは使うな」という方もいますが、私は使い方さえ間違えなければ円グラフも素晴らしい表現方法だと思うので、簡単にわか
従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
はじめに 本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである． 本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している． コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである． 本を購入した人は，サポートページで公開していないプログラムを 圧縮ファイル でダウンロードすることができる． ダウンロードしたファイルの解凍パスワードは<本に記述>である． 作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ
サブスクリプション型のビジネス、またはソフトウェアの世界ではSaaSと言われたりする、顧客が製品やサービスを継続的に利用するために購読するタイプのビジネスは一般的な売り切り型のビジネスとは収益構造が異なるため、ビジネスを成長させるために見るべき指標やチャートも違ってきます。 よくあるのは、この違いを意識せずに「売り切り型」のビジネスでよく使われる指標やチャートをモニターしていたがために、ビジネスの成長のきっかけをつかめなかったり、成長していると思っていたビジネスが急に傾き始めたり、成長の見通しを社内で共有、または外部の投資家にうまく説明できなかったり、という問題です。 そこで、こちらの記事ではサブスクリプション型のビジネスを成長させるために欠かせない5つのチャートを使った簡単な分析手法を紹介させていただきます。 1. コホート分析（生存分析） コホート分析（生存分析） は顧客のチャーンやリ
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
SQLの実行計画の読み方 |
今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて結果を返すか、その処理方法を記述した情報です。 A5:SQL Mk-2では、SQLエディタで実行計画を見たい SQL の上にキャレットがある状態でメニューから [SQL(S)] – [SQLの実行計画(J)] または、Ctrl+E で表示できます。 表示の仕方はデータベース製品ごとに異なりますが、多くのデータベース製品ではツリー状の情報として表現されます。（このため A5:SQL Mk-2でもツリービューで実行計画を表示します。） ツリーのリーフ（端）から処理が行われ、ルート（根）に向かっ
イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ
データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック（構造化データ加工編）」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ
統計の入門
この講座は『受講登録する（無料）』ボタンを押すと受講開始となる『開始日可変型講座』です。 『開始日可変型講座』とは、受講者個々の受講開始日に応じて進行する講座です。 ご自身のスケジュールは、以下の講座スケジュール（PDF）を参考にご確認ください。 講座内容 統計に関する知識は、実験、試験、調査などの結果を用いた実証研究を行う上でなくてはならないものである。生活に関わるさまざまな効果やリスクがデータとともに語られ、生活者としても統計に対するリテラシーが求められるようになった。企業活動では、情報技術の発展によって、日々膨大なデータが生成されており、その活用が求められるようになった。本講座は、研究や、生活、社会・経済活動に不可欠な統計を、集計・分析し、理解する力を養うことを目的とした「統計入門」「続統計入門」を圧縮した内容になっている。これから統計を学ぼうとする初学者や、学び直しを目指す学生を主
「ツイッターで見た」計算社会科学という学問があります．社会科学にコンピュータサイエンスを導入して，これまでにない分析を行おうという学問です．最近日本でも計算社会科学会が発足するなど今盛り上がっている研究分野です． そんな計算社会科学の分野で扱われる課題の一つに，ソーシャルメディアによる社会の分断の分析があります．アメリカ大統領選や新型コロナ禍でフェイクニュースを目にする機会が多くなりましたが，フェイクニュースや偏った情報の取得は，人々を分断させ社会を混乱させると言われています． 分断を生み出す要因の一つが，エコーチェンバー現象にあると言われています．これは，ソーシャルメディアなどでは自分と似たような価値観を持つ人とつながりがちであり，自分の意見をいうと周りから「そうだそうだ」と同意を得られ，自分の意見が社会全体の意見のように見えてしまう現象をいいます．実際にはソーシャルメディアで可視化され
日本には、少子高齢化による労働人口の減少、地方と都市部、大企業と中小企業におけるデジタル格差といった課題があります。その課題をチャンスに変え、可能性を最大限開花させるための鍵が、デジタルトランスフォーメーションです。実際に、デジタルを最大限活用することで 2030 年までに日本で生まれる経済価値は年間で最大 67 兆 7000 億円にものぼり、そのうち約 43% にあたる年間最大約 30 兆円を中小企業が生み出すと試算されています（ *1 ）。 また、デジタルトランスフォーメーションを推進するうえで欠かせないのが、デジタル人材の育成です。 Google は本日、キャリアアッププログラム「Google Career Certificates」を日本で開始しました。 本プログラムは、IT 分野でより専門性が高く需要のある職につくための、オンラインキャリアアッププログラムとして Google が
新型コロナウイルス 国内感染の状況
新型コロナウイルス国内感染の状況 日本国内において現在確定している新型コロナウイルス感染症（COVID-19）の状況を厚生労働省の報道発表資料からビジュアル化した。 制作・運用：東洋経済オンライン編集部 お知らせ 2023-5-10 New 新型コロナウイルス感染症の感染症法上の分類が5類に移行したのに伴い、厚生労働省の日次ベースでのデータ公表が終了したため、当サイトでのデータ更新も停止します。
今年3月に政府のAI戦略が年間25万人を目標にAI人材を育てるとぶち上げたのに続いて、教育再生会議が全ての大学生がAIなどの基礎的な素養を身につけられるように標準カリキュラムを作成することを提言した。ガートナーが2017年1月に産業界で2020年末時点で30万人以上のIT人材（原典を確認したところAI人材ではなかったようですね）が不足するといったらしいのだが、今からカリキュラムをいじったところで2030年くらいにならないとAIネイティブな新入社員は入ってこないし、その頃まで深層学習が流行っているのか、NVidiaが残ってるのか、PythonやTensorFlowが広く使われているのか、GAFAがどうなっているかなんてさっぱり見当がつかない。 残念ながら私たちは2010年代に深層学習の実用化の局面で米国に負けたのであって、いまから教育をいじるといったって泥棒を捕らえて縄を綯うような話である。
【内容】 ○「年齢別の男女の主導権」「強姦／和姦とストーリー要素」「ストーリーパターン、ヒロイン性格・属性、主導権・動機・セリフの数量化分析」等々 ○数字から分析を引き出す構成など 【掲載画像所載】 続きを読む
データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
『できる逆引き Googleアナリティクス Web解析の現場で使える実践ワザ』全文公開の記事一覧（目次）- あの定番書がすべて読める！
Googleアナリティクスを使うすべての人へ。株式会社プリンシプル・木田和廣氏による最強の定番書『できる逆引き Googleアナリティクス 増補改訂2版 Web解析の現場で使える実践ワザ 260』の記事一覧（目次）と「まえがき」を掲載しています。 インプレスの書籍『できる逆引き Googleアナリティクス 増補改訂2版 Web解析の現場で使える実践ワザ 260』の全文Web公開について、書籍・著者の紹介と「まえがき」、記事一覧（目次）をまとめました。 企業のWeb担当者やデジタルマーケターのみなさんに向け、Googleアナリティクスの正しいノウハウと、本書の魅力を幅広く知っていただけるよう、著者の許諾のもとに無料で公開しています。以下のリンクから各項目にジャンプできます。 書籍について ※書影をクリックするとAmazonにジャンプします 1万人以上のWeb担当者に支持された定番書が大幅改訂
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball
ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本（と一部本じゃないもの）をまとめてみました（注：もちろん全部読んでいます）.*1. なお, あくまでワタシ個人（@shinyorke）の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません（とだけ最初に断っておきます）. サクッとまとめると 「レベル感（はじめて・経験者）」だけででなく,「エンジニア面を鍛える or 理論を固める」の軸で考えると良い書籍・学び方に出会える確率上がる エンジニアでも理論でもどっちから初めても良い, がどちらかが得意な方が絶対幸せ（≒片方だけじゃお話にならない可能性） 個人的なオススメは「機械学習図鑑」「前処理大全」「機械学習のための特徴量エンジニアリング」そして「試して学ぶ機械学習」です. おしながき サクッとまとめると おしながき 対象読者&執筆者について
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
ワードやエクセルでGPT-4体験。Microsoft 365 Copilotはこんなことができる2023.03.17 03:0078,929 amito 本日0時にマイクロソフトから｢Microsoft 365 Copilot｣が発表されました。 何が起こったのか簡単に言うと、ワードやエクセル、パワポなど、おなじみのお仕事アプリのほぼすべてにChatGPTのような対話型のAIが埋め込まれました。 ブラウザでChatGPTとお話するより格段に実用的だと思いますこれ。 マイクロソフトはこのAIを｢Copilot（コーパイロット：副操縦士）｣と呼んでいます。お仕事の助手のような存在ってことです。その助手が何をやってくれるのか、マイクロソフトが挙げている例をいくつか紹介します。 Outlookでメールの自動生成送りたいメールのざっくりした内容をCopilotに指示します。例では娘の高校卒業のお祝い
大卒同等と認定「Googleデータサイエンティスト育成コース」がオンライン開校へ【補足訂正】 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Photo by Gratisography on Pexels.com ピックアップ：A digital jobs program to help America’s economic recovery ニュースサマリー：Googleは13日、デジタルスキルの習得をサポートする取り組み「Google Career Cerfiticates」へ、新たに3つのコースを追加したと発表した。コースはデータアナリティクス・プロジェクトマネジメント・UXデザイン講座で、Grow with Google上にて受講可能となる。 編集部による訂正：記事初出時、３講座が受講できる場所をGrow with Googleとしておりましたが、正しくはオンライン学習プラットフォーム「Coursera」上という話題があるものの、公式の発表では場所や時期は未定、というのが正しい情報でした。修正してお知らせさせていただき
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
アル(https://alu.jp)というマンガサービスを作っている、けんすうと申します。 最近、マンガ新検索MNMという、イケてるサービスを作りました。 何かというと、マンガを入れると、読んでいる人が同じデータから、「だいたいこのマンガが好きな人はこんなマンガも好き」という、「距離が近いマンガ」を出してくれるというものです。 たとえば、「ドリフターズ」と入れると「HELLSING」「ヨルムンガンド」「ゴールデンカムイ」とでました。 お陰様で、結構バズりまして、いろいろなところで話題にしていただいたのです。 こういうの待ってたし、実際にやってみたら本当に好きな漫画ばかり出てきて精度もピカイチ。 「近いマンガ」がわかるマンガ新検索 MangaNearestMap #アル https://t.co/YoYhHttYus @alu_incより — なかみち (@shuhei_nakami) Ju
マイナカードに学校の「成績」 対象小中学生 2023年度にも
保険証や運転免許証との一体化など、デジタル化の鍵を握っていくのが、「マイナンバーカード」。 近い将来、小中学生の学校の成績も管理することになる可能性も。 政府は、小中学生の学習履歴や試験の成績を、マイナンバーカードにひも付け、オンラインで管理する仕組み作りに着手した。 そもそも文科省は、教育データの利活用を進めていて、児童・生徒の個人の学習意欲の変化や理解度をデータとして記録するのは、1人ひとりに合った効果的な学びの実現が目的。 蓄積された記録データをもとに、教員が、1人ひとりに合った指導を行うことができるとしている。 また政府は、こうした個人の学習データのマイナンバーカードへのひも付けを検討していて、2023年度以降の実現を目指している。 小中学生の学習履歴や試験の成績をマイナンバーカードにひも付けることについて、教育評論家の石川幸夫さんは、「メリットとしては、成績そのものが一元管理でき
データサイエンティスト生活でお世話になった本｜くに | 武田邦敬
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。最終回はローソク足とともにこれまでに計算したオシレーターなど一式を1つのグラフで表示する方法や過去の株価データを基にした株価予測の方法を解説します。
Python自然言語処理テクニック集【基礎編】
自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機械学習、ディープラーニングは出てきません！テキストデータの前処理が中心です。 前処理系 大文字小文字 日本語のテキストにも英語が出てくることはあるので。 s = "Youmou" print(s.upper()) # YOUMOU print(s.lower()) # youmou 全角半角 日本語だとこちらのほうが大事。 全角半角変換のライブラリはいくつかありますが、自分はjaconv派。 MIT Licenseで利用可能です。 import jaco
このように、可視化されたデータを連続して見せることによってファクトを伝えるのが、データ・ストーリーの手法です。 Ben Jones氏によるデータ・ストーリーについての解説と、彼が見出した7つの王道パターン データを伝える記事を多く出しているNYタイムズですが、彼らの新人記者向けの研修の資料では、データ・ストーリーについて詳しいBen Jones氏による以下の講演動画が紹介されていました。(講演のスライドはこちらから見られます。) 講演の内容について手短に解説します。Jones氏は当時(2015年)、データ可視化ツール大手のタブローソフトウェアでプロダクトマネージャーをしていました。(ちなみにタブローは、先月Salesforceに1.7兆円で買収されています。) ある日、タブローがいくつかの可視化されたデータを連続して見せる機能を公開したところ、ユーザーはそれを使ってさまざまなデータ・ストー
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZnu7WBEP — tomo-makes@図解速習DEEP LEARNING (@
エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
GA4がよくわからん。となってしまう5つの理由。
GA4、導入しないといけないと思っていても、さっぱりわからんからやる気がしなくてどうしよう？ってなる時がありますよね。私も数か月前まではそんな感じでした。正直なところギリギリまで逃げ回りたかったんですが、そうもいかなくなったので勉強することに。 ではなんで「わからん」となってしまうのでしょうか？そこがわかれば対応もできるので「わからん」理由と解消法をまとめてみました。 「Google アナリティクス」と名乗っているところ ここがわからなくしている一番の原因です。Google アナリティクスと名乗っているので、今までのGoogle アナリティクスの延長線上にあるものだと思ってしまうんですが、全くの別物で生まれも育ちも違っています。 今までのGoogle アナリティクス UrchinはGoogleアナリティクスの元となった製品。グーグルに買収されGoogleアナリティクスがリリースされた後も、
食べログの得点計算についてのポジティブな可能性を考えるー操作されたデータを検証する難しさー（井上明人） - エキスパート - Yahoo!ニュース
久しぶりのyahoo個人への投稿となりますが、この記事を公開するのは、正直、気が重いな、と思いつつ、公開します。 というのも、今、食べログに対して非常にネガティブな解釈が広がっているわけですが、何かしらポジティブな材料を提供するとなると、確実にいろいろ言われるだろうなあと思って気が重くて仕方がないのですが、ただ、人生の一時期、食べログにハマっていた人間として、論点として提供されるべきポイントが、提供されていないと感じましたので、本記事を公開する次第です。 ◆食べログの評価点数分布の「不自然さ」 さて、近年、食べログの点数評価アルゴリズムは、頻繁にその不正を疑われ議論になっています。 2016年には、評価アルゴリズムのリセットがあった際には、いくつかの店舗がいきなり3.0の点数にリセットされるなどといったことがあり、記事にもなりました。 そして10月8日に、藍屋えんさんという方が、ご自身のブ
こんにちは、Exploratoryの白戸です。 Appleは新型コロナウイルスの対策支援として、Appleマップでの経路検索をもとにした移動傾向のデータを公開しています。ところが、残念ながらこのデータはそのままでは簡単に可視化できるようなフォーマットになっておらず、ちょっとした加工を行う必要があります。 しかし逆に、加工の仕方さえわかってしまえばそれぞれの都市や地域の移動データを可視化することで、恐怖を煽るばかりのマスコミからは見えてこない現状を理解することができるようになります。 今回はこのAppleの移動傾向データを簡単に可視化できるようにするための基本的な加工方法を、みなさんと共有させていただければと思います。 データはこちらからダウンロードすることができます。 以下は「モダンでシンプルなUIを使ってデータサイエンスができる」Exploratoryを使って、「日本で最も自粛している都
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
円グラフのデザイン集 | おしゃれで伝わるグラフの作り方｜かわちゃん
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜Shota Tajima
Python言語による実務で使える100+の最適化問題 | opt100
kenkenさんはTwitterを使っています: 「完全初心者の状態で、Pythonの独学を始めて約2年🤔 約60冊の書籍を写経・消化してきたので、結構、実力がついたのかな🤔 2年間の棚卸として、僕が、写経・独学してきた書籍とKaggleの取り組みを紹介したいと思います☺️ 全て真剣に取り組んできたので、気になる書籍があれば、気軽に質問ください☺️ https://t.co/QL57lAy2pH」 / Twitter
サブスクリプション型のビジネスなら見ておくべき5つの超重要チャート - Qiita
東京工業大学、機械学習の講義ノートが無料公開 Pythonの実装も学べる | Ledge.ai
これから推薦システムを作る方向けの推薦システム入門｜masa_kazama
じゅじゅ on Twitter: "プログラミング、データサイエンス・統計学関連はネット上にで超優良なテキストが"無料"で公開されており、本当に良い時代。。 本ツイートに各テキストへのリンクもぶらさげておきます。 https://t.co/zSLyLEyQSL"
自分がどのくらいエコーチェンバーの中にいるのか可視化するシステムを作ってみた｜tori
キャリアアッププログラム「Google Career Certificates」日本版を開始
https://twitter.com/kanae_udemy/status/1560872379240579072
AI時代へ向けて育成すべきはAI人材か?｜楠 正憲（デジタル庁統括官）
エロマンガを定量分析した統計同人誌が、とにかくすごかった件
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
今起きている革命、「因果革命」とは - Qiita
ゼロから始める、データ分析と可視化 - Kyash Product Blog
ワードやエクセルでGPT-4体験。Microsoft 365 Copilotはこんなことができる
デジタル庁のデータ分析基盤「sukuna」｜デジタル庁
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
データが必要なサービスを、無理やり作る方法を紹介します(例：マンガ検索「MNM」)｜けんすう
「Python」×「株価データ」で学ぶデータ分析のいろは
NYタイムズの記者も使っている、データ・ストーリーの王道パターン7選｜Saya｜note
Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita
news.yahoo.co.jp
news.yahoo.co.jp
news.yahoo.co.jp
news.yahoo.co.jp
news.yahoo.co.jp
blog.livedoor.jp/yakiusoku