基礎から学ぶ統計学
理解に近道はない．だからこそ，初学者目線を忘れないペース配分と励ましで伴走する入門書．可能な限り図に語らせ，道具としての統計手法を，しっかり数学として（一部は割り切って）学ぶ．独習・学び直しに最適 本書の使い方 統計学を学ぶ心がけ／予備知識／本書の学び方／のんびり取り組む／本書の難所／練習問題を解く／数学が得意なら／ご協力ください 序章 はじめに １．統計学の必要性 ２．散らばり（バラツキ） ３．基本的な用語と概念 ①観測値と標本 ②母集団 ③統計学の目的 ④統計学の理論を支える土台 ⑤単純無作為標本 ４．本書の２本柱 ①平均の比較 ②2変数の関係 ５．検定統計量 第Ⅰ部 統計的仮説検定の論理 １章 検定の論理（二項検定を教材として） １．例題1：B薬はA薬より有効か？ ①例題1.1：18人に効果がある場合 ②例題1.2：14人に効果がある場合 ③例題の解答 ２．二項分布 ①二項係数 nC
【GEE】ランダムフォレストで土地被覆分類を行う【衛星データ解析】 - LabCode
土地被覆分類とは？ 衛星画像や航空写真などのリモートセンシングデータを分析し、地表のさまざまなカバータイプ（例えば、森林、農地、水域、都市地域など）を識別するプロセスです。土地被覆分類は地球環境のモニタリング、土地利用計画、生態系の管理、気候変動の研究など、多くの応用分野で利用されます。 以前の記事で利用した環境省生物多様性センターの植生図をはじめ、国土地理院の地理院地図、産総研のシームレス地質図などが作成され公開されています。 GEEには土地被覆分類を行うためのオブジェクトとしてee.Classifierというものが用意されています。これを利用することで機械学習を利用した土地被覆分類を行うことができます。 ee.Classifierが対応している主要な機械学習モデルは以下の通りです。 決定木(Decision Tree)：条件分岐によってグループに分けられる木の構造をしたものです。回帰に
Python
Python（パイソン）はプログラミング言語の一種です。最近は機械学習でよく用いられます。ここではPython 3.xを使って統計・機械学習の計算・グラフ描画をします。Rを使った統計・データ解析の姉妹編を目指しています。 [2024-04-07] コード部分をクリックするとクリップボードにコピーされるようにしました。 お品書き はじめの前に / PEP 8 インストール 実行 / Google Colaboratory / EIN（アイン） / Docker / ipynbを公開する方法 Pythonの初歩 / Collatzの問題 / 配列 / 基数変換 / ゼロ除算 グローバル変数とローカル変数 プロット / 図のラスタライズ / seabornによるプロット / Plotly / プロットをデータに 棒グラフ・積み重ね棒グラフ 曲線を描く / 正規分布の密度関数を描く ヒストグラム
機械学習を使って東京23区のお買い得賃貸物件を探してみた - データで見る世界
さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを
DATAFLUCT Tech Blog
2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…
はじめに — マンガと学ぶデータビジュアライゼーション
はじめに# データビジュアライゼーションとは，数値や文章などのデータに基づいた情報を，人間が理解しやすい形に視覚化する技術を指します． このサイトは，文化庁のメディア芸術データベース・ラボ（MADB Lab）で公開されている四大少年誌（ 週刊少年サンデー， 週刊少年ジャンプ， 週刊少年チャンピオン， 週刊少年マガジン ）のデータを用いて，データビジュアライゼーションの学習を手助けすることを目指しています． データビジュアライゼーション（に限らずデータ分析全般）の学習において重要なのは，分析対象のデータに興味を持てるかどうかです． 本書では約47年の四大少年誌のマンガ作品データを採用しているため，モチベーションを保ちつつ学習を進めることが可能です．
統計・機械学習の理論を学ぶ手順 - Qiita
社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス
品質管理における機械学習の有用性<br>～事例に学ぶ、製造業での機械学習の活用方法～
はじめに はじめまして、Martingale（Twitterアカウント）と申します。 10年間、半導体分野の生産技術者をしたのち、データアナリストに転職し、今はデータ分析を使って化学プラントの故障原因の解明や予知保全をやっています。 近年、注目されているディープラーニングをはじめとする機械学習ですが、私の感覚では、製造現場への導入があまり進んでいないように思います。 その背景には従来から品質管理に活用されている統計的品質管理の影響があるのではと感じています。 統計的品質管理が上手く機能しているが故に、製造現場で機械学習の必要性があまり感じられていないのではないか？ということです。 つまり、以下のような会話が繰り広げられているのではないかと。。 製造現場でのやり取り （注）絵の中で、若手エンジニアとベテランエンジニアと書いたのは、あくまでイメージです。若手の方が、学生時代にPythonを触っ
KNIME（インフォコム）
KNIME（KNIME Analytics Platform）は ワークフロー型データ分析プラットフォームを提供する、 無償のオープンソースソフトウェア です。 データの前処理や機械学習を活用した分析ワークフローを ノーコードで構築でき、様々な業務でご利用いただけます。 世界50カ国以上の大手企業で採用されている KNIME の3つの特長 制限なく すべての機能を 無償で利用可能 KNIME Analytics Platformは、すべての機能を無償でご利用いただくことができます。扱えるデータ容量などに制限はありません。 ライセンスやコストを気にせず、気軽にデータ分析をお試しいただけます。 4,000を超える分析ノードや サンプルワークフローにより データ分析をサポート 現時点で4,000を超える機能が提供されており、日々その数は増えています。 各種業務のサンプルワークフローも提供しており
【2020年版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 - Qiita
AI Academy Bootcamp ６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。 数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください！ https://aiacademy.jp/bootcamp この記事の対象者 ・将来Pythonでデータ解析をしたいと考えているが、何から手をつけたら良いか知りたい方 ・将来、人工知能に関連した業務に携わりたいと検討中の初学者の方 ・未経験者からAIエンジニアになりたく、そのためにどのような知識が必要か知りたい方 ・AIプログラミングスクールや専門学校に進学しようか考えているが、独学で勉強できる方法を知りたいという方 対象ではない方 ・既
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンティスト向け性能問題対応の基礎
データマイニング入門
じゅじゅ on Twitter: "ネット上にある、完全無料で勉強になる有益なコンテンツまとめました。 （お金/資産形成、Excel、仕事術、資料作成、英語、ファイナンス、統計・データ分析、プログラミング、ITなど） GWでなにか勉強したいな～、と思っていた方はぜ… https://t.co/wHbkKFUnFM"