積分とは・対数とは・微分とは〜「分かる」とはどういうことか〜
文系向け「統計学」の授業で、積分・対数・微分を復習する機会があった。その時の「1枚スライド」を公開した。この図をめぐって、「分かる」とはどういうことか、について多くのコメントをいただいた。それを、まとめました。（話が同時並行で進行するので、スレッド風の「まとめ」です。） 注意：積分は、統計学の場合、正規分布表を見るために必要。対数の必要性は、尤度関数（尤もらしさ）の対数をとって計算を簡単にする式変形で使うため。微分の必要性は、確率密度関数の最大値（尤度最大の条件）を求めるため。どれも統計学で必須の内容。 注意２：（追記8/6）ここに出てくる「指数、対数、微分、積分」は「感染症の数理モデル」の基礎となっている。 注意３：（追記8月9日）番外編『「積分」と「源氏物語」〜「晩年の清少納言」から「京都女子大」まで』へのリンクはこちらです。https://togetter.com/li/157284
大卒同等と認定「Googleデータサイエンティスト育成コース」がオンライン開校へ【補足訂正】 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Photo by Gratisography on Pexels.com ピックアップ：A digital jobs program to help America’s economic recovery ニュースサマリー：Googleは13日、デジタルスキルの習得をサポートする取り組み「Google Career Cerfiticates」へ、新たに3つのコースを追加したと発表した。コースはデータアナリティクス・プロジェクトマネジメント・UXデザイン講座で、Grow with Google上にて受講可能となる。 編集部による訂正：記事初出時、３講座が受講できる場所をGrow with Googleとしておりましたが、正しくはオンライン学習プラットフォーム「Coursera」上という話題があるものの、公式の発表では場所や時期は未定、というのが正しい情報でした。修正してお知らせさせていただき
「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 （最速・最短ルート用） まずは動かしてみよう。強くてニューゲームが体験出来るぞ！ 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入
データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック（構造化データ加工編）」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
データ視覚化のプロが選ぶデータ分析のオススメ本32選
データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。 これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。 中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。 本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。 データ可視化そのものについて知りたいたは、こちらの記事からどうぞ。 データ可視化とは？その重要性や手法、よくある課題と解決策を解説 データ分析における視覚化（ビジュアライゼーション）系のおすすめの本17選1 S
ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita
概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う
データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball
ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本（と一部本じゃないもの）をまとめてみました（注：もちろん全部読んでいます）.*1. なお, あくまでワタシ個人（@shinyorke）の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません（とだけ最初に断っておきます）. サクッとまとめると 「レベル感（はじめて・経験者）」だけででなく,「エンジニア面を鍛える or 理論を固める」の軸で考えると良い書籍・学び方に出会える確率上がる エンジニアでも理論でもどっちから初めても良い, がどちらかが得意な方が絶対幸せ（≒片方だけじゃお話にならない可能性） 個人的なオススメは「機械学習図鑑」「前処理大全」「機械学習のための特徴量エンジニアリング」そして「試して学ぶ機械学習」です. おしながき サクッとまとめると おしながき 対象読者&執筆者について
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！ ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人（@studies）と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
【13個掲載】 機械学習に使える日本語のデータセットまとめ - Qiita
※本記事は、Lionbridge AI発の連載記事を再編集したものです。他の機械学習に使えるオープン・データセットまとめ記事は、こちらからご覧ください。 本記事は、日本語のデータセットを紹介いたします。日本語の公開データセットを無料ダウンロードできるポータルサイトや、自然言語処理に使える日本語のテキストデータセットを含みます。 機械学習に使える日本語のデータセットポータル DATA GO JP: 日本政府のデータカタログサイト。日本政府は、公共データを広く公開することにより、国民生活の向上、企業活動の活性化等を通じ、我が国の社会経済の発展に寄与する観点から、機械判読に適したデータ形式を、営利目的も含めた二次利用が可能な利用ルールで公開する「オープンデータ」の取組を推進しています。このウェブサイトは、二次利用が可能な公共データの案内・横断的検索を目的としたオープンデータの「データカタログサイ
まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiita
ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？ そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。 そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中 まずPandasの全体像を掴んでみる Pand
王 貞治、長嶋茂雄、田中将大、大谷翔平……球界のレジェンド・野村克也が『パワプロ』各選手＆自身の能力データをボヤキながら分析してみた
1994年にスーパーファミコン用ソフトとして第一作が発売されて以降、来年にはシリーズ25周年を迎える『実況パワフルプロ野球』（以下、『パワプロ』）。 最新作『パワプロ2018』では「VRモード」が実装されるなど、シリーズを重ねるごとに新たな要素が追加されているが、第1作目からずっと変わらないものがある。 それは、実名のプロ野球選手に“能力データ”が設定されていることだ。 自分がひいきにしている選手の能力が低いと「もっとすごい選手なのに……」とグチりたくなるし、能力が高く設定されていても「わかってないな〜」とひとこと言いたくなる「選手の能力データ」は、開発チーム独自の査定によって設定されているとのこと。 この“能力データ”は、プロ野球界でも、選手が冗談交じりに「自分の能力に納得がいかない」と不満を語るケースもあるようだ。 では実際、プロの視点から『パワプロ』の能力データを見た場合、どのように
【注意】iPhoneを新しくしたら、しばらく家から出ないことをオススメします！ - パパ教員の戯れ言日記
ちゃんと実証している訳では無いのですが、ほぼこれだろうという確証は得ているので、他の方にも同じ事態に遭って欲しくないため書き残します。 奪われたデータ容量 先日発表されたiPhoneの新機種からTouch IDが完全に消されたことで、私のiPhone 6sの機種変候補はiPhone8か8 plusになりました。 使っているのはUQ mobile。auのiPhone8はSIMロック解除なしでUQ mobileでも使えるので（テザリングができないという弊害はあるものの）、UQ mobileの余っていた回線（教室のモバイルルーターに差していたもの等）を2回線MNPし、一括0円でiPhone 8 plusをゲット（私と奥さんの分）しました。 んー、iPhoneの新しいやつ、ホームボタン無くなるのかなぁ。無くなって発表されたら速攻で8plus買おう…。6sから脱却したいがホームボタンは欲しい。— す
アダルトサイトのお楽しみは危険がいっぱい。確認してほしいこと
成人が合意の上でセックスをしているのなら、それを見ること自体に問題はない。ただし、アダルトサイト、特に無料「ビデオ」サイトには多くのリスクがある。ここでは、基本的な事前対策を紹介しよう。 ストリーミング配信アダルトサイトの危険性を重々承知している人もいるだろうが、ポルノをネットで初めて見る経験の浅いネットユーザーだと、つい好奇心に逆らえず悪質なサイトを利用し、各種データや個人情報を危険にさらす可能性がある。 そこで、オンラインポルノを見る際にどんな危険があるのか、知っておくべきことをまとめた。 大半のアダルトサイト、特に無料「ビデオ」サイトは、安全なウェブ通信プロトコルであるHTTPSを採用していない。HTTPSは、アクセスしてきたユーザーを守るために、セキュリティ層を追加で設ける仕組みだ。 HTTPSと違って、基本的なプロトコルであるHTTPだと、ウェブブラウザーとウェブサーバーのあいだ
ASCII.jp：
アクセスランキング トピックス JALプログラム激変。改善点と改悪点をまとめてみた sponsored 4万円台で買えちゃう31.5型曲面4Kディスプレー、弱点はないのか検証した PC コロナ禍の裏で中国で爆発的に増えたRISC-Vコアの出荷数 RISC-Vプロセッサー遍歴 トピックス 高すぎるハワイ旅行、少しでも滞在中に食費を浮かせるには？ スマホ Snapdragon 8 Gen 3搭載のシャオミ最新スマホ「Xiaomi 14 Pro」がアキバの店頭に登場 AI 画像生成AI「Stable Diffusion XL」が簡単に使える「Fooocus」。画像から画像が作れる「Image Prompt」が便利です PC 2025年以降もWindows 10に延長サポートがある可能性!? 対応ハードを絞る真の本命は次期Windows？ トピックス ヨドバシ福袋企画「夢のお年玉箱」抽選受付スター
ディープラーニングの仕組みと応用
脳の神経回路の構造を模倣 ディープラーニングは、大量のデータを学習するために、人間の脳の神経回路の構造を模倣（モデル化）した情報処理の仕組みであるニューラルネットワークを用いる。図3のニューラルネットワークは、「入力層」「隠れ層」「出力層」という3層で構成している。また、学習データは入力データとなる手書き文字の画素データと、正解データがセットになっている。 このニューラルネットワークのモデルを学習させるには、まず手書き文字画素データをピクセル単位に分割した上で、各ピクセル値を入力層に入力する。図3のモデルでは縦横28ドットで分割していることから、784個が入力層に並ぶ。 入力データを受け取った入力層は、受け取った値に「重み付け」をした上で、後段にある隠れ層のニューロン（神経細胞。CPUのような役割を担う）に伝達する。 同様に隠れ層の各ニューロンは、入力層から受け取った値をすべて加算し、その
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ブロックチェーンを10分で理解するための資料 - メルミライ - 未来を見るメディア
「ひとり暮らしの40代が日本を滅ぼす」NHKが作ったAIの分析が冷たすぎる #AIに聞いてみた
