はじめに 千葉大学/Nospareの米倉です．今回は，統計学・機械学習周辺で，僕が良いと思ったチュートリアル/サーベイ論文と講義ノートを簡単なコメント付きで紹介したいと思います．チュートリアル論文やサーベイ論文は，そのトピックの解説や教育面にフォーカスしていて，何か勉強したり，網羅的に把握するときに非常に便利だと個人的に思います．また公開されている講義ノートの中には非常に勉強になるものが多くあります．内容は僕が興味があるトピックに偏っています．またすべて無料で読めます．（教科書等の海賊版みたいなのは載せていません） 10本の紹介 Nickl "STATISTICAL THEORY" Nicklの統計学の講義ノートです．いわゆるM推定量の漸近的性質に加え，バーンスタイン・フォンミーゼズ定理等も証明付きで解説されており，上級レベルの数理統計学を学ぶのに重宝すると思います． Doucet and

のようなイメージでしょうか？ C++がないプロジェクトでは、これらのファイル群をバージョン管理しましょう。 ProjectName Config Content ProjectName.uproject 逆に Intermediate Saved といったディレクトリは中間ファイルやキャッシュにあたるので、バージョン管理しないようにしています。 BluePrintとC++ ブループリント(BluePrint)はUE4のビジュアルスクリプトプログラミングするための機能だけでなく、BluePrint ActorとしてUnityのPrefabのような機能も持っています。(Prefab機能についてはこの記事では割愛し、プログラミング機能のみに述べます) BluePrint = PrefabのようなActor複製機能とPlayMakerのようなビジュアルスクリプトプログラミング機能 C++ = C#

AWS学習を始めようと考えている人 「AWSとは、概要や全体像、メリットデメリットが知りたい」 「AWSの学習方法が知りたい」 こういった疑問に答えます。 本記事のテーマ 【AWS初心者向け】AWS学習方法まとめ【15時間で達成できる】 AWS学習の始め方 AWSやクラウド初心者の方がAWSを学ぶための方法を纏めました。 ①クラウドを学ぶ ②AWSの概要を学ぶ ③知識の定着（AWS公式ハンズオン実施） ④AWS運用の現場に参画 知識定着のため、インプット、アウトプットのバランスを考えてまとめています。 IT基礎知識（基本情報技術者レベル）がある前提になっていますので、 インフラ基礎知識が足りていないと感じる方には下記の記事もおすすめです。 記事の信頼性 筆者はAWS経験5年程度です。AWS資格は5冠達成しました。 現在は大規模ECサイトのAWS運用を任されるようになっています。 今回紹介し

2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ

データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型

OSS活動をはじめて5ヵ月が経過したのでその振り返りと、OSS活動での学びを書きます。 「OSS活動ってハードル高そう。。」と躊躇している方に読んで貰えると嬉しいです。 自己紹介 最初に誤解のないように自分のスペックを。 消防士歴6年、エンジニア歴2年半、PC持つよりホース持ってた期間が長いエンジニアです。 28歳の年にエンジニアへ転職し、今は茨城県からフルリモートで働いています。 ※ 消防士からエンジニアへの転職経緯などは以前こちらに書きました OSSとは？ OSSの定義をWikipediaより。 オープンソース・ソフトウェア（英: Open Source Software、略称: OSS）とは、利用者の目的を問わずソースコードを使用、調査、再利用、修正、拡張、再配布が可能なソフトウェアの総称である また、本文中でのOSS活動はGitHubに公開されているOSSに対してプルリクエストやイ

広告運用自動化関連のプロジェクトで、他部署のデータサイエンティストがアルゴリズムの開発担当として、私がシステム担当兼レビュワーとしてアサインされました。 ただまだ分析以上のプログラミング経験はあまり無いそうで、知らない単語が芋づる式に出てくる状態のようです。それぞれの考え方を教えようにも、このコロナ影響下ではホワイトボードも使えないし、zoomのミーティングの時間を取るのもお互い負担が大きかったので、まずQiitaで共有することにします。 同僚に間違ったことを教えていたら困るので、もし誤っている箇所やアドバイスがあればコメント頂けると嬉しいです。 バッチプログラムの実行について 現在開発している広告運用自動化システムでは、AWS Data Pipelineを使っておおよそ以下のような環境で動いています。 事前にソースコードをまとめてzipファイルにしてS3にアップロードしておく この処理は

統計検定2級の過去問を参考に、最低限に必要な定義や式をまとめたものです！ 比較的問題になる傾向が多いところについて扱っていて、 全く網羅的ではないです [追記]統計検定2級、おかげさまで合格しました。 ※筆者が２級取得前にまとめたものであるため間違いがあればお手数ですがご指摘願います ※2017年11月までの過去問を参考にしているのですが、統計検定は毎年新しい形式の問題を出してきます グラフとデータの扱い 分散や期待値、標準偏差と共分散はどれも必須の式 箱ひげ図 箱ひげは大雑把に言えば、データを小さい順に並べてだいたい同じデータ数になるように4つに分けた図のこと あくまで どの変にデータが集まっている かがわかる また、最低値と最大値、中央値もパッと見でわかるが、正確な平均値はわからない(よって分散などもわかるわけない) 用語については以下の図の通りで、「最大値」、「最小値」、「第一四分位

この時期だからこそ自学しよう 海外って太っ腹な組織が多いのか、無料で読める専門書がすごく多い。 これ系のまとめ記事は他にもありますが、 翻訳済の日本の本と、原著を並べて表示していきたいと思います。 特にデータサイエンス分野に限って紹介。 お高いあの名著も実は原著なら無料かも？ (2020年5月時点) 続編、データサイエンスの名大学講座 を書きました (2020年8月) 1冊目 邦題 : 統計的学習の基礎(1万5千円) 俗に言う「カステラ本」です。 日本では2014年に翻訳されましたが、原著は2001年と今から約20年前に出版されました。 内容からしても、当時は体系的に理論学習ができる刷新的な一冊だったのでしょう。 まさに「アルゴリズム・理論の辞書」。 年代的に古い感じはしますが、基礎はいつだって大切です。 数字に強くないと絶対読み切れない。。。 原著 : The Elements of S

概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う

はじめに トレーニー（筋トレを愛している人）の多くが習慣化している「自撮り（肉体）」。トレーニング後にパンプした肉体を撮りためて、後で見返すのが至福のときですよね。さらに、撮りためた画像をタイムラプスのようにアニメーションで表示させたら、より筋肉の成長が手に取るようにわかりますよね！ この記事はディープラーニングを使って、肉体のタイムラプスを劇的に見やすくした話を書いています。 まずは結果から 2017/12～2020/3の体の変化 ※データサイズの都合上、画像をクロップ&圧縮しています。 目次 1.手作業での補正 1-1.そのまま表示 1-2.位置の固定 1-2-1.乳首おへそ座標付与ツール 1-2-2.動画作成 2.ディープラーニングを用いた自動補正 2-1.アノテーションデータ作成 2-2.学習 2-3.未知画像への適用 2-4.後処理 2-4-1.各ピクセルの出力値が閾値以下のもの

出典：日経クロステック、2020年2月7日 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 日経 xTECH内に人工知能（AI）専門チャネル「ビジネスAI」を2019年10月に立ち上げたのを機に、知識共有サイト「Qiita」上でAI／機械学習の記事を同年12月に募集したところ、49本もの記事が集まった。投稿いただいた皆さん、ありがとうございました。 今回、ビジネスAIの編集担当として私が設定した「お題」は以下の3つ。各テーマについて日経 xTECHがQiitaアドベントカレンダーのスポンサーとなり、2019年12月1日～25日まで1日1本ずつ記事を募集した。 AI道場「Kaggle」への道 機械学習をどう学んだか 機械学習ツールを掘り下げる この結果、機械学習を独習するお薦めの書籍やサービス、Kaggleなどの機械学習コンペに入門する方法など、AIや機械学習に興味がある

■１．はじめに 最近コロナの影響で家で過ごす時間が増えましたね。 それでなくとも家は生活の中でも長時間過ごす場所ですし、極力理想的な居心地のいい場所にしたいですよね。 皆さんはいま住んでいる家への満足度は高いでしょうか？ ある調査によると自分の家の満足度を0~100点で評価したとき、「90点以上」と回答した人がわずか約9.8%しかいなかったそうです。 人生の出費の中でも「住宅」への出費は大きいものの一つであり、毎月何万、何十万(あるいは数百万)の支払いをしているにも関わらずです。 (読者の方はどうでしょうか？) どうして胸張って「おれん家は100点！(せめて90点)」っていえないのでしょうか？？ あくまで個人の仮説ですが、「実はこれよりももっと安くていい物件があったんじゃないか・・・。」というモヤモヤが(あるいはそのモヤモヤを払しょくするための意思決定をしたという実感がないこと)が関係して

[追記]統計検定2級、おかげさまで合格しました。(僕の受験した回は得点率65%で合格できました) この記事の概要(目次) はじめに: 事前の筆者のステータス 勉強方法: どんな勉強をしたか そのメリットとデメリット 思ったこと・分かったこと: 勉強をしてみて思ったこと 勉強してみないとわからなかった もう一度やるとしたらこんな方法でやる: 現状で思う、オススメの進め方 今から勉強する皆さんに向けて事前に知っておいてほしいこと 結果: 試験の結果( 発表されたら追記します(6/18) ) はじめに 目的 自分の中でのスキルを増やすこと Qiitaに残す目的 進め方の振り返りのため いつか2級を受けようとしている誰かのため 復習用のノート ということで 2級合格のためのチートシート作成しました (https://qiita.com/akiyoshi_sasaki/items/c81032c16

Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up

まずディープラーニングがどのように発展していったのかお話しします。 第一次ニューラルネットワークブーム ある時、脳の神経細胞を仕組みを再現した人工ニューロンを作ります。 人工ニューロンとは上図のようなものを指します。 この複数の信号から1つの信号を出力するアルゴリズムをパーセプトロンと呼びます。 この人工ニューロンを2つ重ねるとが学習できるらしくブームが起こります。下図。 ですが世の中の多くを占めている非線形の問題が解けなく、ブームが終わります。 第二次ニューラルネットワークブーム 実は3層以上重ねるとどうやら非線形問題が解けることは知られていましたが、誰も実装まで手が付けられませんでした。 ところがある時、BackPropagationという方法が発見され、3層以上を重ねられました。 何層も重ねたものをニューラルネットワークと呼びます。 （アルゴリズムを多層パーセプトロンといいます。）

はじめに 前回記事「機械学習による株価予測 いろはの"い"」の公開後、筆者の機械学習モデルの獲得利益はめでたく1億を突破することができた。運用モデルの概要については筆者のブログにて紹介したが、折角の機会なので技術的な内容についてここに続編を執筆する。今回の記事では、株価を予測するための特徴量についてその考え方をまとめる。 特徴量の種類 個別銘柄を説明するための代表的なデータとは、財務諸表とチャート（価格系列）である。一昔前は個人投資家がこれらのデータを揃えるのにかなりの苦労が必要だった（特に財務諸表が面倒であった）が、最近ではQiitaでXBRL用のライブラリが紹介されていたり、バフェットコードでAPI（有料）が提供されていたりと、随分と手間要らずになってきたように思う。 個別銘柄を説明するための材料についてさらに進んだ話をすると、IRを自然言語処理に掛けてセンチメントを抽出したり、経営陣

見つけた タイトルをそのままGoogleで検索したら同じ記事が出てきました。 Qiitaの色んな方の記事タイトルをGoogleで検索したら全く同じタイトルの記事がやや高確率で検索上位に出てきました。 私は怪しいと思ったので、軽く調べることにしました。 そのサイト のんのん技術ブログ 怪しい 別ドメイン（←まぁ本人かもしれんし...） タイトルと記事が全く同じ 投稿記事元のユーザがバラバラ →同一人物が運営しているとは思えない サイト運営者の情報不足 Aboutページ→信頼性がない プライバシーポリシー→なし お問い合わせ→連絡手段なし 広告ばっかり タイトルと記事が全く同じ 左←問題のサイト 右→Qiita プライバシーの保護のため、ぼかしています。 リンクも画像ソースも同じ。 多少デザインを加えていますね。 投稿記事元のユーザがバラバラ どれだけコピーされているか相手の記事の一部を示しま