はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 闇の魔術に対する防衛術 Advent Calendar 2020の三日目 はじめに データの可視化は非常に難しい。 まずデータの抽出が難しい ・データソースごとの整合性が取れているか ・取得したデータとソースデータに欠損が生じていないか ・SQL文を実行したサマリの結果が部分的に抜け落ちていないか。 その確認は時間的にも精神的にも苦痛。 しかし、苦労して抽出したデータも使い方で全くの無駄になる その例として「可視化や統計」部分に着目してお話をしようと考えた。 データの背景を知らない人には、データ可視化が歩み寄る手段になるし、伝えたい事を

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

時系列をグリグリしていきます 環境 python==3.8 plotly==4.10.0 plotlyを使った時系列の可視化 時系列データは前処理も大変ですが、綺麗な可視化も同じように大変です 時系列の可視化ではおかしなピークがあると、 ・それが何月何日のことだったのか ・異常ならその時のコメントを参照できないか ・もう少しスケールを拡大したり、変化させられないか というリクエストが発生します そのたびにソースデータ側を見に行くのは大変ですが、plotlyの動的な可視化ならば その時点が何月何日なのかを特定することも簡単ですし 特定の期間に絞る、半年オーダーだけに拡大することも可能です まずline plot plotlyのラインplotをつかってみる

2020年9月9日にseabornの新バージョンがでましたね 今回はそんなver0.11.0を使いながら可視化の振り返りをしていきます seaborn公式のギャラリーと関数を参考に全べてのAPIを使ってみたいと思います 可視化だけ興味のある人は真ん中まで飛んでくだし 長いのでctrl + F　で検索かけてください 検証環境 conda create -n eda python==3.8 conda activate eda notebook==6.1.4 ipykernel==5.3.4 seaborn==0.11.0 pandas==1.1.2 matplotlib==3.3.2 statsmodels==0.12.0 scipy==1.5.2 scikit-learn==0.23.2 numpy==1.19.2 前のバージョンとの差分 ・distributionの可視化コードの見直し

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? お品書き ご覧くださりありがとうございます。 企業でデータ分析や機械学習関係の何でも屋をしている者です。 本記事は実務的な機械学習プロジェクトに関わる中で経験した 苦い思い出 貴重な体験をお話させていただきます。 機械学習やAI,データサイエンスという言葉が未だ独り歩きしているように感じます。 依頼者の「きかいがくしゅう」に対する勘違いで発生した問題 大幅な手戻り 長時間かけて作った使われることのない検証・モデル 消える案件 当然だろって思うような話でも人の知識は広く狭く、また玉石混交です。 今回は色々な体験・聞いた「しくじり談」を晒し

コンテナ？どんな時につかうんやろ くじらさんチームのマークかな？ なんか外注した機械学習モデルがDockerとやら使って納品されてきたぞ windowsやからLinux系疎いわ~ イメージすらついてないわ・・・アカン、このままではバカにされる・・・ DockerとK8s触ったことありますか？ (今更ですが)よくわからん技術はとりあえず触ってみるに限る 用意した環境 Microsoft Windows 10 Professional 64-bit (or Enterprise ) Docker hub アカウント登録 Docker Desktop for Windows git 64-bit setup exe gitを環境変数に入れる Docker hub アカウント登録 自分のIDとpassを決めてEmail打ち込んで登録。 確認メールが届くので承認する。 gitをインストールして環境変

問1:ロジスティック回帰を行うためにデータを書き換えよ ロジスティック回帰では目的の分類クラスを1,0に変換することで、クラスを確率として扱う。 1=100%として考えることで、0~1までの数値の回帰によってクラス分類を達成する。 そのため以下のように書き換えた。 また、切片項を使用しないので、事前に得られている平均値から各データを引いておく。 sex height 問2：1から0までの値で出力するための変換関数(シグモイド関数)を書け ロジスティック回帰ではシグモイド関数によって1から0の間に値を変換する。 数式に苦手感を感じる人はexp(x)という記号が2.718のx乗だと考えてくれればいい。 関数として描画すると以下のような形になる。 問3：ロジスティック回帰の尤度関数から負の対数尤度関数までの流れを記述せよ まずロジスティック回帰ではシグモイド関数に 男の時(sex = 1)のデー

この時期だからこそ自学しよう 海外って太っ腹な組織が多いのか、無料で読める専門書がすごく多い。 これ系のまとめ記事は他にもありますが、 翻訳済の日本の本と、原著を並べて表示していきたいと思います。 特にデータサイエンス分野に限って紹介。 お高いあの名著も実は原著なら無料かも？ (2020年5月時点) 続編、データサイエンスの名大学講座 を書きました (2020年8月) 1冊目 邦題 : 統計的学習の基礎(1万5千円) 俗に言う「カステラ本」です。 日本では2014年に翻訳されましたが、原著は2001年と今から約20年前に出版されました。 内容からしても、当時は体系的に理論学習ができる刷新的な一冊だったのでしょう。 まさに「アルゴリズム・理論の辞書」。 年代的に古い感じはしますが、基礎はいつだって大切です。 数字に強くないと絶対読み切れない。。。 原著 : The Elements of S

各本の立ち位置について どんな軸で立ち位置を説明しようか悩みますが、今回は「対象読者レベル」と「時系列との関係」についての二軸で「独断と偏見」で位置づけしてみました。 はじめに 仕事でデータ分析に関して種々のデータに色々な手法を使ったりするのですが、分析していると時系列のデータが意外と多い。 数値予測や異常検知などは時刻と共に記録されていることが多いです。 この時系列データに関する知識を付けるために網羅的に本を読んで、知識を付けようと思いました。 今回はその中で、「どの本にどんな事が書いてあって、他の本との関係性は？」を書評にすることで、皆さんの本の購入の手助けになればと思っています。 「この本の立ち位置も調べて」 「時系列本ならこの本入れなアカン」 などあれば教えてください。 時系列分析のためのブックガイドと同じようなコンセプトの記事です。 時系列データに対する「python,Rどっちが

勉強方法は各自でやるしかないとして、最後の詰めについてまとめ（ポエム）を書こうと思います。 巨人の肩に乗る うまくまとめてくれている人の記事を見ることは勉強になります。 すべてを読むのではありません 大事なところを感じるのです**(Ctrl + F にそっと手を置いて)** ①さいきょう　にまとまっているサイト 困ったら7割はここで解決する 人名・手法・主要単語名 【資格試験対策】ディープラーニングG検定【キーワード・ポイントまとめ】 文章形式に網羅的　文字が多い　が故に検索に引っかかりやすい 【AI入門・G検定】JDLA Deep Learning for GENERAL 2018#1 推薦図書キーワードまとめ 個人的に覚えられなかった単語がまとまっている G検定学習メモ 確率的・確定的とか載っている所ここくらいでは？ 人名や単語名がテーブル状にまとまっている G検定 本番困りそうな所ま