タグ

Qiitaと統計に関するkyo_agoのブックマーク (5)

  • データサイエンティストとは何か論争にAI(gpt-2)で終止符を打とうとした話 - Qiita

    みなさん、こんにちは! こちらは「ABEJA AdventCalendar 2021」 の15日目の記事です。 データサイエンティストとは? いきなりですが、データサイエンティストとは何でしょうか? 私自身、データサイエンティストとして働いていますが、最近よく「データサイエンティストになるにはxxxxのスキルが必要だ」とか「データサイエンティストとはxxxxだ」みたいな論争話題をよく聞きます。 データサイエンティストという職業をよく耳にするようになってから、まだ時間も経っていないですし、今後どうなっていくのかも分かりません。 そんな中、データサイエンティストになるべく、データサイエンティストとして今後もキャリアを続けていけるようになるべく、各々がキャリアについて考えているので、色々な意見が出てくるのは自然なことかもしれません。 しかしまぁよく分からないですよね。 ということで、人々による議

    データサイエンティストとは何か論争にAI(gpt-2)で終止符を打とうとした話 - Qiita
  • 管理者用初期化URLを踏んでWebサービスのデータをふっとばした話 - Qiita

    自己紹介 職のエンジニアではありませんが、ちょっとICT系に詳しそうなやつって感じで、部署のサーバ管理を任されたりもしています。 背景 私の(当時所属していた)部署では、毎年、数週間かけて前年の各人の業務実績をとりまとめて一つの冊子(PDF)にするという仕事があり、この作業を少しでも自動化するため、Webサービスが内製されました。当初は単純に各ユーザが自分の業務実績一覧をテキストで用意してアップロードするというものでしたが、秘伝のタレのように毎年少しずつ改良されたり、大幅に作り直されて別システムから業務データを取り込んでからブラウザ上で編集できるようになったりしつつ、なんやかんやあって私が引き継ぎます。他にやりたい人もなく、ひとり鯖管です。OSはCentOS6でした。 このシステムでは、毎年新しいデータを編集するため、その作業開始時にデータを初期化する必要があります。この作業も自動化し、

    管理者用初期化URLを踏んでWebサービスのデータをふっとばした話 - Qiita
  • オンライン機械学習の弱点って??:Passive Aggressiveのプロセスを実装&可視化 - Qiita

    Abstract オンライン機械学習のアルゴリズムの一つであるPassive Aggressive (PA)をpythonで実装しました。 学習の過程を可視化することにより、オンライン機械学習の欠点の一つであるノイズに弱いという点を実感し、その解決案を考えてみます。 あんまり理論についての詳しい解説ではないです。 理論をしっかり学びたい方はオンライン機械学習 (機械学習プロフェッショナルシリーズ)に詳しく書いてあるので、そちらを参考にしていただければ幸いです。 この動画を見て、実装してみたいなーと思った人が対象かなと思います。 このページと結果を出力するコードが全部乗っているgithubリポジトリが誰かの参考になれば幸いです。 オンライン機械学習とは? 一言で表すと データが与えられる度に逐次的に学習を行う手法 です。 これに対し、既に存在しているデータ全体を利用してまとめて学習を行う手法

    オンライン機械学習の弱点って??:Passive Aggressiveのプロセスを実装&可視化 - Qiita
  • 結局、機械学習と統計学は何が違うのか? - Qiita

    これは私達の行っているデータサイエンスのトレーニングで、日でもグローバルでもよく聞かれる質問です。実は2年ほど前にこの質問に正面から真摯に答えていた"Machine Learning vs. Statistics"という、とても素晴らしい記事があるのですが、今日は、そちらの記事をみなさんに紹介してみたいと思います。 ちなみに、筆者のTom FawcettとDrew HardinはSilicon Valley Data Scienceというデータサイエンスのコンサルティング会社で、多くの有名企業がデータサイエンスを使ってビジネスの問題を解決するための支援を行っていました。ちなみに、その会社の方は去年、Appleに買収されています。さらに、Tomは、「Data Science for Business」(翻訳書:戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック)という有名

    結局、機械学習と統計学は何が違うのか? - Qiita
  • 間違いの多い統計プロバガンダに騙されないための8つのアドバイス - Qiita

    最近ではフェイクニュースという言葉のおかげで、ニュースなどメディアでみかける主張や数値に対して疑問を持つというスタンスが以前に比べて少しづつではありますが見られるようになってきたように思います。それでもまだ多くの人がふだん毎日忙しい中で、センセーショナルなニュースのヘッドラインをついつい鵜呑みにしてしまい、さらにそれらをソーシャル・ネットワークなどで共有することで知らず知らずのうちにおかしな主張をどんどん拡散してしまっているというのが現状です。社会的に与える影響を考えるとこれは大変憂慮すべきことです。 今日は、Financial Timesのコラムニストで、経済学者のTim Harfordが、データや統計的な主張にまどわされるのでなく、それらを正しく理解するための提案を8つのアドバイスとしてこちらの”Tim Harford’s guide to statistics in a mislea

    間違いの多い統計プロバガンダに騙されないための8つのアドバイス - Qiita
  • 1