タグ

データサイエンスに関するmisshikiのブックマーク (475)

  • 小川雄太郎 on Twitter: "データサイエンティストにおすすめのメルマガ解説記事 ・Analytics India Magazine ・MIT Technology Review ・Topbots ・Data Science Community Newsle… https://t.co/ozrqVF4988"

    misshiki
    misshiki 2020/09/17
    “データサイエンティストにおすすめのメルマガ解説記事 ”英語圏
  • 女子大生がベンチャー立ち上げ「企業に合った提案したい」 滋賀大データサイエンス学部1期生|文化・ライフ|地域のニュース|京都新聞 ON BUSINESS

    滋賀大データサイエンス学部1期生の学生ら2人が、データ分析や人材育成などを手掛けるベンチャー企業を彦根市で立ち上げた。国内で初めて設置された同学部では実際の企業データも扱う。研究で培った実践力を生かして「地域企業の活動に貢献して共に発展していきたい」と意気込む。 代表社員の4年井望夢(みゆ)さん(21)が6月、知人と2人で合同会社「mitei(ミテイ)」を設立した。研究を進める中で、データを読み解いて活用できる人材が少ないと感じ、データ活用による課題解決のサポートをしたいとの思いから起業した。 主な事業として、マーケティング分野を中心に、中小企業や自治体などに対してデータ分析や分析結果を基にしたコンサルティングを行い、業務をサポートする。現在、彦根市内の企業のデータ分析に取り組んでおり、会員制交流サイト(SNS)上のキーワードから企業イメージを特定し、商品開発に生かすという。 教育事業で

    女子大生がベンチャー立ち上げ「企業に合った提案したい」 滋賀大データサイエンス学部1期生|文化・ライフ|地域のニュース|京都新聞 ON BUSINESS
    misshiki
    misshiki 2020/09/15
    “滋賀大データサイエンス学部1期生”頑張ってほしい。
  • https://jp.techcrunch.com/2020/09/08/2020-08-27-will-automation-eliminate-data-science-positions/

    https://jp.techcrunch.com/2020/09/08/2020-08-27-will-automation-eliminate-data-science-positions/
    misshiki
    misshiki 2020/09/09
    “自動化によって生産性が向上し、価格が下がり、最終的に需要が増大するというこのパラドックスは、新しいものではない。”今はブーム終了との意見でやる気を失う人が多いと思うけど、冷静に判断したいね。
  • AI Platform / GCP で最強の分析環境を手に入れた話

    日頃から Google Cloud Platform (GCP)がデータ分析基盤の決定版になると言い続けて・・・たぶん5年ほど経ちましたが、このたびやっと、具体的に使える基盤になってきた感じがするので、まとめておきます。 その前に。 まえおき ~ 分析仕事とデータのセキュリティデータ分析仕事とデータセキュリティとの関係を、ここ20年くらいの流れを思い出しながらまったり書いていたら長くなったので、お急ぎの方は次の章へ。 さて、データ分析仕事で普段からやっていることをざっくりまとめると、次の通り。 データの入手、整理、加工仮説の検討と検証、試行錯誤レポーティング、プロトタイピングさて、これらの作業をどこでやっているかというと、主に1はクラウド、2はローカルマシン、3のレポーティングはローカルですが、プロトタイピングはクラウドが多くなりました。というより、クラウドでプロトタイピングが容易にで

    misshiki
    misshiki 2020/09/04
    “GCPを選ぶ理由...なにをおいても bigquery!”そこは確かに一理あるかも。それ以外においてAI PlatformはSageMakerとか他と比べてどうなんだろう。
  • DataCamp「Data Scientist with Python」コースの備忘録 - Qiita

    はじめに DataCamp「Data Scientist with Python」コースを修了したので備忘録として残しておく。内容的には入門コースだが、それなりにボリュームがあり、学習した順から忘れていきそうなのと、Numpy/Pandasを中心の多くのパッケージ・関数を扱ったが、それらも自身のインデックスとして振り返れるようにするために。。 個人の自由課題として きっかけとして元々、個人の夏の自由課題的に、普段業務であまり触れない範囲で、今後の事業・技術とシナジーが生まれそうなものを何かやりたいなと思い、いくつかの言語・領域を検討した結果、内容やボリュームも手頃そうであったDataCamp「Data Scientist with Python」コースに決めてみた。(そのため、半分趣味に近く、Pythonに長けてる訳でもなく、ましてやデータサイエンティストでもないので、あしからず。) 「D

    DataCamp「Data Scientist with Python」コースの備忘録 - Qiita
  • データサイエンスから機械学習エンジニアリングへの移行 | AI専門ニュースメディア AINOW

    著者のCaleb Kaiser氏は機械学習モデル開発プラットフォームCortexの開発に関わりながら、機械学習に関する技術論をMediumに投稿し続けています。AINOWで紹介した記事『機械学習自体を学ぶな』で機械学習モデルの開発実践力の重要性を力説した同氏は、最近Mediumに投稿した記事『データサイエンスから機械学習エンジニアリングへの移行』において、そうした開発実践力に「機械学習エンジニアリング」という名称をつけて詳しく解説しています。 テキストアドベンチャーゲームAI Dungeon』のような機械学習システムには、同ゲームに活用されている言語モデルGPT-2を開発する技術と、この言語モデルを使ってゲームを開発するそれという位相の異なるふたつの技術が関わっています。同氏は、前者のような機械学習システムの中核機能を司る技術をデータサイエンス、そして後者を機械学習エンジニアリングと区別

    データサイエンスから機械学習エンジニアリングへの移行 | AI専門ニュースメディア AINOW
    misshiki
    misshiki 2020/08/31
    “私たちは、機械学習エンジニアリングの課題を、データサイエンスではなく、エンジニアリングの課題として扱っている。”
  • 効果検証入門から見直す 「データサイエンス」

    機械学習による確率推定とカリブレーション/probabilistic-calibration-on-classification-model

    効果検証入門から見直す 「データサイエンス」
    misshiki
    misshiki 2020/08/31
    98ページのスライド資料。
  • データサイエンス系6大学が連携 滋賀、長崎などが連絡会を設立:東京新聞 TOKYO Web

    データサイエンス分野の専門教育や教員養成を進めるための連絡会設立について記者会見し、記念撮影に応じる竹村彰通会長(中央)ら=20日午後、文科省 滋賀大や長崎大など国公私立の六つの大学が20日、ビッグデータから有益な価値や情報を分析するデータサイエンス分野の専門教育や教員養成を進めるための連絡会を設立した。東京都内で記者会見した竹村彰通会長(滋賀大データサイエンス学部長)は「毎年のように新しい学部ができている。連携してこの分野を盛り上げていきたい」と話した。

    データサイエンス系6大学が連携 滋賀、長崎などが連絡会を設立:東京新聞 TOKYO Web
    misshiki
    misshiki 2020/08/21
    滋賀大や長崎大“立正大、一橋大、総合研究大学院大、兵庫県立大。いずれもデータサイエンス分野の学部などを持つか、設立に向けた準備をしている。”
  • 機械学習/データサイエンスに活用できる「政府系」オープンデータセット3選

    の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの/学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理&公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである(2008年から運用が開始され、2018年にリニューアルされた)。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無

    機械学習/データサイエンスに活用できる「政府系」オープンデータセット3選
    misshiki
    misshiki 2020/08/19
    “「e-Stat(政府統計の総合窓口)」「Tellus(衛星データプラットフォーム)」「過去の気象データ(気象庁)」”
  • データサイエンティスト生活でお世話になった本|武田邦敬|Kunihiro TAKEDA

    みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびにを買い、そのでわからないことがあればまた屋に行き、自分が少しでも理解できそうなを探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋がだらけになってしまいました。 正直に言って読み切ったという実感のあるはありません。しかし、実務で何かしらお世話になったは数多くあり、そういうは手放さずに手元に置いています。

    データサイエンティスト生活でお世話になった本|武田邦敬|Kunihiro TAKEDA
    misshiki
    misshiki 2020/08/17
    丁寧にコメントされている印象の本紹介。“データサイエンスの全体像を掴む、統計学、...機械学習、...テーマ別:自然言語処理...”
  • データ系エンジニアの職種の違い - satoshihirose.log

    はじめに 自分は Martin Kleppmann が言うデータ指向アプリケーションやそれを実現する周辺の技術領域が好きで、業務としてそのような領域のエンジニアリングを引き続きやっていけたらなと思っています。 世の中には関連する職種の求人が多々ありますが、同じ名前のロールでも職務内容がコンテキストによって異なることが多かったりします。 ここではそれぞれの職種の違いについて自分の観点からまとめます。 1. データエンジニア 求人を眺めていると、データエンジニアは企業によって割と役割がぶれるので分けて説明します。 1-1. 小さめの事業会社のデータエンジニア まずは、小さめの事業会社のデータ分析基盤の構築・運用をするロールです。 ここでは ETL 処理の実装・運用のほかに、各種ツールを使ったデータ基盤の構築・運用知識やクラウド上のアプリケーション構築の知識などが求められることが多いです。 さら

    データ系エンジニアの職種の違い - satoshihirose.log
    misshiki
    misshiki 2020/08/13
    “データエンジニア”
  • 機械学習初心者がデータ分析コンペサイトProbSpaceで総合ランク1位に到達するまでの道のり - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話

    機械学習について全くの専門外で初心者だった私がコンペサイトProbspaceのRe:不動産取引価格予測コンペで3位入賞、YouTube動画視聴回数予測コンペで9位入賞するなど、累計で金2銀1銅1を獲得することができ、総合ランクで1位に到達することができました。 これまでたどってきた道のりを振り返って、良かった点、悪かった点を見直して、今後の進め方を考えていきたいと思います。 悪戦苦闘、一進一退しながら勧めてきた内容を、思いつくまま記載しているので、お見苦しい箇所もありますが、これから機械学習を始める皆さんや、始めたばかりの皆さんの何らかのキッカケになれれば光栄です。 では、振り返ってまいりたいと思います。 【目次】 1.G検定との出会い(2019年2月〜3月) 2.Pythonの勉強を始める(2019年4月) 3.kaggleのデータセットを使って機械学習に挑戦する(2019年4月〜5月)

    機械学習初心者がデータ分析コンペサイトProbSpaceで総合ランク1位に到達するまでの道のり - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
    misshiki
    misshiki 2020/08/13
    “これまでたどってきた道のりを振り返って、良かった点、悪かった点を見直して、今後の進め方を考えていきたいと思います。”まっとうな勉強方法だと思う。
  • 知識ゼロから始めるデータ分析入門

    データ分析には6つのステップが必要であるデータ分析は何も難しい統計の話だけではありません。6つのプロセスを経て初めて、意味のある分析になります。以下がその6つのステップです。 よくイメージされる数学的な処理のほかにも、実際には他に多くの作業がデータ分析には存在します。なのでまずこれら6ステップの全体像を念頭に置いてデータ分析を始めることが肝要です。 DXのお悩みを解決する「DXの羅針盤」をダウンロードする データ分析は「べログを使ったお店決め」に例えるとすぐに理解できる実は、私たちが目的に合わせたレストラン決めをする(=お店決め)までの過程とデータ分析のプロセスは、とても似ています。 例えば「友達や恋人の誕生日を祝うときためのお店を選ぶ」ときは、まさしくデータ分析を行っています。「誕生日に適したお店を見つける」という目標を立て、まずは決めるまでの期限や方法を決めます。そしてべログ等のア

    知識ゼロから始めるデータ分析入門
    misshiki
    misshiki 2020/08/12
    “データ分析に必要なステップを、初学者向けにわかりやすく解説します。この記事を読むことで、データ分析全体の流れをつかむことができ、データ分析初学者でも分析を始められるようになるはずです。”
  • リサーチに欠かせないインサイトって何?

    インサイトと発見を混同しない ビジネスシーンはもちろん、ユーザー調査(UXリサーチ)でも耳にする「インサイト(Insight)」という言葉。たくさんインタビューをして結果をまとめたとしても、インサイトがなければ「ユーザーの声が聞けてよかった」といった感想しか残りません。リサーチの真価はインサイトが決めるといっても良いでしょう。 「洞察」「深い理解」という意味が含まれたインサイト。自分のリサーチにもより良いインサイトを含めたいと思っても、具体的に何をすればインサイトと呼べるのかよく分からない人もいるはずです。 インサイトの定義を読み解くのではなく「これはインサイトではない」と呼べるものを振り返ることで、何が必要か見えてきます。以下の 3 つはインサイトを得るための重要な材料ですが、これらを共有するだけでは意味がありません。 定量 / 定性データ ユーザーの様子 ユーザーの声・要望 参照したり

    リサーチに欠かせないインサイトって何?
    misshiki
    misshiki 2020/08/11
    “1. 重要な情報を抜き出す、2. パターンを見つける、3. 繋がりを見つける”
  • オフィス賃料 将来予測をリリースしました! - estie inside blog

    こんにちは! 先日、賃貸オフィスマッチングサービスのestie、オフィス賃貸向けデータプラットフォームのestie proともに賃料の将来予測をリリースしました! オフィス探しを検討しているエリアの賃料相場(estie) estieでは、オフィス探しを検討しているエリアと、その近隣エリアの賃料相場が表示されるようになりました。 これによって周辺のエリアとの比較、前後1年との比較が一目でわかるようになりました。 渋谷区近隣の賃料相場(estie) 調査対象物件の賃料推移(estie pro) estie proでは、調査対象物件の実際の平均募集賃料・推定成約賃料の推移を可視化できるようになり、コロナ後の賃料推移の将来予測もわかるようになりました。調査対象を1物件にすれば、その物件のみの推移及び将来予測も取得することができます。 渋谷区募集中物件の賃料推移(estie pro) そもそもなぜ賃

    オフィス賃料 将来予測をリリースしました! - estie inside blog
    misshiki
    misshiki 2020/08/07
    “最新賃料...データパイプライン...。 過去の運用・賃料履歴情報から独自に学習データを作成...。 学習は、マクロ×ミクロ、時系列変化あり×なしの4象限に整理された50種類以上のオリジナル特徴量からなる学習モデル”
  • データサイエンスのプロのための"スタンダード"を定める英国の取り組み

    Daphne Leprince-Ringuet (Special to ZDNET.com) 翻訳校正: 石橋啓一郎 2020-08-03 06:30 これまで、倫理的なデータの取り扱いに関する議論は盛んに行われてきたが、データサイエンティストが満たすべき公的なスタンダードは存在しなかった。英国の業界団体はその状況を変えようとしている。英国コンピューター協会(BCS)は、王立統計学会(RSS)、王立工学アカデミー(RAEng)と協力して、データサイエンスのプロフェッショナルが従うべきスタンダードを定める取り組みをスタートさせた(「スタンダード」には、プロフェッショナルとして備えているべき能力の基準や守るべき規範が含まれている)。 その目的は、市民から得たデータが倫理的に利用されることを担保することで、データサイエンティストを医師や法律家のような社会で信頼される職業にすることだ。 BCSのプ

    データサイエンスのプロのための"スタンダード"を定める英国の取り組み
    misshiki
    misshiki 2020/08/05
    “データサイエンスのプロフェッショナルが従うべきスタンダードを定める取り組みをスタートさせた(...プロ...として...の基準や守るべき規範...)。 その目的は...データサイエンティストを...社会で信頼される職業に”
  • Press releases | BCS

    misshiki
    misshiki 2020/08/05
    “データサイエンスのために設定される専門的な基準”イギリスの話。
  • ソニー、機械学習を用いた予測分析ソフトウェア「Prediction One」のライセンス販売を開始 | IoT NEWS

    2021-08-252020-08-04 ソニー、機械学習を用いた予測分析ソフトウェア「Prediction One」のライセンス販売を開始 近年、蓄積したデータをビジネスに活用する動きが加速しており、予測分析はその高い導入効果から注目を集めている。一方で、予測分析をビジネス効率化や顧客価値の向上につなげるには高度な専門性が必要とされ、今後増えるニーズに対して専門家の不足が課題となっている。 ソニーネットワークコミュニケーションズ株式会社は、機械学習を用いた予測分析ソフトウェア「Prediction One」のライセンス販売を開始した。 Prediction Oneは、機械学習やプログラミングなどの専門知識がなくても操作できるシンプルなユーザーインターフェース(UI)が特長の予測分析ツールである。特別なシステムを必要とせず、ノートPCのような一般的な環境で動作し、数クリックの操作で予測分析

    ソニー、機械学習を用いた予測分析ソフトウェア「Prediction One」のライセンス販売を開始 | IoT NEWS
    misshiki
    misshiki 2020/08/05
    “機械学習やプログラミングなどの専門知識がなくても操作できるシンプルなユーザーインターフェース(UI)が特長の予測分析ツールである。特別なシステムを必要とせず、ノートPCのような一般的な環境で動作”
  • 【動画でも】タダで学べる有名大学レベルのデータサイエンス【そう、courseraならね。】 - Qiita

    記事中央に時間割を作っていますが、画像に講座リンクが繋がっています。 0. 対象読者 ・データサイエンス,統計,機械学習,AIに興味あり ・大学時代に専攻していなかった ・学習に大金を費やすのは難しい ・独学が厳しい領域だと感じている ・中学生の初級レベルの英語ならわかる この記事を読むのに向いてない方 ・英語を一切学ぶつもりはない ・データサイエンス分野に興味が無く、簡単に概要だけ知りたい (この場合はお金をかけて入門講座や家庭教師を頼んだ方がいい) 1. はじめに 1-1. まだまだ自学しよう 2020年の5月にタダで学べるデータサイエンス名著5冊を記事として書きました。 続編です。 この頃にはウイルスも8月までには収まっているだろう。という根拠のない予測をしていましたが、 まだ自粛ムードが漂う。 きっとデータサイエンティストを目指して入社した新卒の方もいらっしゃるでしょう。 採用した

    【動画でも】タダで学べる有名大学レベルのデータサイエンス【そう、courseraならね。】 - Qiita
    misshiki
    misshiki 2020/08/04
    “本編:カリキュラム組んでみた...学習の順番を考えながらオススメを組んでみた。 ...courseraで勝手にデータサイエンス学部 前期”大学生活の時間割感覚で学習項目が並べられているのが良い。面白い切り口。
  • データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ

    TL;DR(思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください) しんゆうさんの舌鋒鋭いブログ&note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。(中略) 現在起きている第3次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 (太字筆者) この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた

    データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
    misshiki
    misshiki 2020/07/27
    “個人的な経験からも「とりあえずゼロから始めた人がジュニアレベルのデータサイエンティストとして一人前になるのに実際にかかった時間」も大体1年ぐらいだと思っています”