機械学習で競馬の回収率100%超えを達成した話 - Qiita
はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
相関係数とは何か！求め方とその意味をドラえもんキャラを使って図解解説！
この式を使うことで、２つの（２次元）データ間にある関係性を数値化することができます。 といっても、この式で判定できる関係性は基本的に以下の3つのパターンです。 ここでは、この相関係数（r）を求める式をドラえもんに登場するキャラクターを使って図解しながら楽しく概念を理解できるように解説していこうと思います。 ここで学ぶ２つのデータ間の関係を読み解くことは、ビジネスや医療、投資など様々な分野において非常に高い価値があるテーマです。 そのため、統計学や数学が苦手なんだけど、相関係数くらいは知っておきたいというちょっと数字が苦手なんだけども･･･という方にも「相関係数とは何か」を理解してもらえることを目指しています。 相関係数を求める式の構造 相関係数の式は、一見とても複雑な形をしていますが、その構造は実にシンプルです。 ポイントはたった２つ。 分母の「標準偏差」の式と、分子の「共分散」の式です。
機械学習で未来を予測する - scikit-learn の決定木で未来の株価を予測 - Qiita
今回の記事は一応前回の続きなのですが、 scikit-learn による機械学習を利用して、実際に未来を予測する話を書いていきたいと思います。 なにはともあれ、まずは以下の図をみてください。 今回も実験対象のデータとして株価データを利用します。 上の図に挙げたのは弊社 (DTS) の株価であり、本物のデータです。 図にあるように「過去の株価の変化から結果どうなったのか」という情報を、機械学習を利用して計算機に学習させ、それをもとに将来の株価を予測してみます。 決定木アルゴリズム 今回は数ある分類の手法の中から決定木 (デジジョン・ツリー) を利用します。手法の選択理由は以前に書いた記事を参考にしてください。 決定木自体の説明は Wikipedia あたりを読んでいただくと早いかと思います。 また scikit-learn に実装されている決定木についての説明は公式ドキュメントにあります。
Geolonia 住所データ
Skip to the content. Geolonia 住所データ 全国の町丁目、大字、小字レベルの住所データ（277,543件）をオープンデータとして公開いたします。 本データは、国土交通省位置参照情報ダウンロードサービスで配布されている「大字・町丁目レベル位置参照情報」をベースとしていますが、「大字・町丁目レベル位置参照情報」データは年に一回更新であるのに対して、本リポジトリで配布するデータは毎月更新しています。 latest.csvをダウンロード latest.dbをダウンロード リリースノート 住所データ仕様 ファイルフォーマット latest.csv: CSV latest.db: SQLite3で読み込めるバイナリ形式 列 都道府県コード 都道府県名 都道府県名カナ 都道府県名ローマ字 市区町村コード 市区町村名 市区町村名カナ 市区町村名ローマ字 大字町丁目名 大字町丁目
［AI・機械学習の数学］偏微分を応用して、重回帰分析の基本を理解する
連載目次 前々回は「説明変数が1つだけの回帰分析」を、前回は偏微分の考え方と計算の方法について学びました。それらの内容を踏まえて、今回は偏微分の応用編として「説明変数が複数ある重回帰分析」を行う方法を見ていきます。 目標： 偏微分を利用して重回帰分析を行う 重回帰分析の回帰式の例は以下のようなものでした。いくつかの値を基に、このような回帰式の定数項と係数を求めようというのがここでの目標です。 回帰式の求め方は前々回の例と同様で、観測値（実際に得られたデータ）と理論値（回帰式で求めた値）との差の二乗和が最小になるように定数項や係数を決めるという方法です。 解説：偏微分を利用して重回帰分析を行う まずは、具体的な例で考えてみましょう。図1のような不動産データがあったとします。このデータを基に回帰式の定数項と係数を求めてみたいと思います。実はこの例であればExcelでもできるので、ついでにExc
グーグル超えで話題「DeepL翻訳」の実力はいかに？ キング牧師の演説で検証〈AERA〉（AERA dot.） - Yahoo!ニュース
独ベンチャー企業発の「DeepL翻訳」が、グーグル翻訳より高評価を受けている。AERA 2020年7月27日号は、その実力を検証した。 【表】グーグル、が堂々の1位！「辞めたけど良かった企業」ランキング100はこちら！ ＊ ＊ ＊ 「もう、単に英語ができるだけの翻訳者は生き残れません。（インターネット上で文章を翻訳できる）翻訳エンジンでかなりのレベルの訳ができる時代になってしまい、専門分野を持っているか、ネイティブと同程度の知識がないと仕事ができなくなると感じています」 こう話すのは、英語翻訳も手がけるフリーランスの男性（34）だ。男性の元にはここ数年、日本語をゼロから訳すのではなく、クライアントが翻訳エンジンで訳したとみられる英文を校正する仕事が舞い込むようになった。「そこそこ正確」なものが多く、当然ながら仕事の単価は下がる。以前は時折あった「意味さえ通じればいいから早く」というオー
人気BIツール8つを詳細に比較【2022最新】
もちろん、上記とは異なる意見をお持ちの方もいるでしょう。しかし、自身の個別具体的な環境や経験においてはざっくりこのような印象です。以降、詳しく説明していきます。 「データ視覚化/ダッシュボードデザインを成功させる95のチェックリスト」をダウンロードする 2. すぐに分析を始められる「Power BI」 （公式Youtubeチャンネルから拝借） 120種類のデータソースに接続できるExcel、テキストファイル、各データベースなどのオンプレミスから、Azure、GCP、IBMなどのクラウドまで約120種類のデータに接続できます。 Excelベースの分かりやすいインターフェース誰もが使い慣れているExcelと同じインターフェースです。そのため、新しく何かを始める時によく起こる「どこに、なにがあるのか分からない」という状況には陥りません。 操作が簡単基本操作はドラッグ&ドロップとクリックのため、簡
データが必要なサービスを、無理やり作る方法を紹介します(例：マンガ検索「MNM」)｜けんすう
アル(https://alu.jp)というマンガサービスを作っている、けんすうと申します。 最近、マンガ新検索MNMという、イケてるサービスを作りました。 何かというと、マンガを入れると、読んでいる人が同じデータから、「だいたいこのマンガが好きな人はこんなマンガも好き」という、「距離が近いマンガ」を出してくれるというものです。 たとえば、「ドリフターズ」と入れると「HELLSING」「ヨルムンガンド」「ゴールデンカムイ」とでました。 お陰様で、結構バズりまして、いろいろなところで話題にしていただいたのです。 こういうの待ってたし、実際にやってみたら本当に好きな漫画ばかり出てきて精度もピカイチ。 「近いマンガ」がわかるマンガ新検索 MangaNearestMap #アル https://t.co/YoYhHttYus @alu_incより — なかみち (@shuhei_nakami) Ju
大卒同等と認定「Googleデータサイエンティスト育成コース」がオンライン開校へ【補足訂正】 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Photo by Gratisography on Pexels.com ピックアップ：A digital jobs program to help America’s economic recovery ニュースサマリー：Googleは13日、デジタルスキルの習得をサポートする取り組み「Google Career Cerfiticates」へ、新たに3つのコースを追加したと発表した。コースはデータアナリティクス・プロジェクトマネジメント・UXデザイン講座で、Grow with Google上にて受講可能となる。 編集部による訂正：記事初出時、３講座が受講できる場所をGrow with Googleとしておりましたが、正しくはオンライン学習プラットフォーム「Coursera」上という話題があるものの、公式の発表では場所や時期は未定、というのが正しい情報でした。修正してお知らせさせていただき
Google Cloud Platformを用いた形態素解析 - ペパボ研究所ブログ
ペパボ研究所 研究員の野村（@komei）です。 ペパボでは、自社が運用するウェブサービスのユーザの行動ログや属性情報などを収集・分析・活用するための基盤として「Bigfoot」を運用しており、今年Google Cloud Platform（GCP）を使った構成への移設を行いました。 本記事では、Bigfootの移設先であるGCPを用いて形態素解析を行う方法についてお話しします。 形態素解析を行う動機 ペパボでは、ユーザの行動ログや属性情報だけでなく、ユーザからのお問い合わせや商品情報など様々なデータをBigfootに蓄積しています。 これらのデータの中には、ユーザからのお問い合わせの文書や商品の説明文などの日本語の文書データも多く含まれています。 このような文書データから意味のある情報を抽出し活用するためには、まず文書に含まれている単語を把握する必要があります。 そして、TF-IDFやw
Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表
Google Cloudは2020年7月14日（米国時間）、アナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。Amazon Web Services（AWS）やMicrosoft Azure上のデータを動かすことなく、BigQueryによるマルチクラウドのデータ分析ができる。 Google Cloudは同日、AWSの「Amazon S3」に対応したプライベートα版の提供を開始した。Azureへの対応は近い将来（「soon」）に行うという。 BigQuery Omniでは、Google Cloudがマルチクラウド対応を進めるマネージドKubernetesサービス、「Anthos」を活用する。BigQuery OmniとしてAWSやAzureに展開するAnthosクラスタ上で、BigQueryのクエリエンジンである「Dremel」をマネージドサービスとして動かす。その上
バスケの選手とボールの位置データから機械学習で攻撃・守備戦術を分類
Sports Analyst Meetupは、現役スポーツアナリストとスポーツ分析に興味のある方の情報共有イベントです。バスケットボールの選手・コーチとしての経験をもつ藤井慶輔氏が機械学習による攻撃守備戦術の分類についての研究を共有しました。 見てわかるデータしか信用されない現状 藤井慶輔氏：よろしくお願いします。藤井と申します。今回は初参加です。ちょっと雰囲気が掴めてないんですが、よろしくお願いします。タイトルは『バスケットボールの攻撃・守備戦術の自動分類』という話をします。 初参加なのでまず自己紹介から。スポーツ歴は今日お話をするバスケットで、大学時代まで選手をやっていて、大学院の5年間はコーチをやっていました。 大学院時代はこの動画にあるような対人の動作分析を、モーションキャプチャを使ってやっていました。ポスドク時代は、この動画にあるように、体育館で頭と肩に反射マーカーを付けてモーシ
図解 X.509 証明書 - Qiita
はじめに X.509 証明書について解説します。(English version is here → "Illustrated X.509 Certificate") ※ この記事は 2020 年 7 月 1 日にオンラインで開催された Authlete 社主催の『OAuth/OIDC 勉強会【クライアント認証編】』の一部を文書化したものです。勉強会の動画は公開しており、X.509 証明書については『#4 X.509 証明書（１）』と『#5 X.509 証明書（２）』で解説しているので、動画解説のほうがお好みであればそちらをご参照ください。 1. デジタル署名（前提知識） この記事を読んでいただくにあたり、デジタル署名に関する知識が必要となります。つまり、「秘密鍵を用いて生成された署名を公開鍵で検証することにより」、「対象データが改竄されていないこと」や「秘密鍵の保持者が確かに署名したこと
ユニークなおもちゃ評価データを相関分析してみた - TORANA TECH
こんにちは、トラーナのしだのり(@sdx_)です。 今日はデータ分析に関して書いていこうと思います～ ﾜｲﾜｲ！ TL;DR おもちゃの評価データとは？ おもちゃの評価データのユニークさとは なぜ分析するのか なぜ相関分析なのか なぜPythonを使ってみたか 求めるアウトプット プロセス データクレンジング なんと数行のコードでできる おわりに TL;DR 大量のデータを見て「確からしいデータ」を出していくための過程はものすごくチャレンジングで楽しいです。人間が頭で処理できるパターン数には限度があり、それがバイアスになって物事の判断を誤ったり、認知パターン数の違いが視座の違いになり答えの無い議論になってしまったりすることがあると思いますが、データ分析でそういった議論の共通土台を作っていきたいと思います。 Alteryxのライセンスを買うか、PythonとExcelで職人ワザで頑張るのか悩
だから僕はpandasを辞めた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita
データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型
Google スプレッドシートでテラバイト規模のデータの分析がさらに簡単に | Google Workspace ブログ
Google Workspace を無料で体験ビジネス メール、ストレージ、ビデオ会議など、さまざまな機能をご利用いただけます。 登録する ※この投稿は米国時間 2020 年 7 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud では、複雑なクエリを記述できる専門家だけではなく、誰でもデータの力を利用できるようにしたいと考えています。企業が新しい社会に対応する際には、有用なデータに従業員がアクセスして、情報に基づいた意思決定をすばやく行い、ビジネスの成果を向上できるようにすることが重要です。この目標を実現するために、誰でも Google スプレッドシートを使用して膨大なデータセットを簡単に操作できるようにしました。また、データの準備と分析の自動化に役立つインテリジェントな新機能も追加しています。 組み合わせることでさらに便利に: Bi
機械学習について一回挫折してしまったエンジニアが何とかお仕事で機械学習を使えるようになるまで - Qiita
初めに 4x歳越えのエンジニアにとって機械学習は何やらややこしいもの、本を開けば数式があり、pythonがあり、何それおいしいの？5年ほど前にCourceraで機械学習を学ぼうとしたがあっさりAndrew Ng先生はWeek4で挫折。"教師付き学習"と"教師なし学習"のちがいなんだっけ？ 想定している読者 IT業界で別のキャリアを持っていて機械学習のキャリアをみにつけたい、あるいは身につけようとしたが挫折してしまった人 自分のキャリアについて ホストの開発エンジニアから始まり、クライアントサーバー、Webアプリと開発系を云十年。その後ネットワーク、インフラ系を主な仕事にしています。 機械学習とのかかわり 5年ほど前に機械学習の勉強をしようとしたが、何をやっているか意味が分からず、あっさり挫折。その後は雑誌などで読む程度。 注）データ分析・機械学種・人工知能については、この文章では厳密に分け
iOS14の衝撃。モバイルマーケターはこの激変を今すぐキャッチアップせよ。｜Akira Morishita / 森下 明
2020/7/2更新：以下に本記事の続報で詳細な分析を行った記事をUPしました。是非、こちらも御覧ください。 iOS14に関するつぶやきをしておりますので是非、Twitterアカウントフォローください。 やや煽った記事になりましてすいません。 2020年6月22日(月) – 2020年6月26日(金)で実施されている 2020 Apple Worldwide Developers Conference にてiOS14の内容が公開されIDFAの取り扱いに大幅なアップデートがありました。 本記事は以下の構成です。 ・本アップデートによる各ステークホルダーへの影響範囲をサマリー ・その根拠となる文献の日本語翻訳を7記事掲載 本アップデートによる各ステークホルダーへの影響範囲 結論から申しますと、モバイルマーケティングのステークホルダー ・代理店、媒体社 ・ツール会社 ・広告主 全員に影響がありま
Pythonによる財務分析① バフェットコードをつかって完全レクチャー！ (全8回) | DeFi Labo
Python初心者企業の財務分析をしたいけど、なにをしたらいいのかわからないよ。。。 この記事は10分程で読むことができます！ この記事では、Python初心者でもできるように、財務諸表分析をレクチャーしていきます！ 本記事は、全8回に渡って掲載される「pythonによる財務分析‐バフェットコードを用いて完全レクチャー！」シリーズの第1回になります！ このシリーズを読むとわかることPython初心者でも、数百数千の企業の財務データを分析出来るようになる！ 最終的に重回帰分析といった機械学習的手法もマスターできる！ 重回帰分析をマスターすれば、株式投資のリターン予測を行う事が出来るようになり、プログラミングだけでなく投資のスキルも磨けます！ また、ファイナンス系以外の幅広い分野の研究機関でも、この分析手法を利用した論文も多々ある為、教養としても覚えて損はないです！ 是非、全8回を読みPyth
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「これは革命」とまでは言わないけれど、Webサービスへのサブスク導入がめちゃめちゃ楽なのでぜひ知って欲しいStripeのFirebase Extensions - nabettu
