面倒な分析はGoogle Colabにやらせよう
これはなに？ ちょっとした分析の用事で久しぶりにGoogle Colaboratory (以下 Colab) を触ったら結構良くなってました。Cursorでコード書くのも快適だけど、面倒なデータ分析やるならやっぱColabの方が便利だなぁと再認識しました。 そこで、最近Colabに追加されて便利になったと思う機能を簡単にまとめてみました。(見てわかる通りタイトルはもちろん話題のあの本のオマージュです😇) 最近のColab便利機能を使おう 粒度まちまちですがざーっと書いていきます。「最近」の定義は曖昧なのでご容赦ください。 Github Copilot的なコード補完を使おう Github Copilotみたいなコード補完機能がついにColabに搭載されました。↓のように補完してくれます。 VS CodeでもCursorでも一緒やん、って思われるかもしれませんが、Colabのような多機能No
Cloudflare、CDNエッジで生成AIを実行できる「Workers AI」正式サービスに。世界150都市のデータセンターでGPU基盤を提供
Cloudflare、CDNエッジで生成AIを実行できる「Workers AI」正式サービスに。世界150都市のデータセンターでGPU基盤を提供 Cloudflareは、同社のグローバルに展開するCDNのエッジで生成AIの推論処理を実行できる「Workers AI」の正式サービス化を発表しました。 Today, we’re excited to make a series of announcements, including Workers AI, Cloudflare’s inference platform becoming GA and support for fine-tuned models with LoRAs and one-click deploys from HuggingFace. Read all about it. https://t.co/phcPIaW24v
機械学習による競馬予想で安定して勝てるのか？ (2022年に半年奮闘した上での考察)
この記事は 競馬AI / 予想Tech Advent Calendar 2022 の23日目です。 はじめに 「機械学習による競馬予想で安定して勝てるのか？」 ということで、半年ほど奮闘して実感したことや思ったことを書きます。 対象は中央競馬(JRA)の開催レースです。「馬柱」や「上がり3ハロン」のような一般的な競馬用語は知っている前提で書くので、競馬初心者の方は調べて詳しくなりながらお読みください。 また、この記事では詳細なコードの内容までは紹介しません。 自己紹介 普段はLinuxサーバ上でコマンドを叩くことで生計を立てています。開発職ではありません。得意なコマンドは uptime です。 競馬歴はダイワスカーレットが現役の頃からで、競馬ゲームのウイニングポストもよくプレイしていました。好きな馬はヒカリデユールです。 あらまし 職場の先輩が「機械学習で競馬予想AI作ろうとしてる。自分で
Googleアナリティクスの過去データをMatomoにインポートして移行し解析結果を保存する手順まとめ
Googleが提供するアクセス解析サービスのGoogleアナリティクスでは、2023年7月1日に「Google アナリティクス 4(GA4)」への完全移行が実施され、前世代のGoogleアナリティクスである「ユニバーサル アナリティクス(UA)」でのデータ処理が終了しました。完全に更新が止まったUAのデータをそのうちGoogleが消したりアクセス不能にしたりする前に、別のアクセス解析ツールであるMatomoへとインポートしてみました。 Import Google Analytics User Guide - Analytics Platform - Matomo https://matomo.org/guide/installation-maintenance/import-google-analytics/ Matomoはクラウドサービスが提供されているほか、セルフホストも可能で一切外部
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
データ収集から機械学習まで全て行って競馬の予測をしてみた
概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ
Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ
『Data Uploader』ではツール1つで複数クラウドストレージ・アカウントへのファイルアップロードが可能です #データ統合基盤 #CSアナリティクス | DevelopersIO
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』12日目のエントリです。 クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス 当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』で"複数クラウドストレージ環境への出し分け"が出来るという点について紹介します。 目次 『Data Uploader』ではツール1つで複数クラウドストレージ・アカウントへのファイルアップロードが可能で
全文検索SaaSのAlgoliaを使って、DynamoDBのデータを柔軟に検索する | DevelopersIO
はじめに この記事は Serverless Advent Calendar 2020 12日目の記事です。 CX事業本部の佐藤です。AWSのサーバーレスでアプリケーションを構築する際には、DynamoDBをデータベースとして選択するのはよくある構成かと思います。DynamoDBはNoSQLデータベースの一種なので、RDBMSのようなSQLを使った柔軟な検索などはできません。そのため、DynamoDBの検索機能だけでは要件を満たせない場合は、RDBを使う、DynamoDBとRDBを併用して使う、Elasticsearchなどの全文検索サービスを使うなどの方法があります。そこで今回は、DynamoDBを使ったサーバーレスWeb APIを題材に、全文検索SaaS のAlgoliaを使って、DynamoDBのデータを柔軟に検索できるようにしてみたいと思います。 この記事で作る構成 この記事では、以
人気BIツール8つを詳細に比較【2022最新】
もちろん、上記とは異なる意見をお持ちの方もいるでしょう。しかし、自身の個別具体的な環境や経験においてはざっくりこのような印象です。以降、詳しく説明していきます。 「データ視覚化/ダッシュボードデザインを成功させる95のチェックリスト」をダウンロードする 2. すぐに分析を始められる「Power BI」 （公式Youtubeチャンネルから拝借） 120種類のデータソースに接続できるExcel、テキストファイル、各データベースなどのオンプレミスから、Azure、GCP、IBMなどのクラウドまで約120種類のデータに接続できます。 Excelベースの分かりやすいインターフェース誰もが使い慣れているExcelと同じインターフェースです。そのため、新しく何かを始める時によく起こる「どこに、なにがあるのか分からない」という状況には陥りません。 操作が簡単基本操作はドラッグ&ドロップとクリックのため、簡
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
機械学習モデリングの広辞苑的書籍「Kaggleで勝つデータ分析の技術」が良かったので筆者に媚を売る - Stimulator
- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。 今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の起業と言っても過言ではない、DeNA株式会社の豪華レビュワー。筆者がブログを書いていたり、u++さんがめちゃくちゃ丁寧な書評を書いていたり、Kaggle Grand Master各位の薦めツイートも出てきた段階で、もう私が媚を売る必要すらないと思いますが、良かったので感想だけでも残しておければと思います。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司出版社/メーカー: 技術評論社発売日: 2019/10/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る 端的に言えば、テーブ
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！ ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。 はじめまして、藤井健人（@studies）と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。 「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。 しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。 そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ
Rと競馬データで学ぶ統計学 目次 - どこかWiki
■はじめに この一連の記事は、オープンソースの統計解析ソフト「R」を使い、競馬に関するさまざまなデータを分析することを通じて、一般的な統計学、データマイニングの手法について学習することを目的とするものです。 当座の目標として、筆者がR Advent Calendar 2016の21日目に「Rで有馬記念を当てましょう」というタイトルでエントリーしているので、そこまでに、（主に競馬に関する）前提知識の啓蒙と領域の盛り上げを目指して記事を執筆していきます。 なお、筆者は競馬に関するデータ分析的アプローチをウマナリティクス（Uma + Analytics）と命名して、（別に何の得もないですが）普及に努めています。もともと競馬ファンで、データ分析に興味を持った方、逆にデータサイエンス分野の方で競馬という未知のデータソースに興味をお持ちの方、ぜひ本コンテンツや今後開催予定のイベントなどで、競馬の魅力、
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kaggleで世界11位になったデータ解析手法～Sansan高際睦起の模範コードに学ぶ Kaggleの上位入賞者であるKaggle Grandmasterを獲得した、Sansan株式会社のデータサイエンティスト高際睦起さん。模範となるソースコードをもとに考え方や解析手法を教えていただきました。 「Porto Seguro’s Safe Driver Prediction」とは？ 【技法1】前処理 【技法2】特徴抽出 【技法3】予測モデルの作成 Kaggle初心者は何から始めるべき？ データサイエンティストを目指す若き人たちへ 世界中のデータサイエンティストたちが集まり、企業や研究者が投稿したデータに対する高精度なモデルを競い合うプラットフォーム・Kaggle。メンバーは100万人を超えており、良問の多さや参加者のレベルの高さゆえに、機械学習を学ぶ者にとって優れた研鑽（けんさん）の場となって
【保存版】Pythonでデータサイエンスするための全体像と、必要な学習項目を初心者向けにまとめてみたよ！｜Dai
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい！」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
新しいMacへの開発環境移行が思った以上に大変だった話 - give IT a try
はじめに 先日、開発マシンを約3年ぶりに新しくしました。 最近発売された15インチのMacBook Proです。 TimeMachine + TimeCapsuleでバックアップを取っているので、そこから復旧させれば簡単に移行できるだろうと思いきや、思った以上に苦労しました。 今回のエントリではどのへんで困ったのかをざっくりとお伝えします。 2台並んだ新旧のMacBook Pro。（どっちが新しいマシンでしょうか？） TimeCapsuleからデータを移行させるのにかかった時間 旧マシンに入っていたデータは200GBぐらいです。 これをTimeMachine + TimeCapsuleにバックアップして、新しいMacを起動する際に移行元のデータにしました。 無線LANよりも有線の方が速いかな？と思い、TimeCapsuleに有線でつないで復旧させました。 有線の方が速いのかどうかはわかりま
自分がiTunesに曲を取り込んだら行うこと～音楽データの仕分け術～ - Jailbreak
音楽の管理はiTunesで行っている。 自分の持つmp3プレーヤーがiPodだからだ。 View image | gettyimages.com 当然、曲を取り込む先はiTunesなのだが、そこから自分なりに音楽をデータとして扱うに当たって紹介するような手順を踏むことにしている。 その各一つ一つに意味や狙いがある。 最終的にこのデータ化して得られるメリットは欲しい時に欲しい曲に手早く辿りつけるようになることである。 その秘訣の一つにスマートプレイリストの利用がある。 約7万曲あるiTunesの曲の管理法を公開しよう。 コメントやグループを消す View image | gettyimages.com 後にコメントやグループは使用するので、取り込んだ時点で入っている該当項目は削除する。 新たに取り込んだ曲を一気に選択して、コメントやグループは空白にしてしまうのだ。 ジャンル分けをする Vie
固定長データをcsvにするには？ - kingqwertの覚書
研究, データ最近、２GBとかくらいの固定長データをcsvにしてみんなに渡さないといけない、という事態がちょいちょい発生しますのでそのメモ。 ぶっちゃけ、RだろうがStataだろうがなんでも固定長データの読み込みはできますが、いかんせん遅い！のでまずはスクリプト言語でサクッと変換しちゃおう！というのが目論見です。 さて、そうなるとpythonかperlか、その辺かな？というわけですが、今回はgawkというやつを使いたいと思います。このなかのFIELDWIDTHS というものがいいようです。 まずは、ここからダウンロード。一番新しいやつの.tar.gzでいいのではないでしょうか。そして展開しておいてください。ちなみに、Mac向け。XcodeとCommand line toolは事前にダウンロードしておいてください。 cd gawk-3.1.1 ./configure make sudo ma
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cakes（ケイクス）
