この記事では、MEGA BIGくじの最適な賭け額、最適な賭け額の算出方法について説明する。 ※この記事の内容は間違っている可能性があるので注意してください。間違いがあればご指摘いただけると嬉しいです。できれば専門家にレビューしてほしいです。 ※この記事はMEGA BIGの購入を薦めているわけではありません。 MEGA BIG 祭2024/8/30、MEGA BIG祭が突如発生した。 MEGA BIGは通常期待値がマイナスであるが、台風の影響でサッカーの試合が一部中止になり第1476回のMEGA BIGの期待値が1を超える可能性があるという投稿があったのだ。 toto MEGA BIGが熱い。 対象の12試合中4試合が中止（自動的中扱い）なので、8試合分当たれば1等というレイドイベント発生。現在キャリーオーバー61億円。 公営ギャンブルとしてはありえない期待値。 なおtoto BIG/100
こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 私は「カイ二乗検定」に対して、当初は納得できない部分がありました。やりたいことに対して、必要以上に複雑な手法のように感じたからです。同じような疑問を持つ方も多いのではないでしょうか。この記事では、私が「カイ二乗検定」を理解し納得するまでの過程をお伝えします。 結論から言いますと、一度頻度論を離れてベイズ統計の視点で考えてみたところ、実は非常に単純なことを行っていると気づきました。その後、カイ二乗検定を再び考え直すと、すんなり理解できたというお話です。 カイ二乗検定の手順まず、サイコロを何度も投げ、出た目の回数（実測値）を記録します。偏りのないサイコロでは、全ての目が均等に出るはずです。この理論的な回数を理論値と呼びます。 次に、実測値と理論値の差を計算し、その差を二乗してから理論値で割ります。この計算結果を「ズレ」と呼びま
この記事で学べること この記事を読むことで、以下のスキルが身につきます。 Pythonコードのボトルネックを特定する方法 NumPyを使ったベクトル化処理の実装 非同期処理による並列化テクニック メモリ効率を最適化する実践的な方法 JITコンパイラ（Numba）の効果的な使い方 それでは、実際のコードと測定結果を見ながら、Pythonの高速化テクニックを学んでいきましょう。 なぜPythonは遅いのか？そして、どう高速化するのか？ Pythonが遅い理由を理解していますか？ 普段Pythonを使っている皆さんは、なぜPythonが遅いと言われるのか、その根本的な理由を理解しているでしょうか。Pythonの実行速度が遅い主な理由は以下の通りです。 動的型付け1 - 実行時に型チェックが行われる インタープリタ実行 - コードが逐次解釈される GIL（Global Interpreter Lo
![[入門] Pythonを10倍高速化する実践テクニック集 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ebb0349b49be48b954aeb3086f83d61e52bf0b0/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Ftech-festa-ogp-background-4b5015b2c518c7e6b9062a7c9f5f5e90.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkYzNTIxNTczJTJGZTBmMGU4NmM4MTg2ZGUzN2NmMGFlNWMxYmIzMzFjNzM5NDIyNjNhOSUyRnhfbGFyZ2UucG5nJTNGMTc1MjIyNTQyMz9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmYmc9RkZGRkZGJmZtPXBuZzMyJnM9NjhmYzIyNjMwMzllNGU0NzQyOTE3MGMyZTdjYjExOTY%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dcc1a59e5a96046a7f38619543aa5f4c8%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU1JTg1JUE1JUU5JTk2JTgwJTVEJTIwUHl0aG9uJUUzJTgyJTkyMTAlRTUlODAlOEQlRTklQUIlOTglRTklODAlOUYlRTUlOEMlOTYlRTMlODElOTklRTMlODIlOEIlRTUlQUUlOUYlRTglQjclQjUlRTMlODMlODYlRTMlODIlQUYlRTMlODMlOEIlRTMlODMlODMlRTMlODIlQUYlRTklOUIlODYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyM0ZGRkZGRiZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz02YmI3OTI2OTJmMWZkYzYwY2U3YzQ2M2UwZjU3MzEyMw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBTaGlnZW1vcmlNYXNhdG8mdHh0LWNvbG9yPSUyM0ZGRkZGRiZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz1kODJmMzE4ZjlkN2I5OGFjYjY0Y2YwOGYwNDBlMDE3YQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D34e4fc5f16bea46bf911014fcb5094c8)
import numpy as np import scipy from scipy.stats import binom %matplotlib inline %config InlineBackend.figure_format = 'svg' import matplotlib import matplotlib.pyplot as plt import seaborn as sns print("numpy version :", np.__version__) print("matplotlib version :", matplotlib.__version__) print("sns version :",sns.__version__) numpy version : 1.18.1 matplotlib version : 2.2.2 sns version : 0.8.1
![[確率思考の戦略論] 1.確率理論の導入とプレファレンスの数学的説明](https://cdn-ak-scissors.b.st-hatena.com/image/square/6a97f320d09bec0cb84779404f68ce7e1fa92170/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fwayama.io%2Fimages%2Favatar.webp){kind=avatar}
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、Webブラウザ上でPythonが動作するPyScriptについて、内部構造なども含めて詳しく解説したいと思います。 PyScript公式サイト（https://pyscript.net/） Warning：PyScriptは現在非常に活発に開発が進んでいるプロダクトのため、将来的にこの記事のサンプルコードが動かなくなる可能性があります。記事執筆時点では最新バージョンであるPyScript 2023.03.1で動作確認しています。うまく動かない場合はPyScriptの公式ドキュメントなどを参照してみてください。 PyScript - PyScript documentation PyScriptとは？ PyScriptは公式サイトに「Run Python in Your HTML」と書いてあると
【Python】プログラムでフーリエ変換を理解しよう！【FFT, 標本化定理, ナイキスト周波数】 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 pythonnumpyfftdftmatplotlibフーリエ変換高速フーリエ変換ナイキスト周波数標本化定理 こんにちは。早く業務に慣れたい開発チーム入社１年目の髙垣です。 急ですが皆さん。ふと、音をフーリエ変換したい時ってありませんか？ ありますよね。 でも、「フーリエ変換って学校で計算式で習ったけど、結局は何をしているんだ？」となることありませんか？ そこで今回は計算式なんてほっといて、Pythonを使ってフーリエ変換が何をやっているのか体験してみましょう！ 環境構築 下記リポジトリをクローンしてください https://github.com/takaT6/fft-tutorial クローンができたら下記のライブラリをインストールしてください↓ pip
![【Python】プログラムでフーリエ変換を理解しよう！【FFT, 標本化定理, ナイキスト周波数】 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f9555cd0395b136f9745f96b71793fd58383a527/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2023%2F11%2Fman-5572871_1280.jpg)
偏微分方程式の数値解法とは偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。有限体積法（Finite Volume Method）: 保存
January 30, 2023 In this post, we'll implement a GPT from scratch in just 60 lines of numpy. We'll then load the trained GPT-2 model weights released by OpenAI into our implementation and generate some text. Note: This post assumes familiarity with Python, NumPy, and some basic experience with neural networks. This implementation is for educational purposes, so it's missing lots of features/improv
はじめに こんにちは、ZOZO NEXT ZOZO ResearchのSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中でJAXというライブラリを使用しています。JAXは高性能な機械学習のために設計されたPythonのライブラリです。NumPyに似ていますが、より強力なライブラリであると考えることができます。NumPyとは異なり、JAXはマルチGPU、マルチTPU、そして機械学習の研究に非常に有用な自動微分（Autograd）をサポートしています。 JAXはNumPyのAPIのほとんどをミラーリングしているので、NumPyライブラリに慣れている人なら非常に導入しやすいです。A
ポ。〜人間の購買行動について〜｜つかぽんたん
先日Xでこんな投稿をしたらたくさんの反響をいただいたので、Xでは書ききれなかったことを色々書いてみようと思います。 人は買い物をするとき、自分の好みに応じて気分で選んでるから、その頻度はポアソン分布に従うって聞いて いやいやそんな簡単なら需要予測なんていらんわw と思い、家計簿アプリのデータで確かめてみたら、綺麗に理論値と一致してて震えた 所詮俺の行動なんて理論通りなんだ…って気持ちになった pic.twitter.com/t8jKF9O46I — つかぽんたん (@tsukapontan_) March 30, 2025 人は買い物するとき、考えて選んでるようで実はランダムに選んでるらしい最近森岡毅さんの「確率思考の戦略論」を今更ながら読んでみたところ、気になる説明がありました 人は1人1人、それぞれのプレファレンスに基づいたエボークト・セットに合ったサイコロを持ち、そのカテゴリーの購買
はじめに 特異値分解 特異値分解と最適化問題 リーマン多様体上での特異値分解 $\mathrm{St}(p,m)\times\mathrm{St}(p,n)$ 上の最適化 接空間 レトラクション $R_{(U,V)}$ 勾配 $\mathrm{grad} F(U,V)$ リーマン多様体上での共役勾配法 Pymanopt による求解 モジュールのインポート 解くべき最適化問題の定義 最適化手法の定義 出力内容 おわりに 参考文献 おまけ はじめに 以前（2019 年 11 月）に「リーマン多様体上の最適化の初歩と Pymanopt による数値実験」 という記事を投稿した． mirucacule.hatenablog.com 記事内で用いた最適化 Toolbox である Pymanopt のバージョンアップに伴い，実行方法に変更が生じたため改めて書き直そうと思ったのが本記事を執筆するに至った経
偏微分方程式の数値解法とは偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。有限体積法（Finite Volume Method）: 保存
Python Pandasを使った時系列データの移動平均計算: 実装と分析技法 - Qiita
はじめに 時系列データの分析は、ビジネス、金融、科学研究など、様々な分野で重要な役割を果たしています。その中でも、移動平均は最も基本的かつ強力なツールの一つです。この記事では、Pandasを使用した移動平均の計算と可視化について、基礎から応用まで幅広く解説します。 この記事を読むメリット 実践的なデータ分析スキルの向上: 単純な移動平均から適応型移動平均まで、様々な手法の実装方法を学べます。これらのスキルは、株価予測、需要予測、センサーデータの分析など、実務で即座に活用できます。 効率的なコード設計とパフォーマンス最適化: 大規模データセットの処理技術や、再利用性の高いコード設計について学べます。これにより、より効率的で保守性の高い分析プログラムを作成できるようになります。 分析手法と可視化技術の習得: 移動平均の交差シグナルやボリンジャーバンドなど、分析手法と、それらを効果的に可視化する
偏微分方程式の数値解法とは偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。この方法は直感的で実装が比較的簡単ですが、グリッドの選択が解の精度に大きく影響します。有限要素法（Finite Element Method）: 問題の領域を小さな「要素」に分割し、各要素内で方程式を近似します。この方法は複雑な形状や境界条件を持つ問題に適しています。有限体積法（Finite Volume Method）: 保存
はじめに 数ヶ月前に、このツイートが目に留まりました。 非常に魅力的で、自分でも作りたいと思ったのですが、アルゴリズムや実装が公開されているにもかかわらず、実際にやっている人が少ないようでした。 そこで、本記事では、Pythonの画像処理ライブラリPillow(PIL)を使用して、四分木の中で最も複雑な領域を分割し続けるアートの実装方法について解説します。 アルゴリズム 以下の操作を再帰的に繰り返します。 キャンバス上のすべての矩形領域の中から、最も複雑な領域を選んで四分割する。 新しくできた矩形領域において画像の複雑度(score)と平均色を求め、領域を平均色で塗りつぶす。 詳しくは元記事を参照してください。 実装 Rectクラス Rectクラスは、長方形のフレームの座標情報を保持するクラスです。 calc_areaは長方形のフレームの面積を計算するメソッドです。 class Rect:
アルゴリズムトレード入門 ~ python で自動取引を始めてみる ~ - GMOインターネットグループ グループ研究開発本部
はじめに こんにちは、次世代システム研究室のT.I.です。 みなさま、本日もお仕事お疲れ様です。今回は楽して儲けたい(?)というテーマで株式や為替などの自動取引について紹介したいと思います。過去にも同様のテーマでのブログはありますが、いったん初心にかえって１から入門編として始めたいと思います。AIで自動取引というと小難しい数学を駆使して応用すると思われるかもしれませんが、実は簡単な計算の組み合わせだけで出来るので実際に手を動かして感覚を掴んでいただければと思います。 Pythonでゼロ(?)から始める自動取引 データ収集 まず、最初にデータを準備する必要があります。為替レートや株価などは様々なsiteで公開されていますが、一旦 download したり、少々手間ですよね。python library の１つである、pandas_datareader を利用すると、簡単に様々なデータソースか
Matplotlib 軸周り完璧マスターガイド | 軸・軸目盛・目盛り線の設定 - YutaKaのPython教室
Pythonでグラフを描くときは、Matplotlibを使うことが多いですが、 グラフの「この要素」を変更するには、「どのメソッド」を使えばいいのかわからない…。 検索するのが大変で、もうMatplotlib使いたくない！ という方のために、 Matplotlibの軸・目盛り・目盛り線の設定 について総まとめしました。 私自身も今回紹介する内容を覚えてからは、Matplotlibの軸周りの設定はある程度自力でできるようになっています。 軸・目盛り・目盛り線の設定サマリーチャート 時間軸の設定 軸周りの設定の前に… pltメソッドとオブジェクト指向 基本のグラフ 軸ラベルの設定 軸ラベルの表示 軸ラベルの見た目変更 軸の最大値・最小値の設定 目盛の表示値を変更 リストで目盛りを指定：xticks([目盛り値のリスト]) np.arangeで値を指定：xticks( np.arange(sta
「Pythonは遅い」と言ってるけど、何がどう遅い？ | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
あけましておめでとうございます！開発チームの下田です。 「Pythonは遅いからRustに書き直した」「パフォーマンスが必要ならC++を使うべき」 こうした議論をよく目にします。確かにPythonやrubyといった言語はRustやC++と比べて実行速度が遅いのは事実です。実際にどの程度、何ms遅いのでしょうか？ 今回は、Pythonのパフォーマンス特性を具体的なベンチマークを例に、「言語特性による遅さ」が問題になるケースとならないケースを整理していきます。 Pythonはどれくらい遅いのか？ まず、具体的な数値で見てみましょう。 単純な計算処理の比較 特に意味のない1億回のループで簡単な計算を行うベンチマークを行っています。こういった計測方法はマイクロベンチマークと言ってあまり実用的ではないのですが、今回は問題をわかりやすくするために使用しています。 Python: import time
![「Pythonは遅い」と言ってるけど、何がどう遅い？ | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e5cf154323442032a6e219687549c152e35e1575/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2025%2F12%2Fpython_slow.jpg)
Mojo入門 (2) - Mojo言語の基本｜npaka
1. Mojo言語の基本「Mojo」は、「Rust」「C++」などの他のシステム言語と多くの共通点がありますが、「Pythonのスーパーセット」になるよう設計されているため、「Python」の機能や概念の多くは、「Mojo」にうまく反映されています。 (1) Pythonパッケージからコードをインポートして実行することが可能。 (2) Pythonと同様に REPL や Jupyte Notebook でトップレベルでのコード実行が可能。 ただし、「Mojo」は新しい言語であり、Pythonの新実装ではありません。「Mojo」は、システムプログラミング機能、強力な型チェック、メモリ安全性、次世代コンパイラなどを備え、Pythonをまったく新しいレベルに引き上げます。 2. Mojoプログラム「Mojo」はコンパイル言語であり、パフォーマンスとメモリ安全性の多くはこの事実から派生しています。
今回は日本時間2015年9月24日9時の館野（つくば）の高層気象観測データを使って，エマグラムを描画してみたいと思います。 データファイルはこちらで用意しました。新規ファイルを作成し，コピペしてお使いください。以下のコードではファイル名を20150924_09JST_47646.txtとして保存したと仮定して進めます。 # 20150924 09JST 47646 1011.7 26 20.5 83 2.2 30 1000 125 19.1 81 3 52 925 791 15.1 71 2 134 900 1023 13.6 64 2 136 850 1497 10.3 64 4 147 800 2003 10.8 9 6 128 700 3108 7.2 35 3 188 600 4358 -0.3 14 8 166 500 5791 -11.0 67 11 247 400 7503
気象庁が行っている (らしい) 前線の客観解析目標は，資料にあるような図を作ることです。 出典：気象庁「アジア太平洋地上天気図における前線解析」25ページ気象庁予報課では，GSMによる925hPaおよび950hPaの相当温位を利用したTFPと850hPaの気温，地上の等圧線を重ね合わせたものを利用しているようです。 TFPとは，Thermal Front Parameter (サーマル・フロント・パラメタ）の頭文字で，次のように定義されます： $$ \mathrm{TFP} = -\nabla_\mathrm{h} |\nabla_\mathrm{h}\tau|\cdot\frac{\nabla_\mathrm{h}\tau}{|\nabla_\mathrm{h}\tau|} $$ ここに，$\tau$ は何らかの熱力学的変数です。具体的には，気温や相当温位が使われます。$\nabla_\
衛星データでここまでできる！ ヤッホーが綺麗に返ってくる場所（やまびこスポット）の解析とシミュレーション 8月11日の山の日にちなんで、衛星データを活用してやまびこスポットが分かるのかのシミュレーションにチャレンジ。やまびこの文化や歴史と合わせてお楽しみください。 皆さんは山登りをした際に、綺麗な山が一望できる場所で「ヤッホー」と叫んだことがありますか？ その時に山から「ヤッホー」と叫んだ声が返ってくる現象を”やまびこ”といいます。 ただ、もしかしたらやまびこが返ってこなくて残念な気持ちになった方もいらっしゃるかもしれません。 本記事はやまびこについて、どのような場所であれば聞こえるのかを衛星データをはじめとしたリモートセンシングの知識を活用にすることで調査していく内容になっています。 本記事は8月11日の山の日に合わせて企画した、やまびこの名所を探る企画の1本目となります。2本目からは株
HANTS法とは？HANTS（Harmonic ANalysis of Time Series）は、リモートセンシングデータの時系列解析に使用される手法の一つで、時系列データを周期的な成分（調和成分）に分解し、ノイズや異常値を除去しながらデータを再構築する手法です。今回はNDVIでよく利用されるZhou et al., 2015の方法をもとに、この方法の基本的な考え方と動作原理を以下に解説します。 HANTSの基本概念1. 理論的背景HANTS法は、フーリエ級数展開の考え方を基礎としています。フーリエ級数展開では、任意の周期関数を正弦波と余弦波の和で表現できるという原理を用います。HANTS法は、この原理を時系列データに適用し、データに含まれる様々な周期成分を抽出します。 2. 基本モデルHANTS法では、時系列データ $y(t_j)$を以下のようにモデル化します： $$ \tilde{y
はじめに どうも、はっしらです。 超久しぶりの投稿です。 この記事が面白いと思った人はブックマークお願いします！！ 私は現在中学3年生で、Pythonっていうプログラミング言語をやってます。 はじめに 素数で作曲 どーゆこと？ 着目したこと これを、、、 コード 素数で作曲 今回、素数とピアノの鍵盤を対応させて、曲を作ってみました。 まず、こちらをお聞きください。 www.youtube.com 意外と曲になってますよね。 どーゆこと？ 着目したこと 今回、着目したのは「数字根」というものです。 簡単に言うと、「ある数の各桁を、一桁になるまで足していく」というものです。 この操作を、連続する素数にやってみます。 すると、 2, 3, 5, 7, 11, 13... は、2, 3, 5, 7, 2, 4... ってなりますよね。 これを、、、 1: 261.626,#ど 2: 293.665
タクシーアプリ『GO』のデータエンジニアをしている牧瀬です。 Apache Arrow という OSS を知り、弊社でも活用できる機会があるのではないかと興味を持ちました。本記事では Apache Arrow の概要を紹介します。 概要 Apache Arrow とは、インメモリのカラムナーフォーマット仕様および、それを操作するための各種プログラミング言語用のライブラリ実装です。 Apache Arrow が作られた目的は、大きなデータセットを高速に処理したり、データセットを異なるシステムやプログラミング言語の間で効率的にやりとりするためです。 なぜインメモリ？ 一般的なカラムナーフォーマットの多くはストレージに保存する際のフォーマットですが、Apache Arrow はインメモリの仕様も定められています。 これは 1台のマシン上で異なる言語やプロセスの間でデータをやり取りする際、シリアラ
FFT (Fast Fourier Transform) を適用した波形をグラフとして表示するためには，得られた結果に絶対値を適用する・周波数分解能 \(\Delta f\) で割るなど，追加の処理が必要です．どのように単位を扱うのか，どのような処理を行った結果が適切なのか etc……を迷ってしまうため，各スペクトルの定義と，その単位，使いどころを簡単にメモしておくことにしました． 対象とする読者 FFTしたデジタル波形の扱いに困っている方スペクトルの違いや定義がごっちゃになる方振幅スペクトルを N/2 で割る理由が気になっている方 (ほかの説明の中で見かける処理)以下の議論は，離散時間信号 \(x[t]\) を想定した説明です． 定義 はじめに，FFT後の代表的な処理と，その定義，単位を表形式で示します． 用語数式 (定義)単位元信号\( x[t] \)\( V \): 使いたい時間波形
ウェーブレット変換とは？フーリエ変換との違いは？ウェーブレット変換とは、信号や画像データを解析するための数学的手法の1つで、時間と周波数の両方の情報を得ることができます。ウェーブレット関数と呼ばれる短い波形を用いて、データを異なるスケール（解像度）と位置で表現することが特徴です。 一方、フーリエ変換は、信号を周波数成分に分解し、それらの振幅と位相を求めることができる数学的手法です。フーリエ変換は、信号を正弦波や余弦波の無限和で表現することができますが、時間情報は失われることが欠点です。 ウェーブレット変換とフーリエ変換の違いを簡潔にまとめると、ウェーブレット変換は時間と周波数の両方の情報を得られるのに対し、フーリエ変換は周波数情報のみを得ることができます。 ウェーブレット変換は信号の局所的な特徴を捉えるのに優れているため、信号の瞬間的な変化を解析する場合に適しています。 連続ウェーブレット
Pythonで再現する標準ベイズ統計学2章
はじめに 本記事では、Peter D. Hoff著『A First Course in Bayesian Statistical Methods』（邦訳：「標準ベイズ統計学」）の内容をベースに、ベイズ統計学の基本概念をPythonで実装する方法を紹介します。この連載では、イントロの1章を飛ばし、書籍の2章から始めます。各章で扱う内容を簡潔に解説し、それに対応するPythonコードを提供することで、理論と実践の橋渡しのお手伝いができればと考えています。本記事は、ベイズ統計学に興味がある方、Pythonでデータ分析を行いたい方、そして理論を実践に移したい方々に向けて書いています。ただし、これはあくまで入門的な内容であり、詳細な理論や応用については原著をお読みいただくことをお勧めします。 2章：信念、確率、交換可能性 本章では、ベイズ統計学の基礎となる重要な概念を説明しています。： 合理的な信念
ヒルベルト変換 ヒルベルト変換 まず，包絡線と瞬時周波数の抽出に必要になるヒルベルト変換 (Hilbert transform) について説明します。 ヒルベルト変換とは，ある関数 $x(t)$ に対して $$ \mathcal{H}[x](t) = x(t) *\frac{1}{\pi t}= \mathrm{P.V.}\int_{-\infty}^{\infty} x(\tau)\frac{1}{\pi(t-\tau)}\mathrm{d}\tau \tag{1} $$ と言う式で表される変換のことです。 $*$ は畳み込み積分 (convolution) (掛け算ではない）を表していて，関数 $f(t)$ と $g(t)$ に対して $$ f(t)*g(t) = \int_{-\infty}^{\infty} f(\tau)g(t-\tau)\mathrm{d}\tau $$ と定義
Mastering Customer Segmentation with LLM | Towards Data Science
Unlock advanced customer segmentation techniques using LLMs, and improve your clustering models with advanced techniques Content Table · Intro · Data · Method 1: Kmeans · Method 2: K-Prototype · Method 3: LLM + Kmeans · Conclusion Intro A customer segmentation project can be approached in multiple ways. In this article I will teach you advanced techniques, not only to define the clusters, but to a
記事の目的 Excel－Python連携モジュールxlwingsを活用して、ExcelがもつGUIとしての利点を生かしつつ、Excelが苦手な処理をPythonに実行させるための1パッケージなツールを試作紹介する。学術研究やものづくりの現場などで便利な、ローカルなデータ解析ツールのひな型をイメージした。 試作するツールの概要 以下の機能を持つフーリエ解析ツールを試作する。 CSVで保存された時系列データのフーリエ変換を実施する。 プログラムはExcelシート上のボタンから実行される。 Excelシート上でフーリエ変換の条件設定する。 結果をPythonのMatplotlibで描画が可能。 計算結果の数値、グラフ画像がExcelシートに出力される。 動作はこんな感じ。条件パラメータ設定・計算結果がすべて一つのExcelブックでクローズする。計算結果をそのままExcel側で後解析することも可能
▶Pythonで多項式特徴量(多項式回帰) sklearn.preprocessiong.PolynomialFeaturesクラスを使用 1．PolynomialFeatures(degree, include_bias=True)でインスタンス生成 - degree：何次元までの多項式にするか - include_bias：バイアス項の生成を決める、普通はいらないのでFalseを指定する 2．.fit_transform(X)で多項式特徴量に変換 3．変換後のXをmodel.fit(X, y)で線形回帰を学習 # データ準備 import seaborn as sns df = sns.load_dataset('mpg') # mile per gallon df.dropna(inplace=True) X = df['horsepower'].values.reshape(-1,
本記事の目的 確率論において重要な定理である「中心極限定理」を Python で確かめます． 具体的には，「ある分布から取り出した標本平均の分布が，標本を大きくすることで本当に正規分布に従うのか？」を確かめます． 中心極限定理とは 数学的に厳密な内容は述べませんが，中心極限定理が何なのかをざっくりと述べます． 定理の内容（ざっくりと） $n$ 個の確率変数 $X_1,\cdots ,X_n$ が独立で同じ分布に従うとする． $E[X_i]=\mu, V[X_i]=\sigma^2, \bar{X}=\frac{1}{n}(X_1 + \cdots + X_n)$ とする． このとき，$n$ を大きくすると，$\bar{X}$ は正規分布 $N(\mu, \sigma^2 /n)$ に近づく． ※ ここで，$n$ が標本の大きさ，$\bar{X}$ が標本平均です． 記事を書くに至った経緯
リーマン予想に興味ある人向け。 ワンチャン証明につながる可能性もあるかも。 2023.1.31 追記 ※以下、複素関数論をある程度知っている前提。 勢いで書きなぐります。 $\xi(s)=\pi^{-\frac{s}{2}}\Gamma\left(\frac{s}{2}\right)\zeta(s)$に関して 正則な複素関数の性質である等角写像の性質を使えば、クリティカルライン内で$Re(s)\neq 1/2$のとき$\xi(s)\neq0$を示せるのではないか。 $Re(s)=1/2$のとき$Im(\xi(s))=0$なので、$Re(s)=1/2$で実部を固定して$Im(s)$を増加させる動点的な線分を写像$s\to \xi(s)$で写した先は実軸上にある。 このとき、（十字にクロスするイメージで）実部を振った直行線分の写像先は実軸に直交するので、$Re(s)=1/2$の写像先の近傍では
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
コヒーレンスとフェイズコヒーレンスとフェイズ2つの時系列信号データ $x(t)$ と $y(t)$ があるとします。これらをフーリエ変換したものをそれぞれ，$X(f)$ と $Y(f)$ とします。このとき，クロススペクトル (cross-spectrum) を $$ S_{XY}(f) := X(f)Y^*(f) $$ で定義します。$Y^*(f)$ は $Y(f)$ の複素共役を表します。 クロススペクトルは2つの信号をフーリエ変換したものの積として定義されるので，2つの信号の周波数空間での相関の大きさを表すと考えられます。 しかし，ある周波数に対して片方（たとえば，$X(f)$ のみ）が大きいだけでも，クロススペクトル $S_{XY}(f)$ は大きくなってしまいます。したがって，正規化して，このようなことが起こらないようにしたものが，(二乗) コヒーレンス (coherence)で
はじめに 5倍が 20倍に!?!?! こんにちは｡ jodaと申します｡ 機械学習を使用した仮想通貨botをつくってみた(い) ということで､ まずは機械学習を利用して､勝てるロジックを見つけていこうと思います｡ 簡単な自己紹介をさせていただきますと､ 自分はここ2年ほど､C++をベースとした為替の自動売買システム(EA)を作って稼働させておりました｡ (結果は微妙です) 心機一転､世を賑わせる仮想通貨にも手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 今回は､まずpnadasを使って検証を行います｡ その後､冒頭の画像のように､ 機械学習を使ってトレードロジックを改善したいと思います｡ (実際の執行が冒頭の画像の様になるとは限りません) 概要 こちらの記事は､ jodawithforce.hatena
import numpy as np from scipy import fftpack def fft_n(nn,x): sp=np.fft.fft(x)/nn spa=np.sqrt(sp.real**2+sp.imag**2) wv=np.fft.ifft(sp*nn) return sp,spa,wv def fft_s(nn,x): sp=fftpack.fft(x)/nn spa=np.sqrt(sp.real**2+sp.imag**2) wv=fftpack.ifft(sp*nn) return sp,spa,wv def main(): x=np.random.random_sample(10) nd=len(x) nn=2 while nn<nd: nn=nn*2 xx=np.zeros(nn) xx[0:nd]=xx[0:nd]+x[0:nd] for iii in
Author蒲原 紳乃輔 Categoriesディープラーニング Published2022.9.9 Modified2025.1.21 本コンテンツの利用方法 このページでは体験型学習ブログということで、機械学習/深層学習の内容を本や動画のみではなく、プログラムコードを動かしてもらいより体系的に学んでいただくために作成したものです。ブログ内で以下のようなPythonコードを実行できるエディターが備わっております。 プログラムコードは赤枠で囲まれている再生ボタンで実行可能です。また、青枠部分はコードが記述されている場所で自由に書き換えることが可能です。特定の値を試して実行する際にご利用下さい。エディターの使用方法についての説明は以上になります。まずはじめに動画でもあった正則化の等高線図を表示してみましょう。 デフォルトのコード import numpy as np import matpl
Python can run Mojo now
Chris Lattner mentioned that Python can actually call Mojo code now. I love this idea (!) as I'm definitely in the market for a simple compiled language that can offer Python some really fast functions. So I gave it a quick spin Setup The setup is much simpler than I remember it, you can use uv for it now. uv pip install modular --index-url https://dl.modular.com/public/nightly/python/simple/ Afte
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ほんで、MEGA BIGくじにいくら賭ければいいの？｜morio
カイ二乗検定は何をやっているのか｜コグラフ株式会社 データアナリティクス事業部
[入門] Pythonを10倍高速化する実践テクニック集 - Qiita
[確率思考の戦略論] 1.確率理論の導入とプレファレンスの数学的説明
WebブラウザでPythonが動作する！PyScriptの詳解 | gihyo.jp
【コード付き】非線形の偏微分方程式の数値解法【Python】 - LabCode
GPT in 60 Lines of NumPy | Jay Mody
JAXによるスケーラブルな機械学習 - ZOZO TECH BLOG
リーマン多様体上の最適化―特異値分解の例を通して― - 冷めたコーヒー
【コード付き】放物形の偏微分方程式の数値解法【Python】 - LabCode
【コード付き】双曲形の偏微分方程式の数値解法【Python】 - LabCode
【Python】四分木の中で最も複雑な領域を分割し続けるアートを実装してみた - Qiita
【MetPy】大気の鉛直構造を知るためのエマグラムの描画方法【Python】 - LabCode
【MetPy】気象庁でも利用している (らしい) 前線解析のやり方【気象予報】 - LabCode
衛星データでここまでできる！ ヤッホーが綺麗に返ってくる場所（やまびこスポット）の解析とシミュレーション | 宙畑
【Python】HANTSを用いた時系列補正【時系列データ】 - LabCode
【Python数学】素数を使った曲の作り方を解説 - 高専生のはっしらブログ
Apache Arrow の紹介 - GO Tech Blog
FFT後の処理&単位に迷ったら読むブログ - 傾いた本棚 ―飯島涼の活動紹介―
【Wavelet】Pythonでウェーブレット変換を実装【時間-周波数解析の基礎】 - LabCode
【ヒルベルト変換】Pythonを使った包絡線・瞬時周波数の取得方法【時間-周波数解析の基礎】 - LabCode
【保存版】Excel GUIのPython実行ツールを作ろう(xlwings) - Qiita
Python初心者の備忘録 #17 ~機械学習入門編03~ - Qiita
中心極限定理を Python で確かめる（一様分布，二項分布，コーシー分布を使って） - Qiita
Pythonでリーマンのゼータ関数を動的にプロットしてみた - Qiita
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
【時間−周波数解析の基礎】コヒーレンスとフェイズを可視化して信号どうしの相関を調べる【STFT】 - LabCode
仮想通貨MLBot つくってみた い ② テンプレートコード - joda!!
Python: fft と ifft の使い方復習 - Qiita
予備校のノリで学ぶ「L1/L2正則化」：ヨビノリ & zero to one コラボ企画第一弾