<Python, pandas> 文字列をデータフレームへ。 - ねこゆきのメモ
文字列StringをデータフレームDataFrameへ。 In [45]: str = 'aaaaaaaa' In [46]: data = ','.join(list(str)) In [47]: data Out[47]: 'a,a,a,a,a,a,a,a' In [48]: df = pd.read_csv(io.StringIO(data), header=None) In [49]: df Out[49]: 0 1 2 3 4 5 6 7 0 a a a a a a a a pandas.read_csv()と、io.StringIO()を使うのがミソ。 パンダもマニュアル。 IO Tools (Text, CSV, HDF5, ...)にある。 http://pandas.pydata.org/pandas-docs/stable/io.html#io-tools-text-c
1.1(1) 日本語をread_csv(encoding='shift_jis')で読み見込めない時 - Qiita
日本語を含むcsvファイルを読み込む場合は、encoding='shift_jis'を指定して、pd.read_csv('data.csv', encoding='shift_jis')と書くのは定石です。 しかし、それでもエラーとなってしまう場合があります。 例えば、以下のようなcsvファイルです。 # 例1: 'shift_jis'でエラーとなる clm0 clm1 clm2 clm3 1 Ⅰ APPLE りんご 2 Ⅱ apple リンゴ 3 Ⅲ aPPLe ﾘﾝｺﾞ 4 Ⅳ Apple 林檎 何が違うのでしょうか？そしてどうすればいいのでしょうか？ ここでは、もとのcsvファイルを確認しても、おかしい部分が見当たらず、「何がおかしいの！(怒)」、という場面で対処する方法を説明します。上の２つの例が、大きなヒントとなります。 これを知っておくと、大きな時間短縮になります。 トピック
マーケットスピード II RSS | 楽天証券のトレーディングツール
マーケットスピード II ダウンロードがお済みでないお客様 ご利用にはマーケットスピード II のインストールが必要です。 ※ご利用中のお客様は再ダウンロード不要です。
株価四本値(/prices/daily_quotes) | J-Quants API
株価データを取得することができます。 株価は分割・併合を考慮した調整済み株価（小数点第２位四捨五入）と調整前の株価を取得することができます。
PythonでNone判定をしてNoneでなければその変数をif分の中で処理するには
Pythonで以下のようなプログラムがあり、aaa(bbb)がNoneでなければaaa(bbb)の内容を表示させたいと思っていますが、aaa(bbb)の関数が2回呼ばれるが気持ち悪いと感じております。 例えば、if文の中でNone判定をしてNoneでなければ、ある値に結果を入れておいてif文の中でその変数を使って処理のようなことはできないのでしょうか。 もしくはもっと効率のいい方法でも結構です。ご存知の方、是非ご教示お願いします。 def aaa(bbb): if bbb == "ccc": return "ddd" return if aaa(bbb) is not None: print aaa(bbb)
【ゆっくり解説】重力は時間の流れが生み出す幻なのか？－相対性理論の本質－
↓本を出しました 『学校では教えてくれない ヤバい科学図鑑』 https://www.amazon.co.jp/dp/4815612773/ 参考書籍 時空のからくり https://amzn.to/483Fo0o 時間とは何だろう https://amzn.to/4ahyB58 難しい数式はまったくわかりませんが、相対性理論を教えてください! https://amzn.to/30JCyx1 参考動画 https://www.youtube.com/watch?v=F5PfjsPdBzg&t=268s https://www.youtube.com/watch?v=UKxQTvqcpSg https://www.youtube.com/watch?v=OHdV9aO6jaE&t=686s https://www.youtube.com/watch?v=jlTVIMOix3I https
softmax関数の功罪｜おかだ＠野良DS
今回は softmax 関数についてのぼやきですNN使っていると、最終出力を得た後にほぼ必ずと言って良いぐらい入っている softmax 関数。今回はそれについて書きます。ちなみに、確かにこれがないと困るという事は良ーくわかるのですが、これがあるおかげで妙な誤解とかも生まれていそうな気がするので、単なるぼやきとして書いてみようかと思います。 softmax 関数って？まぁ、何となく入れているとは思いますが、この関数は、いくつかのバラバラな値をそれなりに成形して出力してくれるいわば便利関数です。 具体的には、ニューラルネットワークで分類問題を解くとき、最後にこいつを挟むことで何となく出力が確率っぽくなるので使いやすいといった感じです。 で、説明する人も何か面倒くさいんだと思いますが、softmax関数をかけることで確率値が得られるみたいな説明をしているケースをよーく見かけます。 いや、それで
【時系列解析】Pythonで移動平均を出してみた
株式会社pipon代表取締役。 キャリアはADK(広告代理店)でテレビ広告運用をして残業120時間するが、ネット広告では自分の業務がAIで自動化されていることに驚愕する。そこで、機械学習受託会社に転職し、技術力を身につけた後、piponを創業。現在、製薬業界、大手監査法人、EC業界、様々な業界でAI受託開発事業を運営。 1. はじめに 今回はPythonを使い、移動平均を算出する方法を紹介します。 移動平均とは、主に時系列のデータを平滑化するのによく用いられる手法で、株価のチャートで頻繁に見られるのでご存知の方も多いでしょう(「25日移動平均線」など)。データの長期的なトレンドを追いたいときに、よく用いられます。 2. 移動平均とは 「移動平均」と言ってもいくつかの種類、計算方法があるので、それぞれを見ていきましょう。 1) 単純移動平均(Simple Moving Average; SM
4-4_時系列データの解析
4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 4-4 時系列データ解析 東京大学 数理・情報教育研究センター 2020年5月11日 4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 概要 • 本節では，まず時系列とは何か，時系列データ解析の⽬的は何か など時系列データ解析の概略について学びます． • 次に，時系列データがもつトレンド，周期性，季節性，ノイズに ついてその意味を学ぶとともに、移動平均，階差などによる情報 抽出の⽅法とスペクトや相関関数による特徴可視化を学びます． • さらに，時系列モデルを⽤いた予
2値分類モデルの予測値を確率として使用する際にはCalibrationが必要 - Qiita
2値分類モデルの予測値を確率として使用する際はCalibrationを行う必要があるらしいので調べました。 概要 Calibrationとは 広告のクリック率(CTR)予測など、2値分類モデルの予測値を確率として使用する際に必要な補正処理のこと。 どうしてCalibrationが必要なの？ 機械学習モデルはデータから傾向を学習し予測を行いますが、2値分類モデルが学習するのは{0,1}の分類結果であって、分類確率ではないからです。 学習済みモデルに未知のデータを与えて予測すると0.0 ~ 1.0の間の小数が返ってきますが、これはあくまで予測結果であり、確率ではありません。 例えば、予測結果が0.1であるデータを集めて目的変数の平均をとっても0.1にならない場合があります。 また、学習データに含まれているのは分類結果であり、分類確率ではありません。 明示的に分類確率の学習データを集めるには、ユ
Probability Calibration手法の紹介 - Qiita
はじめに 近年では、機械学習モデルがいたるところで使われるようになってきています。機械学習モデルの用途は様々ですが、よく使われる用途の一つに分類タスクが存在します。 多くの機械学習モデルでは、クラス分類の際に、各クラスに対して、数値化されたスコアを出力し、最大値を取るクラスを、そのデータの属するクラスとして判別することが多いです。この時、出力値を0〜1の範囲に正規化することもよく行われます。 気をつけなければならないのは、分類精度が高いモデルであっても、必ずしもこのスコアはそのクラスに属する確率を示しているわけではない点です。 値が1に近いほど、そのクラスに属する確率が高く、0に近いほど、そのクラスに当てはまらない確率が高い、ということは多くの場合、間違いないです。一方で、スコアが0.7のデータを集めてきたら、これらのデータが該当のクラスに属する確率が70％であるか、というと、モデルやデー
将棋ウォーズ3切れ九段までにかかったお金と学んだこと｜おしり
【条件】 素の棋力は三～四段 序盤はソフト研究をして自力 明確に詰みが見えたら自力 棋神対策指しの知識あり 千日手要求は無視 【結論】 32560円（スーパープレミアム960円、棋神×166×2=31600円） 【学び】 お金で棋力は買える 普段ならまず勝てない五～八段にお金の力で爽快（ここ重要）に勝てる。 何千時間何万時間将棋にかけてきた人達をお金で倒す快感。 自分が優秀な人材になるより、優秀な人材（Ponanza）をお金で雇う方がはるかに効率がいいということ。 HEROZ株式会社代表取締役林社長さん、お金の使い方を将棋ウォーズを通じて教えてくださりありがとうございます。 棋神と当たった時の各々の反応を知れた ・自力で指す人 ・棋神対策指しで勝ちに来る人 ・諦める人 ・千日手を要求してくる人 人それぞれ将棋ウォーズに対する向き合い方があって面白かった。 棋神依存症になる 1度降臨させると
【PyTorch】TorchEval を使って精度評価しよう
はじめに 今回は PyTorch で Deep Learning (深層学習，機械学習) を行う際に用いる，評価指標の計算方法について記述していきます． 本記事では，TorchEval という Facebook 社が開発を主導している PyTorch と同時に使われることを想定している，2022/10/30 にリリースされたばかりの精度評価用のライブラリです． ドキュメントを以下に貼っておきます． この記事を読むメリット 複雑な評価計算を 1 行で実装できる PyTorch が公式で出しているライブラリのためコードが綺麗になる といった 2 点のメリットがあります． これを使うことで，Accuracy，Top-k Accuracy はもちろん Precision（適合率）や Recall（再現率）や F1-score（Dice），混同行列，PR曲線，AUCに至るまで Tensor型のまま手
matplotlibのめっちゃまとめ - Qiita
0. はじめに やりたいことがあるたびにいちいちGoogleや公式サイトで検索してそれっぽいのを探すのはもう面倒だ。 やっとそれっぽいのを見つけたのに、一行で済むようなことを「plt.なんちゃら」だの「set_なんちゃら」をたくさん並べましたなんてブログはもはや検索妨害だ。 Qiitaにすら僕のためのいい感じのまとめがないなんて…… よく考えたら自分が普段使うようなメソッドなんて限られているじゃないか。 もう自分でまとめるわ。自分のために。 というわけでインポート。 ちなみにmplは6.4.と6.5.でしか使わない。 1. 図（Figure）の作成 matplotlibの描き方は、まず台紙となるFigureをつくり、そこに付箋Axesを貼り、その付箋にプロットしていくというのが僕の中のイメージ。 したがってまず台紙を作る。これにはplt.figure()を用いる。plt.subplots(
pyTorchのNetworkのパラメータの閲覧と書き換え - Qiita
2019/9/29 投稿 2019/11/8 やや見やすく編集(主観) 2020/2/1 SGDの解説Link追加 2020/4/22 パラメータを途中で書き換える方法を追加した 0. この記事の対象者 pythonを触ったことがあり,実行環境が整っている人 pyTorchをある程度触ったことがある人 pyTorchによる機械学習でNetworkのパラメータを閲覧,書き換えしたい人 pyTorchによる機械学習でNetworkのパラメータを途中で書き換えたい人 1. はじめに 昨今では機械学習に対してpython言語による研究が主である.なぜならpythonにはデータ分析や計算を高速で行うためのライブラリ(moduleと呼ばれる)がたくさん存在するからだ. その中でも今回はpyTorchと呼ばれるmoduleを使用し,Networkからパラメータの操作周りのことを閲覧,最初の書き換え,途中
ChatGPT登場後に仕事急増も単価はダウン？ 買いたたかれる「ビデオ編集」スキルの今後
ChatGPT登場後に仕事急増も単価はダウン？ 買いたたかれる「ビデオ編集」スキルの今後：小寺信良のIT大作戦（1/3 ページ） ChatGPTをはじめとするAIの登場で、メディアではなくなる仕事・なくならない仕事といった特集が組まれた。だが昨今はこうした記事を見かけないのは、まだ具体的にAIの影響が観測できないからだろう。 そんなAIの爆心地ともいえる米国で、フリーランス500万人に対して、生成AIの登場がフリーランスの労働市場にどのような影響を与えたかといった調査が発表された。リサーチしたのは、労働市場動向などの分析を得意とするBloomberryで、元データは世界最大級のアウトソーシングサイトUpworkが公開した求人データである。 ChatGPTのリリース1カ月前の2022年11月と、普及した2024年2月を比較した調査となっている。詳細はオリジナルサイトを見ていただきたいが、パッ
嬉野流をやっつける最強の作戦 – 桜井将棋塾
今回の題材は、こちら。 【嬉野流を瞬殺する方法】 ①守りは全て省いて、棒銀の形を作ります。 ②相手は棒銀を受けるために４四に銀を繰り出して来るので、それを☗36銀→☗46歩→☗45歩で目標にします。 ③３五で銀交換して、すぐに☗44歩と突き捨てます。☖同歩なら角が狭くなるので、☗58金右から圧迫すればOK。… pic.twitter.com/zOLoH9Cwkl — あらきっぺ (@burstlinker0828) April 29, 2024 嬉野流は、奇襲戦法のような立ち位置ではあります。しかし、プロ棋士が公式戦で採用している事例もありますし、2023年に升田幸三賞を受賞していることから、決して侮ってはいけない戦法です。居飛車党としては、きちんと対処法を用意しておきたいですね。そこで今回は、これの対策をテーマにして、解説を進めます。
多変量解析における変数選択とその数 - Qiita
はじめに 多変量解析では、共変量と呼ばれる変数を決定する必要があります。 この変数の決定方法とその数についてまとめます。 変数選択について 結論から述べると、変数選択は「データを見ずに、アウトカムが同じ先行文献や医療・福祉などデータに関する専門家の意見を元に決定する」が最も良い方法となります。 これは、データの p 値などに引きずられずに、かつ必要な変数を除いてしまうことなく因果関係のあるデータを抽出できるためです。 一部の文献などで検定結果の比較を元に p 値の小さい変数を決定したり、ステップワイズ法で p 値の小さい順に決定するということを述べているものがありますが、この方法には問題があります。 p 値だけで決定してしまった場合、決定する変数と目的変数間の因果関係などは全く考慮されません。 そのため、特に医療・福祉統計において多くある、絶対に除いてはいけない変数を除いてしまうことがあり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
~region(us)~nonce(eb8ee88c-a2b7-4a2b-b1c3-81210510c79a))
VRChat - Home
UnboundLocalError – グローバル変数で回避
