個人的な作業用です。 総務省APIなんかではXMLでレスポンスを取得できます。このXMLを解析する方法をまとめておきます。週明け時間が空いた時に仕事で使う予定。 総務省APIのサンプルコードに社会・人口統計を取得する方法が書いてありまして、叩くと以下の様なXMLが返ってきます。 <?xml version="1.0" encoding="UTF-8" standalone="true"?> <GET_STATS_DATA xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="http://api.e-stat.go.jp/rest/2.0/schema/GetStatsData.xsd"> <RESULT> <STATUS>0</STATUS> <ERROR_MSG>正常に終

こんにちは、@yoheiMuneです。 Pythonのお仕事では必ずと言っていいほどお世話になるrequestsモジュールについて、使い方をブログに書きたいと思います。 目次 requestsモジュールとは requestsモジュールは、HTTP(s)通信を行うためのライブラリで、標準であるurllibよりもかなり使い勝手良く、HTTPリクエストを発行することができます。かなり便利なので、僕はPythonの案件ではよく利用しています。 インストール インストールは、pipコマンドからインストールすることができます。 $ pip install requests requestsモジュールの基本的な使い方 例えばGet通信を行う場合には、以下のように使うことができます。 # requestsモジュールの読み込み import requests # Basic認証（user/pass）でGET

まずは、素うどんのXGBoostにかけて、plot_importance, feature_importances_を確認する。しかる後に、各特徴量をF-SCOREの高い順にExploratory Data Analysis (EDA)を行い、データに対する感覚を掴む。特徴量の数が少ないのであれば、初めからEDA。 情報を含まないcolumnsを除く。[Kaggle Kernel: R, Python] 標準偏差が0の説明変数 (constant cols) を除く。 重複した説明変数 (duplicated cols) を1つだけ残して他を除く。 相関係数が1である説明変数の組 (perfectly correlated cols) を探し、1つだけ残して他を除く。 各列について、値が0である説明変数の数を数えて、合計値を追加の説明変数として加える (count 0 per row)。逆

はじめに こんにちは。プラットフォーム開発部のsp1rytusと申します。 先日、私もついに30歳のおっさんになってしまいました。加齢臭が出ないようにがんばります！ ランキングって？ ランキングは誰でもわかる、何らかの得点をソートして順位位置を決定する凄く簡単でシンプルなものです。しかし、ゲームを扱うコンテンツ・サービスにおいては、得点を通算/日別に順位付けされたものが直ぐに目に入るように、他人と自分を比較する非常に重要な役割を果たしています。そこで、この記事では次の３つ要件を満たすようなランキング・システムの難しさと、それを解決するための一例を簡単に説明させて頂きます。 順位付けはリアルタイムに行い、集計時間を必要としない。 100万件以上の得点データが扱える。 すべてのデータが正しい順位付けで取得できる(線形補完などで順位を概算しない）。 リアルタイムによる正確な順位付けは、データ件数

SIGNATEのコンペティション一覧です。SIGNATEは、Data Science Competitionはもちろん、学習コンテンツや求人情報等、データサイエンティストの皆さんに役立つコンテンツを用意しています。

エキスパートPythonプログラミング改訂2版 作者: Michal Jaworski,Tarek Ziade,稲田直哉,芝田将,渋川よしき,清水川貴之,森本哲也出版社/メーカー: KADOKAWA発売日: 2018/02/26メディア: 単行本この商品を含むブログを見る はじめに ADVENTARのPythonアドベントカレンダー 4日目 です。 今作っているもの で後々必要になるかなと思い調べていたハッシュ関数について書きます。 ハッシュ関数について ハッシュ関数は、任意長のデータ x を与えると固定長のビット列 y を返す関数です。 イメージとして↓のような感じになると思います。 H(x) -> y # Hはハッシュ関数、xは任意長のデータ、yは固定長のビット列 この時の特性として y から x を特性するのが困難な一方向性関数である必要があり、データの正当性を検証する際などに使われ

pandas.DataFrameから任意の条件を満たす行を抽出するにはquery()メソッドを使う。比較演算子や文字列メソッドによる条件指定、複数条件の組み合わせなどを簡潔に記述できる。 pandas.DataFrame.query — pandas 2.1.4 documentation Indexing and selecting data - The query() Method — pandas 2.1.4 documentation ブーリアンインデックス（Boolean indexing）による条件指定については以下の記事を参照。 関連記事: pandasで複数条件のAND, OR, NOTから行を抽出（選択） 特定の型の列を抽出したり、行名・列名で行・列を抽出したりすることも可能。 関連記事: pandas.DataFrameから特定の型の列を抽出・除外するselect_dt