Python pandas データのイテレーションと関数適用、pipe - StatsFragments
pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用 pipe (0.16.2 で追加) それぞれ、Series、DataFrame、GroupBy (DataFrame.groupbyしたデータ) で可能な操作が異なるため、順に記載する。 まずは必要なパッケージを import する。 import numpy as np import pandas as pd イテレーション Series Series は以下 2つのイテレーション用メソッドを持つ。各メソッドの挙動は以下のようになる。 __iter__: Series の値 ( values ) のみをイテレーシ
Python pandas データ選択処理をちょっと詳しく <前編> - StatsFragments
概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import pandas as pd s = pd.Series([1, 2, 3], index = ['I1', 'I2', 'I3']) df = pd.DataFrame({'C1': [11, 21, 31], 'C2': [12, 22, 32], 'C3': [13, 23, 33]}, index = ['I1', 'I2', 'I3']) s # I1 1 # I2 2 # I3 3 # dtype: int64 df # C1 C2 C3 # I1 11 12 13 # I2 21 22 23 # I3 31 32
正規表現のポテンシャルを引き出す自作関数３選 [Python] - Qiita
はじめに 文字列処理に関する3種類の自作関数を紹介します。 具体的には、主に以下の2点を目的としています。 ・正規表現の円滑な適用 ・英字 / かな / カナ / 漢字 / 数字 の識別 ☆ 02/26 時点で全体構成を刷新しました。 下準備
![正規表現のポテンシャルを引き出す自作関数３選 [Python] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b765894ff3521ec4cf0192c3a571251de6294371/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JUU2JUFEJUEzJUU4JUE2JThGJUU4JUExJUE4JUU3JThGJUJFJUUzJTgxJUFFJUUzJTgzJTlEJUUzJTgzJTg2JUUzJTgzJUIzJUUzJTgyJUI3JUUzJTgzJUEzJUUzJTgzJUFCJUUzJTgyJTkyJUU1JUJDJTk1JUUzJTgxJThEJUU1JTg3JUJBJUUzJTgxJTk5JUU4JTg3JUFBJUU0JUJEJTlDJUU5JTk2JUEyJUU2JTk1JUIwJUVGJUJDJTkzJUU5JTgxJUI4JTIwJTVCUHl0aG9uJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iZjExNjU2ZmQ5Mjk3NTdkZDQyMGZjZTBhMzAwMWExMA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc19hc290dXMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWZjNGExOTg4YzU4Njk4NzU0ZDE1NzhiMzFkY2NiNTVi%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc0d0d7bca908791973c2a2dbce1b99b5)
ハイフンに似ている横棒を全て統一するᅳㅡ˗𐆑–᭸‒-─−▬𐄐—━‐‑ー﹣―ｰ﹘－⁃➖⁻！ - Qiita
はじめに これらの横棒、コンピュータにとっては全て違うのですが 見分けがつくでしょうか？ -˗ᅳ᭸‐‑‒–—―⁃⁻−▬─━➖ーㅡ﹘﹣－ｰ𐄐𐆑 郵便番号、住所、電話番号など、横棒が使われているデータを扱うとき、 人が入力したデータや購入したデータであると、同じ記号が使われていないことはよくあることです。 090-1234-5678 090᭸1234᭸5678 090‑1234‑5678 090−1234−5678 これらの電話番号の文字列も phone_no_list = ['090-1234-5678', '090᭸1234᭸5678', '090‑1234‑5678', '090−1234−5678'] # 文字をUnicodeコードポイントに変換 for n in phone_no_list: # 文字列の４番目の横棒の文字コードを見てみる print(n[3], ord(n[3]
ISUCON11優勝チームfujiwara組の3人 fujiwara acidlemon macopy の技術力に迫る | gihyo.jp
ISUCON11優勝チームfujiwara組の3人 fujiwara acidlemon macopy の技術力に迫る 今年も開催された、エンジニアのチューニングスキルを競うコンテンストISUCON11。今回優勝したチームはfujiwara組です。リーダーの藤原氏（fujiwara）は今回で4回目の優勝。そして、このチームとしては初優勝を飾りました。 今回、藤原氏、メンバーの川添氏（acidlemon）、谷脇氏（macopy）に、ISUCON11優勝の振り返り、そして、これまでの三者三様のISUCON、そして、技術への取り組みについて伺いました。fujiwara組がISUCON11を勝ち取った技術力すべてに迫ります。 ISUCON11、予選～本選の心持ち Q：予選終了後の順位、また、他チームの結果を見て感じたこと、本選に向けてチームとして意思確認したことがあれば教えてください。 藤原氏
スクラムチームがぶち当たる「相対見積もり」の壁と、私たちの乗り越え方
これまでエンジニアやスクラムマスターとしてスクラムチームに関わって来ましたが、その過程で何度も「相対見積もり」や「ストーリーポイント」に纏わる悩みにぶち当たってきました。工数や期間での見積もりに慣れていた私にとって、それらは理解も実践もしにくい手強いものでした。 今回は、私が実際に直面した問題と、それらを打破するためチームで取り組んできたことを思い返してみようと思います。 壁1. 「相対見積もり」の考え方を理解できない 壁2. ストーリーポイントが「何を見積もる手段か」を理解していない 壁3. 見積もりをコミットメントと捉えてしまう まとめ 壁1. 「相対見積もり」の考え方を理解できない バックログ上に積まれたユーザーストーリーやエピックを見積もろうとしたとき、私たちは真っ先に「こんなコンポーネントを新規実装するだろう、おそらく2日くらい掛かる」「あの既存機能をいじる必要があるが、複雑な箇
Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG
こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
【合格記】Google Cloud Professional Data Engineer認定資格を振り返る | フューチャー技術ブログ
こんにちは、TIGの玉木です。先日Professional Data Engineer認定資格を取得しました。この記事ではその振り返りをします。 筆者について、受験のモチベーション新卒から3年半ほど機械学習モデリングを行っており、ここ半年はAWSでサーバーサイドの実装を主に担当しています。業務でGCPを扱ったことはありませんが、社内で「みんなで資格とっていきましょう！」のような機運があり、以前から機械学習とも関係があるデータエンジニアリングに興味があったため、今回Professional Data Engineer認定資格を受けることにしました。 出題範囲以下公式サイトの認定試験ガイドからのサマリです。 データ処理システムの設計 データ処理システムの構築と運用化 機械学習モデルの運用化 ソリューションの品質保証 1, 2は近い内容なのかなと思います。例えばバッチ/ストリーミング処理をする場
Terraformerとしてコードを書いて思うこと | フューチャー技術ブログ
こんにちは。TIGの伊藤です。この記事は秋のブログ週間2021の3日目です。 はじめに私は普段会社でクラウドをまたいでTerraformを日々書いたり、メンバーに教えたりしています。もはや俗に言うプログラミング言語を書かずにここまで全振りしてきたくらいなので、比較的自信を持ってコードを書いて仕事をしています。 特にここ最近はほぼ1からコード設計をして運用まで持っていくこともあり、「より腐りにくい、より息の長いコード」というものを考えるようになりました。Terraformだからこその「定期メンテを簡易にするためには」「より簡単に変更するためには」をひたすら突き詰めていった結果、アツい気持ちが生まれ、今回は筆を取っています。 そんな私のアツい気持ちをしたためた今回の記事ですが、可能な限り例も添えつつ、いくつか解説できればと思います。公式にも実は載っているような内容もあったりしますが、日本語の記
Dataflow template を使って Google Cloud Pub/Sub の中身を簡単に確認する
2021-11-05 PubSub に出力された結果を確認するのって、なかなか手間がかかりませんか? 最近同僚に簡単な確認方法を教えてもらい、感動したのでそれを記事にしました。 確認方法PubSub のメッセージを出力する Google Cloud Storage bucket を同一 GCP プロジェクトで作成する。GCP の Pub/Sub ページに移動する確認したい Pub/Sub topic をクリックするページ下部にある CREATE SUBSCRIPTION ボタンを押すと選択肢で、Create subscription, Export to BigQuery, Export to Cloud Storageがあり、 Export to Cloud Storageを選択する。BigQuery、 Google Cloud Storage への吐き出しを行い際に、自動的に subs
Go の入力バリデーションパッケージ ozzo-validation を試した。
はじめに Go のウェブアプリで使う入力バリデーションに関して、ozzo-validation を検討した。 これまでのバリデーション 普段、仕事では labstack/echo という Go のウェブフレームワークを使う事が多いのだけど、バリデーションに関しては labstack/echo のサンプルに合わせて go-playground/validator を使ってきた。 go-playground/validator は機能も豊富で(一応)痒い所に手は届くのだけど、struct にタグを付けて判定させないといけない。これが実に煩わしい。以前 labstack/echo を使ったサンプルを書いたので、それを見て欲しい。 // Comment is a struct to hold unit of request and response. type Comment struct { I
The Self-Service Data Roadmap読書会でContinuous Integration Serviceについて発表しました - yasuhisa's blog
データマネジメントに対する知識を深めたり、データの利活用をより進められるようになりたいなと思って、読書会をやっています。始めてから二ヶ月くらいで、そろそろ本の終わりが見えてきました。 The Self-Service Data Roadmap: Democratize Data and Reduce Time to Insight (English Edition) 作者:Uttamchandani, SandeepO'Reilly MediaAmazon Chapter 13のContinuous Integration Serviceで発表の順番が回ってきたので、発表しました。 (特に機械学習の)CIのパイプラインに関する内容のパートで、現職はデータマネジメントをやっていることもあり、この領域からはしばらく離れています。が、前職ではこの辺の設計や運用を結構がっつりやっていたので振り返っ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Next.jsにおけるenvのベストプラクティス
Conditional expressions | BigQuery | Google Cloud
Python で学ぶ実践的なドメイン駆動設計とレイヤードアーキテクチャ / DDD and Onion Architecture in Python
Tiny Letter from Kafka
GitHub - parrt/animl: A python machine learning library for structured data.