Pandasで「野根（None）」という地名が欠損値（NaN）になってしまった話
Pandasの read_csv における欠損値文字列の扱い Pythonのデータ解析ライブラリPandasでは、CSVファイルを読み込む際（pd.read_csv()）、特定の文字列が自動的に NaN （欠損値）として扱われるという仕様があります。 ドキュメントによると、デフォルトで以下の値がNaNと解釈されます。 By default the following values are interpreted as NaN: “ “, “#N/A”, “#N/A N/A”, “#NA”, “-1.#IND”, “-1.#QNAN”, “-NaN”, “-nan”, “1.#IND”, “1.#QNAN”, “<NA>”, “N/A”, “NA”, “NULL”, “NaN”, “None”, “n/a”, “nan”, “null “. 実際に起きた問題: 野根（None） という地名
GPUなしローカルでも高速・高精度なOCRができるOnnxOCRが凄い
from onnxocr.onnx_paddleocr import ONNXPaddleOcr def sample(): ocr = ONNXPaddleOcr(use_gpu=False, lang="japan") result = ocr.ocr("sample.png") for data in result: for box, (text, score) in data: print(f"text: {text}, score: {score}") ONNXとは OnnxOCRを紹介する上でONNXとは何ぞやということも軽く解説します。 ONNX（Open Neural Network Exchange）とは、機械学習モデルを異なるフレームワーク間で共有・運用するためのオープンなフォーマットです。 このフォーマットに従うことで、PyTorch、TensorFlow、Sciki
Anthropicで利用されているモダンなPython開発のベストプラクティス
はじめに Anthropic といえば、最近はコード生成ツールが大きな話題になっていますよね。 ＡＩ企業アンスロピック、今年の売上高30億ドルに急増へ 売上高を牽引しているのはコード生成機能です。グーグルの親会社であるアルファベット（[GOOGL.O](https://jp.reuters.com/markets/companies/GOOGL.O)）や、アマゾン・ドット・コム（[AMZN.O](https://jp.reuters.com/markets/companies/AMZN.O)）が支援しているアンスロピックは、コンピュータープログラミングに特化した AI として知られています。 このコード生成機能を活用する際に使用するのが、CLI コマンドの claude です。このツールの完成度は非常に高く、最近ではコード生成時に積極的に利用するエンジニアも増えてきています。 この cla
Pythonの爆速化！ ピュアPythonに組み込まれている機能でコードの最適化を実現するには
Pythonの爆速化を可能にするにはどうすればいいのか。ツールやライブラリに頼る前に、まずはピュアPythonに組み込まれている機能を使い、コードの最適化を図るべきです。なぜなら、処理速度の課題を解決できる可能性が高いからです。今回はPythonのパフォーマンスを劇的に向上させるためのテクニックを解説した『爆速Python』（翔泳社）から、Pythonの組み込み機能のパフォーマンスを引き出す方法を紹介します。 本記事は『爆速Python』の「Chapter 2 組み込み機能のパフォーマンスを最大限に引き出す」から一部を抜粋したものです。掲載にあたって編集しています。 ※本書はTiago Rodrigues Antãoによる『Fast Python: High performance techniques for large datasets』（Manning Publications）の邦
主にVSCodeではじめるPython開発環境構築ガイド | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は、Python開発を主な対象とした開発環境構築の方法をまとめてみたいと思います。 (2023-10-20 : 更新) ・以下の拡張機能を追加 ・Material Icon Theme ・Conventional Commits ・Git History ・Python Test Explorer for Visual Studio Code ・sqlfluff ・Live Share ・コードアシスタントの章を追加 はじめに 主にPythonでの開発を始める際のオンボーディングに使用する前提の内容となっています。 社内でPythonの勉強会を何回か開催したのですが、その時の事前準備資料が元ネタとなっています。 https://github.com/cm-nakamura-shogo/pyth
2022年度版Python環境構築徹底解説 - Qiita
各機能とツールについて、説明していきます。 エディタ Visual Studio Code エディタやIDE(統合開発環境)は好きに選んでいただければ良いとは思いますが、特に希望がないならば、Visual Studio Codeを選んでおけば間違いないでしょう。 Pythonを含む幅広い言語に対応し、豊富な拡張機能を備えている非常にリッチなエディタです。とりわけPythonプロジェクトについては、これさえ有れば、特にIDEなどは必要ないと思います。 インストールは↓から。 バージョン管理ソフト Python3系は日夜アップデートされていて、2022年12月現在の最新verは、3.11.1が提供されています。 とはいえ、プロジェクトによっては、3.7.1までしか動作が担保されていないもの、3.9.0で現在開発中のもの...などがあります。最新のPythonが常に必要、というわけでは決してなく
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
NiceGUI
Your browser does not support ES modules. Please use a modern browser.
VSCodeでPython書いてる人はとりあえずこれやっとけ〜 - Qiita
はじめに Pythonはコードが汚くなりがち（個人的にそう思う） そんなPythonくんを快適に書くための設定を紹介します。 拡張機能編 ここでは Pythonを書きやすくするため の拡張機能を紹介していきます。 1. Error Lens before 「コード書いたけど、なんか波線出てるよ💦」 記述に問題があった場合、デフォルトでは波線が表示されるだけ。。。 after Error Lensくんを入れることによって 波線だけでなくエディタに直接表示される。 はい、有能〜 2. indent-rainbow before Pythonくんは インデントでスコープを認識している。 for の f から下に線が伸びてるけど、ちょっと見にくいなぁ after 色が付いてちょっと見やすくなった！ 3. Trailing Space before 一見、普通に見えるコード after 末尾にある
個人開発したサービスのバックエンドを Python から Rust に書き換えてみた
はじめに 過去の記事『淡路島発着の高速バス検索サービス「GO TO AWAJI」をリリースした話』で Python を用いて個人開発サービスのバックエンドを実装したことを紹介しました。 勉強のためにこのサービスのバックエンドの一部を Rust で書き換えたので、本記事で紹介させて頂きます。 クローラーサービス 今回 Python から Rust に書き換えを行ったのはクローラーと呼んでいるサービスです。 これは GCP の Cloud Run 上で動いており、 Cloud Scheduler から定期的に実行されて以下のことを行っています。 クローラーサービスのシステム構成 各バス会社の新着情報をスクレイピングする 取得した新着情報を DB (SQLite) に保存されている過去の新着情報と比較する 新しい新着情報が存在する場合DBに保存し、SendGrid で筆者宛にメールで通知する な
Python コードでアーキテクチャ図を生成できる Diagrams がめっちゃ便利！ - kakakakakku blog
「Diagrams」を使うと Python コードでアーキテクチャ図を生成できる．サポートされているアイコンセットがとても多く AWS や Google Cloud や Microsoft Azure もあれば，Kubernetes やプログラミング言語なども使える．試してみたけどめちゃくちゃ便利！まさに Diagram as Code だ✌️ diagrams.mingrammer.com セットアップ 「Diagrams」は Graphviz に依存しているため，macOS だと pip と brew ですぐにセットアップできる． $ pip install diagrams $ brew install graphviz 試してみた さっそく Examples を参考にアーキテクチャ図を作ってみた！ サンプル : AWS from diagrams import Cluster, D
Building a toy browser
In the last several weeks, I have been building a toy browser based on an online book, Web Browser Engineering. As someone who spent a fair share of his career on web frontend, it was eye-opening and satisfying. It felt like I had been living on one side of a wall for years and finally visited the other side of the wall. I imagine other web frontend folks would like it as well. The book Web Browse
君には今から3時間で機械学習Webアプリを作ってもらうよ
新人: 「本日データサイエンス部に配属になりました森本です！」 先輩: 「お、君が新人の森本さんか。僕が上司の馬庄だ。よろしく！」 新人: 「よろしくお願いします！」 先輩: 「さっそくだけど、練習として簡単なアプリを作ってみようか」 先輩: 「森本くんは Python なら書けるかな？」 新人: 「はい！大学の研究で Python 書いてました！PyTorch でモデル作成もできます！」 先輩: 「ほう、流石だね」 新人: 😊 先輩: 「じゃ、君には今から 3 時間で機械学習 Web アプリを作ってもらうよ」 先輩: 「題材はそうだなぁ、写真に写ってる顔を絵文字で隠すアプリにしよう」 先輩: 「あ、デプロイは不要。ローカルで動けばいいからね。顔認識と画像処理でいけるよね？」 新人: 😐 新人: (えぇぇぇぇぇぇぇ。3 時間？厳しすぎる...) 新人: (まずモデルどうしよう。てかもら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fstrings.wtf - Python F-String Quiz
async/await 比較（C#, JavaScript, Python） - Qiita
ChatGPT(3.5) に退屈事務作業を依頼したらtkinterでGUI付きインタラクティブ処理プログラムまでノーコードで作ってくれた件
https://twitter.com/clcoding/status/1578192383144910848
https://twitter.com/kanae_udemy/status/1560872379240579072
Diagrams · Diagram as Code
Python だけで作る Web アプリケーション(フロントエンド編)