Kaggle画像コンペでやっていること① - Qiita
データ分析コンペを始めたてな人の中には『どこから手を付けていいのかわからない』方もいらっしゃるのではないでしょうか。『テーブルコンペは特徴量つくればいいけど、画像コンペって何するの？』という声も聞いたことがあります。 ということで、kaggle advent calender 2024の8日目の記事は、画像コンペで何しようかというお話になります。数回にわけて書かせていただこうと思います。基本的に初級者(Expertぐらい)向けですのでご了承ください。 8日目：本記事 14日目：Kaggle画像コンペでやっていること② 21日目：Kaggle画像コンペでやっていること③ 24日目：Kaggle画像コンペでやっていること④ 自己紹介 アカウント名: K_mat Competition Grandmaster (動画像系や時系列センサデータ系が主) 元々、本業はメカニカルエンジニアで博士 Kag
画像grepツールを作ってみた - Qiita
経緯 ごく稀に、プロダクト内に書かれた文言の修正をすることってありますよね。 htmlやテンプレートファイルに文字列が記載されていれば、普通にgrepするなり、sedで一括置換できたりします。 問題は画像です・・・！ 画像の中に置き換えなければいけない文字があることもあると思いますが、画像を目視で見ないと分からないですよね。 過去の経験的にも、あとから置き換えなければいけない文字を含む画像が見つかって、修正する・・・みたいなことを何度か経験したことがあります。 （本来は、画像内にあまり文字を書くのは良くないと思うのだけど・・・説明ページとかだと仕方ない場合もありますよね。） 画像内をgrepできたらいいのに、と思ったのでOCRを活用して画像内の文字列をテキスト化し、その中に調べたい文字列があるかをチェックするツールを作ってみたので紹介します。 OCRとは OCR（Optical Chara
Streamlitの後継者を求めて - Qiita
はじめに ご無沙汰しております。 最近、猫ミームを見るのハマってしまって時間を確保できておりませんでした。 先日、株式会社サイカ様で開催されたJulia Tokyoに参加してきましたが、大学の教授や著者の方、学生や業務にJuliaを使用している方と出会え、いろいろな話をさせていただき大変有意義な時間を過ごすことができました。外国人の方とも知り合えて、家が近いので今度飲みに行く約束をしました（メールが来た。）。 さて、Julia Tokyoを終えてプログラミングのモチベが非常に高い今、Juliaの勉強をするぞ！！！と言いたいところですが、業務でStreamlitアプリを作成したので、今回はStreamlitに関する記事を書きたいと思います。 Streamlitに対して思うこと 皆さんはStreamlit使っていますか？ 私はDjangoやFastAPIに挫折したため、Streamlit信者に
Streamlitの後継者を求めて② - Qiita
はじめに お世話になっております。 猫ミームを見すぎて、X(旧Twitter)もYoutubeも猫ミームだらけになってしまい危機感を感じています。 さて、前回書いた記事をもとにReflex、Solara、Taipyを使用して、Webアプリケーションを弄っていましたが、まったく理解できずに 僕「Streamlitしか勝たん。」 と心の中に住んでいるギャルがつぶやいていたところ、コメントでStreamsyncというフレームワークがあることを教えていただきました。 Streamlitのパチモンか？と気になりながら、調べてみるとJuliaのGenieBuilderのようにGUIなどのコンポーネントをビジュアライゼーションで組み立てることができるとのこと。 気になったらやってみる精神のため、とりあえず触ってみたので、簡単にまとめたいと思います。 前回記事↓ Streamsyncとは フロントエンドは
Python だけで作る Webアプリケーション(フロントエンド編)ー設計方針 - Qiita
お疲れ様です。 前週に投稿した下記の記事について、多くの方に「いいね」、「ストック」していただきました。 皆さん、本当にありがとうございます。 今日は「Python だけで作る Web アプリケーション(フロントエンド編)の設計方針」について部分いたします。 本章ではこれまでの章の内容を踏まえて、設計方針を紹介します。 設計方針は 「積極的に TypeHint を活用すること」 「責務を明確に分け、適切な粒度でオブジェクトを分割すること」 「バックエンドの存在を前提にすること」の 3 つです。 TypeHint を活用する TypeHint とは以下のように変数や戻り値の型をヒントとして記述することです。 これはあくまでヒントなので実行時にその型を強制するわけではありません。つまり実行時にadd("1", "2")と書いても、文字列結合されて 12 になり期待する挙動ではありませんが、異常
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート - Qiita
はじめに みずほリサーチ＆テクノロジーズの @fujine です。 Pythonのリストってとても便利ですよね。可変長で任意のオブジェクトを保存できるため、シーケンシャルなデータなら何でもリストで実装したくなる気持ち、分かります。 でもちょっと待ってください！リスト以外にも便利なコレクション型があること、ご存知でしょうか？コレクション型を適切に使い分けることで、 プログラムの意図を（ドキュメントに頼らなくても）読み手に的確に伝えられる パフォーマンスが向上する などの効果が期待できます。 そこで本記事では、Pythonの組み込み型や標準ライブラリを対象に、リストと似たコレクション型をどのように使い分けるか？の案をフローチャート化しました。それぞれの特徴や使い方を、次章にて解説していきます。 用語の整理 先に、解説で使用する用語をざっくり整理します。 コレクション(Collection)型
Python3のdequeの実装を調べる: - Qiita
この問題で、Pythonのdequeのindexed参照が$O(N)$なんだ！というポストをみかけました。Pythonのdequeの実装はどうなっているのでしょうか？以下はPython-3.8.10.tar.gzのコードから参照します。 冒頭のコメントを読む(日本語のみ) dequeの特徴はappendやpopにおいて操作するデータ以外の位置を移動させないことだ。加えて、(全体に対する)reallocを発生させない Pythonのdequeは固定ブロックサイズのダブルリンクドリストに格納される。これは一般のリンクドリストは１つの要素ごとにnxt/prvをもったりして非効率的だから。また、連続アクセスのキャッシュ局所性への対応も実現する。 ダブルリンクドリストのイメージとdequeの構造体の実装 以下はイメージです。各要素は前後の要素へのポインタを持ちます。各要素は要素のデータを持ちます。
import polars as pd でどこまでいけるか！ - Qiita
shape: (891, 12) ┌─────────────┬──────────┬────────┬──────────────────┬───┬────────────┬─────────┬───────┬──────────┐ │ PassengerId ┆ Survived ┆ Pclass ┆ Name ┆ … ┆ Ticket ┆ Fare ┆ Cabin ┆ Embarked │ │ --- ┆ --- ┆ --- ┆ --- ┆ ┆ --- ┆ --- ┆ --- ┆ --- │ │ i64 ┆ i64 ┆ i64 ┆ str ┆ ┆ str ┆ f64 ┆ str ┆ str │ ╞═════════════╪══════════╪════════╪══════════════════╪═══╪════════════╪═════════╪═══════╪═══════
そろそろ我々はsortedcontainersを使えるようになった方がいい - Qiita
Pythonのsortedcontainersのチートシートです。 まえがき 競技プログラミングをやっている人向け： 長年AtCoderのPyPy環境にはC++でいうstd::setやstd::mapにあたるデータ構造が標準で実装されておらず、それらが想定解で要求される問題ではより難しい別解を実装したり、外部のライブラリを借りてきたりする必要がありました。この度、AtCoderのジャッジアップデートによってsortedcontainersライブラリが使えるようになりました。これは非常に強力なデータ構造ライブラリなので、これを機に勉強して使いこなせるようになっておきましょう。 競技プログラミングをやっていない人向け： sortedcontainersライブラリはPython用のデータ構造ライブラリです。本記事では、https://grantjenks.com/docs/sortedconta
不動産取引価格情報取得API（国交省）のPythonラッパーを作った - Qiita
お断り この記事を作った時点では、このAPIは動作していたのですが、2024/5/12日時点では、APIが停止したため、このラッパーも意味をなさなくなりました。 不動産関連のデータ取得には、国交省から新たな不動産ライブラリが利用できます。APIの利用には申請が必要ですが、無料で活用できます。 以前のものより充実した内容になっているので、おすすめのAPIです。 この記事はもう使えなくなったAPIのラッパーに関する記事ということでお読みいただけますと幸いです。 本文 最近、日本の不動産価格が上昇しているという記事をよく見ます。昨日はマンションが値上がりしているという記事を見かけました。 足元金利が上がり始めているので、この上昇が継続するのかもよくわからないけど、どんな感じで取引されているのか理解したいと思いました。一方で、不動産取引は取引所とかで取引されているわけでないので、どれくらい盛り上が
【業務効率化】ファイルorフォルダの更新を監視するプログラム - Qiita
目次 背景 目的 内容 所感 背景 仕事をしていると、共通ファイルサーバにあるファイルが更新されたらすぐに知りたいと思う場面が多々ありました。毎回フォルダにアクセスして更新されているかを確認するのは面倒であり、ファイルが更新されたら誰かがお知らせしてくれれば便利だなぁと思っていました。 目的 フォルダにあるファイルが更新されたら、通知されるプログラムを作成すること。 内容 コードのコンセプト プログラムの流れを考えます。 まず、ファイルを監視するのか、フォルダを監視するのかを場合分けする必要があります。ファイルとフォルダの場合についてそれぞれについて深掘りしていきます。 【ファイルの場合】 プログラムを実行した際のファイルの更新日を記録する 更新日を定期的に取得する その2つの日付を比較して異なれば通知する 【フォルダの場合】 [ファイルの個数を監視] プログラムを実行した際のファイルの数
PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT) - Qiita
記事のモチベーション 今回の記事を各モチベーションは、最近Techplayさんにて出版記念セミナーを開催させていただいた際に、Panelの紹介をしていると、「以前Dashを使われていませんでしたっけ？」というような質問をいただきました。 Dashに関しては、「Pythonインタラクティブ・データビジュアライゼーション入門（朝倉書店 2019/12）」で執筆し、Panelに関しては「Pythonデータ分析ハンズオンセミナー（日経BP 2023/8）」でとりあげました。Streamlitは残念ながら執筆機会はないのですが、会社の製品のプロトタイプを作って公開してみたりしています。 なので、その辺りのツールの使い分けが紹介できると良いと思ったのがモチベーションです。 そんなモチベーションの中、執筆用に調査していると、Streamlitのサイトに面白いブログがあったので、生成AIにアプリケーション
FastAPIの"def"と"async def"って結局「どっちを使えば良いんじゃろう？」 - Qiita
はじめに FastAPIを始めてみたところ、async/await構文があり、Pythonにも「async/await構文があるんだなー」と初めてその存在を知った。 しかし、FastAPIのサンプルコードやネットで公開されているコードを見ると、async defとdefをどのように使い分けているのかよくわからず、結局、「どっちを使えば良いんじゃろう？」という気持ちになったので、async/await、同期 / 非同期（並行処理）を調べつつ、結論を導いてみることにした。 いきなり結論 Path operation 関数の場合、async defではなくdefで、基本、実装する。 defだけでも、外部スレッドプールで非同期処理されるようにフレームワークとして実装されているとのこと async defを使った方が良いのは以下の2ケース async/awaitをサポートしているライブラリを利用した
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
Python3.12からPEP695-Type Parameter Syntax(型引数構文)が導入され、型変数を使ったクラスや関数の定義が大きく変わる - Qiita
目次 はじめに PEP全文 このPEPが提案された経緯 「混乱のもと」とは何か 型変数のスコープルールがわかりにくい いつcovariantとcontravariantを使う(使わない)べきかわかりにくい 型引数の順番ルールがわかりにくい グローバルに宣言しているので「すべての参照」に引っかかる 型変数の命名にはプライベート性と冗長さを意識しなければならない TypeVarライクやGenericライクなシンボルをtypingからインポートする必要がある PEP695導入後にPythonの書き方はどう変わるか TypeVarシンボルの宣言を新たな構文に置き換えることができる 関数の場合 クラスの場合 Protocolを定義するための構文 TypeVarTupleやParamSpecの宣言を代替する構文 ジェネリック型エイリアスを表現するためのtype文の登場 型の束縛(TypeVarのbou
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
それ，numpy で書かない？--6-- - Qiita
async/await 比較（C#, JavaScript, Python） - Qiita
Pythonで終了時に必ず何か実行したい (続編) - Qiita
使いこなせていますか？Python 組み込み関数全71件 完全解説[2023 最新版] - Qiita![使いこなせていますか？Python 組み込み関数全71件 完全解説[2023 最新版] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/66c895781f1ef5cd10473b6c1abdb0245706c29d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU0JUJEJUJGJUUzJTgxJTg0JUUzJTgxJTkzJUUzJTgxJUFBJUUzJTgxJTlCJUUzJTgxJUE2JUUzJTgxJTg0JUUzJTgxJUJFJUUzJTgxJTk5JUUzJTgxJThCJUVGJUJDJTlGUHl0aG9uJTIwJUU3JUI1JTg0JUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJUU5JTk2JUEyJUU2JTk1JUIwJUU1JTg1JUE4NzElRTQlQkIlQjYlMjAlRTUlQUUlOEMlRTUlODUlQTglRTglQTclQTMlRTglQUElQUMlNUIyMDIzJTIwJUU2JTlDJTgwJUU2JTk2JUIwJUU3JTg5JTg4JTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1lMjE5YWZlMWUzM2IwMmZkZTc5YTI2MDU3NDVlNWFhZQ%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB0X2FraSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Nzk1Zjc5ZDliZWJjMGEyMTgyMDRiOWFjNWUyZjYzN2I%26blend-x%3D120%26blend-y%3D445%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-TnVjbw%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D134%26txt-y%3D546%26s%3D192d41034fbbac3a26dc4c794f60e67b)
【Python】isinstanceをmatch/caseに置き換える - Qiita
