Python関連記事まとめ | note.nkmk.me
環境情報・設定 Pythonのバージョンを確認、表示（sys.versionなど） Pythonが実行されている環境のOSやバージョン情報などを取得 カレントディレクトリを取得、変更（移動） 実行中のファイルの場所（パス）を取得する__file__ 環境変数を取得・追加・上書き・削除（os.environ） 再帰回数の上限を確認・変更（sys.setrecursionlimitなど） コードの書き方・ルール Pythonはインデント（スペース4文字）でブロックを表す 識別子（変数名など）として有効・無効な名前、命名規則 キーワード（予約語）一覧を確認するkeyword 長い文字列を複数行に分けて書く メソッドチェーンを改行して書く pip（パッケージ管理） パッケージ管理システムpipの使い方 pipでrequirements.txtを使ってパッケージ一括インストール pip list /
プログラミング演習 Python 2021( Version 2021/10/08 (コラム編) )
プログラミング演習 Python 2021 コラム編 京都大学 国際高等教育院 喜多 一 京都大学 情報環境機構 森村吉貴 京都大学 高等教育研究開発推進センター 岡本雅子 Version 2021/10/08 目次 Next Chapter Table of Contents 2 目次 目次 2 0. コラム 0 始まり ........................................................................................................4 0.1 Python は 0 ではじまる .................................................................................. 4 0.2 1 始まりではいけないのか .......
wav2vec 2.0 を使って 手軽に音声認識モデルを触れるようになろう - NTT Communications Engineers' Blog
この記事は NTTコミュニケーションズ Advent Calendar 2021 の20日目の記事です。 はじめに こんにちは。プラットフォームサービス本部アプリケーションサービス部の是松です。 NTTコミュニケーションズでは自然言語処理、機械翻訳、音声認識・合成、要約、映像解析などのAI関連技術を活用した法人向けサービスを提供しています。（COTOHA シリーズ） NTTコミュニケーションズがこのようなAI関連技術を活用したサービスを展開する強みとして、 NTT研究所の研究成果が利用可能であること 自社の他サービスを利用しているお客様に対してシナジーのあるサービスを提案できること この2点が挙げられると思います。 実際に、私が担当している COTOHA Voice Insight は 通話音声テキスト化によってコンタクトセンターの業務効率化・高度化を実現するサービスなのですが、 NTT研
プログラミング演習 Python 2019 コラム編 京都大学 国際高等教育院 喜多 一 Version 2020/02/13 0 目次 次の章へ 目次へ 2 目次 0. コラム 0 始まり ............................................................................ 4 0.1 Python は 0 ではじまる............................................................ 4 0.2 1 始まりではいけないのか ........................................................ 4 0.3 結局は .........................................................
こんにちは、TURING株式会社でインターンをしている東大工学部4年の井上です。 TURING(チューリング)は完全自動運転EVを開発するベンチャー企業です。 完全自動運転AIの開発のため、独自にデータの収集を行っており、 2022年内に500時間 2023年内に50,000時間 という目標を掲げています。このうち、2022年の500時間のデータ収集については既にデータベース化が完了し、次の50,000時間の達成に向けた開発が進められています。 チューリング社ではデータ取得のため、自社開発の収集キットを搭載した車両に乗車するデータ取得チームを結成し、公道上での走行データの取得を開始致しました。2022年4月〜10月のフェーズ1において500時間分の走行データの試験取得を完了していますが、2022年12月から開始するフェーズ2として2023年末までを目標期間として、国内最大規模である50,0
第2回：ナップサック問題を色々な方法で解いてみた【ブレインパッドの数理最適化ブログ】 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドの社員が「数理最適化技術」に関して連載するこの企画。 第2回は、当社のデータサイエンティストが、有名問題「ナップサック問題」の様々な解法を紹介しながら、実際に筆者が設定した問題例を解く過程を紹介しています。 こんにちは。アナリティクスサービス部の内池です。この記事では 【連載】ブレインパッドの数理最適化ブログ の第2弾として、最適化手法入門 データサイエンス入門シリーズ を読んで学んだことを活かし、現実の問題を様々な方法で解いていきたいと思います。 今回のテーマは組合せ最適化の有名問題であるナップサック問題です。ナップサック問題といえば「動的計画法」を思い浮かべる方が多いと思いますが、動的計画法だけでも様々なバリエーションがある他、動的計画法以外の効率的な解法も存在します。こ
(目次はこちら) はじめに 3年ほど前に、Deep FeaturesとFaissというタイトルで画像検索に関して書いたが、2020年3月AWSから、Build k-Nearest Neighbor (k-NN) similarity search engine with Amazon Elasticsearch Serviceが発表されたことを教えてもらい飛びついた。しかもただただサポートされているだけじゃなくて、HNSWで実装されているとのこと。 Built using the lightweight and efficient Non-Metric Space Library (NMSLIB), k-NN enables high scale, low latency nearest neighbor search on billions of documents across tho
Python競プロライブラリの整理をする - 菜
（19/11/22 追記） 一応最新のはgithubに上げてる github.com そのうち整理されるかもしれないので個別のページへのリンクを貼ったりするのはやめといたほうがいいかも この記事は何 PyCharmに常に貼ってたライブラリが長くなりすぎて整理する必要が出てきた 使わなくなったライブラリを消すのが何となくもったいないので公開してから消す ついでに競プロライブラリを共有する 前置き この記事のコードは公開を前提に書いたわけじゃないので、Python競プロライブラリを探しているならまず↓のサイトを見るといいと思う アルゴリズム [いかたこのたこつぼ] DTMでもよくお世話になりました 実装メモ (Python) - yaketake08's 実装メモ ライブラリ整理 拡張ユークリッド互除法・中国剰余定理 拡張ユークリッド互除法 # 拡張ユークリッド互除法 # gcd(a,b)
[YOLOv8 Instance Segmentation] 「きのこの山」に潜伏する「たけのこの里」を機械学習で見つけてみました 〜データセットは、Segment Anything Modelで自動的に生成されています〜 | DevelopersIO
[YOLOv8 Instance Segmentation] 「きのこの山」に潜伏する「たけのこの里」を機械学習で見つけてみました 〜データセットは、Segment Anything Modelで自動的に生成されています〜 1 はじめに CX事業本部製造ビジネステクノロジー部の平内（SIN）です。 YOLOv8は、イメージ分類・物体検出・セグメンテーション・骨格検出などに対応していますが、今回は、セグメンテーションモデルをファインチューニングして、「きのこの山」と「たけのこの里」を検出してみました。 最初に、動作している様子をご確認下さい。比較的に精度高くセグメンテーション出来ていると思います。 2 データセット作成 セグメンテーションモデルを学習する為のデータは、下記のように、対象物の輪郭座標が必要であり、これを大量に作成するのは、結構な膨大な作業量になってしまいます。 そこで、この作業
![[YOLOv8 Instance Segmentation] 「きのこの山」に潜伏する「たけのこの里」を機械学習で見つけてみました 〜データセットは、Segment Anything Modelで自動的に生成されています〜 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/39c333a033a0d0be80ef5ce7121caeffe0f678de/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F02%2Ficon.png)
Amazon SQSを使ってAWS Step Functionsで長時間かかる処理が終わるのを待つ | DevelopersIO
Amazon SQSのFIFOキューを使うことで正確にメッセージの処理状態を把握することができます。 このことを活用することで外部APIコールなどの長時間かかる可能性のある処理が終わるのを待ってから次のメッセージの処理に移る実装ができます。 AWS Step Functionsの中に（外部APIの呼び出しなどで）長時間かかることもある処理がある場合に、その処理の結果を待ち、重複を防ぐために処理中は新しい処理のリクエストをしないという仕組みが必要になり、実装してみました。 重複の発生する実装（SQS未使用の実装） 次の手順で1分毎に実行するStep Functionsを定義します。 $ sls create --template aws-python3 --path sample-app $ cd sample-app $ sls plugin install -n serverless-p
YOLOv5でアヒルを検出するモデルを作ってみました。(NVIDIA Jetson AGX Orin + l4t-pytorch:r35.2.1-pth2.0-py3) | DevelopersIO
YOLOv5でアヒルを検出するモデルを作ってみました。(NVIDIA Jetson AGX Orin + l4t-pytorch:r35.2.1-pth2.0-py3) 1 はじめに CX 事業本部のデリバリー部の平内（SIN）です。 YOLOは、物体検出で広く使用されている深層学習モデルですが、次々と新しいバージョンが発表されています。 【動画あり】早速YOLOv8を使って自作データセットで物体検出してみた YOLOv7の実装を理解する（YOLOv7のコードを読んでみた） 今回は、現時点で、比較的情報量が多く、簡単に利用可能になっているYOLOv5を使ってみた記録です。 YOLOv5は、PyTorchがベースとなっていますが、使用した NVIDIA Jetson AGX Orin では、pipで最新のPytorch(2.0.0)をインストールしてしまうと、Cuda(GPU)が利用できなか
Siamese NetworkによるDeep Metric Learningで学習データにない画像のクラスを予測する - Qiita
最近、Meta-Learningについて勉強したのでMeta-Learningの１つの手法であるMetric Learningについて記事をかいてみました。Metric Learningの基本的な手法であるSiamese NetworkをKerasとPytorchで実装して簡単な精度評価まで行いました。 Kerasの実装はシンプルなSiamese Networkを実装したもので、Pytorchの実装は以下の論文のアーキテクチャを実装し、論文と同様に精度評価してみたものになります。 Siamese Neural Networks for One-shot Image Recognition Meta-Learningとは？ Meta-Learning: Learning to Learn Fast より引用 Meta-learning, also known as “learning to
1 はじめに CX事業本部の平内（SIN）です。 機械学習で画像から人物を検出する事が可能ですが、検出された人物が、フレーム間で一致できれば、追跡やカウントも可能なります。 OpenVINO™ toolkitの紹介ビデオでは、ショッピングモールで、人物の追跡を行うデモが公開されています。 Pedestrian Tracking Demo | OpenVINO™ toolkit | Ep. 23 | Intel Software 今回は、上記（C++）を参考にさせて頂いて、Pythonで人物の追跡をやってみました。 最初に動作確認している様子です。まだまだですが・・・ 動画は、Pixels Videosを利用させて頂きました。 2 しくみ 人物の追跡は、２つのモデルを組み合わせることで動作しています。 人物検出モデル 個人識別モデル 人物検出モデルで、人を検出しその部分を切り出します。 続い
この記事についての注意 この記事は、下記のブログにリライト中なのでできればそちらを見ていただければと思います。 前処理とは？ 蓄積したデータを、目的の作業（機械学習など）をするために、綺麗にしたり、加工したりすること。 機械学習を行う方々は、データ収集作業とあわせて この作業に1番の作業時間を使っているらしい。 前処理を学習する上で登場する言葉 データクレンジング データクリーニングと同義。多分「前処理」の中の一部の作業を指す。 データクリーニング データクレンジングと同義。 データラングリング 上の２つよりは広義。多分「前処理と同義」か、「前処理を内包」している。 前処理のフロー 下記のようなことを行う。もっと効率的な順序があるかもしれないし、もっと細かい作業もある。 事前分析 データの情報量、状態などをチェックする。 クリーニング 列名の変更 表記揺らぎのチェック 重複行のチェック 欠
普段、筆者がデータの前処理で使っているpandasやNumPy、scikit-learnなどのモジュールの使い方を逆引きのリファレンス形式でまとめました。 一部のサンプルデータや前処理の手法については、データサイエンティスト協会の100本ノック(構造化データ加工編)を参考にさせていただきました。素晴らしいコンテンツをご用意頂いたこと本当に感謝します。 それでは、以下のモジュールをインポートして、この記事をデータ前処理時の辞書代わりにして利用してください。 モジュールのインポート import numpy as np import pandas as pd from sklearn import preprocessing as pp from sklearn.model_selection import train_test_split from imblearn.under_sampli
社内ランチ会のグループ分けを遺伝的アルゴリズムで最適化してみた - Insight Edge Tech Blog
Introduction こんにちは、データサイエンティストの善之です。 Insight Edgeでは社内のコミュニケーション活性化を目的として定期的にシャッフルランチを開催しています。 企画の全体像については以前ntさんに投稿いただいた 社員同士の距離を縮める！シャッフルランチ会開催レポート をご覧ください。 今回は、ntさんの記事で詳しく触れていなかった「グループ分けを最適化するアルゴリズム」の詳細をご紹介したいと思います。 目次 実現したいことと課題 要件の整理 アルゴリズムの概要 Pythonで実装 実行結果 引き継ぎのためにStreamlitでUIを作成 まとめ 実現したいことと課題 ランチ会の目的は以前の記事にも記載の通り、コミュニケーション活性化のために社員同士の接点を増加させることでした。 したがって、普段あまり接点がない人どうしをランチ会でできる限り巡り合わせることが最大
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
京都大学プログラミング演習Python2019コラム編.pdf
Googleマップを使ってランダムな運転経路生成を100倍速にする
Elasticsearchで類似ベクトル探索 / 類似画像検索 - Qiita
Person Re-Identificationで人物を追跡してみました | DevelopersIO
Python Pandas データ前処理 個人メモ - Qiita
Python(pandas、NumPy、scikit-learnなど)によるデータの前処理大全