GitHub - Mishima-syk/py4chemoinformatics: Python for chemoinformaticsYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Python言語による実務で使える100+の最適化問題 | opt100
指針 厳密解法に対しては、解ける問題例の規模の指針を与える。数理最適化ソルバーを使う場合には、Gurobi かmypulpを用い、それぞれの限界を調べる。動的最適化の場合には、メモリの限界について調べる。 近似解法に対しては、近似誤差の指針を与える。 複数の定式化を示し、どの定式化が実務的に良いかの指針を示す。 出来るだけベンチマーク問題例を用いる。OR-Libraryなどから問題例をダウンロードし、ディレクトリごとに保管しておく。 解説ビデオもYoutubeで公開する． 主要な問題に対してはアプリを作ってデモをする． 以下，デモビデオ： 注意 基本的には，コードも公開するが， github自体はプライベート そのうち本にするかもしれない（予約はしているが， 保証はない）． プロジェクトに参加したい人は，以下の技量が必要（github, nbdev, poetry, gurobi); ペー
SQLAlchemy + PostgreSQL で Upsert を行う（ユニークキーに重複があるデータのバルクインサート） - luggage baggage
こんにちは。吉田弁二郎です。 タイトルにある Upsert とは、Update or Insert のことです。あるテーブルにデータを insert しようとするとき、ユニーク制約が効いているキーが過去データのものと重複して insert できない場合、update に切り替える処理のことですね。データ量が多くキー重複の懸念がある状況で multiple insert したい場合などに有効な手段の一つです。 私はよく PostgreSQL を使うのですが、Python 経由で操作したい時には psycopg2 とか SQLAlchemy を選ぶことが多いです。特に SQLAlchemy はオブジェクト的にデータベースを操作できるため、web アプリを開発する時に使っています。 今回は、PostgreSQL 9.5 以上で利用可能な upsert 構文 ON CONFLICT ... DO
Practical Data Science with R and Python: 実践的データサイエンス
実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます）。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの
PythonのWindows用EXE化をDockerコンテナで実現する方法 - Qiita
Docker上のLinuxで使ってるPythonコードを、人に渡すためにぱぱっとEXE化したい人むけ。 利用するコンテナ windowsでPyInstallerを実行するコンテナを配布されている方がいらっしゃるので、利用させていただきます。 DockerHub：cdrx/pyinstaller-linux Dockerfileを読んだところ、以下ののWindowsアプリケーションをLinux上で実行するソフトウェアを利用しているようです。 外部サイト：WINE HQ サイトのTOPに乗っているWineHQの説明（和訳は適当なのであしからず） Wine (元々 "Wine Is Not an Emulator "の頭文字をとったもの) は、Linux、macOS、BSDなどのPOSIX準拠のオペレーティングシステム上でWindowsアプリケーションを実行できる互換性レイヤーです。仮想マシンや
Pythonスクリプトの難読化 | Let's Hack Tech
PyInstallerだけだとちょっとこなれた程度の人には効きますが、それでも比較的簡単にデコンパイルされてしまいます。 何としても表に出したくないコードがあったため、必死にPythonスクリプトの難読化を調べました。 単純に全部難読化するだけならちょっとググるだけでどこにでも情報は出てくるのですが、各種条件全部適用させるために割と時間食ったのでメモ書き。 PyArmorの pack コマンドで一気にexeファイル化までいける 超結論からです。 PyArmorのpackコマンドからPyInstallerが立ち上がります。 そのまま放っておいたら勝手に難読化した上でexeファイル化出来る事が分かりました。 リバースエンジニアリング不可レベルの難読化かけれるのはPyArmorくらいみたいですね。ほぼ一択。 それでもその気になれば解析できるのかもしれませんが、とりあえずデコンパイルしようとする相
How to Set Up a Python Project For Automation and Collaboration
How to Set Up a Python Project For Automation and Collaboration [ engineering production python productivity 🔥 ] · 20 min read As your Python project gets larger in scope, it can become difficult to manage. How can we automate checks (e.g., unit testing, type-checking, linting)? How can we minimise collaboration overhead (e.g., code reviews, consistency)? How can we maximise developer experience
たった一文でPandasのapplyメソッドを高速化する方法（検証計算あり） - Qiita
以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能なときはベクトル化するので、swifterの計算時間は単純にベクトル化した場合と ほぼ等しくなるはずです。これを確認してみましょう。 import pandas as pd import numpy as np import dask.dataframe as dd import swifter import multiprocessing import gc pandas_time_list = [] dask_time_list
メディカルAI専門コース オンライン講義資料
News¶ 2019/12/06: 講義資料Ver 1.1を公開（2019年度版） 2018/12/17: 講義資料Ver 1.0を公開（2018年度版） 本講義資料について¶ 本ページは 日本メディカルAI学会公認資格：メディカルAI専門コースのオンライン講義資料（以下本資料） です． 本講料を読むことで，医療で人工知能技術を使う際に最低限必要な知識や実践方法を学ぶことができます．本資料は全てGoogle Colaboratoryというサービスを用いて執筆されており，各章はJupyter notebook (iPython notebook)の形式（.ipynb）で以下のリポジトリにて配布されています（notebooksディレクトリ以下に全ての.ipynbファイルが入っています）： japan-medical-ai/medical-ai-course-materials 想定受講者¶ 受
DASKによる探索的データ分析(EDA) - 株式会社カブク
株式会社カブクで、機械学習エンジニアとしてインターンシップをしている杉崎弘明（大学3年）です。 目次 本記事の目的 探索的データ解析（EDA）とは何か KaggleのコンペティションでEDA サイズの大きいデータの扱い方 DASK EDAの実行 最後に 本記事の目的 本記事では探索的データ解析（EDA）の説明と並列処理フレームワークDASKの処理解説、DASKを用いた実際のデータに対するEDAの一例を紹介いたします。 データはKaggle Competitionにおいて公開されている「TalkingData AdTracking Fraud Detection Challenge」を使用します。 Kaggleという言葉を初めて聞いた方は以下のサイトなどをご覧ください。 – https://www.codexa.net/what-is-kaggle/ 実行環境 – OS: Ubuntu 16
Gpy vs scikit-learn: pythonでガウス過程回帰 - nykergoto’s blog
Gpy と Scikit-learn Python でガウス過程を行うモジュールには大きく分けて2つが存在します。 一つは Gpy (Gaussian Process の専門ライブラリ) で、もう一つは Scikit-learn 内部の Gaussian Process です。 GPy: GitHub - SheffieldML/GPy: Gaussian processes framework in python Scikit-Learn 1.7. Gaussian Processes — scikit-learn 0.24.1 documentation この2つのモジュールでどのような違いがあるのかを以下の項目で比較していきます。 カーネルの種類, 可視化 どんな種類のカーネルがあるのか 可視化は容易か 予測モデルの作成 モデルの作成はどのように行うのか モデルの訓練方法, 結果の可
リダイレクトの警告
表示中のページから https://qiita.us5.list-manage.com/track/click?u=e220ac811523723b60d055c87&id=0940b1ee28&e=6255749548 にリダイレクトしようとしています。 このページにリダイレクトしないようにする場合は、前のページに戻ってください。
pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Powerful Exploratory Data Analysis in just two lines of code - KDnuggets
CS50's Web Programming with Python and JavaScript | Harvard University
Pythonプログラミング入門 — Pythonプログラミング入門 documentation
Kyoto University Research Information Repository: プログラミング演習 Python 2019
Welcome to dyplot’s documentation! — dyplot documentation
【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - Qiita
GitHub - yoyoyo-yo/Gasyori100knock: image processing codes to understand algorithm
