Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか - MonotaRO Tech Blog
Software Design連載開始 ※ (2021/09/02 08:55) 「Pythonを用いて開発を始めたのが2003年」を「Pythonを用いて開発を始めたのが2002年」に修正 こんにちは。金谷です。 このたび、モノタロウにおけるPython大規模開発に関する取り組みを、技術評論社様で発刊されている Software Design に連載させていただくことになりました。 モノタロウがPythonを用いて開発を始めたのが2002年。2021年の現在もPythonを用いた開発が続けられています。 事業の成長に伴い、関連するシステムやエンジニアの数も増え続けていくなかで、いかに安定的に価値を提供し続けられるのか。 モノタロウにおける取り組みを、開発や運用周りを通してご紹介していきます。 本記事の初出は、 Software Design2021年8月号「Pythonモダン化計画（第1
[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 （2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
![[Python]機械学習などでテキストデータを特徴量にする際のソースコード集 – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
Pythonでリストをソートするsortとsortedの違い | note.nkmk.me
Pythonでリストを昇順または降順にソートするにはsort()とsorted()の2つの方法がある。文字列やタプルをソートしたい場合はsorted()を使う。
Pythonメモ : あまり知られていない（かもしれない）テクニック集 その2 - もた日記
listtocommaseparated.py : リストをカンマ区切りで出力 minmaxindex.py : リスト内の最小値、最大値のインデックスを取得 removeduplicatefromlist.py : リストから重複要素を削除 reverselist.py : リストを逆順にする reversestring.py : 文字列を逆順にする flattenlist.py : ネストされたリストの平坦化（flatten） sortlistkeepindices.py : ソート前のインデックスを保持 transpose.py : 転置 copylist.py : リストの浅いコピー、深いコピー merge_dict.py : 辞書をマージ dictionaryget.py : 辞書にキーが存在しない場合にgetメソッドを使用 dictdefaultvalue.py : 辞書のデフ
決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog
こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多
第２回 可換環の定義 - Pythonで学ぶ「プログラミング可換環論」
こんにちは。グレブナー基底大好きbotです。 第１回では、環を定義し、その簡単な具体例として、整数環や多項式環を挙げました。 実は、これらは両方とも"可換環"と呼ばれる特殊な環になっています。 第２回では、可換環と非可換環について取り上げたいと思います。 復習 「環」とは、"足し算"と"掛け算"の演算ができて、次の８つの条件を満たす集合のことでした。 定義1 $R$ を集合とし，2つの演算 "$+$" と "$*$" が入っているとする．この時，$R$ が次の8つの条件を満たすならば，$R$ は環であると呼ばれる． 任意の $R$ の元 $a,b,c$ に対し，$(a+b)+c=a+(b+c)$． (和の結合律) $R$ の元 $0$ が存在して，任意の $R$ の元 $a$ に対し，$a+0=a$． (0の存在) 任意の $R$ の元 $a$ に対し，ある $R$ の元 $b$ が存在し
Pythonで学ぶ「プログラミング可換環論」
こんにちは。グレブナー基底大好きbotです。 第１回では、環を定義し、その簡単な具体例として、整数環や多項式環を挙げました。 実は、これらは両方とも"可換環"と呼ばれる特殊な環になっています。 第２回では、可換環と非可換環について取り上げたいと思います。 復習 「環」とは、"足し算"と"掛け算"の演算ができて、次の８つの条件を満たす集合のことでした。 定義1 $R$ を集合とし，2つの演算 "$+$" と "$*$" が入っているとする．この時，$R$ が次の8つの条件を満たすならば，$R$ は環であると呼ばれる． 任意の $R$ の元 $a,b,c$ に対し，$(a+b)+c=a+(b+c)$． (和の結合律) $R$ の元 $0$ が存在して，任意の $R$ の元 $a$ に対し，$a+0=a$． (0の存在) 任意の $R$ の元 $a$ に対し，ある $R$ の元 $b$ が存在し
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co
データ分析・解析をやりたいエンジニアにおすすめ！Pythonの入門スライド13選
Pythonには「NumPy」や「Pandas」などデータ分析に役立つライブラリが充実しており、中にはPythonからRを呼び出すことができるライブラリもあります。 これからデータ分析を始めるエンジニアのために、Pythonでのデータ分析に関する入門スライドを13個まとめてご紹介いたします。 データ分析の初心者向けのスライドを中心にピックアップしていますので、これからデータ分析を学びたいというエンジニアの方はぜひご覧ください。 【ご自身のデータ分析スキルの価値を知りたい方はご相談ください】 ・市場価値を知りたい方の個別相談会 ・キャリアアップを目指す方の個別相談会 ・転職のタイミングや業界動向を知りたい方の相談会 10分でわかるPythonの開発環境 10分でわかるPythonの開発環境 from Hisao Soyama Pythonを書く前にやっておくべき開発環境の構築についてまとめた
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Python 標準ライブラリ — Python v2.6.2 documentation
Python 言語リファレンス ではプログラミング言語 Python の厳密な構文とセマンティクスについて説明されていますが、このライブラリリファレンスマニュアルでは Python とともに配付されている標準ライブラリについて説明します。 また Python 配布物に収められていることの多いオプションのコンポーネントについても説明します。 Python の標準ライブラリはとても拡張性があり、下の長い目次のリストで判るように幅広いものを用意しています。このライブラリには、例えばファイル I/O のように、Python プログラマが直接アクセスできないシステム機能へのアクセス機能を提供する (Cで書かれた) 組み込みモジュールや、日々のプログラミングで生じる多くの問題に標準的な解決策を提供するPython で書かれたモジュールが入っています。これら数多くのモジュールには、プラットフォーム固有の
Python チュートリアル — Python v2.6.2 documentation
ナビゲーション 索引 モジュール | 次へ | 前へ | Python v2.6.2 documentation » Python は簡単に習得でき、それでいて強力な言語の一つです。 Python は高レベルなデータ構造を効率的に実装していて、 オブジェクト指向プログラミングに対しても、単純ながら効果的なアプローチをとっています。 洗練された文法とデータ型を動的に決定する機能、そしてインタプリタであるという特徴から、 Python はほとんどのプラットフォームの幅広い対象領域において、 スクリプティングや迅速なアプリケーション開発のための理想的な言語になっています。 Pythonインタプリタ自体と膨大な標準ライブラリは、ソースコード形式や、 主要なプラットフォーム向けのバイナリ形式で、Python Web サイト http://www.python.org/ から無料で入手でき、かつ無料で
自然言語処理にはやっぱりPythonがいちばん - nokunoの日記
Quoraで「自然言語処理に適したプログラミング言語はどれか？」という質問をしたところ，やっぱりPythonが一番人気のようです．What programming language is suitable for natural language processing? - Quora理由として以下が挙げられていますNLTKがあるから正規表現ライブラリ（re）が強力だからnumpyとscipyがあるから スクレイピングにBeautifulSoupやScrape.pyが使えるから Django / Pylons / TornadoのようなWebフレームワークがあるから また，機械学習のライブラリを言語別にまとめた質問もありました．こちらもJava, Python, Rが多いですね．Which programming language has the best repository of ma
Python基礎文法最速マスター - D++のはまり日誌
↓に便乗してPython版も書いてみました。 Perl基礎文法最速マスター - Perl入門〜サンプルコードによるPerl入門〜 Ruby基礎文法最速マスター - Route 477 PHP基礎文法最速マスター - Shin x blog ほとんど上記の記事と同じような内容で書いたのでPython入門記事としては色々抜けていたりしますがご了承ください。 Pythonは現在3.x系がリリースされていますが本記事では基本的にPython2.6について書きます。 参考文献： 初めてのPython (asin:4873113938) Python Documentation Index http://www.python.org/doc/ Python 和訳Document http://docs.python.jp/2/ 0. 対話環境として使う 対話環境 pythonはそのまま実行すると対話環
Python でグラフ・(疎)行列計算するためのライブラリを紹介するよ - 武蔵野日記
PageRank とか HITS といったリンク解析ではグラフの計算が頻発するのだが、Python でそのあたり書くときの話をまとめてみる。グラフは行列で表現できる(ノード×ノード次元の行列 A を考えて、ノード i からノード j にエッジがあるとき、A[i,j] に値を入れておけばよい。無向グラフのときは A[i,j] = A[j,i] なので対称行列になる)ので、要は行列を手軽に扱えるライブラリの紹介である。 実は Python の行列演算ライブラリはどれも lapack/blas を内部的に呼んでいるので、C/C++ 等と比較してもそんなに遅くない。それどころか、自動的に並列化できるところは並列化してくれたりするので、まれに C より速いこともあるらしい。特に巨大なグラフを作る場合、ほとんどの処理は C などで書かれた関数に飛ぶので、速度的な問題は無視してもいいくらいである(逆に、
Python 和訳ドキュメント
過去のバージョン 翻訳プロジェクトでは，バージョン 2.3.5 の標準ドキュメントの訳出を終えて います．これらのドキュメントは実質的にメンテナンスを停止しています． (古いバージョンのドキュメントをメンテナンスしたいという方は，ぜひ 御協力ください！)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
素人の言語処理100本ノック:まとめ - Qiita
言語処理100本ノック 2015
機械学習によるデータ分析 実践編
