形態素解析前の日本語文書の前処理 (Python) - け日記
日本語の文書を扱っていますと、モデルやパラメータよりも、前処理を改善する方が精度が改善し、かつ、頑健になることがしばしばあります。 本投稿では形態素解析 (分かち書き) する前、つまり文字レベルでの前処理でよく使っているテクニックを紹介します。 お題 少し極端な例ですが、題材として架空のレビュー文を使います。 お友達の紹介で、女子２人で三時のティータイムに利用しました。 2人用のソファに並んでいただきま〜す v(^^)v なかよし（笑） 最後に出された,モンブランのｹｰｷ。 やばっっっ！！これはうまーーーい!! とってもＤｅｌｉｃｉｏｕｓで、サービスもGoodでした😀 これで2,500円はとってもお得です☆ http://hogehoge.nantoka.blog/example/link.html 前処理のポイントがいくつかありますね。いずれも、どちらかに統一したり除外したりするほうが
Python 4.0が登場しない理由
TechRepublicより。 オーウェン・ヒューズ Pythonプログラミング言語の生みの親グイド・ヴァンロッサムとの質疑応答で、Python 2.0からPython 3.0への移行がトラブル続きだったことを受けて、「Python 4について真剣に語ることはほとんどタブー」だと述べました。 グイド・ヴァンロッサムは、Microsoft Reactorとのインタビューで、Pythonバージョン 4.0の可能性をほぼ否定しました。Image: Dan Stroud under the Creative Commons licence Python 4.0に期待しないで下さい。人気のプログラミング言語の生みの親であるグイド・ヴァンロッサは、おそらく日の目を見ることはないだろうと述べています。 Microsoft Reactorとのインタビューで、ヴァンロッサムはPythonの将来とプログラミン
AtCoderでCythonの力を開放する魔術詠唱 - 学習する天然ニューラルネット
概要 以下のformatをPythonで提出すればいい mycode = r''' # distutils: language=c++ # cython: language_level=3, boundscheck=False, wraparound=False, cdivision=True {ここにcythonのコードを書く} ''' import sys import os if sys.argv[-1] == 'ONLINE_JUDGE': # コンパイル時 with open('mycode.pyx', 'w') as f: f.write(mycode) os.system('cythonize -i -3 -b mycode.pyx') import mycode 概要 AtCoderにおけるCython提出の弱点 解決方法 性能評価 Pythonの回答 Cythonの回答
タイピングゲーム「寿司打」の自動化
タイピングゲーム「寿司打」を Python によるGUIオートメーションで光学文字認識（OCR）で自動化してみたら上手く動いたので、システム構成とか工夫した点について簡単にまとめます。 作成した自動化のソースコードを公開すると荒らしが増えそうなので自粛していますが、 「こういうものを作ってみたい」「考えていたことを先に実現された」「メンターとして教えてくれ」 などの声は届いているので、これを読んで参考になれば幸いです。 タイピングゲーム「寿司打」をPyAutoGUI + 画像認識 (OCR)で自動化した結果 pic.twitter.com/p9EgvlpvpN — まこ (@tex2e) February 10, 2019 ちなみに、合計で340枚以上とるとゲーム側でエラーが発生してしまうので、わざと途中で終了するようにしています。 本当ならもっと高いスコアを出せたはずなのですが… 作成し
2020 年の Python パッケージ管理ベストプラクティス - Qiita
この記事は Python Advent Calendar 2019 の 19 日目の記事です。 🐍 あらすじ Python のパッケージ管理。特にここ数年で新しいツールが多く出たこともあり、一体何を使うべきなのか、少し調べただけでは分からないと思います。本記事では、新しめの管理ツールを独断と偏見で比較します。著者は Poetry 信者なのでバイアスが掛かっているので悪しからず。 本記事で書いていること Pipenv、Poetry、Pyflow の違いと使い方 本記事で書いていないこと Pyenv、Venv、Virtualenv などの既存ツールの説明 著者の環境は以下の通り。 Ubuntu 18.04 Python 3.8.0 Pipenv 2018.11.26 Poetry 1.0.0 Pyflow 0.2.1 特に Poetry と Pyflow は開発途中なので、本記事の内容と違う
PythonのListとTupleの違いとTupleはなぜ早いのかを調べてみた | DevelopersIO
データアナリティクス事業本部＠札幌の佐藤です。 ListとTuple使いこなせてますか？ 私はPythonをやる前はTupleの存在しない世界の住人だったため、なにこのカッコは……た、Tuple……？？？って感じでした。 同じような方もいらっしゃるのかなと思いますし、あの頃の自分に教えてあげたいというのもありますのでそんな意味も込めてListとTupleの違いとTupleはなぜ早いのかについて書きたいと思います。 そもそもListとTupleとは そもそもListとTupleは共にシーケンス型です。いわゆる配列ができる型になります。 上記のほかにはstrやrangeもシーケンシャルに値を取得できます。 基本的なシーケンス型は 3 つあります: リスト、タプル、range オブジェクトです。バイナリデータ や テキスト文字列 を処理するように仕立てられたシーケンス型は、セクションを割いて解説
プロジェクトの構造化 — The Hitchhiker's Guide to Python
プロジェクトの構造化¶ 「構造」とは、プロジェクトがその目的をどのように最も満たしているかについての決定を意味します。 クリーンで効果的なコードを作成するために、Pythonの機能を最大限に活用する方法を検討する必要があります。 実際には、 “構造”とは、ロジックと依存関係が明確であるクリーンなコードと、ファイルとフォルダがファイルシステムにどのように編成されているかを意味します。 どの機能をどのモジュールに入れる必要がありますか？ プロジェクトを通じてデータはどのように流れますか？ グループ化して分離できる機能は何ですか？ このような質問に答えることで、完成した製品がどのように見えるかを広義で計画し始めることができます。 このセクションでは、Pythonのモジュールとインポートシステムを詳しく見ていきます。プロジェクトの構造を強化するための中心的な要素です。 次に、コードを拡張して確実に
『Python §３９ ： pickle化してファイルの読み書きを効率アップする作戦』
pandasのデータフレームを構築するのにいつもcsvやtsvから読み込むのは、あまりスマートではないと思います。 そこで、見つけたのがpickleという仕組みです。 pythonのマニュアルでは、pickleのことを「pickle モジュールは Python オブジェクトの直列化および直列化されたオブジェクトの復元のためのバイナリプロトコルを実装しています。」と説明されています。 なんのことかよくわかりませんが、あとで理解できるように説明したいと思います。 pickleを辞書で引くと漬け物、ピクルスと出てきます。そうです、様々なオブジェクトを好きなようにファイル化できる手段を提供してくれるモジュールなのです。 つまり、Pythonでオブジェクトとして扱っているものはすべて、漬け物壺に入れてしまえるのです。入れる方法はリスト変数にしてやれば混在もできるということです。 具体的には次のような
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python 3.9の新機能 - python.jp