実務で厳密に日本語のチェックをする必要があり、かなり苦労したので、 まじめ にまとめた。 対象: ひらがな カタカナ カタカナ ←曲者 漢字 ←超曲者 ついでに、以下も扱います。 数字 (123, 123) 英字 (ABC, abc, ABC, abc) まとめ まずは、まとめです。この後詳細にそれぞれ検証していきます。 種類 対象の文字列 正規表現 備考・コメント
![[総集編] Pythonで日本語の正規表現チェックをする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3761f2efab71ab5cf36c4adab51001afe69253d4/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUI3JThGJUU5JTlCJTg2JUU3JUI3JUE4JTVEJTIwUHl0aG9uJUUzJTgxJUE3JUU2JTk3JUE1JUU2JTlDJUFDJUU4JUFBJTlFJUUzJTgxJUFFJUU2JUFEJUEzJUU4JUE2JThGJUU4JUExJUE4JUU3JThGJUJFJUUzJTgzJTgxJUUzJTgyJUE3JUUzJTgzJTgzJUUzJTgyJUFGJUUzJTgyJTkyJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz04NDk0NmEyNTJhODkwZjUzM2U2MTFhY2M0NjVhYWRiZQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0aWthcmFuaW1hcnUmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWQwODk1ZGEzNWJmNzNiZmZhNzYxOTlkZGM2YWQyMWY2%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dfd6d79e56b742f76b015adaf478c4302)
実務で厳密に日本語のチェックをする必要があり、かなり苦労したので、 まじめ にまとめた。 対象: ひらがな カタカナ カタカナ ←曲者 漢字 ←超曲者 ついでに、以下も扱います。 数字 (123, 123) 英字 (ABC, abc, ABC, abc) まとめ まずは、まとめです。この後詳細にそれぞれ検証していきます。 種類 対象の文字列 正規表現 備考・コメント
はじめに 「形態素解析器を使いこなしたい!」、そう思ったのはいったいいつからか... 今回は形態素解析器であるJanomeの公式Documentを自分なりにまとめました! 形態素解析器の使い方がよくわかっていない方の参考になれば幸いです! 参考文献 Janome API reference v0.4 Janome v0.4 documentation (ja)WELCOME TO JANOME'S DOCUMENTATION! (JAPANESE) Python, Janomeで日本語の形態素解析、分かち書き(単語分割) 目次 Tokenizer Analyzer char_filters token_filters janome.tokenizer module 入力した文字列を"Token"に変換して出力します。 from janome.tokenizer import Tokeniz
「Pythonで始めるiOSプログラミング」を読んだ理由・きっかけ Pythonista3というiPadやiPhoneでpythonが使用できるようになるiOS用アプリをpythonを初めて勉強する時に購入しました。 このアプリ、pythonの基礎を勉強する時にとっても役に立ったのですが、どんな使い道があるのかは全然理解できませんでした。 たまたま、Pythonista3についての解説本ということで、「せっかくアプリ持ってるし何かできることが増えないかな」と思って読んでみました。 「Pythonで始めるiOSプログラミング」で解説されていること 解説されている内容 解説されている内容としては下記の通りです。 1. Pythonista3開発を始めよう Pythonista3を準備しよう Pythonista3の使い方をマスターしよう 2. 標準モジュールをマスターしよう numpyを使おう
はじめに 2021年10月10日、iPadのPython (Jupyter notebook) 実行環境である Juno を購入した。¥1840也。iPad 用のPython実行環境としては、以前からPythonista 3 を持っていたのだが、Pythonista 3 で使用可能なライブラリは、numpy と matplotlib だけであり、作成できるプログラムが限られてくるため、numpy, matplotlib, scipy, pandas, sklearn が使える Juno を購入したわけだ。同じように scipy, pandas, sklearn が使えるiPad用Python 環境として、 Pyto というものもあるが、App store で評価を見ると、『挙動が不安定でよく落ちる』というものがあり、これが気になったため、比較的安定していると思われる Juno を選択した。
ChatGPT面白いですね! あんなことやこんなことできるんじゃないかと夢想して楽しんでいます。 そんなわけで、OpenAIのAPIキーを発行できたんだけれども、そのあとどうすればいいの? という過去の自分のために、Pythonでの超基本的な使い方をまとめておきたいと思います。 結論から言うと、 Pythonのコード15行程度でChatGPTを使ったアプリが出来上がりました! (APIキーを発行するやり方は他の記事をご参照ください) 準備 Python3でOpenAIのライブラリを使うので、pipでインストールしておきます。 pip install openai また、最小限のコードとはいえ、環境変数はハードコードしたくないので、 コマンドラインの環境変数に設定します。 export OPENAI_API_KEY="sk-xxxx" コード Pythonのコードを書いていきます。 ここに書
ReversingLabsは2月22日(米国時間)、「Developers beware: Imposter HTTP libraries lurk on PyPI」において、PyPIリポジトリにHTTPライブラリを装った悪意ある41個のPythonパッケージを確認したと伝えた。これはサイバー攻撃者がPyPI、npm、GitHubなどのオープンソースリポジトリを悪用してマルウェアを配布しようとする最新の試みと説明されている。 Developers beware: Imposter HTTP libraries lurk on PyPI 発見された悪意あるパッケージは、主に次の2つのタイプの悪意あるモジュールになっていると指摘されている。 侵害したシステムに第2段階のマルウェアを配信するダウンローダとして機能する データ窃取を行うための情報スティーラとして機能する ReversingLabs
Python では、別のテキストファイルや CSV ファイルなどの様々なファイルから、データを読み込んで、加工することができます。 これができるようになると、Pythonに素早くデータを取り込んで、分析や解析を行えるようになるので、ぜひ覚えておきましょう。 1. テキストファイル (.txt) の読み込み ここでは、下図の “Hello World!” というテキストを書いたファイル(hello_world.txt)を例に解説します。 Python で、このようなテキストファイルを読み込むには、以下の 3 つの操作を行います。 open() 関数でテキストファイルを開く read() メソッドでテキストデータを読み込む close() メソッドでテキストファイルを閉じる 最初に、実際の簡単なコードを見てみましょう。 '''open()関数でファイルを開きます。''' fileobj = o
2017/5/22 2024/3/21 Pythonには豊富な標準ライブラリが備わっています。システム、ファイルIO、関数、データベース、ウェブ等、非常に多彩です。Pythonが「バッテリー同梱(batteries included)」と呼ばれる所以です。 プログラムの作成では、機能はなるべく自分で作らないで、ライブラリを活用して省力化します。基本的な機能は標準ライブラリにありますが、ない場合には外部(サードパーティー)から探します。 Pythonには、PyPI(Python Package Index)と呼ばれるサードパーティライブラリを管理している場所があります。PyPIはコミュニティが運営しているレポジトリという倉庫のような仕組みであり、2019年4月時点で約17.5万のライブラリパッケージが登録されています。 PyPI – the Python Package Index PyPI
Pythonは、マイクロバージョンだけアップグレードしている限りはバージョンを意識しないで使い続けられます(すなわち、3.6.1 ▶ 3.6.2 ▶ 3.6.3 のようなアップグレードだけを行う)。 しかし、Pythonとの付き合いが長くなると、どうしても 3.5 ▶ 3.6 のように新しいバージョンに移行することになり、その結果1台のマシンに複数バージョンのPythonが存在するようになってしまいます(例えば、3.3、3.5、3.6)。 バージョンアップしても、問題なく以前作成したプログラムが動いてくれればよいのですが、動かなくなった場合には、バージョンを切り替えて運用する方法を検討することになります(そのためにも、旧バージョンはアンインストールしないでください)。 わかりやすいPythonのなかで、バージョン管理の問題は、例外的に扱いにくい所です。他のプログラミング言語に慣れている場合
JanomeはPythonの形態素解析エンジン。日本語のテキストを形態素ごとに分割して品詞を判定したり分かち書き(単語に分割)したりすることができる。pipでインストール可能。 mocobeta/janome: Japanese morphological analysis engine written in pure Python Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja) janome package — Janome API reference v0.4 ここでは以下の内容について説明する。 Janomeのインストール JanomeとMeCab 解析結果の精度 形態素解析の速度 Janomeで形態素解析 基本的な使い方 Tokenオブジェクトの属性 Janomeで分かち書
テキストマイニングという言葉をよく理解するためにも、まずはこの言葉を分割して考えましょうか。 テキストは、当然テキストデータと呼ばれるものからきています。マイニングは、マイン(鉱山発掘)から由来します。 つまり、ビッグデータのテキストデータの中に埋もれている「重要で意味のある情報」を発掘するということです。 それらのたくさんのテキストデータから、言語を解析する技術と数学的・統計的なツールを使用して、より質が高く意味のある情報を抽出します。 また、ここでは「テキストデータ」と「情報」という二つのキーワードとして分けています。 ここでのテキストデータとは、ネット上やローカル上といった様々な文書であったり、SNSでの投稿であったり、はたまた製品・商品といったもののアンケートに関するデータを指しています。 つまり、物事に対して何かしらの「目的」を持ったテキストであり、入力された「データ」ということ
とりあえず独学でプログラミング学習を始めたけど、右も左も分からずあなたの時間が無駄に終わるどころか挫折するかもしれません。 あなたが時間を無駄にした分を回収したいなら【Python】2022年最新!おすすめのオンラインプログラミングスクールをご確認ください! ※期間限定で学習ロードマップを記載しています! 「Word2Vec」とは、文章中の語句をベクトルに変換するツールです。単語同士の繋がりに基づいて単語同士の関係性をベクトル化するわけです。 ツール名通り、単語をベクトルとして表現することで、その単語の意味を捕らえる手法となります。つまり、語句と語句の類似度を測ることができるわけですね。 GensimとインストールについてWord2Vecを実現するツールとして、いくつか挙げられるライブラリがあります。 今回は、実行速度が速く、Pythonから手軽に利用できるものを考えると、「Gensim」
とりあえず独学でプログラミング学習を始めたけど、右も左も分からずあなたの時間が無駄に終わるどころか挫折するかもしれません。 あなたが時間を無駄にした分を回収したいなら【Python】2022年最新!おすすめのオンラインプログラミングスクールをご確認ください! ※期間限定で学習ロードマップを記載しています! 形態素解析についてこの記事を読み進める前に、よりテキストマイニングの内容を理解したい方は、下記のURLにてチェックしてみてください。 【Python】テキストマイニングとは〜分析の重要性〜 形態素解析とは、自然言語の文章を意味を持つ最小の単位である「形態素」に分割し、品詞を判別する作業となります。形態素解析は機械翻訳やかな漢字変換、テキストマイニングなど、かくいう私も企業が持っているビッグデータを文書レベルで分析し、企業の今後の経営における方向性を探し出す業務や、人工知能に利用する学習デ
組織のセキュリティ対策 2023.1.26 昨年(2022年)末、Trellix Advanced Research Centerチームは、Pythonのtarfileモジュールに脆弱性があることを発見しました。この脆弱性は、15年前に発見されたCVE-2007-4559で、攻撃者が任意のファイルを上書きすることができる可能性があるものでした。CVE-2007-4559は、2007年にPythonプロジェクトに報告され、チェックされないまま、推定35万件のオープンソースプロジェクトに意図せず追加され、クローズドソースプロジェクトにも広く浸透していました。 本日(2023年1月23日)、この作業に関する最新情報をお伝えします。GitHubを通じて、当社の脆弱性調査チームは、以前からこの脆弱性の影響を受けていた61,895のオープンソースプロジェクトにパッチを適用しました。この作業は、Kasi
Google Colaboratoryが研究や教育に適しているということは「よくある質問」にも書かれている通りです。 Pythonプログラミング、あるいはそれを応用した機械学習に関する知識を共有するということにおいて、Colaboratoryは本当に強力なツールです。 ここではその強力さを、実際にColaboratoryを使ってある'知識'を共有することで、示していきたいと思います。 共有する'知識'ここでは、「日本語の形態素解析をPythonで実行する方法」を共有したいと考えています。 形態素解析、は耳慣れない言葉かもしれませんが、簡単にいうと日本語の文章をコンピューターを使って品詞(名詞、動詞、助詞、など)のレベルに分解するというもので、機械学習を応用した自然言語処理において必要不可欠なプロセスです。 しかしながら、単語をスペースで区切る英語などと比べると、日本語は単語に分解すること自
はじめに Python だけでクロスプラットフォームなアプリを作ることが出来る、Flet というフレームワークについての記事です。 Pythonだけで次のようなWeb・デスクトップに両対応したアプリを作ることが出来ます。 Flet の概要 Flet は Flutter をベースにしています。主に以下のような特徴があります。 From idea to app in minutes 「素早くGUIアプリを作成出来る」ことが、Fletの主なセールスポイントのようです。 Simple Architecture JSフロントエンドやRestAPIを書くこと無く、PythonだけでSPAを作る事が出来ます。 Batteries included Batteries Included は、Pythonの設計思想のようです。電池が付属している、つまりそのままでもすぐに動かせることを指します。 Powere
皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み&集約 5. 不要なものを読み込まない 6. 不要なカラム/DataFrameを消す 番外編:そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON(JSONL
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く