自然な日本語ダミーテキストを生成するWebアプリを作りました
こんな感じの文章を自動生成できます。 二人の男女を一様に観察していました。私は仕方なしに立って、再び封の中へ、自分の左右前後を見廻して母の頭は陛下の病と父の病と父の病とを結び付けて考えるのが変に気味が悪かったのです。固よりそこにはまるで解りませんけれど、おそらくそんな意味じゃないでしょう。私の考えは行き詰まればいつでも両方が同時に奥さんのいる事をとうから自覚していました。先生の附近で盗難に罹ったものが、僻んだ私の眼を擦りました。それでも鷹揚に育った私は、もっと海の中で遊んでいられるか、宅へ帰って食卓に向った時、両親の死に断えた私の卒業する前に、また一種の弛みができても、決して強い言葉で説明しました。 モチベーション 同じようなツール・サービスはいくつも公開されていますが、ほとんどが以下の 3 つの方式を採用しており、個人的にはあまり満足できていませんでした。 短い定型文の繰り返し: 一種の
[詳解] Pythonのdataclasses
dataclassesとは pythonのdataclassesモジュールは、データを格納するためのクラスを定義し、データ格納クラスのための様々な機能を含んだモジュールです。 データ格納のための、と言うとふんわりした印象になりますが、クラス変数を初期化するための__init__()関数を自動生成してくれるため、クラスの定義がシンプルになります。またデータ格納を目的とするクラスの場合__init__()に大量の引数を記載する必要がありますが、自動生成されることによりその必要も無くなります。 データ格納といった目的以外にも様々な用途に用いることが考えられると思います。 dataclassesはPython3.7から追加になりました。本記事はPython3.9のドキュメント、ソースコードを参照して執筆しています。 基本的な使い方 dataclassesモジュールを用いたデータ格納クラスを作成する
![[詳解] Pythonのdataclasses](https://cdn-ak-scissors.b.st-hatena.com/image/square/6d56aea76443615b42f785c9262d9e092a537c48/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--E6mCCp6B--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525A9%2525B3%2525E8%2525A7%2525A3%25255D%252520Python%2525E3%252581%2525AEdataclasses%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252588%2525E3%252582%252593%2525E3%252581%2525B6%2525E3%252582%252593%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2g1LW5HV3VTeEFVM1VzVHV4bWljUVVCUDhSMXUtZ19IU0VpQTdUPXMyNTAtYw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
「Python」と「Google Colaboratory」で株価データ分析に挑戦
「Python」と「Google Colaboratory」で株価データ分析に挑戦：「Python」×「株価データ」で学ぶデータ分析のいろは（1） 日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。第1回はPythonを実行する環境とデータの前準備について。 はじめに 連載第1回は「Google Colaboratory」でサンプルプログラムを実行するための環境を用意する方法や利用するPythonのライブラリを説明します。「Google Chrome」と「Googleアカウント」を用意して読み進めてください。 なお、連載の趣旨がデータ分析であるため、Pythonの言語仕様や文法の詳細を割愛する場合があることをご了承ください。 Google Colaboratoryの準備 Google Colaboratoryとは、Googleが提供するブラウザ上でPy
Python3.7以上のデータ格納はdataclassを活用しよう - Qiita
はじめに Pythonでデータを格納する際に辞書や普通のクラスを使っていませんか？Python3.7からはデータ格納に便利なdataclassデコレータが用意されています。 この記事では公式ドキュメントやPEP557の説明ではいまいち掴めない、どういった時に便利で、なぜ使うべきなのかという点に触れつつ、使い方を説明していきます。 なお、以前のバージョンではPython3.6に限りpip install dataclassesによって使えるようになります。執筆時点ではGoogle Colaboratoryの環境がPython3.6.9ですが、デフォルトでdataclassesがインストールされています。 想定読者 dataclassの存在を知ったが何なのかよく分からない人 可読性高くデータを扱いたい人 「前はこんな機能なかったし、自分は別に使わなくて良いよ・・・」と思っている人 よく見かける
AWS、PythonでMeCabを使う際の語彙データを無料公開 | Ledge.ai
アマゾン ウェブ サービス ジャパン株式会社（Amazon Web Services、AWS）は、同社のオープンデータセットに、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリであるfugashi経由でPythonで使用する際の語彙（ごい）データに加えた、と公式ブログで明らかにした。 多くの機械学習デベロッパーが、AWS上でさまざまなアルゴリズムの開発やモデルを構築している。なかでも、自然言語処理をする際には、対象言語の特性に即した形で前処理をする必要がある。日本語の自然言語処理を実施する際には、一般的に「形態素解析」と呼ばれる文章の分解処理を前位処理として実施する。 日本語形態素解析をするためには、日本語の語彙データが必要になる。語彙データは大きなサイズになるだけではなく、これらを用いた計算の際にも大量のGPUおよびCPUが求められる。そのため、従来このよ
日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました | Amazon Web Services
Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ（UniDic）が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの
気象×Python 〜天気データ取得からスペクトル解析まで〜 - Qiita
これまでの記事で気象庁のデータの扱い方をいくらか取り上げてきましたが、また違ったデータ取得方法（現状、この方法が一番効率的）を実践し、取得したデータの解析も軽くしていこうと思います。 ＜過去の記事＞ ・気象×Python 〜AMeDASの地点データ自動取得〜 https://qiita.com/OSAKO/items/264c77b70843045bc12b ・気象×Python 〜AMeDASの地点データ自動取得（番外編）〜 https://qiita.com/OSAKO/items/505ecee67df424963e53 ・気象×Ruby 〜Mechanizeを使ってRubyスクレイピング〜 https://qiita.com/OSAKO/items/3c1cac0b5448be9ab243 1. クローリング ▶以下のような表形式で埋め込まれている数値 or 文字列を一気に取得した
Locale ja_JP — Faker 25.8.0 documentation
Locale ja_JP¶ faker.providers.address¶ class faker.providers.address.ja_JP.Provider(generator: Any)¶ Bases: Provider address() → str¶ Example: ‘791 Crist Parks, Sashabury, IL 86039-9874’ Examples: >>> Faker.seed(0) >>> for _ in range(5): ... fake.address() ... '大阪府富津市細野33丁目16番13号 皇居外苑シャルム938' '山梨県いすみ市松浦町40丁目26番9号' '鹿児島県横浜市中区横林20丁目4番3号 パーク上野公園565' '佐賀県横浜市青葉区権現堂36丁目16番15号 コート細野801' '京都府西多摩郡奥多摩町丹勢40丁
Pythonと150種以上のデータソース連携を可能にする「CData Python Connectors」登場
CData Software Japanは、PythonアプリケーションからSalesforce、Marketo、Dynamics 365、kintone、BigQueryなどへのデータ連携を可能にする「CData Python Connectors」を、4月16日にベータリリースした。 「CData Python Connectors」は、PythonからSaaS、クラウドDB、NoSQLなどへのデータ連携を効率化し、Python Databaseインターフェース（DB-API）の提供によって、Pythonの主要ツールであるJupyter Notebook、SQLAlchemy、pandas、Dash、Apache Airflow petlなどから使用できる。 汎用性の高いデータ接続の抽象化レイヤーとして機能することで、Pythonエコシステムへのシームレスな統合、Pythonからのデー
COTOHAを使って大量の有価証券報告書を読む - Qiita
はじめに 有価証券報告書ってイマイチ何が書いてあるか分からないし、知りたい1社の特定の年度の内容を読んでも他社/他の年度と比較しないとよく分からないですよね そこでCOTOHAを使って大量の有価証券報告書を読む方法を探ってみようと思います ※COTOHAの基本的な使い方は@gossy5454さんの記事が詳しいです この記事の執筆モチベーション COTOHAを使ってお手軽に自然言語処理を行いたい あまり知られていない？CoARiJを使ってみたい 有価証券報告書を効率よくで読んで投資に活かしたい ソースコード 今回検証に使用したコードは下記にあります https://github.com/ice-github/CoARiJAndCOTOHA ※main.pyを参照 COTOHAについて NTTグループの自然言語処理プラットフォームです https://api.ce-cotoha.com/con
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
Pythonのpandas-datareaderで株価を取得してみる① - Qiita
はじめに モチベーション 近頃、ちまたでは人工知能のライブラリが簡単に使えるのだそうです。そしてそれを使ったら、もしかして株価予測とかで一儲けといけるのではないかと思ったりするわけです。 しかし、それには株価のデータを集めなくてはならないんですよね。 AIはデータが命ですから。 データ分析とかAIとかだと、とりあえずpythonでしょう。そこでpythonで何かないかなあと調べてみると、pandas-datareaderといういいものがあるそうな。 （これを使い始めた頃はGoogleとかyahooとかデータが取れたんですが、最近どんどん取れなくなってきています。世知辛い世の中ですね） まあそれはさておき、とりあえず始めていきましょう！ 作るもの pandas-datareaderを使って、過去の株価データを拾ってきてCSVに保存するプログラミング。 わざわざ書くまでもないですかね。 使うも
PythonがJavaを抜く - PYPLプログラミング言語ランキング
2004年6月〜2018年4月 PYPL PopularitY of Programming Language Index / 円グラフ 5月PYPL PopularitY of Programming Language Index / 円グラフ 5月PYPL PopularitY of Programming Language Index / 棒グラフ 長期にわたって、Pythonは増加傾向、Javaは下落傾向を続けている。PYPL PopularitY of Programming Language Indexでは、JavaとPythonの値が逆転してPythonが1位になった。プログラミング言語のランキングはデータの集計方法やデータソースの違いなどで順位に違いが見られるが、長期にわたる増減の傾向は一致していることが多い。他のプログラミング言語人気でも、長期にわたり、Javaは下落傾向
Pythonメモ : fakerでテストデータを生成する - もた日記
faker インストール 使い方：コマンド 使い方：コード faker github.com fakerというPythonパッケージを使用するとテストデータを簡単に生成することができる。PHP Faker, Perl Faker, Ruby Fakerにインスパイアされたとのこと。 インストール pipでインストールできるので下記コマンドを実行。 $ pip install faker$ faker --help usage: faker [-h] [--version] [-o output] [-l LOCALE] [-r REPEAT] [-s SEP] [-i [INCLUDE [INCLUDE ...]]] [fake] [fake argument [fake argument ...]] faker version 0.7.18 positional arguments: f
Welcome to Faker’s documentation! — Faker 18.13.0 documentation
Welcome to Faker’s documentation!¶ Faker is a Python package that generates fake data for you. Whether you need to bootstrap your database, create good-looking XML documents, fill-in your persistence to stress test it, or anonymize data taken from a production service, Faker is for you. Faker is heavily inspired by PHP Faker, Perl Faker, and by Ruby Faker. _|_|_|_| _| _| _|_|_| _| _| _|_| _| _|_|
PythonでQuandlからデータを取得する - Qiita
Quandlは金融、経済などの数値データの検索エンジンで、さまざまなソースから得られたデータを検索し、グラフや表を表示させることができる。またデータはJSON、CSVなどの形式でダウンロードしたり、Plotlyなどのサービスに取り込ませることもできる。 Getting Started 一部有料のデータもあるが多くのデータについては無料で取得することができる。 様々な言語のライブラリも用意されており(https://www.quandl.com/help/libraries )、APIを用いてデータの取得や検索ができるようになっている。 各データを個別に提供しているだけではなく、データをまとめているページがある。 画面左上からData > Data Browser とクリックすると国やデータの種類でまとめられている中から探すことができる。 例えば、以下のようなページがある。 日本の人口 ht
Anaconda環境でPyTorch 〜株価予想〜 #01 環境構築編 - Qiita
はじめに 株式会社クリエイスのモトキです。 突然ですが、PyTorchなるものを知ったので 「何も知らない自分がディープラーニングできちゃうのか」挑戦してみたいと思います。 Anaconda環境でPyTorch 〜株価予想〜 #01 環境構築編 (今回) Anaconda環境でPyTorch 〜株価予想〜 #02 基礎知識・学習編 Anaconda環境でPyTorch 〜株価予想〜 #03 予測編 Anaconda環境でPyTorch 〜株価予想〜 #04 予測(リベンジ)編 Anaconda環境でPyTorch 〜株価予想〜 #05 表示編 別チーム 別チームでもPyTorchの記事を書いているようです。 曽宮・モトキ「AI？それっておいしいんですか？」 こう紹介されていますが、間違っていません。 基礎知識 PyTorchとは？ 深層学習(ディープラーニング)のライブラリ。 深層学習とは
pandas-datareaderで株価や人口のデータを取得 | note.nkmk.me
pandas-datareaderを使うと、Web上の様々なソースに簡単にアクセスして、株価や為替レート、人口などのデータをpandas.DataFrameとして取得できる。 pandas-datareader — pandas-datareader 0.8.0 documentation pydata/pandas-datareader ここでは以下の内容について説明する。 pandas-datareaderの概要 インストール データソース 株価（Alpha Vantage） データ取得 CSVで保存 グラフをプロット 人口、GDPなど（World Bank） データ取得 indicator 階層データの整形 以下のサンプルコードのpandas-datareaderのバージョンは0.8.1。2020年5月22日時点で動作を確認している。バージョンやデータソースの仕様が変わると動作しない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.aiprogrammers.net/entry/2020/05/06/190000
【NLP】fakerを使用したダミーデータの作成 - Qiita
