サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
災害への備え
blog.deepblue-ts.co.jp
大体はこの通りにcsvのカラムを作り直せば大丈夫ですが、似ているようで違うので、何点か注意が必要です。 見出し (TRIE 用) Sudachiには文字の正規化が必要です(参考)。 左連接ID・右連接ID Sudachiのドキュメントにunidic-mecab 2.1.2 の左文脈ID・右文脈ID参考にするように、とあるので、使っているunidic-mecabのバージョンを確認しなければいけません(UniDicの左文脈ID)。 MeCabにとっては-1は連接IDを自動推定する特殊な値です。 コスト MeCabのコストには制限がありませんが、Sudachiのコストの範囲は32767~-32767の制限があるので調整が必要です。 Sudachiにとっては-32768はコストを自動推定する特殊な値です。 品詞1~4 品詞も連接IDと同様、MeCabのunidic-mecab 2.1.2の品詞体系
はじめに こんにちは deepblue でインターン生として働いている渡邊です。 最近、PyroやTensorflow Probabilityなどの深層学習ライブラリベースのGPU対応PPL(確率的プログラミング言語)が出てきていますが、なかなか知られていないNumPyroなるものがあるそうです。NumPyroはバックエンドがJaxでサポートされているPPLで、マルコフ連鎖モンテカルロ(MCMC)法によるサンプリングが高速らしいので、今回は線形回帰で使用感を試してみたいと思います。 今回の内容は、ベイズモデリングの用語(事前分布、事後分布など)はご存知の方が対象ですので、そこも怪しいと思われる方はこの記事をさらっと見てから来てくださると理解しやすいと思います。 参考サイト 確率モデリングと事後分布、事前分布、超パラメータ 【Jax, Numpyro】Regression Model pra
今回はPythonのパッケージである「sumy」を用いて文章要約を行います。文章要約の技術には要約元の文章から新しい文章を自動生成する「抽象型」と文章の内容を表す上で重要な文を何らかのアルゴリズムを用いて抽出する「抽出型」があり、sumyは抽出型の要約を行うことができるパッケージです。また、sumyは様々な抽出型アルゴリズムが備わっているため、複数のアルゴリズムを試したり比較したりすることができます。 実行環境 Python==3.7.3 sumy==0.8.1 tinysegmenter==0.4(sumyの内部で使用されるシンプルな形態素解析器) 文ごとに分割~形態素解析 spacy==2.2.4 ja-ginza==3.1.0 ja-ginza-dict==3.1.0 Janome==0.3.10 en_core_web_sm==2.2.5(spacyの英語辞書) 前処理 mojim
conda info 今自分が動かしている環境名とcondaやpythonのバージョンなどを確認することが出来ます。 # 動作例 conda info active environment : blog active env location : C:\Users\USERNAME\AppData\Local\Continuum\anaconda3\envs\blog shell level : 7 user config file : C:\Users\USERNAME\.condarc populated config files : C:\Users\USERNAME\.condarc conda version : 4.8.3 conda-build version : 3.18.9 python version : 3.7.4.final.0 virtual packages :
このページを最初にブックマークしてみませんか?
『blog.deepblue-ts.co.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く