Julia Advent Calendar 9日目の記事です。なんとか途切れさせないでいきましょう。 Juliaと言えばユニットテストが書きやすい言語として有名です[要出典]。 何故書きやすいのかといえば、もちろんマクロがあるからです。 マクロのおかげで、よく分からないアサーションのコードをたくさん覚えなくて済みます。 この記事では、そのへんの理由や、Juliaでの最近のユニットテストの書き方について説明しようと思います。 Juliaのユニットテストの良いところ 以下のテストコードはsumという関数の動作をテストしている想定です: julia> using Base.Test # ok julia> @test sum([1,2,3]) == 6 # not ok julia> @test sum([1,2,3]) == 7 ERROR: test failed: 6 == 7 in ex

確率プログラミングのライブラリPyMC3を使ったベイズ統計モデリングの基本を、シンプルなデータを用いて実践的に解説。次のことが学べます。 ● ベイズ統計モデリングの概念を理解する ● PyMC3を使って統計モデルを構築する ● モデルの健全性をチェックし、必要に応じてモデルを修正・拡張する ● どのモデルを用いたらよいかを決定する ● モデルに階層構造を組み入れて活用する ● 回帰分析を使って、目的としている連続的な結果変数を予測する ● ロジスティック回帰やソフトマックス回帰を用いて判別する 本書ではPythonのインストールからPyMC3による統計モデルの実装、チェック、拡張まで解説しています。理論的な説明は必要最小限にして、また数式による説明は概念をより理解できる場合に限っています。Pythonプログラミングやベイズ統計学についての知識がほとんどない人でも、本書のコードを実行すること

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

各システムの詳細は個別の説明ページをご覧ください。 ご質問やコメントがあれば Facebookグループ にご参加ください。 Japanese / English 日本語文章難易度判定システム jReadability 日本語文章のテキストを入力すると、その難易度を6段階で判定します。詳細な語彙情報を出力したり、テキストに含まれる語句の意味や用法を表示したりする機能もあります。

ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize

rubyでjupyter notebookが使えるというのを発見したので，環境構築してみたがはまったので，改めて環境構築方法を記す． 環境 MacBookPro macOS Sierra 10.12.3 やったこと ※ここでやったことはうまくいかなかった方法で詰まっている方向けなので，これから環境構築する方は後半を見てください． とりあえず見つけた以下の記事通りにやってみた． Railsエンジニアに役立つJupyter NotebookとiRuby - クックパッド開発者ブログ $ pip install jupyter # python, pip環境が整っていない方は別途整えてください $ gem install iruby $ ruby register # これが動かない $ iruby register # たぶんこう $ jupyter notebook # jupyter no

NLP 2013 の時期ですね。たぶんギリギリ NLPer の端くれの端くれの身としては参加したい気持ちも山々なのですが、いろいろあって今年は参加しないことにしました。 NLP 2014 は参加しようと思うので来年はかまってやってください。 ときに、私が NLP を勉強し始めた頃はかな漢字変換や音声認識で文脈を考慮して推定したいなぁみたいなことを考えていたので言語モデル、中でもトピックモデルに興味を持っていました。 っで、トピックモデルと言ったら Latent Dirichlet Allocation (LDA) じゃないですか？Blei 先生の論文読むじゃないですか？意味不明じゃないですか！？ そもそもディリクレ分布って何？な人だったので・・・。ディリクレ分布まとめ - あらびき日記 とかその時の痕跡ですね。 PRML の上巻を読んでちょっとベイズな考え方に慣れて LDA も理解できてき

機械学習における「木」や「森」のモデルの概要 [招待講演] 合成変量とアンサンブル：回帰森と加法モデルの要点 ○瀧川一学（北大） 信号処理研究会（SIP）https://goo.gl/PxAbbK 2017年 6月19日(月) - 2017年 6月20日(火) 回路とシステム研究会（CAS）/ VLSI設計技術研究会（VLD）/ システム数理と応用研究会（MSS） 備考) 機械学習研究者・瀧川一学さん [北大人図鑑 No.5] https://youtu.be/XNz3D26wy0o

こんにちは。Aliceです。 タイトル、意味がわからない人も居ると思いますので、例を表示します。 >>> d = {"form":{"action":"sample.php","method":"get"}}のような辞書のネストを、 >>> d["form"]["action"] "sample.php"のように、辞書のキー、値の文字列が分かっている場合は上記の文で出力できますが、もしキーや値がわからない場合、ネストされている辞書の値を無理やり取得する方法を書いてみようと思います。 さて、まず方針を示してみようと思います。上記のように、ネストされた値を取得するには d["form"]["action"] 辞書の名前[最初のキー][ネストされた辞書の最初のキー]のように、二つのキーを取得する必要があります。 辞書のキーを取得する辞書のキーを取得するには、 >>> d.keys()[0] ["

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

TPRが0.666に達した時点では，ROC曲線では(0.250,0.666)という座標に位置し，そこまででは全体の面積のうちせいぜい1/4しか担当していません． したがって，(0.250,0.666)に至る手前でどれだけ下手な予測をしても，AUCへの影響は小さいもので済みます． 一方PR曲線では(0.666,0.666)という座標に位置し，その座標まででなんと全体のAUCの2/3を担当しています． ですので，(0.666,0.666)に至る手前で下手をこいてしまうと，ROC曲線に比べて8/3倍もの影響力があります． 実際，1位と2位を入れ替えたときのROC曲線とPR曲線のAUCは次のとおりです． ※ROC-AUCは0.750（10%劣化）． ※PR-AUCは0.514（33%劣化）． 実験的検証 論より証拠，実験で示してみました． 実験手順は以下のとおりです． 使用したプログラムはPyth

目的 テキストデータから特徴ベクトルを作って何かやろうと思ったときに，私の場合は何も考えずに単語文書行列を作ってナイーブベイズのようなベースライン的な手法を試すところからはじめます。単語文書行列というのは以下のページに載っているような行列です。英語ではDocument-Term Matrixといいます。 ベクトル空間モデル - Wikipedia Wikipediaに載っているように，行方向に単語，列方向に文書を並べるのが普通です。ただし，scikit-learnの慣習では行方向に事例，列方向に素性を並べるため，逆になります。 語のリストから単語文書行列を作るときには，(a) collections.Counterとsklearn.feature_extraction.DictVectorizerを使う方法 がシンプルでおすすめです。一方で，scikit-learnにはsklearn.fe

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?