spaCyとGiNZAを使った日本語自然言語処理 - Qiita
はじめに 本記事では、spaCyとGiNZAを使った日本語の自然言語処理の手順を紹介します。 コードの部分ではspaCyのクラスがわかるように示していますので、ぜひ公式ドキュメントも参照ください。 想定する読者 以下の人を想定して書いてます。 日本語の自然言語処理に興味がある人（※自然言語処理に関する知識は必要ないです。） Pythonのソースコードが読める人 使用するライブラリ 今回はspaCyとGiNZAという2つのライブラリを使用します。 spaCyとは spaCyは高度な自然言語処理を行うためのライブラリです。 自然言語処理では対象とする言語（日本語や英語）によって必要な処理や複雑度が変わるのですが、spaCyは多言語対応を意識して設計・開発されており、そのアーキテクチャから学べることも多く非常に良くできたライブラリです。 spaCyでは訓練済みのモデルを読み込むことで多言語の自然
機械学習で使われる評価関数まとめ - Qiita
はじめに 評価関数（評価指標）についてあやふやな理解だったので、代表的な評価関数をまとめてみました。 評価関数とはそもそもどんなものなのか、それぞれの評価関数はどんな意味を持つのか、実際に使う時のサンプルコードを簡単にまとめています。 評価関数の追加や内容の修正は下記でしています。 評価関数とは 評価関数とは学習させたモデルの良さを測る指標を指します。 目的関数との違い 機械学習を勉強していると、目的関数や損失関数、コスト関数などいろいろな名前を目にします。 まずは、目的関数との違いについて確認します。 目的関数 モデルの学習で最適化される関数 微分できる必要がある つまり、学習中に最適化されるのが目的関数、学習後に良さを確認するための指標が評価関数ということになります。 損失関数、コスト関数、誤差関数は目的関数の一部になるそうです。 （いくつか議論がありそうなのですが、ほとんど同じものと
日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita
先日、弊社では Community Geocoder というサービスをリリースしました。 Community Geocoder 紹介記事 さて、このジオコーダーは、住所を正規化してそれを「大字町丁目コード」という12桁の数字に変換し、そのコードをファイル名として GitHub ページ上に大量においた JSON ファイルにアクセスして緯度経度を取得するということをやっています。 つまり、住所の正規化からコードに変換する部分がとても重要で、そもそも正規化に失敗してしまうとどうしようもないという仕様なんです。 さいわい先日経産省が公開した IMI コンポーネントツール である程度のことをやってくれるのですが（というかそうであることを期待したのですが）、いろいろ調べ始めると住所という仕組みはほんとに複雑で、Facebook で絡んでくださった @hfu さんいわくまさに「自然言語処理そのもの」であ
Splunkで日本のCOVID19感染状況を表示する（GitHub掲載版） - Qiita
<dashboard theme="dark"> <label>COVID-19 in Japan</label> <search id="base"> <query>sourcetype=toyo_json | head 1</query> <earliest>0</earliest> <latest></latest> </search> <search base="base" id="base1"> <query> | rex "prefectures-data.*?(?<data>{.*?})" | rex field=data "carriers.*?\[(?<carriers>\[.*?\])\]" | rex max_match=0 field=carriers "(?<daily>\[[^\[\]]+\])" | spath prefec
技術で勝負するキャリアアップのためのコンピュータサイエンス - Qiita
キャリアアップについて考えるところのあるソフトウェアエンジニアの皆様ごきげんよう。 ソフトウェアエンジニアとしてののキャリアアップに computer science の学位を取るという選択肢を提案するという記事です。 Qiitaその他ではキャリアアップというと大抵マネジメントやソフトスキル・コミュニケーションスキル全開の、つまりコミュニケーション強者にとってのキャリアばかりが紹介されていますが、この記事ではそうじゃなくて真っ向で技術を楽しむ為のキャリア形成を考えるものです。 海外の企業なんかでは、ソフトウェアエンジニアはCSの学位を持ってることが当たり前、大前提みたいな状況ですし、そもそもCSで学位を取るための過程で得られるものは、技術者が真っ向勝負するために重要なものばかりです。 キャリア形成 皆さん、ソフトウェアエンジニアとしてキャリアに悩んでいませんか？ 30代や40代ともなってく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
