[Python]文書分類における文書ベクトル表現手法の精度比較 - Qiita
TL; DR 日本語文書分類タスクを機械学習で解くとき、下記の文書ベクトル表現手法ごとの精度を比較しました。 Github: https://github.com/nekoumei/Comparison-DocClassification/tree/master/src ※最近のGithub、jupyter notebookのレンダリングがよく失敗するのでnbviewerも貼っておきます https://nbviewer.jupyter.org/github/nekoumei/Comparison-DocClassification/tree/master/src/ Bag of Words TF-IDF Word2Vecの平均値 Doc2Vec SCDV SWEM 結論としては下記の3点です。 問題によるので銀の弾丸はない（あたりまえ） BoW, TF-IDFのような古典的手法も案外悪く
![[Python]文書分類における文書ベクトル表現手法の精度比較 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/68325da3ecd82a7182cc5ce4cdac3399d7a869e8/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHl0aG9uJTVEJUU2JTk2JTg3JUU2JTlCJUI4JUU1JTg4JTg2JUU5JUExJTlFJUUzJTgxJUFCJUUzJTgxJThBJUUzJTgxJTkxJUUzJTgyJThCJUU2JTk2JTg3JUU2JTlCJUI4JUUzJTgzJTk5JUUzJTgyJUFGJUUzJTgzJTg4JUUzJTgzJUFCJUU4JUExJUE4JUU3JThGJUJFJUU2JTg5JThCJUU2JUIzJTk1JUUzJTgxJUFFJUU3JUIyJUJFJUU1JUJBJUE2JUU2JUFGJTk0JUU4JUJDJTgzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kYjdkNjhlNGExNzE5NWE4NmQ0ZDdmMDU1MDc1NzdhYw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbmVrb3VtZWkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWU1NWM1Mzc2YWY4MTY5M2EzOGViZTA2YmM0ZDRiM2Ri%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D19cc4cb6fdcb3cf2149fcb68cdae17a5)
bert-as-serviceで作るGPU無しのBERTサーバー - Qiita
はじめに 文を投げるとBERTで文ベクトルに変換して返してくれるサーバーを作ります。日本語も英語も利用したいので両方対応させます。 BERTとは Googleが2018年の終わり頃に発表した自然言語処理の事前学習済みモデルです。複数のNLPタスクでstate-of-the-artを叩き出し、その凄まじい性能でNLP界隈で話題になりました。 ただモデルのサイズも凄まじ過ぎて、一番性能の高いBERTは安GPUではFine Tuningはおろか推論すらOut of memoryで動きません。目の前に自然言語処理の最先端があるのにそれを使えないのは悔しい限りです。 目的 そこそこのCPUと大容量のメモリを積んだちょっと強い民生向けコンピューター（GPU非搭載）上でBERTを動かし、文ベクトルを出力させます。 データを前処理的にBERTの文ベクトルに変換することで、強力な計算リソースが無い状況でもB
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita
はじめに これまでに提案されてきたNLPモデル一つ一つについて詳しく知りたかった＆改良の歴史を知りたかったため、特に有名だと思われるものをまとめました。MikolovらによるRNNLM以降を対象としています。 注）提案年については主にarXivのSubmission historyを参照しています。詳細な日付まで分からなかったものもあります。 代表的なNLPモデル・アルゴリズム一覧 RNNLM 提案年：2010 提案者：Tomáš Mikolov1,2, Martin Karafiát1, Lukáš Burget1, Jan “Honza” Černocký1, Sanjeev Khudanpur2 提案者所属： 1Speech@FIT, Brno University of Technology, Czech Republic 2Department of Electrical and
証明書300万件を強制失効。Let's Encrypt に一体何が起きたのか？ - Qiita
無料 SSL の認証局である Let's Encrypt は、有効な証明書のうち 2.6% に当たる300万件の証明書に対し、2020年3月4日に失効手続きを行うと宣言しました。しかもその事がユーザーに通知されたのは失効手続きの数時間前です。一体、Let's Encrypt に何が起きたのでしょうか？ 私が調べた事を共有したいと思います。 この記事は Let's Encrypt の証明書失効に関する一連の出来事についてまとめた物です。今回の失効処理の対象となっているかどうかの確認方法等については、以下の記事をご覧下さい。 Let's Encrypt に重大なバグが発覚。該当サイトは2020/3/4 までに対応が必須 更新しました(2020/3/7) 影響の度合いについての記載が正しくなかったので修正 現在の Let's Encrypt の見解が正しくなかったので修正 何が起きているのか？
2019年末版 形態素解析器の比較 - Qiita
形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un
Doc2Vecについてまとめる - Qiita
はじめに 今回はWord2Vecの発展としてDoc2Vecを勉強しました。 自然言語処理でよく求められるタスクとして「文書分類」や「文書のグルーピング(クラスタリング)」がありますが、それらを実施するには文書そのものの分散表現が必要となります。 Doc2Vecを用いればその分散表現を直接獲得することができます。 参考 Doc2Vecを理解するに当たって下記を参考にさせていただきました。 doc2vec(Paragraph Vector) のアルゴリズム Distributed Representations of Sentences and Documents (元論文) Doc2Vecの仕組みとgensimを使った文書類似度算出チュートリアル 自然言語処理技術の活用法 ーDoc2VecとDANを使って論文の質を予測してみた！ー Doc2Vecとは何か Doc2Vecは任意の長さの文章を固
Firestore だけで Algolia を使わず全文検索 - Qiita
（この記事は先日2019年9月22日に開催された技術書典7にて頒布した『りあクト！ Firebaseで始めるサーバーレスReact開発』の「4-6. Firestore だけで全文検索を実現する」の内容を紹介したものです） やっぱりまだ Firestore で提供されない全文検索機能 昨日（2019年9月26日）、スペインのマドリードで開催された Firebase Summit 2019 ですが、新機能が大量にリリースされて開発者は嬉しい悲鳴を上げているようです。詳しくは公式ブログやセッションの動画を参照していただくとして、個人的には Firebase Extension に可能性を感じてて、分散カウンターや Firestore コレクションの BigQuery 同期が手軽に使えるようになったの嬉しいですね。これからめっちゃ活用していきたいです。 しかしそれでも今回も、Firestore
CompositionAPIを使ってcomposition functionを分離した状態でテストする - Qiita
10/27 Vue-next版をこちらに書きました！この記事はVue 2.0用の記事です。 最初に ついにComposition APIがrfc上でmergeされました rfc上でmergeされたこともあって、本格的に触っていく人も増えていくのではないか、と思います。 Composition APIを使うことで型推論がよくなる、IDEの恩恵を受けやすいだけでなく、 少し工夫するだけでなんちゃってSingle Store patternなどができたりします。 しかしながら、Composition API自体が新しい、ということもあってテストに関する情報がほとんどありません。 そこで、今回はComposition Functionを分離した状態でのテストの書き方について説明します。 Composition Functionを分離するって? 公式DocumentだとLogic reuse cod
GitHub Actions上でFirestoreエミュレータを立ち上げてテストする - Qiita
エミュレータを使ってCircle CI上でテストされている方はいらっしゃるのですが、GitHub Actionsでの情報は見かけなかったのでまとめてみます。 大まかな流れは以下の通りです。 firestoreエミュレータ入りのDockerfileを書く firestoreエミュレータを立ち上げるdocker-compose.ymlを書く GitHub Actionsのワークフロー上でdocker-composeを実行してテスト なお、エミュレータはJavaで実装されているので、Javaの実行環境が無ければあらかじめインストールしておいてください。 セットアップ まずはfirebase initでFirestoreをプロジェクトにセットアップします。コマンドを実行するとどれをセットアップするかを聞かれるので、Firestoreを選択します。その後、セキュリティルールやインデックスファイルの名
勝手にRDRAを語る夕べで語られたことまとめ - Qiita
◆「勝手にRDRAを語る夕べ」というイベントとこの記事について connpassに「語る夕べ」というグループがあります。2018/07/18に「勝手にRDRAを語る夕べ」というイベントが開催され、RDRA（ラドラ）という要件定義の手法について語る会が開催されました。 この記事は、そのイベントに私が参加した際のメモと、別の参加者がtwitterで呟いたことをまとめたものです。 ある程度RDRAを知っている人に対して語る会なので、いきなりこの記事を読んでもよくわからないと思います。 「◆参考資料」に記載した資料がRDRAをちゃんと整理して説明しています。RDRAを提唱している神崎さんの資料です。整理された情報が欲しい人はその資料を見て下さい。 この記事は、その資料を見た後で見ると、為になるところが少しはあるかもしれない。。。という記事です。 ◆参考資料 ・RDRA（ラドラ）：Relations
hash/maphashコードリーディング - Qiita
お前誰よ 渋川よしき フューチャー株式会社で仕事してます いろいろ本を書いたりしています みなさん買ってくださっていますよね？ 今日は、家族がいろいろ体調を崩していて時間が取れなかったのでQiitaスライドで 今回の内容 フューチャー社内で行ったコードリーディングの勉強会の再演です。現在、標準ライブラリをみんなで読んで解説しています。 わたしは1.14で追加されたhash/maphashを説明しました。 1.14の変更 Go 1.14のリリースノート: https://tip.golang.org/doc/go1.14 hash/maphash https://tip.golang.org/pkg/hash/maphash/ ここによると、1.14ではぼちぼち新しいメソッドやRISC-V実験サポート開始や、lock周りやdeferの高速化、テストが後処理ができるようになるなどがあるが、完全
Firestore エミュレータのデータをローカル環境で import/export する - Qiita
概要 Firebase エミュレータで Firestore の import/export ができるようになったので、導入方法について紹介します。これまで、エミュレータを再起動する度にデータが初期化されていていましたが、特定のタイミングで export して起動時に import できるので、毎回テストデータを取り込む作業がなくなるなど、開発効率が上がります。 導入方法 本機能は firebase-tools の 7.14.0 で対応したので、 firebase-tools を再インストールして firebase のバージョンが 7.14.0 以上であることを確認します。 firebase emulators:export --help Usage: firebase emulators:export [options] <path> export data from running em
Google Cloud Functionsで Go が使えるようになったので Slack Bot を作ってみる - Qiita
はじめに 先日（2019/01/17）ついに、Google Cloud Functions で Go がベータサポートされました！ Get Go-ing with Cloud Functions: Go 1.11 is now a supported language 今回は OpenWeatherMap の API を使って簡単な Slack Bot のスラッシュコマンドを作っていきます。 ソースコードはこちらです。 https://github.com/takasp/go-slackbot-cloud-functions-sample Slack Bot のサンプルはこちらです。 環境 macOS High Sierra Version 10.13.6 Homebrew 2.0.0 ngrok 2.2.8 Go 1.11.5 nlopes/slack v0.5.0 Slack アプリを
今さらProtocol Buffersと、手に馴染む道具の話 - Qiita
Protocol Buffersは別に新しい技術ではない。同時にそれは、未だ知られざる、未だに可能性を秘めた先端のソフトウェア技術基盤である。 新しくないのは事実で、GoogleがProtocol Buffersをオープンソース化したのは2008年のことだし、オープンソース化前に社内で使われ出したのは更に昔に遡るだろう。たぶん。 デザイン的にもJSON対応は後付けで、将来JSONが隆盛を極めることなんか全然想定していなかったのが透けて見えて古くさい。 しかし、同時にどうも情報に聡い人であってもなかなかその真価を実感し得ておらず、ある意味で未知の技術であるらしい。ならば、Protobuf (Protocol Buffersの略)を解説した文書は幾多あれども、それに1を加えるのもやぶさかではない。 Protocol Buffersとは Protobufはスキーマ言語だ! 一般的にはProtob
Vue composition-api の テスタビリティを考える - Qiita
はじめに Vue composition-api を触っている人も多くいると思うが、これの利用方法についてテスト容易性の観点から考える。 View と ロジックを分離するからテストしやすい 単一ファイルコンポーネント (SFC) には、コンポーネントの表示に関するTemplete (HTML) と CSS そして、ロジックに関する Script (Javascript) が含まれている。 これは、興味を1ファイルに閉じ込めることができるため、直感的にわかりやすく、好きな人が多いと思う。 その一方で、ロジック部分をテストするだけでも vue-test-utils でコンポーネントをマウントするか、this コンテキストを明示して method をコールする必要があった。 import options from "./test-target.vue" /** * this.count++ する
Firebase App Distributionの特徴とCLIの使い方 - Qiita
この記事は、Firebase #2 Advent Calendar 2019の3日目の記事です。 今年の9月下旬ごろにリリースされた新機能、App Distributionについて解説します。 App Distributionとはなにか Firebaseが提供する、テスター向けのアプリ配信ツールです。同様のツールとしてDeployGateやFabric betaが有名です。ちなみにFabricは、Googleが2017年にTwitterから買収しています。 はっきりと明言していませんが、Fabricは2020年3月末にサービスが終了することもあり、App DistributionはFabric betaの代替として用意されたものとして考えればいいと思います。実際に使い方も機能も、ほぼほぼ違いがありません。 なお、この記事を執筆時点ではまだベータ版となっています。 App Distribut
Vue.js 3.0 の新機能を試す。 〜 Suspense 編〜 - Qiita
2020年Q1リリース予定のVue.js 3.0の新機能 Suspense を試してみたのでまとめます。 かなり使い勝手が良さそうです。 （参考） 以下でVue 3.0（vue-next）の環境構築、他の新機能についてもまとめています。 vue-next（Vue.js 3.0 wip）+ TypeScript + webpackでの開発環境を構築する Vue.js 3.0 の新機能を試す。 〜 Teleport 編〜 Suspenseとは？ 非同期処理が解決されるまでフォールバックコンテンツ（例えばLoading中アイコン）を表示してくれる特別なコンポーネントです。 いままで、v-if="loading === true"などの状態変数を使って制御していたものを、状態変数を使わずに簡潔に書くことができます。 ※ Reactには既にあるようです。https://reactjs.org/doc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DockerfileをLintする - Qiita
GolangでDependency Injection - Qiita
JSON/JSONBと全文検索 - Qiita
