Tri-training Domain Adaptation の実装に関するメモ - Qiita
images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels import skimage.transform # for train data indices = np.random.choice(55000, 10000, replace = False) images_train_0 = images_train[indices] images_train_0_2d = np.reshape(images_train_0, (-1, 28, 28)) labels_train_0 = labels_train[indices] #images_train_flip_2d = image
Webテキスト解析のRubyのGem作った (tf-idfとは？編) - Qiita
開発合宿で作ってみて楽しかったので記事化 社会人はアウトプットが大事ってどっかの偉い人が言ってたし。。。 Gemの使い方は長くなるので別記事へ GEMのGithubレポジトリ tf-idfとは?? もうすでに有名かと思われるが一応説明。 知ってる人は飛ばしてください！！ TF Term Frequencyの頭文字をとったもの 計算式 tf = 単語の頻度 / 文章中の単語数 説明 "たくさん出てくる言葉ほど重要"を数値化するもの 例えば りんごおいしい。りんご好き。りんご神。 と言う言葉があった場合、６つの単語から成り立つ文書の出てくる単語の回数はそれぞれ りんご：3, 好き：1, おいしい：1, 神: 1 となる。 よってこのりんごという単語のtfは 3("りんご"が文章中に出てくる回数) / 6（文章中の単語数） となり、tfは0.5となる。 また同様に神という単語のtfは 1 / 6
TensorFlow 処理によってCPUとGPUを切り替える方法 - Qiita
背景 TensorFlow GPU版の評価環境において、tf.truncated_normal()を用いて、大量の乱数データ生成を試みるとエラーになることがわかった。 他の処理においても、GPU環境でのみエラーが多発し、ハードウェア的な制約が原因の可能性も考えられ、すぐに解決することが難しいと感じた。 気軽にGPU資源を活用するために、処理によってCPUとGPUを使い分ける必要があると感じ、その方法を調査した。 環境 iMac14,2 Intel Core i7 3.5 GHz プロセッサー数: 1 コア数: 4 システムメモリ: 8 GB NVIDIA GeForce GTX 775M VRAM: 2048 MB TensorFlow 1.10.0 (GPUを利用設定でソースからコンパイル) データ処理の設計について ドライブ、システムメモリ、VRAMで容量が異なり、各デバイスの長所を活
Webテキスト解析のRubyのGem作った (Gem編) - Qiita
require 'analy_z' a = AnalyZ::HTML.word_val(file_path, selector) a.tf # tf a.idf # idf a.tf_idf # tf-idf a.hse_tf_idf # hse-tf-idf a.words # words analy_z analyzed a.texts # texts analy_z analyzed a.sentences # sentences analy_z analyzed まずrequire 'analy_z'をしてから AnalyZ::HTML.word_val(file_path, selector) にファイルのパス名とセレクターを渡す。 file_pathの中身には必ず複数のhtmlもしくはテキストファイルが当てはまる正規表現、例えば htmls/*.htmlみたいなものを渡してくだ
Adversarial Discriminative Domain Adaptation (ADDA) の実装に関するメモ - Qiita
Adversarial Discriminative Domain Adaptation (ADDA) の実装に関するメモMachineLearningDeepLearningTensorFlowGANDomain-Adaptation images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels import skimage.transform # for train data indices = np.random.choice(55000, 10000, replace = False) images_train_0 = images_train[indices] images_tra
エントロピーによる Stop Words 抽出とサイトコンテンツの品質指標 - Qiita
Stop Words とは多くの文書に含まれていてそれ自体が文書の特徴を表しづらい単語を表します。例えば英文における the や in, after といったような単語は典型的な Stop Words です。 このような単語は検索時にノイズの原因となるためあらかじめ検索対象から除外する必要があります。この記事は**選択情報量** (自己エントロピー) を使って検索時に除外すべき Stop Words を判断するための指標を求めます。 なおここで扱っている数式は TF-IDF でいうところの DF (Document Frequency) と本質的に同じです。情報量/エントロピーが「文書集合全体」に対する単語の特徴を示すのに対して、TF-IDF は「ある文書」に対する単語の特徴を示す (目的は文書要約や代表語の抽出) という点で異なります。 情報量とエントロピーの求め方 選択情報量 総文書数
論文まとめ：TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation - Qiita
論文まとめ：TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image SegmentationDeepLearningCNNTensorFlowUnetSemanticSegmentation はじめに KaggleのCarvana Image Masking Challengeで１位を取ったモデル：TernausNet の論文をまとめてみた。 [1] V. Iglovikov, et. al. "TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation" arXiv：https://arxiv.org/abs/1801.05746 著者らのGithubコードは公開されている。 https://gi
Maximum Classifier Discrepancy Domain Adaptation (MCD-DA) の実装に関するメモ - Qiita
Maximum Classifier Discrepancy Domain Adaptation (MCD-DA) の実装に関するメモMachineLearningDeepLearningTensorFlowTransferLearningDomain-Adaptation images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels import skimage.transform # for train data indices = np.random.choice(55000, 10000, replace = False) images_train_0 = images_train[
text miningや方向情報の特徴抽出に便利な，超球上に分布する点をクラスタリングする方法 - Qiita
初めに 研究の関係で，３次元のベクトルデータを機械学習の入力とする必要がありました． データの形式としては，数秒ごとに長さがばらばらの３次元ベクトルを取得します． ベクトルの方向のみに着目するとし，合成ベクトルの長さを1へ正規化します． このように大量の時系列で得られた方向データをどのように特徴量抽出すれば良いか，というのが本内容です． 結論から言って，von Mises-Fisher Distribution (vMFD)からパラメータを最尤推定し，Mixture of vMFD (movMFD)で超球上の方向データをクラスタリングします． このモデル化された値が，方向データにおけるある種の特徴量と言えます． 自然言語処理をされている方はわかると思いますが，これは文書中の単語頻出指標tf-idfに関係が深い手法です． また物理空間で「ベクトルの向き」が時間変化するようなシステムに活用が可
CustomVisionでエクスポートしたモデルをAndroidスマホで動かす - Qiita
はじめに AzureのCustomVisionServiceでは、トレーニングしたモデルをエクスポートすることができます。このモデルをAndroideスマホで動かせるのか試してみましたっというメモです。 モデル作成 詳細は割愛しますが、CustomVisionServiceで画像をアップロードし、ラベルづけを行い、トレーニングしました。 モデルが出来上がったら、「Performance」の「Export」でTF(Android)を選択し、モデルをダウンロードしました。zipファイルの中にラベルが記載されたテキストファイルと拡張子がpbのモデルが入っています。 Azureサンプルを使ってみる 以下の記事を拝見したので、Androidでもてっきり簡単にできるものだと思っていました。 「Custom Vision Serviceを使ってお花判定カメラアプリを作る」 https://blog.ne
TF-IDF - Qiita
TF-IDF 今日も、機械学習やその他色々について得た知識を 復習and記事作成の練習and個人の備忘録としてまとめていきます！ 今回は、TF-IDFという自然言語処理の分野でよく使われる手法について説明します！ ⚠︎※※注意※※⚠︎ ・出来るだけ専門知識のあまりない人に対して、分かりやすく書くことを目標にしています。 そのため、厳密に言うと間違っている部分があると思いますがご容赦ください。 ・また、ネットで調べたレベルの知識がほとんどなので、 "厳密に言うと"レベルではなく間違っている箇所があるかもしれません。。 その場合は非常に申し訳ないです。指摘していただけると幸いです！ 参考サイト TF-IDFで文書内の単語の重み付け 前回までの記事 ・機械学習について ・教師あり学習 〜回帰〜 ・教師あり学習 〜分類〜 ・Random Forest ・階層型クラスタリング ・非階層型クラスタリン
Cross-Gradient (CrossGrad) Training の実装に関するメモ - Qiita
images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels import skimage.transform # for train data indices = np.random.choice(55000, 10000, replace = False) images_train_0 = images_train[indices] images_train_0_2d = np.reshape(images_train_0, (-1, 28, 28)) labels_train_0 = labels_train[indices] #images_train_flip_2d = image
WordCloudで凛として時雨の歌詞の傾向を可視化する - Qiita
2018-02-22 追記 コード類をGitHubにあげました。プルリクお待ちしております！ https://github.com/nekoumei/lyric_visualizer_with_wordcloud はじめに この記事では、pythonを使って↓こういう図をつくります 凛として時雨とは 僕が大好きな日本の3ピースバンドです。 プログレッシブな曲展開が魅力の凛として時雨ですが、歌詞のセンスが独特でおもしろいです。 ちなみに、作詞作曲はすべてギターボーカルのTKが行っています。 最近、ニューアルバム「#5」を出したり、Apple Music等サブスクリプションサービスに過去音源が配信されたりしているので、まだ聴いたことのない方は是非。是非。 本記事のイシュー 凛として時雨のアルバムの特徴として、アルバムごとのコンセプト等は明確に設定されていません。 このことは本人たちがインタビュ
国税庁HPリニューアル後のURLリダイレクタChrome拡張機能の技術的背景 - Qiita
国税庁のリニューアルで調べ物ができなくて困ったのでChrome拡張機能作ってみた という感じで Google Chrome の拡張機能を作ったんですが、その技術的背景についてはこちらに書きたいと思います。 プロダクト ソースコード Keywords Chrome Extension JavaScript 転置インデックス（inverted index） TF-IDF 開発背景 この拡張機能を作った背景は冒頭のリンクに書いたのですが、どういうものを作りたかったについての背景は書かなかったので、こちらに書きます。 実現したかったことは、まず、ユーザーは Google などの検索エンジンや、記事に貼られたリンクから、国税庁のホームページにアクセスします。すると、国税庁のサーバー側で renewal.htm にリダイレクトするのですが、そのリダイレクト直前のリクエストURL から新しい URL を
TwitterAPIとMeCabを使って「疲れ指数」測定器を作ってみる - Qiita
1. 何をするの？ 自分のツイートを解析して、「疲れ指数」を計算するような簡単なプログラムを作りながら、TwitterAPIとMeCabをサクッと試してみましょう。 ・TwitterAPIで自分のツイートを取得 ・MeCabでツイートを分かち書き（形態素ごとにリスト化） ・「疲」「しんどい」「眠」といった文字列がどれくらいあるかを出力する（「疲れ指数」） ちなみに、MeCabを使わずともTwitter APIだけで似たようなものは作れます。ではなぜMeCabを使うのかというと、例えば 「疲れた疲れた疲れた」 といったようなツイート（少し心配になりますね）を単にstrとして受け取って「疲」が含まれているかどうかを判断すると、値として１を返すのですが、MeCabを使うと 「疲れた」「疲れた」「疲れた」といった風に分かち書きしてくれるので、カウントが3になり、より正確な「疲れ指数」を計算できるよ
AWS SageMakerのノートブックインスタンスにmecabをインストールする - Qiita
$ sudo pip install mecab-python3 Collecting mecab-python==0.996 Using cached https://files.pythonhosted.org/packages/86/e7/bfeba61fb1c5d1ddcd92bc9b9502f99f80bf71a03429a2b31218fc2d4da2/mecab-python-0.996.tar.gz Building wheels for collected packages: mecab-python Running setup.py bdist_wheel for mecab-python ... error Complete output from command /usr/bin/python2.7 -u -c "import setuptools, tokeniz
NLPエンジニアがDockerfileに書くことベスト3 - Qiita
個人的に、Dockerfileに書くことが多い3つの記述をメモします。ただし、ここでメモするのは一般的な「aptでのインストール」とか「pipでのインストール」のようなものではなく、パッケージマネージャでは対応できないことについて書きます。 キーワード: dockerfile MeCabのインストール dockerfile anacondaのインストール dockerfile emacsの設定 dockerfileの例 以下のリンクで私のdockerfileの例をアップロードしています。 https://github.com/sugiyamath/credibility_analysis/blob/master/Dockerfile 前提 このリストは、ベスト3の内容ではなく、dockerfileの前提です。 ユーザはrootとする。 nvidia/cuda:9.0-develのようなub
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TF-IDFのDF (Document Frequency) の部分をWebAPIで公開した - Qiita
Python - スクレイピングと自然言語処理(簡単に) - Qiita
RでTweetをクラスタリング(DBSCAN) - Qiita
