はてなブックマーク

この記事はクソアプリ2 Advent Calendar 2019の16日目が空いていたので昔作ったクソアプリの紹介をするものです。 その昔こんな話題がありました。 なぜたった15人しかいない徳川将軍は覚えられないのですか？ - Togetter プログラマ視点では、「シェルで補完できないから」というのが一つの意見としてあります(暴論)。 bashの補完スクリプトの作成 ということで徳川幕府の将軍を補完できるスクリプトを書きました。2013年のことです。 当時の問題点 シェルの補完という行為は、基本的にあるコマンドに対して行うものです。しかしこの時点では存在しないコマンド"shogun"に対する補完として実装していました。 また、対応したのは徳川幕府だけで、鎌倉幕府には対応していませんでした。 鎌倉幕府対応版 2年後の2015年、鎌倉幕府への対応を行いました。 shogunコマンドの実装 さ

BERTの多言語モデルを用いて二値分類を試してみました。既に先駆者がいらっしゃいますので、二番煎じになります。 ソースコード https://github.com/knok/exp-ml-bertに用意してあります。 READMEにも一通りの説明は記載しました。 対象データ 3種類のデータセットで比較、検討しました。 ライブドアニュースコーパスのうち、「ITライフハック」と「家電チャンネル」の記事 同じくライブドアニュースコーパスのうち、「Sports Watch」と「Peachy」の記事 https://www.aozora.gr.jp/で公開されている、「芥川龍之介」の著作と「宮沢賢治」の著作 下処理 0-setup.ipynbを実行することで、以下の処理を行います。 ライブドアニュースコーパスのダウンロード CoLAデータセットに合わせたtsvへの変換 不要な文字列の除去 データのシ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 抽象型要約の手法であるPointer-Generator NetworksをChainerで動くようにしてみました。 Pointer-Generator Networksについて Pointer-Generator Networksは抽象型要約としてsequence to sequenceを使うアイディアを発展させたものです。 先行研究として、CopyNetがあります。CopyNetに関してはqiitaに解説記事があります。 今更ながらchainerでSeq2Seq（3）〜CopyNet編〜 - Qiita 既存のseq2seqは未知語

TL;DR Debian Sources https://sources.debian.org/というサイトができました。ローカルにダウンロードすることなく、Debianパッケージのソースコード検索、閲覧ができます(ソース検索部分はDebian Code Searchを利用)。 debianがアーカイブとして記録しているバージョンが対象なので古いものも閲覧できます。 インターフェース 通常のWeb操作以外に、APIが使えるようになっています。 パッケージ名検索と、パッケージ名prefixからの一覧選択ができます。 copyrightファイルの閲覧 https://sources.debian.org/copyright/にアクセスすれば、copyrightに限った閲覧ができます。パッケージ名がわかっていてcopyrightだけ見たいという時に、いちいちdget等でソース取得・展開をしなくて

以前、Recurrent Convolutional NNでテキスト分類という記事を作成し、画像ではない方のR-CNNでテキスト分類をするコードを書きました。 この時、「covolution_2dではx軸固定の畳み込みができない」と書いたのですが、実際のところは画像を対象とした処理と同様の畳み込み方法(x, y方向に移動しながらフィルタを適用する)でも性能は出るようです。実際にその手法でChainer実装をされた方がいました。 【Chainer】畳み込みニューラルネットワークによる文書分類 単語埋め込みベクトルを語順にそのままつなげて大きな2次元ベクトルを作り、それを用いて分類器の学習ができるわけですが、テキストという性質上、そのサイズは文章の長さに依存してしまいます。そのため、先の実装では一度すべての文章の最大長を計り、そのサイズに固定して(必要なら0パディングして)処理を行っています。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? SeqGANについて 画像におけるGenerative Adversarial Networks(GANs)の進歩はめざましく、今もどんどん新しい手法が次々と提案されています。しかしながら、GANsを直接テキストのような系列データに適用しても、文法的な正しさを保った結果を得るのは困難です。 SeqGANは、その課題の克服を目指した生成モデルの一つです。 SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient 関連研究 GANs以外の生成モデルである、VAEを自然

seq2seqで利用可能な日本語対話データセットをダウンロードするツールの続きです。TensorFlowのseq2seqサンプルを、このデータで学習できるようにしてみました。 オリジナルのTensorFlowサンプルseq2seqは、WMTの配布する巨大な英仏翻訳のデータセットをダウンロード、展開して処理するコードが入っています。考えなしに動かせる点ではとてもお手軽で良いのですが、自分で用意したデータセットを与えるには向いていません。そこで、指定したディレクトリ上にあるinput.txt(encoder用データ)とoutput.txt(decoder用データ)を読みに行くよう修正したバージョンをgithubに置きました。オリジナルのコードに準じてApache 2.0ライセンスです。 knok/tf-seq2seq-mod: Modified seq2seq on TensorFlow これ

import numpy as np import chainer from chainer import cuda, Function, gradient_check, Variable, optimizers, serializers, utils from chainer import Link, Chain, ChainList import chainer.functions as F import chainer.links as L class RNN(chainer.Chain): def __init__(self): super(RNN, self).__init__( w1 = L.Linear(2, 10), h1 = L.Linear(10, 10), o = L.Linear(10, 2) ) def reset_state(self): self.last_z

knok/make-meidai-dialogue: Get Japanese dialogue corpus というものを作りました。 背景 seq2seq実装をいくつか触ってみて、何かしらの知見を共有したいと思っているのですが、あまり具体例に踏み込んだ話題をなかなか見かけません。 その要因の一つに「日本語」で「対話」の「自由に利用できる」データセットがないことがあるのではないかと考えています。 個人的にTwitterから適度に対話を取得してくるスクリプトを一度作ったことがあったのですが、ノイズが多くかなり手作業でデータをクレンジングする必要がありました。 LSTMで自然な受け答えができるボットをつくったという記事を書かれた人は、ask.fmからデータをクローリングしていますが、やはり苦労はされているようです。 今回作ったもの githubのREADMEにも書きましたが、このツールは日本

他人のコード理解のために写経をやってみています。うまく行かなかった時には、オリジナルのコードと比較する必要がありますが、その時に以下のツールを使っています。 Reindent Pythonのインデントを整えなおすツールです。参照元のコード、あるいは自分で書いたコードのインデント基準が異なっていると非常に比較しづらいので、これを使って統一しています。 pip install Rindent で"rindent"コマンドが導入されます。実行は引数に整形対象のファイルを指定するだけです。デフォルトでオリジナルファイルのバックアップを作成します。 インデントの整形はPEP8のスペース4文字に統一されます。インデント以外も含めてPEP8に修正するautopep8というツールもあるようです。 Reindent 0.1.0 : Python Package Index Python のコーディング規約

機械学習でテキスト分類をできないかと調べたところ、2種類の手法が提案されていました。 CNNによるテキスト分類 RNNで文書分類（Text Classification） 前者の手法は既にTensorFlowによる実装があったのと、直接Chainerで記述できなかった(covolution_2dではx軸固定の畳み込みができない)ので、後者を実装してみました。 追記 この記事を書いた当時はフィルタの幅と入力行列の幅を同じにしたとき、0除算例外が出てしまっていたのですが、今は問題なくできるようになっていました。自分が試した頃は確かversion 1.6あたりだったと思います。 ChainerによるCNN実装例がQiitaにもあります。 【Chainer】畳み込みニューラルネットワークによる文書分類 こちらの実装では、単語埋め込み表現をword2vecで既に学習させたものを利用していますが、li

# -*- coding: utf-8 -*- import tensorflow as tf csv_name = 'path/to/filelist.csv' fname_queue = tf.train.string_input_producer([csv_name]) reader = tf.TextLineReader() key, val = reader.read(fname_queue) fname, label = tf.decode_csv(val, [["aa"], [1]]) jpeg_r = tf.read_file(fname) image = tf.image.decode_jpeg(jpeg_r, channels=3) sess = tf.Session() init = tf.initialize_all_variables() sess.run(ini

Pythonのコードを書いていて、あるタイミングでデバッガを呼び出したいことはよくあります。あらかじめ呼び出したい状況が決まっていれば、単純にpdbでブレークポイントを指定したり、コード中に"import pdb; pdb.set_trace()"を埋め込むことで対応できますが、完全な「任意」のタイミングとなるとそうもいきません。 gdbでいう、実行中のプロセスにattachするようなことができないかと調べたところ、StackOverflowにエレガントな方法があったので、ここに記録しておきます。 python - Attaching a process with pdb - Stack Overflow import signal def handle_pdb(sig, frame): import pdb pdb.Pdb().set_trace(frame) if __name__ =

Chainer imagenet example 機械学習で多クラス画像分類を行いたいと思った時に、Chainerのサンプルコード https://github.com/pfnet/chainer/tree/master/examples/imagenet は非常によくできていて、ほぼ手をつけずに応用が効いて便利です。 こちらの投稿「PFN発のディープラーニングフレームワークchainerで画像分類をするよ(chainerでニューラルネット1) - 人工言語処理入門」に従ってデータを用意・処理すれば、大体思うように動いてくれます(データセットが適切である必要はもちろんありますが)。 このサンプルでは、下処理として学習画像の平均値を用いたデータの正規化を行っています。また、データ拡張として、ランダムな領域のクリッピングと左右反転を行っています。 TensowFlowのCIFAR-10サンプル