SentencePiece is an unsupervised text tokenizer and detokenizer mainly for Neural Network-based text generation systems where the vocabulary size is predetermined prior to the neural model training. SentencePiece implements subword units (e.g., byte-pair-encoding (BPE) [Sennrich et al.]) and unigram language model [Kudo.]) with the extension of direct training from raw sentences. SentencePiece all
June 7, 2016 I just upgraded my computer to Ubuntu 16.04, from 12.04. So, expect occasional updates on what has happened in the last 4 years since I am a computer dinosaur. Now, as you all know, strace is my favorite program. So updates to my favorite program are EXTREMELY EXCITING. When you run strace, you’ll see a lot of lines like this: write(1, "aio.h\t btrfs\t elf.h...") = 172 The number “1”
It is always almost the same story: “As a customer I want to import data from the the superseded system in to the newly build environment”. So whats the deal? Building the new system based on the database structure to make the import as easy as possible? No, way to many drawbacks and since we have our lessons learned we know that flexibility matters and we'd rather go for a better fitting database
コマンドラインからCIのコントローラ経由で実行できるようにする。 CIそのままでは引数によるコントローラ、メソッドのマッピングができないのだが、今後使う必要が出てきそうなのでいじってみる。 処理を追ってみると、CodeIgniter.php 内で pre_system フックの後に CI_Router クラスの読み込みを行っている。 CI_Router クラス内では $_SERVER の値によりコントローラとメソッドの選択を行っているので、無理矢理だがそこを書き換えることで動作の制御ができそう。 1. system/applications/config/hooks.php に以下を追加。 $hook['pre_system'] = array( 'class' => 'CLI', 'function' => 'set_route', 'filename' => 'CLI.php', 'f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く