はてなブックマーク

こんにちは。ublacklist-stackoverflow-translation を管理している @shora_kujira16 です。 github.com このリポジトリはよく目につく Stack Overflow の機械翻訳サイトがまだ両手で数えられるほどしかなかった2019年10月に公開を始めたものです。利用者数を計測することはできていないのですが、GitHub のスターの数などから推測するに今年の1月ごろから多くの方にご利用いただいているようです。 リポジトリを公開してから1年半ほど経ち、今では多くの方から継続的にプルリクエストをいただくようになりました。この記事ではこのリポジトリを管理していてわかったことや今後の展望についてまとめます。 対象ドメインの数 「Stack Overflow 機械翻訳」のようなキーワードで Twitter を検索してみることがあるのですが、リポジ

問題 あなたは ICPC OB/OG の会が開催する ICPC 模擬国内予選 2020 のスタッフとして、選手に詳細案内を送付する仕事を任されている。 詳細案内は、模擬国内予選で使われるジャッジシステムの URL とログインに必要なチーム番号、パスワード、そしてチーム名と所属を含む文字列であり、与えられたテンプレートにチームごとに異なる文字列を埋め込むことによって表される。 あなたは詳細案内を「すごく難しい天才以外お断りプロトコル」(SMTP) を使って送付しなければならない。 プログラマーであるあなたは SMTP を使って詳細案内を送信するプログラムを作成することにした。 入力 入力は以下の形式で表される N A_1 T_1 S_1 I_1 P_1 A_2 T_2 S_2 I_2 P_2 ... A_N T_N S_N I_N P_N L M_1 M_2 ... M_L 最初の行は送付先

この世にはスナップショットという便利なものがあるらしいと耳にしました。 噂によれば以下のようなことができるようなのです。 ある時点のファイルシステムやボリューム全体のコピーのようなものを高速に採取できる（「ある時点」の「全体の複製」が取れるので整合性を失わずにバックアップが取れる） スナップショットを作成してもディスクの使用量が倍になるわけではない。変更差分のみをいい感じに管理してくれる。 この記事では以下のスナップショット技術を使ってみました。 LVM snapshot LVM thin provisioning Btrfs ZFS Stratis 操作確認は基本的に Ubuntu 18.04 で行いました。ただし Stratis の検証だけは Fedora 29 で行いました。 LVM snapshot 以下のような状態で /dev/sdb1 を LVM で利用します。 shora@b

/etc/apt/sources.list の設定内容の意味をよく理解していなかったので調べた。 とある Ubuntu 18.04 のサーバーの設定は以下のようになっており、この設定内容を理解することが目的である。 # See http://help.ubuntu.com/community/UpgradeNotes for how to upgrade to # newer versions of the distribution. deb http://jp.archive.ubuntu.com/ubuntu bionic main restricted # deb-src http://jp.archive.ubuntu.com/ubuntu bionic main restricted # # Major bug fix updates produced after the fin

5月から以下の本の輪講を助教の先生と @yurahuna と私でやっていました。修論の追い込み次期ということで9章のグラフの章が終わったところで一旦終了としました（本当は11章のTextまでやりたかったのですが仕方ないね）。 Compact Data Structures: A Practical Approach 作者: Gonzalo Navarro出版社/メーカー: Cambridge University Press発売日: 2016/09/08メディア: ハードカバーこの商品を含むブログを見る 9章までの簡単なまとめ 2章では基本事項として最悪エントロピーやシャノンエントロピーの計算，ハフマン符号による符号化，イェンゼンの不等式の計算練習をやりました。簡潔データ構造は「情報量の下限に近い容量で有益な操作を提供する」というデータ構造なので，この本ではどんなデータ構造についても最初に

今日覚えたNumPyのテクニックを紹介します。 numpy.stack で2次元配列を繋げて3次元配列を作る 1次元配列を繋げて2次元配列を作りたいような場合には numpy.vstack や numpy.hstack という関数があります。 a = numpy.array([1, 2, 3, 4]) b = numpy.array([2, 4, 6, 8]) c = numpy.array([3, 6, 9, 12]) numpy.vstack([a, b, c]) # array([[ 1, 2, 3, 4], # [ 2, 4, 6, 8], # [ 3, 6, 9, 12]]) 2次元配列を繋げて3次元配列を作りたいような場合にはどのようにすればよいか知らなかったのですが，numpy.stack という関数があることを知りました。 a = numpy.array([[1, 2, 3

「ベルヌーイ分布のパラメータ x が与えられたときに，裏が出る確率 1-x を計算したい」「1-x ではなく log(1-x) がほしい」「x ではなく log x が与えられている」という状況で，タイトルのように log(1-exp(x)) を計算したい状況になりました。 機械学習では何かの値の対数を計算することがよくありますが，いくつかの計算については数値計算的に安定な方法が提案されています。有名なのは log Σ_i exp(x_i) を計算する logsumexp です。そのまま exp(x_i) を計算するとオーバーフローする可能性がありますが，最終的には対数をとっているので答えはそこまで大きくならないはずで，exp(x_i) のオーバーフローを回避する方法があります。 log(1-exp(x)) についても類似のテクニックがないかTwitterでお聞きしたところ，数名の方から有

問題設定 整数二分探索とは，以下の矢印の位置を求める問題である。 パターンA パターンB 解き方 前提として，範囲を閉区間で扱うと微妙にバグるので半開区間で扱う。while文の条件はどちらのパターンでも ub - lb > 1 である。 パターンA [lb, ub) として範囲を扱うのが正解。 mid = (lb + ub) / 2とする。矢印のところをチェックして(check(mid) ? lb : ub) = mid;と更新する。 失敗パターンとして，(lb,ub] として範囲を扱った場合を考える。 (lb, ub] の中にcheckがTrueになるものが無くなってしまった。 ダメってはっきりわかんだね。 パターンB (lb, ub] として範囲を扱うのが正解。 mid = (lb + ub) / 2とする。矢印のところをチェックして(check(mid) ? ub : lb) = m

入力について 普通は fmt.Scan で問題ないのですが，高速な入力が要求される問題では fmt.Scan だと遅すぎることがあります。fmt.Scan では 3*106 個の整数の入力に10秒以上かかりました。 高速な入力のためには bufio を使います。bufio を使った方法では 3*106 個の整数の入力にかかる時間は0.1秒以下でした。bufio.Scanner の Scan() と Text() の組み合わせで多くの場合は事足りるのですが，これにも少し問題があります。Scan() で読み取れるトークンの最大長は MaxScanTokenSize という定数で定義されており，Go 1.8 では 64*1024 でした。これでは 105 や 106 程度の長さの文字列の処理を要求する問題に対応することができません。Buffer([]byte, int) でバッファの大きさを変え

この記事はCompetitive Programming Advent Calendar 2016（その2）の12月15日の記事です。 www.adventar.org はじめに 基本事項 1点に対する変更クエリ・区間に対する質問クエリ Range Sum Query Range Minimum Query 区間に対する変更クエリ・1点に対する質問クエリ Range Add Query Range Update Query 区間に対する変更クエリ・区間に対する質問クエリ RSQ and RAQ RMQ and RUQ 応用例 Flipping Parentheses セグメントツリーにチャレンジしたくなったら 謝辞 はじめに 私はRMQのような典型的なセグメント木までは比較的容易に実装できるのですが，それよりも難しいクエリに対応したセグメント木を書くのは難しく感じています。とはいえ「区間に

この記事は jupyter notebook Advent Calendar 2016 の12月13日の記事です。 qiita.com Jupyter Notebookを使う上で，この機能を知らない人を見つけたら教えてあげたくなるような小ネタをいくつか紹介します。 IPython.display.display Jupyter Notebook上でpandasのDataFrameを表示すると，HTMLのtable要素として見やすく表示してくれます。活用している方も多いかと思います。 df[df['f'] == 'C'] と df[df['f'] == 'T'] を表示したいのですが，Jupyter Notebookで表示されるのはそれぞれのセルで最後に評価されたものだけです。そのため，表示したいDataFrameごとにセルを分ける必要があります。 gist.github.com しかしなが

Kaggleとかやってる人に人気のあるアレです。 github.com インストール ここ数ヶ月の間，開発が停滞していて，Python3の互換性の問題を修正するプルリクエストが取り込まれていない状況です。 不幸にもPython3に関する問題に追突してしまった場合には，修正してあるforkを探してきて，それを使ったほうが良いでしょう。 私の場合は，試行したパラメータの履歴を保存する hyperopt.Trials を使った際に問題が起こったので，次のようにして修正の入ったコミットをインストールしました。 $ pip3 install -U git+https://github.com/vilcenzo/hyperopt.git@8b37bb4a1ac0d03fc14ec95ea0b73ec6019c2ad7 2017/01/16追記 開発が再開されたので本家のリポジトリのものをインストールす

github.com 2016/12/19追記 現在では様々な状況が変わっており，この記事の内容だけでは動作しません。コメント欄に追加の情報がありますのでそちらを参照してください。 やりたいこと JavaScriptを書くのがつらい → TypeScriptを使って型のあるプログラミングをする テストを書くためにAPIを覚えるのがダルい → power-assertを使う テストをNode.js上ではなくブラウザ上で動かしたい → Karmaを使ってブラウザ上でテストを動かす それによって生じる依存関係 TypeScriptを使う → TypeScriptからJavaScriptに変換しなければならない → ts-loader (TypeScriptコンパイラをwebpackから扱うためのモジュール) を使う power-assertを使う → intelli-espower-loader

追記 ここ10ヶ月ほど本家リポジトリのmasterブランチの更新が無く，先行きが不透明なのでforkを探してみました。 kujira16.hateblo.jp はじめに 研究室にzshのヘビーユーザーがいたので，それに触発されてzshの設定を作りなおしました。 私がzshを使い始めたころ（5年くらい前？）はoh-my-zshのような設定管理フレームワークが有名になる直前だったので，よく書かれているzshrcを探してコピーしてくるのが普通だったのですが，今ではoh-my-zshやPreztoのような設定管理フレームワークを使うことで，よく書かれた設定を手軽に利用することが出来ます。 oh-my-zshと比較してPreztoのほうが後発で動作も軽いということだったので今回はPreztoを利用してみました。 github.com zpreztorc .zpreztorc はPreztoの設定ファ

可視化してみました。 解説 以下の動画が一番分かりやすいです。 www.youtube.com Q関数を最大化する, , の求め方は，実際に解いてみると，本当にラグランジュの未定乗数法を使うだけという感じでした。ただし という制約を組み込むのを忘れずに… について求めるところはちょっと迷ったので，導出を載せておきます。 ソースコード Pythonで書きました。movieディレクトリにpngを連番で出力します。アニメーションGIFを作るには以下のサイトを参照してください。 アニメーションGIFの作り方 ImageMagick編 hに関してのforループが残っていてnumpy力の低さが感じられますが，自信がある人は消してみてください。 # coding: UTF-8 import os import shutil import scipy import scipy.stats import m

目的 テキストデータから特徴ベクトルを作って何かやろうと思ったときに，私の場合は何も考えずに単語文書行列を作ってナイーブベイズのようなベースライン的な手法を試すところからはじめます。単語文書行列というのは以下のページに載っているような行列です。英語ではDocument-Term Matrixといいます。 ベクトル空間モデル - Wikipedia Wikipediaに載っているように，行方向に単語，列方向に文書を並べるのが普通です。ただし，scikit-learnの慣習では行方向に事例，列方向に素性を並べるため，逆になります。 語のリストから単語文書行列を作るときには，(a) collections.Counterとsklearn.feature_extraction.DictVectorizerを使う方法 がシンプルでおすすめです。一方で，scikit-learnにはsklearn.fe

なぜUbuntuをインストールしたのか？ Linuxディストリビューションは何でも良かったのだけれど、とにかくOSXのまま使い続けるのが難しい状況だったためです。 インストールされているOSXが10.4でgccすらインストールされていない状態でしたので、OSXのバージョンを上げるか、Linux機として利用するしか選択肢がありませんでした。 前者のOSXをアップデートする方法についてですが、最新のMavericksにアップデートするためにはSnow Leopardを購入してアップデートする必要があります。仮にアップデートできたとしても、iMac (Mid 2007)はMavericksがサポートしている最も古い機種でしたので、次のバージョンあるいは次の次のバージョンでサポートが切られることが容易に予想できます。 このような理由から、消去法的にLinux機として利用することになりました。 20

GridSearchCV，RandomizedSearchCVのverboseオプション ドキュメントには単に"Verbosity level."や"Controls the verbosity: the higher, the more messages."としか記載されておらず闇っぽい。 verbose=1では一定の間隔でログを表示，verbose=2ではテスト毎にログを表示，verbose=3ではテスト毎にスコアも含めてログを表示するようなので，私は1か3にすることが多い。 カテゴリ素性を含むpandas.DataFrameをnumpy行列に変換する 1. DictVectorizerを使う 追加のパッケージは不要だけど，一度Pythonの辞書に変換しているので効率が悪そうな気がしなくもない。 stackoverflow.com fastml.com 2. sklearn-panda

www.youtube.com 去年のはじめに高速文字列本を買ったのですが、アルゴリズムを眺めるだけで実装はしていませんでした。特にウェーブレット行列は実装が大変そうにしか見えなくて敬遠していたのですが、ICPCの夏合宿で @hirokazu1020 さんに「あれはアイデアさえ理解していれば実装するのは簡単だよ」という旨のことを言われたので、学校のプログラミングの演習の自由課題としてウェーブレット行列とFM-indexを実装してみました。 制作物はブラウザ上で動く青空文庫のインクリメンタル検索です。C++で書いたFM-indexをboost-pythonを使ってPythonから呼び出せるようにし、Flaskを使ってブラウザからのリクエストに応答するような仕組みにしてみました。アルゴリズムの本質的なところは全て自分で書こう！というモチベーションで始めたのですが、SA-ISが難しくてsais.

LLを使ってプログラミングするときに普段はRubyを使っているのですが，いろいろあってPythonも使い始めました。 何問かAOJでも提出してみたので、手元のメモ書きをリファレンス的に残しておこうと思います。 基本演算 -3 / 2 #=> -2 -4 % 3 #=> 2 入力 raw_input() で１行読み込み string#split( [separator] ) で分割できる。半角スペースで分割したいときは、separatorを明示的に渡さずに 'hoge fuga piyo'.split() としておけばよい "1 2 3"のような整数列を受け取りたいときは、次の２つが使える map(int, raw_input().split()) [int(s) for s in raw_input().split()] 出力 Python 3系だとprint()関数、Python 2系で

@ipv4 さんにおすすめされたので、試しに導入してみました。 インストールしたPCは CPU Pentium 3 450MHz メモリ 256MB という残念なスペックのものですが、nginx + unicornの組み合わせは強力なようで、２〜３人で使う分には十分快適でした。（重い処理でも2秒以内にはレスポンスが返ってくることが多い） Apache + passenger という組み合わせも検証してみましたが、メモリが足りずにスワップが頻発してしまい、使い物になりませんでした。 OSのインストールと初期設定 真っさらの状態からUbuntu 12.04(Server)をインストールしました。 OSのインストール時に一緒にインストールするものを選択する画面では、OpenSSHのみ選択しておきました。 インストールが終わったら、SSHとufwだけ軽く設定して、これから必要となるパッケージをイン