年末年始にいくつか本を読んでいたが、失敗の科学という本が面白かった。 失敗の科学　失敗から学習する組織、学習できない組織 作者:マシュー・サイドディスカヴァー・トゥエンティワンAmazon 内容的には、失敗をしたときにきちんとその失敗から学びましょうというものだが、実際に大きな失敗をすると人や組織はその失敗を隠してしまったり、失敗を仕方ないものとして学ぼうとしない傾向があり、その現象をクローズドループ現象と呼んでいる。 航空業界ではオープンループがうまく回っているが、医療業界はクローズドループになってしまっていることや、心理療法士はフィードバックをきちんともらえないから経験が当てにならないなどが書いてあって面白かった。 おもしろかった点をいくつかあげておく 努力が判断を鈍らせる 努力や労力をかけているほど、失敗したときにその失敗を受け入れることが難しく、解釈を変えて失敗したことを無かったこ

お題「エンジニア立ち居振舞い」 僕が意識しているエンジニアの立ち居振る舞いは、チーム開発におけるボトルネックをなるべく発生させないようにすること。 エンジニア、デザイナー、企画、ディレクターなどがいるチームで開発していると、エンジニアリングやサービス仕様の側面で困りごとが発生することがある。 例えば、 チームのエンジニアが仕様や設計について困っている。 チームのエンジニアがレビュー待ちでタスクが進めづらくなっている。 デザイナーの開発環境でエラーがでたり、gitの操作で困っている。 企画、ディレクターなどがエンジニアリングに関して相談がある。 比較的チームに長く在籍していて、サービス仕様などに詳しいということもあるけど、こういったエンジニアリングにおける困りごとをなるべくすばやく解決できるようにして、待ち時間を短く、チームの開発効率を上げようとしている。あとは、一人でできるタスクよりも複数

今年は言語処理学会に参加できなかったので、proceedingsを眺めて気になった論文を斜め読みだけした。メモ程度だけど残しておく。 来年の言語処理学会はどこなんだろ、筑波大？行けるといいな。 慣用句感情コーパスの構築および慣用句感情表現辞書の拡張 単語やフレーズだけでなく、慣用句の感情表現を獲得する 既存の慣用句感情表現辞書を使ってコーパスを作成し、そこから慣用句感情表現を拡張する web上のテキストからの表記ゆれ語獲得 「うーれしい」と「嬉しい」のような表記ゆれ語と正規語を教師なしのアプローチで獲得する Twitterのデータに対して、区切り文字（改行文字、句読点、記号、顔文字、スペース）で分割し10文字以下の文字列を対象とする 実際にデータ見ないと決められないような上手な条件設定だなーと感じた 意味類似度、音類似度、ノード間類似度を利用 音類似度（母音の置換と削除を無視した編集距離）

yahoo-ds-event.connpass.com 関西であまりデータサイエンティスト系のイベントないので、参加してみた。 東京では、3回に分けてやったものをまとめてやったらしい。東京のやつのほうが内容濃くて面白そうな気もする。 Yahoo! JAPANデータサイエンスワークショップ+懇親会 - connpass Yahoo! JAPANデータサイエンスソリューションワークショップ+懇親会 - connpass Yahoo! JAPANデータインフラ ワークショップ＋懇親会 - connpass 内容は3公演+LT。 関西だと人が集まるかわからないので、内容も結構全体像や事例を話す感じで比較的いろんな人が楽しめるようにしているようだった。その分少し物足りなく感じる部分もあるけど、最初で手探りなので仕方ないし、深い話は懇親会で聞きましょうという感じだったのでそれはそれでいいのかもしれない

NAACL 2015の論文のLCCT: A Semi-supervised Model for Sentiment Classificationを読んだ。メモと気になった部分を軽く実装して試してみた。 感情分析で、コーパスベースのアプローチと辞書ベースのアプローチでco-trainingする話。 コーパスベースのアプローチだと、精度は高いが再現率が低い。逆に辞書ベースのアプローチだと再現率は高いが精度が低いのでこれを解決したいというもの。 ドメインに依存しない汎用的な素性をコーパスベースのアプローチで取得し、ドメインに依存するような素性は辞書ベースのアプローチでカバーする。 ドメイン依存の単語はSemi-supervised Sentiment-aware LDAというアプローチを使って獲得する。ポジティブ、ネガティブ、ニュートラルの3分類でそれぞれに対していくつかシードを与えてることでド

今年は京都（京大）であったということもあって、言語処理学会第21回年次大会に参加してきた。 16～21日でチュートリアル、本会議、ワークショップとあったけど、本会議の1,2日目とワークショップの計4日間参加。 本会議で発表を聞いたものの中から覚えている/気になったものをメモ程度に。 素性に重みを付けるSelf-training手法を用いた文書分類の領域適応 ドメイン適応にself-trainingを適用し、素性の重み付けも少し従来と変えるアプローチ 重み付けのところの有効性はあまりよくわからなかった self-training、勝手に98, 99%とかすごい高い精度じゃないとうまくいかないと思ってたのだけど、性能向上していたので意外だった 議論文生成における文抽象化のための固有表現抽象化 聞きたかったけど、人気だったのであんまりちゃんと聞けなかった 固有表現と固有表現の抽象化候補が与えられ

前に作った、日本語WordNet-Affect作るためのスクリプトが動かないとコメントをもらったので修正した。 python2、nltk2系だと動いていたけど、バージョンを固定しないとnltk3が入るようになっていつの間にか動かなくなってた。python2系使ってたらnltk2を入れて欲しいものだけど、特にそういうことは考慮してくれないようだ。 なので、python3系、nltk3系で動くように修正した。 ただ、その際にsqliteのDriverに使ってた pysqlite2 はpython3 対応されてないのでどうしようかという感じだったけど、python3系ではsqlite3がデフォルトで入っていてそちらを使うのが正しいようだったのでこれも修正。 http://docs.sqlalchemy.org/en/rel_0_9/dialects/sqlite.html#driver mast

今日は久々に自分の担当の社内輪読会だった。 今回はACL2014のActive Learning with Efficient Feature Weighting Methods for Improving Data Quality and Classification Accuracyを紹介した。ACL2014読み会が色んなところで開催されていたと思うけど、たぶんどこでも紹介されていなかった気がする（別に紹介されていてもいいのだけど）。 内容 最近はやりのクラウドソーシングを使ったもの。クラウドソーシングを使うと、安価で大規模なコーパスが作れるが、どうしても品質が下がってしまうので、なるべく低い労力で品質を向上したいという目的で能動学習のアプローチを利用してコーパスの品質を向上している。 感想 能動学習のアプローチを取り入れたこと自体はこの論文の新規性ではないけど、コーパスの品質改善に能

Perlで大規模な処理をしたときに、メモリに気を使わないといけないことがあって、メモリの開放について調べたときに、以下のページを見て、スコープ外れただけではメモリ開放されないことを知ったので、自分でも試してみた。 http://skitai.blog98.fc2.com/blog-entry-49.html メモリ使用量の確認には Devel::MemUsed を利用。昔はcpanにあったぽいけど、今はないようなので、https://github.com/jozef/devel-memused からcloneして使う use v5.14; use strict; use warnings; use lib glob "modules/*/lib"; use Devel::MemUsed; my $mem_used = Devel::MemUsed->new; $mem_used->rese