こんにちは！ブレインズコンサルティングの大下です。 今回は、「あの論文を検証してみた！」のシリーズ第２回、BERTの可視化実験を紹介します。 BERTの枠組みで学習したTransformer (Self-Attention) が、入力系列のどこを注目しているのか、を可視化し、解釈を試みます。 先月ぐらいに、政府が考えるAIの7原則が記事になっていました。 その中に、「企業に決定過程の説明責任」というものがあり、一部で話題になっていたと記憶しています（批判が多かった印象）。 日本の戦略を考えると、量で質をカバーする方法では、もはや米国、中国には叶わないということもありそうなので、 仮に少量でも、日本らしい？質（==説明責任による安心・安全）を担保して差異化を図りたい、という流れになるのかもしれません。 ということで、説明責任に繋がるといいなぁという願いを込めて、BERTのアテンションの可視化

「就活するか？博士課程に行くか？」というのは、これからの時期、多くの修士1年の学生が抱える悩みだ。自分自身も、研究者を志して博士課程に行くつもりで修士課程に入学したのだけど、研究者として食っていくことの難しさを冷静に見れば見るほど不安になり、進路について大いに悩んだ。結局「研究以外の業界も見ておきたい」という気持ちや、「東京で会社員として稼ぐ生活を経験してみたい」という好奇心から、修士1年の冬から就活を始め、卒業後は会社員として3年働いた。その後会社を辞め、博士課程の学生として研究に戻ってきて3年で学位を取り、今ポスドク1年目なので、会社を辞めてからは4年が経とうとしていることになる。辞めた直後は、（学振DCをもらっていたとはいえ）給料は大きく下がったし、やる気だけはあったけど、本当に研究でやっていけるのか、アテも自信もない状況で、正直なところ「会社を辞めて研究に戻った自分」を正当化するの

特徴量選択とは Borutaとは とりあえず使ってみる ベースラインの判別 Borutaの判別 Borutaのアイデアの概要 Borutaのアルゴリズム 1. 判別に寄与しないはずの偽の特徴量を作る。 2. 偽の特徴量と一緒にランダムフォレストを訓練。 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。 4. 複数回比較し検定を行うことで、本当に重要な特徴量のみを選択。 検定について 1. 棄却したい帰無仮説と受容したい対立仮説を用意する。 2. 観測値から検定統計量Tを定める。 3. 帰無仮説が正しいとしてTの分布を求める。 4. 十分小さい有意水準αを定め、帰無仮説が正しいときにとなる領域を棄却域とする。 5. 観測されたTがに入っていたら対立仮説を受容し、入っていなければ帰無仮説を受容する。 まとめ 補足 使う際のTips等 2019/01/06追記 参考 特徴量選択とは 特徴量選択

「ぶっちゃけエンジニアリングマネージャー（以下、EM）って、どうなんですか？」 メルカリにおけるEMの役割、魅力などに迫るイベント「Engineering Manager Drink Meetup」が、2018年12月7日（金）、メルカリ東京オフィスで開催されました。現役のEMに加え、EMをマネジメントする「Engineering Manager of Engineering Managers（以下、EMofEMs）」のメルカリメンバーが登壇し、赤裸々に語り合ったイベントの模様をお届けします。 18年のキャリアから見えた、マネジメントに必要なこと 金曜日の夜にもかかわらず、40名ほどが参加。現役のVPoE（マネジメント責任者）やEMなど、第一線で活躍している参加者が一同に会し、盛り上がりを見せた今回のミートアップ。開始の時間を過ぎた頃、執行役員VP of Engineeringの是澤太志が

blog.3qe.us これを読んだ感想文を書く。 結論、大量生産は無理やろとは思う。 少なくとも、「プロ」としてお金をもらって高品質なソフトウェアを0から書けるようになるにはセンスが必要だ。 そもそもそのレベルには私もなっていない。 ただ今あるモノになんとなく機能を追加するレベルに引き上げる術はもっとあると思う。 経験則でなんとなくその例をあげる。 ペアプロ OJTに近いとも言えるし、一番わかりやすい。 ここでペアプロはハローワールドまでの環境構築や実装までを各要素を説明しながらやることを指す。 まずはメンター側が目の前で順番にやってみる。 で次にメンティに同じことをさせる。 そうすると絶対詰まる。 Error: variable 'a' is undefined, line 24 こういうエラーが出るとまず英語を目の前で読む。 で理由を順番に説明して24行目を一緒に読む。 根気よく教え

こんにちは、れいじです。 昨年12月15-16日に行われた「HackDay2018」に参加していました。 hackday.jp 今回は助っ人として機械学習エンジニアをメンバーに迎え、3人でハッカソンに取り組みました。 結果は受賞ならずといったところでしたが、シンプルながらビジネス展開もできそうなサービスが作れたこと、審査員コメントで「すぐにサービスとしてリリースができそう」といったものが目立っていたことから、自分たちが作ったサービスも早めにローンチしてみようということで年末にいろいろ動いておりました。 何を作ったのか 「ASYMER(あしめあ)」というWebサービスを作りました。 https://asymer.info/ 片方だけ無くしてしまったイヤリングやピアスをアシンメトリデザインのアクセサリーとして蘇らせるサービスで、スマートフォンで撮影したアクセサリーの画像を元に、色調やモチーフ検

PyTorchを用いて分類器に対する攻撃手法であるAdversarial Attackを実装してみる． これは，分類器に対して故意に誤分類を誘発させるような画像を生成する攻撃手法である．例えば， 自動運転車に対する標識の誤検出の誘発 顔認識システムの第三者による誤認証 など，ニューラルネットの社会実装をする上で重要な問題である． Import Modules 必要なライブラリをimportしておく %matplotlib inline import json import pickle import urllib import numpy as np from PIL import Image import torch import torch.nn as nn import torch.nn.functional as F from torch.autograd.gradcheck im

正月、皆が寝静まった後の時間を使ってリアルタイム物体認識を2本作ってみた。 TensorFlow Lite 版 GitHub - mattn/webcam-detect-tflite https://github.com/mattn/webcam-detect-tflite TensorFlow Lite は Google が開発している TensorFlow のモバイル環境向開発環境およびランタイムで今回は C++ で書いた。モデルファイルは toco 等で変換して使用します。本来 TensorFlow Lite は Linux 向けにだけ提供されているけど僕の環境は Windows なので匠の技によりポーティングされている。パフォーマンスはそれほど良くない。 Windows で OpenCV でリアルタイムにカメラ画像取り込んで TensorFlow Lite で prediction

概要 人生を生きていると一般化パレート分布のパラメータを最尤推定したいときがあります。しかしこの推定は2変数の非線形最適化問題を解く必要があり数値計算的に不安定なため人生も不安になります。そんなときにGrimshaw’s Trickを使えばこの問題を一元方程式の解を求める問題に帰着でき数値的に安定するので人生も安心です。本記事ではそんな人生に役立つGrimshaw’s Trickを紹介します。 1. はじめに 極値理論は確率変数の極値 (最大値または最小値) に関する理論である。 極値理論では1920年から1940年にかけて中心極限定理に似た美しい結果が得られた。 それは確率変数列の極値はその分布によらず3つのタイプの確率分布 (極値分布) に弱収束するというものである (Fisher–Tippett–Gnedenko定理)。 これは極値理論の大定理となったが、実データに対して極値分布のパ

はじめに これはXonsh Advent Calendar 2018の23日目の記事です。 概要 同カレンダー3日目の記事の終わりでも書いたように、できるだけストレスなくWindowsにXonshを導入する方法について考えてみました。 考えてみた結果、「Git for Windows（GitBash）の上で起動するのが一番カジュアルじゃね？」という結論に達しました。 以下、具体的な準備について書いていきます。 1. Git for Windowsをインストールする とりあえず、コマンドプロンプトよりはシェルの上で使いたいので、シェル環境を導入したいところです。 Windows上で動くシェルについては下記の記事が大変参考になります。 Windowsで使えるターミナルとシェルのまとめ - Qiita 記事中にもあるように色々な選択肢があるとは思うのですが、個人的には、Windows上でのちょっ

どうもご無沙汰しています。 12/21に、24年勤めた会社を退職しました(´･ω･`) 退職することは今年に入った頃にほぼ決めていて、1年かけてそのための準備（マンション売ってお金を作ったり引っ越ししたりなど...）をしてきて、先月退職の意思を伝えて、昨日退職しました :-) 辞めた理由は...う〜ん、一言で言ってしまえば、「音楽性の不一致」という感じですw あとは、残り少ないエンジニア人生で後悔したくない...というのが大きな理由かなぁ... 音楽性の不一致 バンドからメンバーが抜ける際によく聞く言葉ですよね... 要は、会社の方向性と、私のやりたいことと間に大きなギャップが生まれた...ということだったりします... なんでそんなギャップが生まれたか... 理由は、私のやりたいことがインフラ側に移行したからだったりします... 6〜7年ぐらい前から「あぁ〜いつまでもアプリケーション開発

こんにちは。shunk031です。この時期こたつに入って読む論文は最高ですよね。 この記事は Xonsh Advent Calendar 2018 17日目の記事です。 xonshの設定をする際、設定ファイルを複数に分割して読み込みたいなーと考えました。 そこでふと思ったのが「あれ？Pythonって先頭にドットがあるモジュールって読み込めるんだっけ？」という疑問です。 今回はホームディレクトリに .xonsh というドットから始まるディレクトリを作り、そこに分割した設定ファイル群をxonsh起動時に読み込む方法を調べました。 方法 まずは .xonshrc の設定例を示します。 import imp import os import sys XONSH_DIR = os.path.expanduser('~/.xonsh') sys.path.append(XONSH_DIR) open_

本記事は Xonsh Advent Calendar 2018の16日目の記事です。 昨年の Advent Calendar 以降使っていなかった Xonsh について約1年ぶりに触ります。 ほんと少しでも書いてくれるだけでハッピー。 ということで、よりハッピーになっていただきたいのでほんの少し書きました。 Pythonのモジュールが提供する機能をパイプラインに組み込めれば便利そうだったので、コマンドを作ってみました。 導入 インストール $ pip install xonsh 起動 $ xonsh コマンドを作る ~/.xonshrc に関数とそのエイリアスを定義することで、 xonsh が認識します。 def _hoge(): print("fuga") aliases["hoge"] = _hoge aliases が対話型シェル環境からコマンドとして利用できるコマンド群のエイリアス

(TBD) 起きたら続き書く この記事は, Xonsh Advent Calendar 2018 - Qiitaの13日目の記事です はじめに ばんくしとご飯食べた時にxonshの思いを語ってもらい,興味を持ったのでxonshを導入してみました. 最近はほとんどPythonしか書いてないのでPython製のシェルは私と相性が良さそう. CUI上(iTerm)だけですが, matplotlibで気軽にデータの可視化できるのはすごく便利でそういうことにはよく使っているが. 導入してから,何も設定書かずに担当日にxonshについて詳しく調査し始める🌀 ptkのチュートリアルとサンプルが楽しすぎてそれ動かして理解するだけで1日溶けそう. github.com 個人的にこの辺りのptkの機能使って何かしたかった.. python-prompt-toolkit/examples/full-scree

いわゆる退職エントリ。興味のない人は閉じるボタンを。 11月末で日本経済新聞社を退職した。2年8ヶ月という短い期間だったが、素晴らしい経験をさせてもらった。 やっていたこと 日経に入社して、日経電子版のwebを新しくモダンなアーキテクチャで作り直すプロジェクトの立ち上げから参画した。これは現在r.nikkei.comというドメインから配信されている。 r.nikkei.com 結局退職までこのプロジェクトがメインの仕事になったわけだが、最後まで全く飽きることはなかった。技術的な面で飽きずに働けるということはエンジニアにとって簡単なようでいて難しいことで、それができたのは最初のアーキテクチャの設計が優れていたこと、特定のフレームワークやライブラリに過度にロックインさせないポリシー、新しい取り組みにどんどん挑戦していけるカルチャーや環境（これは単純に人手不足という話もあるかもしれない）があって

はじめての記事が転職エントリってどうなのって感じですが、備忘録も兼ねて。 誰が転職するのか はじめまして。てぃーえむという名前でツイッターに生息してます。(てぃーえむ (@t11em) | Twitter) プログラミング未経験でSEとして就職しました。競技プログラミングを細々とやってます。 なんで転職するのか 給与 低いです。若い内はギリギリ平均くらいですが、昇給額が低いので年齢が上がっていくにつれて平均より下がっていきます。厳しい… 技術 未経験を雇っている会社なので、技術力は低かったと思います。(もちろん高い人もいましたが) また、使ってるツールも古かったりサポート切れのものばっかりでした。VC++6.0って知ってますか？ 会社 スーツで仕事してました。ネクタイ着用。白シャツ以外禁止。お客様とお会いしたのは片手で数えられるくらいしかなかったですが。 あと、土曜出勤日は滅びてほしいです

Webページが見つかりません 可能性のある原因 ・アドレスに入力の間違いがある可能性がある。 ・リンクをクリックした場合には、リンクが古い場合があります。 アドレスを再入力するか、前のページに戻る、 またはメインのサイトに移動して必要な情報を探してください。

はじめに これはXonsh Advent Calendar 2018の3日目の記事です。 やること タイトル通りで、VPSに立てたCentOS7のターミナルをXonshに変更します。 大まかなステップは下記の通りです。 CentOSサーバの立ち上げ Python3のインストール Xonshのインストール 起動設定（.bashrc） その他設定（.xonshrc） あまり高度なことはせず、あくまでVPS上で使いたい場合の簡単な導入とお考えください。 1. CentOSサーバの立ち上げ さくらのVPSのコントロールパネルにログインする。 各種設定＞OSインストールに遷移する。 CentOS7 x86_64を選択し、パスワード設定をしてインストールを実行する。 SSH接続設定など、初期設定を行う。（参照：https://vps-news.sakura.ad.jp/tutorials/centos