Chatbot と beam search - higepon blog
seq2seq で decoder から出力するときに beam search の方が出現確率が高いモノを選べるので結果が良くなるはず。beam search の詳細は karino2氏の解説。beam search 自体はシンプルで理解しやすいアルゴリズムなのだけど、Tensorflow のグラフでこれを書くのは非常に難易度が高い。使っている seq2seq library には loop_function という引数があってこれで一つ前の input を横取りしてあれこれできる。ということでずっとコードリーディングしてたんだがそれでも難しい。ということで試行錯誤しているうちに他の人が実装しているのを見つけてようやく動いた。 beam search のほうが結果が良いのかいまいち分からない。 >おはよう normal:おはようございます beam 0 おはよう ござい ます 1 お は
Seq2Seq の疑問を解決するために論文を読む - higepon blog
疑問1 encoder の input について Seq2Seq encoder に sentence を input するときに Word Embeddings をするのだけど、input が [word_vec1, word_vec2, ..., word_vecn] のように word vector の sequence になるような気がするが自信なし。 Decoder/Encoder を提案した https://arxiv.org/abs/1406.1078 | Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation を読むと。"We used rank-100 matrices, equivalent to learning an embedding
Keras LSTM で足し算 - higepon blog
http://peterroelants.github.io/posts/rnn_implementation_part02/ を Keras で。一部元コードをそのまま使ってる。 # Porting http://peterroelants.github.io/posts/rnn_implementation_part02/ using Keras import sys import os import numpy as np from keras.models import Sequential from keras.layers import Dense from keras.layers import Activation from keras.layers import Dropout from keras.layers import LSTM from keras.callba
How to run ptb_word_lm.py - higepon blog
古いバージョンの 0.12.1 の頃は models が同梱されていたのでこれを使う。現在は tensorflow/tensorflow と tensorflow/models に分かれてしまったのでバージョンミスマッチなどで全然動かない。 sudo -H pip install tensorflow-0.12.1-cp35-cp35m-macosx_10_11_x86_64.whl python ptb_word_lm.py --data_path=~/Dropbox/TensorFlow/simple-examples/data below didn't work ** version 確認する >>> import tensorflow as tf >>> tf.__version__ '0.12.1' >>> 0.12.1 よりも nightly build で example を
スマートウォッチの加速度計データとニューラルネットワークを利用してヨガのポーズを区別できるか？ - higepon blog
Rebuild: Aftershow 126: Everything Except Mayonnaise (higepon)で紹介したプロジェクト。Machine Learning | Coursera で機械学習のクラスを修了した。理解を確認するために小さなプロジェクトを作っていたので紹介。実用性はいまのところない。 まとめ Pebble Time Round（スマートウォッチ）の加速度系データ (x, y, z) を入力にしてヨガのポーズを区別できるようになるか試してみた Supervised Learning なので training/test/validation set データを手動で作成 Hidden layer 1 つのニューラルネットワークで学習させた ヨガ以外の活動（徒歩、スマホをいじってる）、Downward dog ポーズ、Warrior 2 ポーズの 3 つをある程
Swift 2.0 の initializer 自分用まとめ - higepon blog
https://developer.apple.com/library/ios/documentation/Swift/Conceptual/Swift_Programming_Language/Initialization.html を適当におぼえるためにまとめただけ。 基礎 すべての property はインスタンス化に初期化されていないといけない 例 // 初期値は declaration と initializer の中どちらでやってもOK struct Fahrenheit { var temperature = 32.0 } struct Fahrenheit { var temperature: Double init() { temperature = 32.0 } } // initializer はパラメータをとれる struct Celsius { var tempe
マネージャとのつきあいかた - サンフランシスコではたらくソフトウェアエンジニア - higepon blog
今の会社で 7 人のマネージャと仕事させてもらい、自分もマネージャになったこともある。その経験をふまえてマネージャとのつきあいかたを書いてみる。マネージャは日本的な「上司」と若干ニュアンスが違うので注意。上司というよりは役割の異なる同僚。 目的 マネージャとうまくつきあうことで以下を得るのが目的。 困ったときに助けてもらえる。マネージャ自身のマネージャのちから、マネージャの人脈を借りる プロジェクトの進め方、デザイン等。基本的に好きにやりたい。細かく口を出されない。 キャリアプランゴールを共有し助けてもらう 大きな 2 つの方針 初期の段階で信頼関係を築き、以降のつきあいを楽にする バランスのよい情報共有を目指すが over-communication よりにたおす マネージャの視点 マネージャの視点を意識すると何を伝えるべきかが見えてくる。マネージャがあなたについて知りたいのは プロジェ
Tech Lead（TL/テックリード）の役割 - サンフランシスコではたらくソフトウェアエンジニア - higepon blog
Tech Lead（TL/テックリード）の役割。聞きなれない名前かもしれない。リードプログラマやテクニカルリードと呼ばれることも。過去にいくつものチーム（最大で10人以上）の Tech Lead をやってきた自分の経験を踏まえて書いてみる。 Tech Lead の主な役割 Tech Lead はエンジニア班長と言いかえるとイメージがわきやすいかもしれない 顧客に提供したい価値（プロダクトゴール）を正しく理解する エンジニアチームの生産性を可能な限り最大化。プロダクトマネージャ・デザイナと顧客に価値を提供する Product の Launch に責任を持つ Product の Launch 後のメンテナンスに責任を持つ エンジニアを過負荷から守る ときにはマネージャ、プロダクトマネージャのアイデア、スケジュールに NO を言う。代替案を提示する チーム内のテクニカルデザイン、採用技術などに責
1 on 1 で 何を話すのか？ マネージャ/ソフトウェアエンジニアの立場から - サンフランシスコではたらくソフトウェアエンジニア - higepon blog
1 on 1 (ワンオンワン) とは1対1のミーティングの事。ここでは毎週もしくは隔週で行われるマネージャとその部下(direct reports)であるソフトウェアエンジニアの 1 on 1 に焦点をあてる。よく 1 on 1 で何を話したらよいか分からない。話題がない。と相談されるので僕の思うところをまとめてみる。 僕はマネージャもソフトウェアエンジニアのどちらも経験があるので両側からの視点を提供できると思う。 マネージャ編 マネージャは 1 on 1 を部下のために開催しなければならない。自分のための時間ではないことを肝に銘じよう。部下には話したいことを何でも話してもらう。事前に「1 on 1 は君のための時間だよ」と説明しておこう。 1 on 1 が始まったら「何か話したいこと、気になることある？」と問いかけよう。焦ってはいけない。じっくりと待ってみよう。 たとえマネージャとしてプ
エンジニアからみた良いプロダクトマネージャとは？ - サンフランシスコではたらくソフトウェアエンジニア - higepon blog
エンジニアからみた良いプロダクトマネージャ（以下PM）とは。rebuildfm #98で id:naoya さん(@naoya_ito)から PM についての話があったので便乗して書いてみる。※プロダクト（製品）マネージャはプロジェクトマネージャとは全然違う職種なので注意。 結論から先に。エンジニアから見た良い PM とは「つねにユーザーのことを考えた上でプロダクトに信念を持っている人」だと思う。それは当たり前じゃないか？と思った人は正しい。でも常にそれをできる PM は多くはない。幸いにも僕は多くの優秀な PM と仕事をさせてもらったのでそこから学んだことをまとめてみよう。 PM の役割 まずは PM の役割から見ていこう。スタートアップの CEO の役割からエンジニア、デザイナーをマイナスした感じと言ったら伝わるだろうか。 もう少し具体的に PM がやっていることを挙げてみよう。 自分
アメリカ英語の数字の読み方 - higepon blog
サンフランシスコに来てから1年半以上経ったがいまだに英語の数字になれない。例えばミーティングでユーザー数、QPS、インプレッション数などについて話すときにぱっと数字が口から出てこない。100 以下の数字は日本語の時と同じくらい自然に出てくるのだがそれ以上だと考えないと出ない。小切手を書くときにも金額をアルファベットで書かないといけないのだが難しい。そういう背景もあって http://en.m.wikipedia.org/wiki/English_numerals の中から関心のあるものをまとめた。 以下の一部はアメリカ英語の習慣を含むのでイギリスやインドの英語を勉強している人は注意。 hundreds は単数形 100 (one hundred) 900 (nine hundred) thousands も同様に単数形 1000 (one thousand) 10,000 (ten tho
Swift で Web API の callback パターン - higepon blog
API のインターフェース。どの引数を optional にするかは色々やってみて変えるかもしれない。 class API { func signIn(email: String!, password: String!, callback: (AnyObject, NSError!) -> ()) { callback("hoge", nil) } } API 呼び出し側 func signIn(sender: AnyObject) { let api = API() api.signIn(_email!.text, password:_password!.text) { (userObj, error) in println(userObj as String) } }
Swift プログラミング - higepon blog
スキマ時間を見つけてThe Swift Programming Language を読みながら Playground で遊んでいる。 import Cocoa var str = "Hello, playground" var myVariable = 42 myVariable = 50 let myConstant = "hige" //myConstant = 3 let implicitInt = 70 let implicitDouble = 70.0 let explicitDoublt: Double = 70.0 let explicitFloat: Float = 4.0 let label = "the width is" let width = 94 let widthLabel = label + width.description + String(94) let
毎日やると決めたことを休んで良いのはどういう時だろうか？ - higepon blog
何かを「毎日やる」と決めたことは誰でもあると思う。ジョギング、ウォーキング、ストレッチ、筋トレ、勉強。僕の場合は英語の勉強。それぞれ決めた内容によって「続ける」ことの困難さには違いがある。ただし継続の難しさは理解してもらえるだろう。朝起きたらだるかった。何となくサボってしまった。飲み会があったのでできなかった。いくらでも「できない」理由は見つかる。僕がよく考えるのはどういう場合に「毎日やる」ことをサボってしまっても自分で自分を許せるだろうかという疑問。 まずは簡単な計算をしてみよう。飲み会のある日にはやらなくてよいとする。仮に飲み会が2週間に1回ほどだとすると月に2回。1年だと 12/365*100 = 3.2% にあたる 12 日は「やらない」ことになる。飲み会の回数が週1程度だと 6.4 % になる。何となくだが「飲み会のある日にやらなくてよい」というルールはサボり過ぎのように感じてし
アイデア - higepon blog
24時間で消滅する（半）匿名チャットルームアプリ - Togetterまとめ。どうでしょうか。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tensorflow の dropout - higepon blog
Coursera の機械学習コースを修了 - higepon blog
Swift 読みもの - higepon blog
「エンジニアとして世界の最前線で働く選択肢」を読んだ - higepon blog
プログラマの生産性 - higepon blog
