サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Pixel 9
showyou.hatenablog.com
外資に転職して1年が経ったので個人的にメモ。 業務内容はコンサルタントという肩書で、売った製品のデリバリー(導入)や、導入支援を行ってます。また場合によっては営業と一緒にお客さんの悩みについて聞きにいったりします(この辺りはプリセールスっぽい)。 これまでの会社は社内の技術部隊でしたので、イマイチ自分が行っている仕事の金銭的感覚がわかりにくかったですが、今は自分の稼働コスト=売上につながるので貢献度合いはわかりやすくなった気がします。 ボスからの命令は絶対だと思いますが、レポート先のボスは日本にいないのであまりやりとりしていないです。上から降ってくる仕事だけを受け取る人には向いてないですが、逆に仕事受けすぎても自己責任になりそうですね。あと規則は守らなければいけませんが、逆に守るもんさえ守っていれば細かいとこはつべこべ言われません。これは日本の大企業以外そうでしょうけど。(ただしこの段落は
http://deep-learning-hackathon.connpass.com/event/12867/ このイベントに参加して、DeepLearning(Caffe)を回してみました。 大体これまで上がってる記事で、ゴチうさでDeepLearningされてるのがあったので対抗してきんモザでやってみました。n番煎じです。((既にラブライブ等でもされてるようなので)) 環境 Dynabook RX3(Core i5 M520, 4GBMem, Linux Mint 17.1 64bit) Amazon EC2 g2.2xlarge インスタンス 問題設定 事前にanimefaceで顔領域を検出した部分に対し、アリスであるかカレンであるか、それとも他のキャラであるかを判定したい 単純な3クラス分類問題ですが、アリスもカレンもキンパツなので、色によるキャラ判別はできません。おそらく輪郭や
前回は既存のコードからHadoopのコンテナを動かすところまで書きましたが、今回はそれに手を加えて複数ノードで動くようにしました。 少し試行錯誤してたので、ソースだけ置いて要点だけ書いて行きます。 showyou/hadoop-docker at multinode · GitHub まずDockerのパッケージを作るのは、Dockerfileになります。なのでいつも共通の設定とか初期設定はここに書いて行きます。bootstrap.shは毎回起動する度に呼ばれるファイルになっています(ただしbootstrap.shは今回指定して読んでいるだけで、dockerの決まりでは無いと思います)。また今回はNameNode/ResourceManager側とDataNode/NodeManager側でディレクトリを分けました。 作っていった手順ですが、まずsequenceiq/hadoop-dock
後半書きました( Hadoop on docker 後編 - White scenery @showyou, hatena ) 書き忘れていましたが、この記事 Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita の23日目になります。 はじめはPivotal社の商用SQL on HadoopであるHAWQの話でもしようかと思いましたが、先日掲載したスライドに大体書いているので読んで頂ければと思います。 今回はHadoop on Dockerについてでも話します。 最近はHadoopを動かすのにdockerを使う動きが出ています。 dockerで組み上げるメリットとしては、 1. VMに比べると速度が速い(と考えられる) 2. 各社配布しているVMと違いDockerfile辺りを見れば何やってるか理解できる 3. imageを管理すれ
ひとつ前の話では単語羅列して力尽きたので、いくつか特に面白かった発表について列挙します。 以下の記事にも書かれているので、ここに乗ってない情報は見ていただければと思います。ほかにもtwitterで#pyconjpと検索すればこれから出てくるかもしれません。 PyCon JP 2014 1日目参加レポート #pyconjp - Time Flies PyCon JP 2014 2日目参加レポート #pyconjp - Time Flies Deep Learning for Image Recognition in Python Deep Learning for Image Recognition in Python from Hideki Tanaka この発表は特によかったのでTokyoWebminingの常連も必見です。 内容としてはDeep Learningの入門からpythonで
終わりました。 1日目の終わりにも書きましたが、「英語ができない、勘と経験と度胸に頼る」というイメージどこいったんだって感じの、今までとは違う感じのPyCon JPだったかと思います。スタッフすらやってないのに私がPyConの理想像あげてしまうのも申し訳ないですが、Web関係だけでなく学術関係の方も参加しやすい会になるといいのかなと考えています。ただ一方で今までに比べ違う系統の発表であり、人によって前提知識がばらばらで全くわからなかったり既に知ってるよってのもあったりしたでしょう。来年は今年の発表で+1された発表があるとうれしいです。・・って自分も待ってるだけじゃなくて出さないとですね(今年は転職活動中でした)。 発表中に出てきた単語おさらい。自分の知ってる範囲で書いてみるけどいろんな方向から刺されそうですね・・ Numpy ベクトル・行列の計算を簡単に扱えるようにするライブラリ Scip
この記事はpycon.jpのKeynoteでpython3が残念っていう話があったので、それについて書きます。 なぜPython3を使わないのか 文法が少し変わったので習得にコストがかかる(特に3.0とか3.1はかなり互換性捨てられてた気が) C周りの補助機能が亡くなった気が(お陰でMeCabのCバインディングが使えない) 1, 2の理由もあり対応していないライブラリが多かった。現状だと割とでかそうなのがMySQL-python, thrift*1, Sentry*2, protobuf*3とか。 Python3の壁 https://t.co/634gxmSh3U #pyconjp — エク(えぐざ・ふぃーるど) (@exafield) September 13, 2014 その割に便利になるとこが少なそう(基調講演のNo Benefit (hahaha)) Windows XPが7に置き
前回の日記ではアメリカ行った人が「アメリカすげー。日本も変えて行かないと」的な感じな事書いてましたが、自分も思うところはあって、少し変えようとしたことがあります。 それは"日本でのpythonはWeb開発言語でしかない"というイメージを覆したい、ということでした。 日本でも数値計算でpythonを使ってる人はそれなりにいるとは思いますが、Pythonのカンファレンスではほとんど数値計算の発表がなかったです。ところが海外のカンファレンス(特に昨年今年と私が行った台湾)では数値計算とか大量データとの連携などの発表が豊富にありました。実際pythonはnumpy, Scipy、scikit-learn等の行列計算、チャート描画、機械学習のライブラリがあり、統計に特化したと言われるR言語に匹敵するくらいまで来ています。 台湾の今年のプログラム https://tw.pycon.org/2014ap
というか、就職しました。 EMCでPivotalの仕事をします。詳しく何やるのかははっきりしてないですが、PivotalHDとかGreenPlum DBあたりはやると思います。HawkとかGemfireでImpala, Sparkあたりとベンチしてみたいですね(ワクワク) 7/8のHadoop Conference Japanは参加しますので、興味ある方は当日お話でも。
転職活動で心を病んだ件について 就活生が「クソ企業」告発、採用活動の注意点 | JIJICO [ジジコ] | 専門家による時事ネタコラム (人手不足列島)雇用、増えるは非正社員ばかり 求人22年ぶり高水準でも:朝日新聞デジタル って参考文献を上げると、あたかも自分が病んだように見えますが、別に病んでないです。 先に結論だけ書いてしまうと、 各企業募集は大量にかけてるけど、どこも敷居が高く、採用までには至りにくい。みんなスーパーエンジニアを求めてる って感じがしました。大体20~30社声かかってきて(受けた/受けてないに関わらず結果として受かったのは)1~2社でした。自分の性格の悪さとかもあると思うので普通の人ならもっと受かるかもしれませんが。 自分のスペックとしては、 Hadoopとかの基盤構築・運用(分析はしてない) 数年 って感じで、転職先も 大規模データ(hadoopに限らずだけど、
ちょっと前の話になりましたが、3月付で会社を辞めておりました。 (twitterなどで軽く仄めかしてはおりました) 極めて個人的な退職にも関わらず、送別会を開いていただくなど入社から退職まで色々とお世話になりました。 3月からは学会に顔を出したり、誘いのあった会社を見学したりしました。 結果的に明日から別の会社さんに就職することになりました。 またなんかの縁があるかもしれませんが、そのときはよろしくお願いします。 恒例の欲しいものリスト 就職周りに関して、詳しい話は時間があればどっかに書いておきます。が今は前職より前々職について色々述べたい気分です。
ここでは自分が触ってみた感じについて主観的に書いていきます。書いている内容は少し前(0.8くらい)なのもあり、事実と異なるかもしれないのでその時は指摘下さい。 Dockerとは何か Dockerとは - 意味/解説/説明/定義 : IT用語辞典 でも読むかググってください。 個人的な感覚 メリット コンテナの作成スピードが(二度目以降は)早い 初回にOSのBaseイメージを取ってきて、それ以降は差分取得なりしてコンテナを作成するのでめちゃくちゃ早いです。 元々の想定用途(?)であるAnsible等デプロイツールと組み合わせて、環境を瞬時に大量に作ることができる。マシンインスタンスを気軽に増減できる。 デメリット まずDockerは仮想マシン(VM)ではないです(これはデメリットというかそもそもの話)それを踏まえた上で ホストマシンのネットワークに参加できない KVMやVMwareあたりだと
先日のTokyoWebminingで、データマイニング関連で数値の見える化についてのアンカンファレンスがあり、そこでどんなものがあるかとかどんな使い分けすればいいか等の話があったので上げておきます。 図:チャート対象者と値段の関係(オンプレミス限定) 多分評価ポイントとしては、 ソフトウェアのコスト チャート作成者のコスト(作成しやすさ) カスタマイズしやすさ バックエンドの柔軟性 あたりだと考えています。全てにおいて一番って解法はいまんとこないでしょう。 まずソフトウェアのコストですが、買ったり保守するときの値段になります。人数にもよりますが、安いのはOSS(図の赤いの), 高いのは数万~数百万(図の紺色)とかになります。 次にチャート作成者のコストですが、誰がチャートを作れそうかって話のことになります。図の右に行けば行くほど、GUIで操作するだけで作れるものになり、左の方は自力でゴリゴ
先日 見える化ツールあれこれとか記事書いたのだけど、TokyoWebminingの時より反応が薄くみえました。 http://showyou.hatenablog.com/entry/2014/05/01/185318 ただ需要ないならそんなもんかって感じなのですが、どうもこの辺の募集(http://www.zusaar.com/event/7437003)見てると、そもそもツールの存在を知らない方が居てもったいないことになってるんじゃないかと思うので、少しだけ紹介しときます。 ・Ganglia http://ganglia.sourceforge.net/ Hadoop運用してる人なら結構触ったことあるはず。複数台のマシンの使用率とか負荷状況とか見えます。 ・Pentaho CE(+ saiku) http://community.pentaho.com/ いわゆるBIツールと言われるも
研究室リテラシー http://www.slideshare.net/ssuser4ebddd/2014-34012665 上が結構よくまとまってると感じますので、さらに自分が研究やその後の仕事で感じたことを書いておきます。主に自戒込めてます。なお対象はこれから研究始める人であり、博士なんかはまた違うと考えています。 聞くは一時の恥、聞かぬは一生の恥 結構スライドで上手い質問の仕方について書いてますが、もし上手い質問方法が見つからなくても、不明なとこがあれば早めに聞いたほうがいいです。その時は事前に自分なりの答えを持っておくと尚いいです。 後になってわからないまま放置されてるのが一番悪いパターンです。 どっかでこんなtweetが流れてました。「進捗が進んでなくて怖くて聞けない?大体の人間が進捗順調に進みません」ただし仕事はちゃんと進めないとダメだけど。うまくいかないときは早めの連絡が大事で
A survey of 2013 data science salary survey” from show you 英語だと読めないorお前の英語が間違ってて理解できないって場合は連絡ください。 日本語でスライド作ります。 4/26 追記: Tokyo Webminingのメンバーに対して、Tool使用率を採ってみました。 ただしExcelならツールをデータ集計に使ってるか、Hadoopならコマンドを叩いてるだけかメンテしてるかなどの区別をしていないので注意してください。 member: Japanese, Tokyo, almost people are analyst, enginner, or researcher. Maybe there is a few people belonging Hadoop developer. 用途はっきりしてないのでExcelは全員使ってるって結
Hadoop Advent Calendarの27日目を担当します、showyouです。今日は自分とHadoopの1年でも書こうと思いましたが、誰もそんなの読みたいと思わないので軽いTipsでも書きます。 自分は業務や趣味でPigとかHive(を少し)とExcelを(大量に)使っています。個人的に今まで触った感じを書いてみます。主観に基づくので話半分に聞いてください。 Hive まずHiveのいい点を書いておきます。 SQLっぽい言語で、SQLに慣れてれば割と書きやすい 実行時にエラーが出ている場所が(Pigと比べて)わかりやすい partitionで高速化できる クエリがでかいと途中でこける場合がある テーブル作るのが面倒。間違ったテーブル定義すると検索できなくてエラーになることもある Pig 次にHiveに比べるとユーザ数が少なそうですが、PigのHiveと比べた特徴を書いときます ク
突然ですが、主に自分向けにgitの使い方をメモっておきます。 参考書としてgit入門を上げておきます。でびあんぐる版でも濱野さん版でもどっちでもいいです。最近だと「gitによるバージョン管理」というのもありますが、こちらは中身見ていません。 入門Git 作者: 濱野純(Junio C Hamano)出版社/メーカー: 秀和システム発売日: 2009/09/24メディア: 単行本購入: 31人 クリック: 736回この商品を含むブログ (155件) を見るGitによるバージョン管理 作者: 岩松信洋,上川純一,まえだこうへい,小川伸一郎出版社/メーカー: オーム社発売日: 2011/10/25メディア: 単行本(ソフトカバー)購入: 6人 クリック: 239回この商品を含むブログ (27件) を見る入門git 作者: Travis Swicegood,でびあんぐる出版社/メーカー: オーム社
http://d.hatena.ne.jp/hamadakoichi/20111127/p1 参加してきました! 元々Kafkaに興味があったので聞きにきました。HadoopというよりRabbitQueueとかの一体化したパッケージという感じでした。この辺り少し試してみたいです。 2とか4の話は、業務に結構役立ちそうだと感じました。具体的には言えませんがw ログ 1.Kafka(@yanaoki) 大規模リアルタイム処理 Facebook Insights Google Analytics UUの計算をリアルタイムで出すのが早い! Twitter Web Analytics Linkedin 解析基盤Kafkaを開発 運用監視 リアルタイムに検索結果に反映 Q:KafkaやStormはHadoopの上で動いているの? A:Hadoopは使っていない モデル。Producer, Kafka,
http://atnd.org/events/22199 遅刻していっこめ聞けなかったのが残念。気をつけます。 着いたらいきなりせんせーっぽい方が講演されてたんだけど、学会じゃなくて勉強会だよな・・ 面白かったですが。 個人的にはshuyoさんの発表で、岡野原さんの極大部分文字列の発表についての説明があったのが一番参考になりました。 もういっぺんあの論文読んでみます。 あとshuyoさんの発表で、「pythonで遅い」って話があったけど、PyPyでも使ってみたら早くなるんじゃないだろうかと思いました。 それとKyTeaに関しては以前@neubigさんに「魔法少女リリカルなのはで分割できますか?」とか酷い質問したことがあったので今度余裕があったらまた触ってみます。liblinearはいいっすよね。 以下ログ。 2.点予測による自然言語処理 ルールベース→統計・機械学習→言語資源中心 ユーザデ
Hadoopは昨年の初めあたりからちらちらと見てた(Code Readingあたりから。自分で触ったのはもっと後) 試しに擬似分散で作ってみて回した。ただ台数1台だしちょっとMapReduce書いた程度であとはMySQLとKVMで済ませてた。大量のクラスタある職場いいよなぁと思い始める それとは別にもともとtwitterでbotとか作ってて大量のテキスト解析して明らかに時間がかかりすぎるよ!ってレベルになってたり・・といってもGBクラスなんだけど。 ・・ということを話してたらいつの間にかDeNAに入社してた。堂々とHadoopクラスタに触れるようになって嬉しい。 Hadoopクラスタ触ってるしHadoopカンファレンスも堂々と行けるようになった いつの間にかLTすることになってた 会社に許可とったらOKが出た 結論:なりゆき
とか書こうと思ったのですが、akipiiさんに既に書かれてました。知人にも知っといてもらうと便利なツールなので紹介しておきます。 1.バージョン管理ソフト SubversionとかGitとかMercurialとかBazaarとか。ソースファイルやテキストファイルをある場面で写真をとって、好きなときにその状態に戻せる、というと分かりやすいでしょうか。あと毎回ファイルの差分を見て保存してくれるとか。「分散」型と言われてる奴は、中央のリポジトリ置き場以外にも別の場所でコミットできるとか利点があります。 ちなみに Subversionは分散しない(SVKとかあったけど・・) Git/MercurialはWindows<->Linuxで特にファイル名が文字化けする Bazaarは遅い とかいった問題があります。 この資料とかいいっすね http://tomykaira.github.com/HowT
本日(6/13)付けでDeNAに入社しました。 お昼にチームのメンバーと食事をし、そこでまぁ、自己紹介等あったのですが、ホントに、良くこんな凄い面子が揃ったもんだなぁという感じでした。 午後から、配属になった部署のミッションや自分のこれからやることを共有してもらい、自分のやりたいことが出来る環境だということを確信しました。(まぁそのために転職したわけですが) 初日ということもあり、全てが新鮮であっという間に時間が過ぎてしまいました。 この初心を忘れずに頑張っていきたいと思いますので、よろしくお願いします! ・・とは先月入られた方の日記(http://d.hatena.ne.jp/yokkuns/20110502/1304350898)なんですが、実際入ってみたらよく自分ここ配属できたなぁって感じですごいメンツでした。足を引っ張らないように適当なペースで追いかけます。といいますか今日からすで
いままで参加しようとおもってた勉強ですが、気づいたときには埋まっているのと、時間の長さで躊躇してなかなか参加できないでいました。 http://tokyowebmining11.eventbrite.com/ http://d.hatena.ne.jp/hamadakoichi/20110612/p1 詳しいことはhamadakoichiさんの方に書かれているので割愛。私の方の感想を。 1.Mahout.JP 自分もいずれMahoutを使ってみたいですが、まだ手が出せてない状態です。近いうちに触りたいです。 2.Fuzzy K-means u_ijの更新式が出てなかったですが(ってか更新式がある時点で私が質問してた,u_ijがシグモイド状に分布とかいうのはおかしな質問になりますが)、複雑に要素が絡む場合k-meansよりMapReduce向きではなさそうでした。 ちなみにK-meansであ
5年ほど働きました、株式会社日立製作所を退職します。 実際の退職日は2011/6/12と遅いですが、今日付で職場で必要な作業を終えて荷物も全て引き上げてきました。 5年ちょいもの間、大変辛い時期もありましたが、特に最後の1年間は直属の課長、主任、先輩が一体となって懇切丁寧に面倒をみていただいたおかげで、いろんな仕事に対処していくことが出来ました。さらに職場の方全員、さらに入社時の同期がいい人ばかりでした。いい人が多いというのは他社に比べ強みとして生かせるのではないかと思います。# 他の会社が悪いってことではないです。というか入ったことないので:) これまでは開発を支援する為のツールの先行調査や部署展開、開発部隊からの問い合わせ対応やベンダーと連絡等を行って来ました。これら業務も大変面白いものではございました。しかし将来の目標としてコンピュータの頭脳として新しいパラダイムを産み出してみたいと
詳細はnokunoさんのまとめ参照。 http://d.hatena.ne.jp/nokuno/20110604/1307178783 今回の感想としては、tokyoNLPがPRMLの延長でひたすら解析って感じに対し、sakuTextMiningがむしろ現場でつかうのよりって感じでした。アリ。 #しかし入門の筈なのに結構強そうな方達もお見えになってるw 見てるだけで発表しないと上達しないので次回くらいは発表を行ってみたいです。 #しかしどうやったらアンチべ様みたいなうまい発表できるんすか? あとくらいおらいとセンセーと会えたのがよかった!けど懇親会の時に顔を忘れてた!ひどすぎだ自分。。。 6/5 追記 懇親会で話していたのだけど、実際業務でテキストマイニング/データマイニングなりできるとこって日本ではそんなにないんじゃないかと思う。自分などの開発部署は仕事していた限り足し算引き算ぐらいまで
最近まわりでもちらほらBTS導入する人が増えてきたんだけど、Redmineの導入で苦労してる傾向にあるように見える。 Tracの場合Lightningがあるおかげで導入が楽だけど・・って感じで。 実はRedmineも一括のインストーラがあります。 http://bitnami.org/stack/redmine Windows, Linux対応(GUIは必要)。UbuntuのイメージとかEC2のインスタンスもあり。 別にTrac使おうがRedmine使おうが個人の勝手だけどBitnami知らずにRedmine断念するのはもったい無いので。
昨日の記事の続き。 一番いい(最もひどい)断り文句(セリフ)を(英語で)頼む
最初SPAMかと思ってたんだけど、この@の数は尋常じゃない。 最初のTweetのURL(http://tinyurl.com/5vdhdfk)を見てみると、iPad2用のアプリケーション showyou公開ってページになってる。 つまり showyouってアプリケーションを作成 勝手に名前に@付けた(アカウントくらい確認してくれや) ってことみたい。 一応「showyouは私のアカウントだし、勝手に@つけて投げないでくれるかなぁ」とは言っておいた。 もっかい英語でも書く。 iPad Application ShowYou is nice. But twitter/showyou is my account. Please You should not use @showyou. この問題、先日のanon5rさんの騒動と似た感じもしますねー。ただanon5rさんの場合は国際特許に絡んでたのだ
次のページ
このページを最初にブックマークしてみませんか?
『White scenery @showyou, hatena』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く