はてなブックマーク

http://deep-learning-hackathon.connpass.com/event/12867/ このイベントに参加して、DeepLearning(Caffe)を回してみました。 大体これまで上がってる記事で、ゴチうさでDeepLearningされてるのがあったので対抗してきんモザでやってみました。ｎ番煎じです。（（既にラブライブ等でもされてるようなので）） 環境 Dynabook RX3(Core i5 M520, 4GBMem, Linux Mint 17.1 64bit) Amazon EC2 g2.2xlarge インスタンス 問題設定 事前にanimefaceで顔領域を検出した部分に対し、アリスであるかカレンであるか、それとも他のキャラであるかを判定したい 単純な３クラス分類問題ですが、アリスもカレンもキンパツなので、色によるキャラ判別はできません。おそらく輪郭や

前回は既存のコードからHadoopのコンテナを動かすところまで書きましたが、今回はそれに手を加えて複数ノードで動くようにしました。 少し試行錯誤してたので、ソースだけ置いて要点だけ書いて行きます。 showyou/hadoop-docker at multinode · GitHub まずDockerのパッケージを作るのは、Dockerfileになります。なのでいつも共通の設定とか初期設定はここに書いて行きます。bootstrap.shは毎回起動する度に呼ばれるファイルになっています(ただしbootstrap.shは今回指定して読んでいるだけで、dockerの決まりでは無いと思います)。また今回はNameNode/ResourceManager側とDataNode/NodeManager側でディレクトリを分けました。 作っていった手順ですが、まずsequenceiq/hadoop-dock

後半書きました( Hadoop on docker 後編 - White scenery @showyou, hatena ) 書き忘れていましたが、この記事 Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita の23日目になります。 はじめはPivotal社の商用SQL on HadoopであるHAWQの話でもしようかと思いましたが、先日掲載したスライドに大体書いているので読んで頂ければと思います。 今回はHadoop on Dockerについてでも話します。 最近はHadoopを動かすのにdockerを使う動きが出ています。 dockerで組み上げるメリットとしては、 1. VMに比べると速度が速い(と考えられる) 2. 各社配布しているVMと違いDockerfile辺りを見れば何やってるか理解できる 3. imageを管理すれ

ひとつ前の話では単語羅列して力尽きたので、いくつか特に面白かった発表について列挙します。 以下の記事にも書かれているので、ここに乗ってない情報は見ていただければと思います。ほかにもtwitterで#pyconjpと検索すればこれから出てくるかもしれません。 PyCon JP 2014 1日目参加レポート #pyconjp - Time Flies PyCon JP 2014 2日目参加レポート #pyconjp - Time Flies Deep Learning for Image Recognition in Python Deep Learning for Image Recognition in Python from Hideki Tanaka この発表は特によかったのでTokyoWebminingの常連も必見です。 内容としてはDeep Learningの入門からpythonで

終わりました。 1日目の終わりにも書きましたが、「英語ができない、勘と経験と度胸に頼る」というイメージどこいったんだって感じの、今までとは違う感じのPyCon JPだったかと思います。スタッフすらやってないのに私がPyConの理想像あげてしまうのも申し訳ないですが、Web関係だけでなく学術関係の方も参加しやすい会になるといいのかなと考えています。ただ一方で今までに比べ違う系統の発表であり、人によって前提知識がばらばらで全くわからなかったり既に知ってるよってのもあったりしたでしょう。来年は今年の発表で+1された発表があるとうれしいです。・・って自分も待ってるだけじゃなくて出さないとですね(今年は転職活動中でした)。 発表中に出てきた単語おさらい。自分の知ってる範囲で書いてみるけどいろんな方向から刺されそうですね・・ Numpy ベクトル・行列の計算を簡単に扱えるようにするライブラリ Scip

この記事はpycon.jpのKeynoteでpython3が残念っていう話があったので、それについて書きます。 なぜPython3を使わないのか 文法が少し変わったので習得にコストがかかる(特に3.0とか3.1はかなり互換性捨てられてた気が) C周りの補助機能が亡くなった気が(お陰でMeCabのCバインディングが使えない) 1, 2の理由もあり対応していないライブラリが多かった。現状だと割とでかそうなのがMySQL-python, thrift*1, Sentry*2, protobuf*3とか。 Python3の壁 https://t.co/634gxmSh3U #pyconjp — エク（えぐざ・ふぃーるど） (@exafield) September 13, 2014 その割に便利になるとこが少なそう(基調講演のNo Benefit (hahaha)) Windows XPが7に置き

前回の日記ではアメリカ行った人が「アメリカすげー。日本も変えて行かないと」的な感じな事書いてましたが、自分も思うところはあって、少し変えようとしたことがあります。 それは"日本でのpythonはWeb開発言語でしかない"というイメージを覆したい、ということでした。 日本でも数値計算でpythonを使ってる人はそれなりにいるとは思いますが、Pythonのカンファレンスではほとんど数値計算の発表がなかったです。ところが海外のカンファレンス(特に昨年今年と私が行った台湾)では数値計算とか大量データとの連携などの発表が豊富にありました。実際pythonはnumpy, Scipy、scikit-learn等の行列計算、チャート描画、機械学習のライブラリがあり、統計に特化したと言われるR言語に匹敵するくらいまで来ています。 台湾の今年のプログラム https://tw.pycon.org/2014ap

というか、就職しました。 EMCでPivotalの仕事をします。詳しく何やるのかははっきりしてないですが、PivotalHDとかGreenPlum DBあたりはやると思います。HawkとかGemfireでImpala, Sparkあたりとベンチしてみたいですね(ワクワク) 7/8のHadoop Conference Japanは参加しますので、興味ある方は当日お話でも。

ここでは自分が触ってみた感じについて主観的に書いていきます。書いている内容は少し前(0.8くらい)なのもあり、事実と異なるかもしれないのでその時は指摘下さい。 Dockerとは何か Dockerとは - 意味/解説/説明/定義 ： IT用語辞典 でも読むかググってください。 個人的な感覚 メリット コンテナの作成スピードが（二度目以降は）早い 初回にOSのBaseイメージを取ってきて、それ以降は差分取得なりしてコンテナを作成するのでめちゃくちゃ早いです。 元々の想定用途（？）であるAnsible等デプロイツールと組み合わせて、環境を瞬時に大量に作ることができる。マシンインスタンスを気軽に増減できる。 デメリット まずDockerは仮想マシン(VM)ではないです(これはデメリットというかそもそもの話)それを踏まえた上で ホストマシンのネットワークに参加できない KVMやVMwareあたりだと

先日のTokyoWebminingで、データマイニング関連で数値の見える化についてのアンカンファレンスがあり、そこでどんなものがあるかとかどんな使い分けすればいいか等の話があったので上げておきます。 図：チャート対象者と値段の関係(オンプレミス限定) 多分評価ポイントとしては、 ソフトウェアのコスト チャート作成者のコスト(作成しやすさ) カスタマイズしやすさ バックエンドの柔軟性 あたりだと考えています。全てにおいて一番って解法はいまんとこないでしょう。 まずソフトウェアのコストですが、買ったり保守するときの値段になります。人数にもよりますが、安いのはOSS(図の赤いの), 高いのは数万～数百万(図の紺色)とかになります。 次にチャート作成者のコストですが、誰がチャートを作れそうかって話のことになります。図の右に行けば行くほど、GUIで操作するだけで作れるものになり、左の方は自力でゴリゴ

先日 見える化ツールあれこれとか記事書いたのだけど、TokyoWebminingの時より反応が薄くみえました。 http://showyou.hatenablog.com/entry/2014/05/01/185318 ただ需要ないならそんなもんかって感じなのですが、どうもこの辺の募集(http://www.zusaar.com/event/7437003)見てると、そもそもツールの存在を知らない方が居てもったいないことになってるんじゃないかと思うので、少しだけ紹介しときます。 ・Ganglia http://ganglia.sourceforge.net/ Hadoop運用してる人なら結構触ったことあるはず。複数台のマシンの使用率とか負荷状況とか見えます。 ・Pentaho CE(+ saiku) http://community.pentaho.com/ いわゆるBIツールと言われるも

Hadoop Advent Calendarの27日目を担当します、showyouです。今日は自分とHadoopの1年でも書こうと思いましたが、誰もそんなの読みたいと思わないので軽いTipsでも書きます。 自分は業務や趣味でPigとかHive(を少し)とExcelを(大量に)使っています。個人的に今まで触った感じを書いてみます。主観に基づくので話半分に聞いてください。 Hive まずHiveのいい点を書いておきます。 SQLっぽい言語で、SQLに慣れてれば割と書きやすい 実行時にエラーが出ている場所が(Pigと比べて)わかりやすい partitionで高速化できる クエリがでかいと途中でこける場合がある テーブル作るのが面倒。間違ったテーブル定義すると検索できなくてエラーになることもある Pig 次にHiveに比べるとユーザ数が少なそうですが、PigのHiveと比べた特徴を書いときます ク

突然ですが、主に自分向けにgitの使い方をメモっておきます。 参考書としてgit入門を上げておきます。でびあんぐる版でも濱野さん版でもどっちでもいいです。最近だと「gitによるバージョン管理」というのもありますが、こちらは中身見ていません。 入門Git 作者: 濱野純(Junio C Hamano)出版社/メーカー: 秀和システム発売日: 2009/09/24メディア: 単行本購入: 31人 クリック: 736回この商品を含むブログ (155件) を見るGitによるバージョン管理 作者: 岩松信洋,上川純一,まえだこうへい,小川伸一郎出版社/メーカー: オーム社発売日: 2011/10/25メディア: 単行本（ソフトカバー）購入: 6人 クリック: 239回この商品を含むブログ (27件) を見る入門git 作者: Travis Swicegood,でびあんぐる出版社/メーカー: オーム社

http://d.hatena.ne.jp/hamadakoichi/20111127/p1 参加してきました！ 元々Kafkaに興味があったので聞きにきました。HadoopというよりRabbitQueueとかの一体化したパッケージという感じでした。この辺り少し試してみたいです。 2とか4の話は、業務に結構役立ちそうだと感じました。具体的には言えませんがw ログ 1.Kafka(@yanaoki) 大規模リアルタイム処理 Facebook Insights Google Analytics UUの計算をリアルタイムで出すのが早い！ Twitter Web Analytics Linkedin 解析基盤Kafkaを開発 運用監視 リアルタイムに検索結果に反映 Q：KafkaやStormはHadoopの上で動いているの？ A：Hadoopは使っていない モデル。Producer, Kafka,

http://atnd.org/events/22199 遅刻していっこめ聞けなかったのが残念。気をつけます。 着いたらいきなりせんせーっぽい方が講演されてたんだけど、学会じゃなくて勉強会だよな・・ 面白かったですが。 個人的にはshuyoさんの発表で、岡野原さんの極大部分文字列の発表についての説明があったのが一番参考になりました。 もういっぺんあの論文読んでみます。 あとshuyoさんの発表で、「pythonで遅い」って話があったけど、PyPyでも使ってみたら早くなるんじゃないだろうかと思いました。 それとKyTeaに関しては以前@neubigさんに「魔法少女リリカルなのはで分割できますか？」とか酷い質問したことがあったので今度余裕があったらまた触ってみます。liblinearはいいっすよね。 以下ログ。 2.点予測による自然言語処理 ルールベース→統計・機械学習→言語資源中心 ユーザデ

Hadoopは昨年の初めあたりからちらちらと見てた(Code Readingあたりから。自分で触ったのはもっと後) 試しに擬似分散で作ってみて回した。ただ台数1台だしちょっとMapReduce書いた程度であとはMySQLとKVMで済ませてた。大量のクラスタある職場いいよなぁと思い始める それとは別にもともとtwitterでbotとか作ってて大量のテキスト解析して明らかに時間がかかりすぎるよ！ってレベルになってたり・・といってもGBクラスなんだけど。 ・・ということを話してたらいつの間にかDeNAに入社してた。堂々とHadoopクラスタに触れるようになって嬉しい。 Hadoopクラスタ触ってるしHadoopカンファレンスも堂々と行けるようになった いつの間にかLTすることになってた 会社に許可とったらOKが出た 結論：なりゆき

詳細はnokunoさんのまとめ参照。 http://d.hatena.ne.jp/nokuno/20110604/1307178783 今回の感想としては、tokyoNLPがPRMLの延長でひたすら解析って感じに対し、sakuTextMiningがむしろ現場でつかうのよりって感じでした。アリ。 #しかし入門の筈なのに結構強そうな方達もお見えになってるｗ 見てるだけで発表しないと上達しないので次回くらいは発表を行ってみたいです。 #しかしどうやったらアンチべ様みたいなうまい発表できるんすか？ あとくらいおらいとセンセーと会えたのがよかった！けど懇親会の時に顔を忘れてた！ひどすぎだ自分。。。 6/5 追記 懇親会で話していたのだけど、実際業務でテキストマイニング/データマイニングなりできるとこって日本ではそんなにないんじゃないかと思う。自分などの開発部署は仕事していた限り足し算引き算ぐらいまで

最近まわりでもちらほらBTS導入する人が増えてきたんだけど、Redmineの導入で苦労してる傾向にあるように見える。 Tracの場合Lightningがあるおかげで導入が楽だけど・・って感じで。 実はRedmineも一括のインストーラがあります。 http://bitnami.org/stack/redmine Windows, Linux対応(GUIは必要)。UbuntuのイメージとかEC2のインスタンスもあり。 別にTrac使おうがRedmine使おうが個人の勝手だけどBitnami知らずにRedmine断念するのはもったい無いので。

最初SPAMかと思ってたんだけど、この@の数は尋常じゃない。 最初のTweetのURL(http://tinyurl.com/5vdhdfk)を見てみると、iPad2用のアプリケーション showyou公開ってページになってる。 つまり showyouってアプリケーションを作成 勝手に名前に@付けた(アカウントくらい確認してくれや) ってことみたい。 一応「showyouは私のアカウントだし、勝手に@つけて投げないでくれるかなぁ」とは言っておいた。 もっかい英語でも書く。 iPad Application ShowYou is nice. But twitter/showyou is my account. Please You should not use @showyou. この問題、先日のanon5rさんの騒動と似た感じもしますねー。ただanon5rさんの場合は国際特許に絡んでたのだ