タグ

ブックマーク / shuyo.hatenablog.com (17)

  • 実験用 GPU 環境をどう準備したらいい?(非情報系が機械学習を使う研究をしたいとき) - 木曜不足

    深層学習が著しく発展し、今まで人間にしかできないと思われていたことができるようになってきました。そのおかげで、今まで機械学習と縁が薄かった分野でも、機械学習を使った研究がしたいという声が上がるようになっています。 前々回は、それを裏付けるように非情報系の学生さんが機械学習を使った研究をしたいという応募がサイボウズ・ラボユースに増えているという話、前回はいままで機械学習や深層学習に縁のなかった人が何から勉強したらいいかという話を書きました。 今回はその続き、研究に必要な実験用 PC 環境をどのように準備したらいいかというお話です。 深層学習の実験をするには、十分な性能の GPU を積んだ PC が必要です。 今どきの機械学習関連の研究室では、院生有志がメンテナンスしている GPU のクラスタがあって、それを使わせてもらえることが期待できます。自分用の PC を手配する場合も、研究テーマに適し

    実験用 GPU 環境をどう準備したらいい?(非情報系が機械学習を使う研究をしたいとき) - 木曜不足
    n_shuyo
    n_shuyo 2022/07/29
    クラウドのほうが「自前でPC持つコスト(PC代、電気代、メンテ時間)考えるとペイする」に9割同意ですが、そう書かなかった理由を追記しました。https://shuyo.hatenablog.com/entry/2022/04/11/deeplearning#postscript
  • Mahout の開発環境を Maven+Eclipse で作る (3) Eclipse で Hadoop の開発環境を作る - 木曜不足

    Mahout の、と言いつつ今回も Hadoop の話ばかり。 Hadoop は各ノードにアプリケーションを配布する関係から、通常 jar を作らなければならない。そのため、Eclipse で書いたコードを実行するのもデバッグするのも非常にめんどくさい。 でもうまくやれば、スタンドアローンモード限定だが、Eclipse から jar も作らずそのまま Map-Reduce ジョブを起動できる。デバッグ実行もできるので、ブレイクポイント入れてステップ実行とかも可能だ。 今回はそういう環境の作り方の話。ずいぶん苦労したけど、出来るようになったら簡単。 Eclipse のセットアップなどは済んでいるものとする。Mahout の開発環境を Maven+Eclipse で作る (1) - Mi manca qualche giovedi`? 参照。 なお、Hadoop を展開すると contrib/

    Mahout の開発環境を Maven+Eclipse で作る (3) Eclipse で Hadoop の開発環境を作る - 木曜不足
    n_shuyo
    n_shuyo 2011/02/18
    一生懸命 Hadoop 開発環境作ったけど、Mahout ってあまり Hadoop のコード自分で書くのを想定してない? 気がしてきた。ま、いいか……
  • 機械学習関連の勉強会 - 木曜不足

    実は日経ソフトウエアの記事は、TokyoWebMining #9 1st で話させていただいた「機械の代わりに人間が学習入門」とちょうど表裏の関係になっています。 「機械学習とは何か」「おもしろそうでしょう?」と語る表側に対し、では実際に勉強し始めると結構大変……という裏側。 そのプレゼンでは、勉強会などに参加してわかっている人にばんばん質問することをお勧めしています。自分もそうやって勉強させてもらってきました。 といってもどんな勉強会をやっているかわからない……そこで、特定のグループではなく、誰でも参加できる読書会や勉強会を紹介してみます。((自分で参加したことがない勉強会も多いため、内容その他についてはご自身でご確認ください……(笑))) URL は読書会のサイトやメーリングリストがあればそれを、なければ最新の atnd を掲載しています。 やはり東京近辺が多いですが、最近はそれ以外の

    機械学習関連の勉強会 - 木曜不足
    n_shuyo
    n_shuyo 2011/01/24
    ありがとうございます。TokyoR はちょっと悩んだんですが、「機械学習関連」かなあというあたりで。まあでも「さらにその周辺」くらいのくくりで、TsukubaR とかと一緒に紹介したほうが嬉しいかも~ > id:bob3
  • gihyo.jp で機械学習の連載を始めました - 木曜不足

    gihyo.jp で「機械学習 はじめよう」という、機械学習を紹介する連載を始めました。 日第1回が公開されています。 「機械学習 はじめよう」第1回 機械学習 ことはじめ http://gihyo.jp/dev/serial/01/machine-learning/0001 今回は概要的なお話。次回からは、機械学習で用いる確率を初めとする、具体的な説明に入っていきます。 今後は、理屈っぽいところを中谷が担当、コードを書いて実践する部分は恩田さんに書いてもらう、という二人三脚で進めていく予定です。 エンジニア向けだけど機械学習の基的なところにも踏み込んで行く、ちょっと硬派な感じの記事が欲しいなあと思っていて、ブログに「PRMLの歩き方」みたいのを書いてみるかな、なんてことを少し考えていたんです。 ちょうどそんな頃合いに、「Webを支える技術」トークセッションの懇親会で知り合った gih

    gihyo.jp で機械学習の連載を始めました - 木曜不足
    n_shuyo
    n_shuyo 2010/06/26
    ありがとうございます! ……ってこれからが大変なので、あんまりめでたくないかもしれませんw > id:nokuno
  • PostgreSQL で簡易に MQ - 木曜不足

    「PostgreSQL で安くて早くてうまい MQ 作ってね」的ミッションがどこからともなく降ってきたので、色々調べて試してみたところ、案外よい方法が見つかったので、まとめてみた。 [4/24] 複数キューを扱う場合の方法を tableoid を利用するように更新。 [4/27] フィルタ条件を付ける場合の記法について追記(WHERE 句内の評価順の明示的指定) [4/30] 優先順位に ORDER BY は利用できない旨追記 鍵は advisory lock。PostgreSQL 8.2 以降の機能だ。 メッセージキューと言っても、安くて早いわけだからもちろんフルフルの高機能なわけなく、いろいろ制限がある。 receiver は複数可。メッセージは receiver の一つが受信する。ブロードキャスト/マルチキャストは対象外。 ack あり。ack せずに receiver が落ちた場合

    PostgreSQL で簡易に MQ - 木曜不足
    n_shuyo
    n_shuyo 2009/04/17
    ありがとうございます。PgQおもしろそうですね。ソース読んでみます。>id:iakio
  • WEwLC 読書会は完了しました。 - 木曜不足

    11/22 に @サイボウズ・ラボ にて Working Effectively with Legacy Code 読書会の第6回が行われました。 第5回まで終わって残りは 24章と 25章。 25 章はやり残したメソッドが羅列されているだけの「長すぎる Appendix 」であり、24 章が実質的には最終章。 しかし 24 章はわずか2ページちょっとしかない。 おまけに 25 章の担当者は半分しか埋まらず、はてさてどうなることやらと正直危惧していた。 が、ふたを開けてみたら、勢いで「1章から23章まで全て振り返ろう」ということになり。 ちょうど実際の担当者がいたらその方が、いなければ覚えている者がよってたかって各章を手短に説明、最後まで読み解いた視点からまとめなおしたり、評価し直したり、補足したりと、なにこの全く予想していなかった充実振り。 こんな展開になるなら、もっと大きな声で参加を呼

    WEwLC 読書会は完了しました。 - 木曜不足
    n_shuyo
    n_shuyo 2008/12/10
    老婆心がすぎますかね~(苦笑)>kakutaniさん/記事コメントもご参照あれ。
  • IronPython+WPF で IRC の発言を通知する irc-wankumer - 木曜不足

    昨日は わんくまの大ライトニングトーク大会があった。 といっても、終わりかけのところを ust で ちらっと見れたくらいなんだけど。 わんくまと言えば前回の東京勉強会の LT で英語ゲーム iVoca を紹介できたはいいけど、最後にわんくまがわんさか降って来るとこをうっかりお見せできなかった。 ust を見ながらその残念さを蘇らせていると、ピンと ひらめくものが。 というわけで、IronPython + WPF で IRC に発言があったら わんくまが降ってくる irc-wankumer を作ってみました。 ダウンロード: http://ivoca.31tools.com/neta/irc-wankumer.zip ソース irc-wankumer.py の先頭にホストとかチャンネルとかニックネームとか書くところがあり。 そうそう、まさか使う人はいないと思うけど(ぉぃ)、もし使うんだったら

    IronPython+WPF で IRC の発言を通知する irc-wankumer - 木曜不足
  • わんくまで iVoca紹介 ライトニングトーク - 木曜不足

    10/18 の わんくま東京勉強会 #25 にて LT をさせてもらった。楽しい機会を設けてもらった関係各位に感謝。 最初は、LT をやることになったきっかけになった "Chief Oyatsu Officer" ネタで考えていたのだが、リリースしたばかりのサービスがあるのにそれを差し置いて、というのはあまりにもなので、やっぱり iVoca の紹介をさせてもらった。 発表やるときの例に漏れずほぼ徹夜& iVoca リリースその他諸々の疲れもたまっていた中、5分ぴったりに話を収めたところまでは頑張った方だと思うのだが、最後の最後でミスった。 今回のプレゼン「資料」には、 わんくま でしゃべるということも考慮して、昨年の LL 魂で使った「 IronPython と WPF で作ったプレゼンツール」を引っ張り出してきて、バージョンアップ、 IronPython 2β に対応させたものを使ったの

    わんくまで iVoca紹介 ライトニングトーク - 木曜不足
  • 英単語タイピングゲーム iVoca 公開! - 木曜不足

    「OpenID の苦悩と葛藤」 にて題材にした 英単語タイピングゲーム iVoca を正式リリースしました。 英単語タイピングゲーム iVoca http://ivoca.31tools.com/ ポイントはいろいろあるのだけど、ここでは「ブログパーツとして貼ることが出来る」ということだけ挙げておきたい。 Google Gadgets 版も用意したので、はてなダイアリーにもほれこんな感じ。 「Game Start」をクリックすると、単語カードが上から落ちてくるのでタイピングしてね。 ユーザ登録すれば単語ごとの学習度を記録できる。まずは遊んでみて、それから登録もOK。 いろいろ楽しんでもらえると嬉しい。 あ、そうそう。 OpenID を採用した場合の泣き所をもう一つ見つけてしまった。 「ブログパーツその他もろもろと組み合わせたとき、テストケースが爆発する。もちろん自動テストなんか(ry」 お

    英単語タイピングゲーム iVoca 公開! - 木曜不足
    n_shuyo
    n_shuyo 2008/10/16
    せるくま
  • WEwLC 読書会 #4 - 木曜不足

    9/14 に、サイボウズ・ラボを会場に Working Effectively with Legacy Code 読書会 #4 が開かれました。主催者&参加者の皆さん、お疲れ様でした&ありがとうございました。 このの前半は「せっぱ詰まった状況だけど新しく書くコードのテストだけはなんとかしたい」というシチュエーションで今日聞いて明日使える(かもしれない……?)メソッドをあれこれ紹介してくれるというものなんだけど、今回の範囲にはちょっと毛色の違う、「長くやっていくチームがせっぱ詰まらないためにどうしたらいいか」とか、「せっぱ詰まる以前に右も左もわからない」とかいう連中のための章がいくつか混じってたりする。 まあでも、懇親会でどなたか言っていたがやっぱり「崖っぷちで爆弾処理する人たちのための」。もちろん「爆弾」は誰か(あなたかも)の書いたレガシーコード。 Chapter 12. 1カ所でいろ

    WEwLC 読書会 #4 - 木曜不足
  • RESTを採用する理由があるとすれば - 第3回RESTful読書会 - 木曜不足

    ちょっとだいぶ遅くなったが、第3回RESTful読書会について書いてみる。 6章 読み取り/書き込み可能なリソース指向サービスの設計 @brownian さん担当。 5章で途中まで、RESTとして迷いなく進めるところまで設計した地図サービスを、「細かいところに目をつむって」一応完成してみたという内容。 7章 サービスの実装 @setoazusa さん担当。発表資料。 ブックマークサービスを Rails を用いて RESTful に実装してみたという内容。なぜ5・6章で設計した地図サービスを実装しなかったのかは謎。 この後8章が控えているからか、このあたりまで突っ込みおとなしめ…… 8章 RESTとROAのベストプラクティス RESTful Oriented Architecture のまとめと「ベストプラクティス」を紹介する内容。 id:ZIGOROu の資料は要所要所での内容に対する補

    RESTを採用する理由があるとすれば - 第3回RESTful読書会 - 木曜不足
    n_shuyo
    n_shuyo 2008/06/26
    「ひとつにまとめたところが素晴らしい」は間違いなくそのとおりだと思うんですが、やっぱり他に選択肢が無いと問題点がクローズアップされてしまいますよね。やっぱりここはyoheiさんが技評から本を出すしか!!!!
  • URI Templates の各言語実装 - Mi manca qualche giovedi`?

    今日は第3回 RESTful 読書会だった。主催の id:kunit さん&nsiena さん、担当の方々、参加者の皆さんお疲れ様でした〜。 読書会の模様(特に8章の DIS られっぷり)はまた今度まとめるとして。 この前 URI Templates ( http://bitworking.org/projects/URI-Templates/ ) の各言語の実装を調べたよと読書会で話したら、id:t-wada さんに「調査結果が addressable になるといいなーw」とリクエストされたので、早速宿題をやっつけておく。 URI Templates の実装一覧 家 (experimental implementation in Python、 59:04+09:00">draft-03相当):http://code.google.com/p/uri-templates/ Ruby -

    URI Templates の各言語実装 - Mi manca qualche giovedi`?
    n_shuyo
    n_shuyo 2008/06/16
    情報が集まってきて嬉しい
  • 第5章の資料公開 ( RESTful 読書会 ) - 木曜不足

    RESTful 読書会にて第5章を担当させていただきました。改めて関係者・参加者の皆さんありがとうございました。 というわけで、第5章の発表に使用した資料を以下に公開。 S6 で作成しているので、カーソルの左右でページ送り、カーソルの上で一覧表示、マウスクリックで選択だ。 [5章] 読み取り専用のリソース指向サービスの設計 http://flowr.31tools.com/restful/20080510/ 読書会ということで、いつもより結構まじめに忠実に、を心がけて資料を作ってはみたが*1、やっぱり実際の現場で口頭で喋った内容より情報量は落ちてしまっているので、細かいニュアンスレベルのことを追いかけたいなら、そのうち公開されるだろう読書会の動画を参照してもらう方がよいかもしれない。 また他に心がけたこととしては、書の内容を読み解いた部分と、自分自身の意見/補足は明確に区別できるようにし

    第5章の資料公開 ( RESTful 読書会 ) - 木曜不足
    n_shuyo
    n_shuyo 2008/05/13
    まあはてなハイクでぼちぼちとw > id:ZIGOROu
  • 197xs*[flowr] 歩いて、車で、スーツとギークで 〜 197X's は多彩だったよ - 木曜不足

    4/5 に ATL systems さんのラウンジをお借りして 197X's の第1回オフ会が開催された。 参加された方&運営に携わった方、みなさんありがとうございました&当にお疲れ様でした〜。 自分は「歩いて、車で、スーツとギークで」という謎なタイトルで、flowr の話をさせてもらった。 いつもなら早速 LT の資料をアップさせてもらうところだが、少々珍しい形式のプレゼン*1で、正直全世界デビューする覚悟がまだ無いため、あれはちょっと未公開&ライブ限定ということで〜(呼んでくれればどこでも演じますがw)。 まあでもどうしても見たいよ、ということであれば、coji さんがニコニコ動画にアップしてくださった動画があるのでそちらをどうぞ(大感謝)。 あ、ネタでぐるっと包みつつ実はかなりまっとうな技術ネタ、サムネは釣りじゃないけど釣りです(苦笑)*2。 197X's の他の LT も同じく

    197xs*[flowr] 歩いて、車で、スーツとギークで 〜 197X's は多彩だったよ - 木曜不足
    n_shuyo
    n_shuyo 2008/04/07
    ↑スルーされて悲しい思いをするのがヤで自重してますが、実は声を大にして言いたいw/そのタイトルで作りたくなってしまったwww>hestigoさん
  • Don't Trust Anyone Over 30 - 197Xs を信じるな!? - 木曜不足

    第1回 197X's オフパーティー http://wiki.fdiary.net/197Xs/?%C2%E81%B2%F3+197X%27s+%A5%AA%A5%D5%A5%D1%A1%BC%A5%C6%A5%A3%A1%BC 197X's は 1970年代生まれの IT 業界人(に限らないんだろうけど、まあ主には)の集う会だそうな。 1981s を横目に「いいなーああいうの」と指をくわえてた人たちのための会、とも?(笑) 1980 年以前生まれということはまあだいたい30を超えてて(ぎりぎり超えてない人もまあ秒読みだし←問題発言)、「30歳以上を信じるな」とか「35歳定年」とか言われちゃいつつ、「そろそろキャリアアップのことを考えろって周りから言われてんだけどー」「ようやく部下がついたはいいけど、言うこと聞かないし板挟みだしー」「もうすぐ不惑なんだよなあ。いまだ惑いまくりなんやけどなー

    Don't Trust Anyone Over 30 - 197Xs を信じるな!? - 木曜不足
  • ブロックス・デュオ全数探索はやっぱり無理っぽい…… - 木曜不足

    昨日のエントリは「ブロックス・デュオを2手目まで探索してみて、ちょっと全数探索するのは厳しそうな雰囲気やなあ」というところまで。 ここはひとまず3手目以降の総局面数の見積もりが欲しい。 というわけで各局面で可能な手を数え上げながら、ランダムな手を選んで手詰まり(どちらかのプレイヤーがパス)になるまで進める、というのを1000回やってみた。この結果から、(3手目での可能な手の数の平均)×(4手目での可能な手の数の平均)×……で、とてもおおざっぱながらも局面数の見積もりが得られるはず*1。 というわけで以下が結果。 "estimate" のところが3手目以降の局面数の見積もり。これに前回の 86346 通りを掛ければ全局面数の見積もりとなるが、まあそれ以前の問題。 3: 536.179 (536179/1000, max: 904) 4: 516.143 (516143/1000, max:

    ブロックス・デュオ全数探索はやっぱり無理っぽい…… - 木曜不足
    n_shuyo
    n_shuyo 2007/06/27
    整理用
  • ブロックス・デュオ全数探索? - 木曜不足

    会社blogの方にこんな記事やらこんな記事を書いて、思考ルーチンやら解法アルゴリズムが好物であることがばれたので、西尾さんに「次、これなんてどう?」と勧められたのが「ブロックス・デュオ」。 GPCC で「ブロックス・デュオ」のプログラム対戦の問題も出ているそうで。ふむふむ。 ざっくり考えてみた範囲では、前半は定石ベース、中盤は評価関数、終盤は全数探索による寄せというところかなあ。 前半は可能な手が異様に多く、この手のボードゲームとしてはちょっと珍しい?*1 逆に、終盤は手がほとんど無くなり、脳内全数探索ができてしまうくらい収束が早い。 そして、双方が21ピースしか持たないので、高々42手で探索が完了する。 で、今日ちょうど西尾さんとお出かけの際につらつらしゃべってみて、「やっぱ一度全数探索に挑戦してみたいのう」という方向で意見が一致(ブロックス経験値ゼロだから、定石とか全然わからんし)。

    ブロックス・デュオ全数探索? - 木曜不足
    n_shuyo
    n_shuyo 2007/06/27
    整理用
  • 1