はてなブックマーク

はじめに 年末年始に少し時間があったので，趣味で書いているコードを動かすGPUのインスタンスについて調べていました．以前はちゃんとGPU持っていたのですが，あまり使っていなかったので全部売っていました．買い直しも検討しましたが，未だにGPUは高いですし，我が家の冬は暖房等の使いすぎでブレーカーがよく落ちるので，何か適当なクラウドサービスを使おうかなと思っていました． AWSの安いGPUインスタンスであれば1時間100円ぐらいなので悪くはなさそうでしたが，時間課金はソワソワしちゃうので辞めました．そこで日本でも使えるようになった月額1000円程度のColab Proを使い始めました． この記事ではMacbook Pro (M1 Pro)とColab Proを使ったディープラーニングの開発に関して，そのワークフロー，ベンチマーク，Tipsを簡単にまとめたので共有します． Colabはこれまで簡

アップサンプリングなどで使われるConvTransposeについて，イマイチ理解できていなかったように思えるので可視化した． Convolutionといえば，conv_arithmeticのGIFが分かりやすいが，ConvTransposeに関しては，通常のConvolutionのように見え，strideやpaddingが通常のConv時とどう違うのか分かりにくいように感じたので，How PyTorch Transposed Convs1D Workを参考に書いてみた． 可視化 これがその図である．Convを逆順にたどるとConvTranposeになっているのがわかると思う． ConvTranpose時のpaddingがやや分かりにくいかもしれないが，どんだけはみ出して始めるか？（はみ出た分は後で捨てる），という考えで見ると分かりやすいかもしれない． 単純化のためバッチサイズ及びチャンネル

今年は仕事内容も変わって，いろいろなものを勉強した気がします．ということで買ってよかったもの，とは別に．やってよかった教材（書籍，オンライン教材，ブログ等）を紹介しようと思います．入門系多めです． Andrew Ng先生 今年はAndrew Ng（アンドリュー・エング）先生の大ファンになりました．Twitter界隈でまずNg先生のCourseraやCS229をやれ，という話は時折上がってくるので見てみたらハマりました．私は2017年ぐらいからNLPを始めて，機械学習の知識は必要に応じて勉強していたので，体系だってあまり学んで来ませんでした（高村先生の機械学習入門ぐらい）． そこでゼロから勉強し直そうと思い，Andrew Ng先生の教材をやってみました． 結論から言うと非常に良かったです．これから機械学習始めたいという方に特にオススメ，というかこれ以外から始めない方が良いかも，と強く言いたい

この記事では，Pytorchで作ったseq2seq型の翻訳モデルを使って，ビームサーチによるデコーディングをします． OpenNMTやfairseqを使えば簡単に利用できるのですが，ビームサーチのためだけにこのようなフレームワークを使うのはちょっとなぁ，ということと，ビームサーチ自体はDNNに限らず様々な場面で役に立つ手法なので，この際ピュアに実装してみた，というのがこの記事です． ちなみに一般的なseq2seqのデコードは，各タイムステップで予測したtop-1の単語を，次ステップのデコーダーの入力に使います． ビームサーチでは，このようなgreedyな条件を緩め，上位K個の予測を使って，デコードしていきます．ビームサーチをよく知らんという方は，Andrew Ngの神説明が参考になると思います． C5W3L08 Attention Model, Andrew Ng. できたもの seq2s

SLTでの発表で訪れたアテネを訪れたときのパルテノン神殿 この記事は，研究留学 Advent Calendar 2019 - Adventar 15日目の記事です． 昨日はKo Watanabeさんの研究留学アドベントカレンダー【14日目】｜渡邉 洸（Ko Watanabe�）｜noteでした． 私は，カーネギーメロン大学（CMU）のLanguage Technology Instituteというところに１年間留学（企業派遣）していました．CMUでは対話システムに関する研究を行っており，対話システムや機械学習は初学者でしたが，なんとかやり切りました． ですが実はもう帰国して１年以上経っています． CMUの留学準備，留学中に関しては，以前書いてしまったので，帰国後１年経って落ち着いたこの状況や当時を振り返ろうと思います． 会社派遣であるため，留学前後で同じ会社・職場なのですが，見える世界がだ

本記事は，自然言語処理 Advent Calendar 2019 - Qiitaの１日目の記事です． はじめに 今回の記事では，去年末ごろからPythonとCythonだけでチマチマ作った形態素解析器Taiyakiをベースに，形態素解析器の解説をしようかなと思います．この形態素解析器の完成はまだ程遠いんですが，ひとまず簡単な形態素解析はできるようになったのでここでお披露目しておきます．本記事は実質，Double-Arrayの辞書引きと最小コスト法に基づく形態素解析器の解説記事となっています． なぜ今更に形態素解析器を作ったかと問われると困ってしまうのですが，NLPerなら１つぐらい自作しても良いのかなってことと．形態素解析がどう動いているかって意外と知らなかったのが動機です．解説内容間違えてる可能性はあるので，見つけた方はコメント欄でご指摘いただけると嬉しいです． 作っているものは下記リポ

皆さんはarXivの論文を読んでまとめようとするとき，どうやってその論文情報をEvernoteなりOneNoteなりに書いていますか？私はいちいちコピペしていたのですが，arXivは更新頻度が高いので面倒だなと思い，Chromeの拡張を作って単純作業は自動化しました． 作ったのは２つ．１つずつ概要を説明していきます．もし興味あればChrome拡張のコード説明も後半に載せます． 論文の主要情報をテキストとしてコピーするもの（arXiv clip） 論文の主要情報を所定のGitbhubにissueとしてポストするもの（arxiv2issue） arXiv clip 下記のような特定の論文ページを開いた状態で，arXiv clipのアイコンをクリックすることで，論文情報（タイトル，著者，コメント部（学会情報が書かれること多い，未記入の場合はスキップ），URL）が下記のようにコピーされます．論文を

先月からNLP（Natural Language Processing），自然言語処理に関する最近の論文を紹介するポッドキャストをはじめました． Leading NLP Ninja • A podcast on Anchor 経緯 私はポッドキャストが好きで，特にテック系のポッドキャストをよく聞いていました．中でもRebuild.fmやbackspace.fmはお気に入りですが，彼らの話の中で，ポッドキャストを簡単に初められるAnchorというサービスを度々聞くようになっていました．特に配信する予定はなかったのですが，興味がてら触ってみると，スマホだけで簡単に録音＆配信ができるようになっており，自分も何か配信したいと考え始めました． 何か配信するとなると，何かの分野ですごい人が，すごいタメになることを配信すべき，みたいな風潮が昔はあった気がしますが，今はYoutuberもすっかり普通になっ

２０１７年８月から２０１８年９月の頭まで，約1年間，Carnegie Mellon University (CMU)のLanguage Technologies Institute (LTI)で客員研究員をしてきた．博士号も持っておらず，大学では別の研究としていた私が，どのような留学してきたが，記憶が新鮮なうちに記事をまとめておく．なんとなくこの記事では，ですます，はやめる．尚この記事は，個人の感想であり，企業を代表した記事ではないことは初めに断っておく． 留学決定まで 私の会社は恵まれていて，海外留学制度があり，毎年留学生を何名か輩出している．社内の選考を通過すると，海外ラボで1年間，自由に研究できる権利が与えらる．その間，仕事はしなくて良いので（月報とかはあるが），ほぼ１００％研究にコミットできるという，かなり留学者側には美味しい条件になっている（ただ，どういった内容で研究するか，をア

皆さん，pythonで機械学習のコードを書くときに，どのような環境で実装してますか？私は師匠もおらず，自分なりにいろいろ試していたところpudbに落ち着きました．pudbはデバッガーでpdbにUIが付いたようなものになります．pdbはC++でいうgdbみたいなもんですが，まぁガッツリ使うのは辛いです．pudbは下記の画像のようにターミナル上でグラフィカルにデバッグをできます． pudbを使うとどのようなことができるのか，この記事ではgifアニメーションをもとに紹介します． なぜpudbが便利か，AtomやVS Codeは使わないの？ 動作例の説明の前に，簡単にpudbに落ち着いた理由を説明しておきます． 私の環境だと，GPUが載ったマシンが手元になく（AWS，大学，会社），リモート（SSH経由）で開発する必要がありました．マシンが物理的に近くにあるときは，そのマシン上でVS Codeを動か

Fitbit フィットビット スマートウォッチ Versa 心拍数測定 睡眠 パーソナルコーチ 耐水仕様 Black/Black Aluminium L/Sサイズ【日本正規品】 FB505GMBK-CJK 出版社/メーカー: Fitbit発売日: 2018/06/15メディア: エレクトロニクスこの商品を含むブログを見る 愛用していたPebbleが買収されたので，買収元のFitbitからVersaを買ってみました．スマートウォッチ使いたい，というよりは開発環境が楽しそうなので買ってみたというのが本音です．Pebble時代はWeb上でアプリを開発できて，とてもイケてる開発環境だったのですが，C言語でUIを書くというのがとにかく大変でした．こちらの記事はPebbleでPomodoroを書いた時のもの． www.jonki.net VersaではWeb上での開発環境そのままに，JavaScrip

機械学習を勉強していて色々本を漁っている昨今ですが、オンラインでもあるんじゃね？と思い、まさにMOOC (Massive Open Online Course)で良い授業を見つけました。見つけたのはAzure MLを使ったデータサイエンス＆機械学習入門の授業で、本日無事テストにパスして修了証もらいました。 授業は約１ヶ月のコースになっていて（計１０時間くらい？）、classification（分類）、regression（回帰）、clustering、recommender systemsの4つをMicrosoftのAzure MLという機械学習をノードベースで簡単に扱えるサービスサイトで学べます。Azure ML自体に興味がなくても非常にシンプルになっていて、データサイエンティストがどのようなワークフローでデータを扱い、有益な情報を引き出しているのか、ざっくりと体系的に学べてタメになりま

はじめに 8/1・8/2で東京ビッグサイトで開催された Maker Faire Tokyo 2015 に、id:hecomi、id:AMANE と LITTAI というタイトルで展示してきました。熱も冷めやらぬうちにハードウェアの解説を行いたいと思います。認識やゲームに関してはid:hecomiの記事をご参考ください。tips.hecomi.com www.youtube.com ボタンガジェット 今回のHWの一番大きなポイントとしてリアルなボタンを押すと機体から弾がビュンビュンと振動とともに出るところです。Mont Blanc Pj.で行ったゲームと現実の融合というコンセプトを継承することができました。vine.co 仕組み これはTWE-LiteというZigBeeに対応した無線マイコンモジュール（東京コスモス電機さん開発）を利用しています。低レイテンシ、低消費電力、長距離通信、とIoT

Adafruitが出しているWS2810（フルカラーLEDチップ）ベースのLEDモジュールについてまとめました。以前、こちらのシリーズの製品を使った記事も書いています。 Adafruit Library AdafruitのNeoPixelシリーズはWS2810（http://www.adafruit.com/datasheets/WS2812.pdf）というマイコン内蔵のフルカラーLEDチップを使っています。このチップ自体は電源、入力信号、出力信号、GNDの４本を使っていますが、NeoPixelシリーズは電源、信号線、GNDの3本でOKです。これで50個も100個もLEDを操作出来ちゃいます。操作もAdafruitのライブラリを利用することで簡単に実現できます。このライブラリはUNO、MEGA、Leonardo、Micro、Adafruit Floraなどで動きます。LEDはラインタイプや

魔が差してKP3+を買ってしまいました。まぁエフェクターです。 KORG コルグ DJ用エフェクター・サンプラー KAOSS PAD カオス・パッド KP3+ 出版社/メーカー: KORG発売日: 2013/02/23メディア: エレクトロニクスこの商品を含むブログ (1件) を見る よくVJとかでMIDI機器を多用してたりしますが、自分もそういうのがやりたくなったのでUnityでKP3+を使ってみます。MIDIを出力できる機器があればKP3+じゃなくでもよいです、もちろん。 必要要件 Unity 4 Pro（DLLを使います） KORG USB-MIDI Driverのインストール まずドライバのインストール Windows用 Mac用 Unityで使えるMIDIプラグイン Unity 入門（黄色本）でお馴染みの高橋 啓治郎さんが開発したMIDIプラグインを利用します。まずはサンプルアプ

Machina.jsはJavaScript/Node.jsでステートマシンを扱えるフレームワークです。最近私が書いているNode.jsのコードでステートマシンを導入したら、便利になりそうなところがあったので導入してみました。Machina.jsを日本語で取り扱っている記事が見当たらなかったので、参考になればと思います。なんと呼べばよくわかりませんが、とりあえず私はマキナと呼んでいます。 ステートマシンって？ いわゆる有限オートマトン（FSM：Finite State Machine）です。システムの有限個の状態とその関係を遷移という矢印でつないだものですね。if文をたくさん書いて汚いコードになってしまった時、UMLのステートマシン図とかに落として整理しますね。 Machina.jsを選んだ理由 npmで'fsm'などの検索ワードで検索してダウンロードが多いモノを選びました。Machina.

この記事はおうちハックアドベントカレンダー22日目の記事です。 家にある身近なモノをハックしてみようと思い、ちょうど手頃なティッシュケースをハックしてみました。ティッシュを取るという行為が分かれば、いろいろと面白い使い方ができるのではないかと思った次第です。今回は作った1例として、ティッシュが１枚ずつしか取れないエコなティッシュケースを紹介してみます。「何を言ってるんだお前？」と思うかもしれませんが、まずは動画を御覧ください。 動機 最近いろんなガジェットが家の中に溢れてハックされるようになっています。ただ、いざ自分の部屋を見るとティッシュ、傘、机、椅子、コンロ、シャワーといったように、特にIT系の進化の恩恵を受けていない"昔ながら"のモノが大半を占めています。下手に新しいガジェットを生み出すよりも、こういった"昔ながら"のモノをハックした方が面白いのではないかと最近はずっと考えていました

前の続きです。前回は導通チェック程度だったけど、今回はちゃんとメッセージをOSCで送受信します。今回通信するのはUnityとArduino（イーサネットシールド付き）の間でやります。 #junki::acoustic UnityでOSCを使う（UnityOSC） Unity側の準備 セットアップは上の記事を参考に済ませてください。前回と変更した部分を書きます。 OSCHandler.cs CreateClientのclientID部分の名前をArduinoに変えただけです。 public void Init(string targetAddr, int outGoingPort, int inComingPort) { //Initialize OSC clients (transmitters) // Sender CreateClient("Arduino", IPAddress.Pa

Particle SystemsにはParticle Rendererというものがあり、MeshのParticle Systemを作ることが可能です。すぎっちょさんののシェーダーの蝶々に感動してひとまず実験。 パーティクルをアニメーションさせる方法, sugi.cho creation シェーダーも詳しくないので少しずつ実験していく予定です。ということで初回は各パーティクルを回転させてみました。画像だとよくわからないのでぜひWeb Playerで今回作ったものをお試しください。 Web Playerで試す https://dl.dropboxusercontent.com/u/9949353/unity/Rotate%20Particle/Rotate%20Particle.html シェーダーのコード 今回作成したシェーダーです。Unityでシェーダーを書くのが初めての人は、以前書いた

Google CalendarにC#からアクセスしてみました。最新版はv3というようですね。結構古い記事が多くAPIもだいぶ違うので手間取りました。OAuthも突破できます。 環境 Windows 7 Professional Visual Studio 2013 Express まずはじめに Write your First App: Prerequisitesを読んでください。めんどいという方は下記を参考にカレンダーを読み取るための準備をしましょう。 Google Developers Console. プロジェクトを選ぶ 左メニューの「APIs & auth」を選び、Google Calendar APIがON担っていることを確認 「Credentials」を選んで「Create Client ID」を押して、「Installed Application」を選択。クライアントID及び

node-ffiというNode.jsの世界からダイナミックライブラリの関数を呼ぶ神アドオンがあるのですが、dll側からNode.jsの関数をコールバックとして呼べるか調べてみたのでサンプルを載せます。 環境 Node.js 0.10.29 (64bit) Visual Studio 2013 Express Python 2.7.8 node-ffi 準備 Pythonなどを入れていたのはnode-gypでnode-ffiをビルドするためです。 $ npm install ffi node-ffiの使い方 ここに書いてあります。ポインター、構造体、そして非同期による呼び出しもできるので、かなり便利なライブラリであることがわかります。作者はnode-gypを作った有名人でもあります。 Node FFI Tutorial · node-ffi/node-ffi Wiki · GitHub ここ

IRKitとPS3の赤外線アダプタが届いたので前回の記事の続きでtorneを起動するところまでやってみました。 動画はこちらです。 Wake up PS3 and torne with IRKit IRKit - iPhone,iPadを使って外出先からエアコン等の家電を操作できる学習リモコン 出版社/メーカー: maaash.jpメディア: エレクトロニクスこの商品を含むブログを見るCYBER・リモートコントローラ (PS3用) 出版社/メーカー: サイバーガジェット発売日: 2010/06/26メディア: Video Game クリック: 3回この商品を含むブログ (1件) を見る PS3の電源をリモコンで操作（物理） - The jonki 準備 あらかじめ利用したいコマンドを保存しておきます。それを'data/ps3/ps3_power'といった風にファイルに保存しておきます。 $

頂点４つ（三角形２つ）のシンプルなMeshを作成し、その各頂点に色情報を与えてきれいなグラデーションをやってみました。OpenGL初めてやると大体こういうのやりますよね。Unityに最初からあるPlaneのMeshは頂点数が多いですが、今回作った左のSimplePlaneはスクショから確認できるようにかなりシンプルになっているのがわかります。 参考にさせていただいたサイト 今回はMesh作成と色情報を同じスクリプトで行ってますが、よく使うMeshは下記サイトを参考して、AssetDatabase.SaveAssets()しといた方が便利だと思います。 Unity3D:スクリプトでシンプルな平面を作成する, devlog naru design Create a mesh and color cubes, Unity Answers Shader側 今回シェーダー側では特に何もせず、Vert

2014/06/1 コードを整理してgithubに置きました。 jojonki/twitter-profile-changer · GitHub 2014/05/13 メモ程度に書いた記事にブクマを多く頂いたので記事を補足します。 以前Postfixでメール受信をトリガーにTwitterの画像をImageMagickで動的に生成しました。ただちょっとpostfixを自前で用意するのは…というコメントを頂いたので、imapで新着メールを監視する方式に乗り換えました。これはNode.jsのinboxライブラリを使うとかなり簡単にできます。 できるものは前と同じで吹き出し部分に任意の文字を表示した画像を動的に生成し、Twitterの画像を書き換えます。 IFTTTのメール連携を利用して自前のアクションを行う - The jonki jojonki (jojonki) on Twitter 画像生