雨の中、Cを書かずにPythonで並列計算をする人間がいてもいい。自由とはそういうものだ。 - Qiita
「Pythonの遅い部分をCで書き直すと実行速度が100倍になりました！（神奈川県・主婦・30代）」といった広告をよく週刊誌で見かける。しかし、型ゆとり世代にとってCはいささかハードルが高い。一方Python並列化ならば追加の手間はかなり少なくて済み、100倍とは言わないが数倍程度の高速化ができる。 並列化する計算 言うまでもないが、HTTP通信が律速になっているようなPythonでは並列化しても高速化されない。並列計算を要するのは大体、巨大なforループ計算である。例として以下のようなものを考える。 L = 20000 total = 0 for i in range(L): for j in range(L): total += i*j print (total) 手元のマシンでの実行時間は25.663秒。これを並列化によって高速化する。 Thread並列とProcess並列 並列化は
dlshogiのPyTorch Lightning対応 - TadaoYamaokaの開発日記
dlshogiの学習は、PyTorchを使用して、モデルの訓練処理を独自に実装していた。 マルチGPUによる分散学習に対応させようと考えているが、独自に実装するより、PyTorch lightningに対応させた方が実装が楽になるため、dlshogiをPyTorch Lightningに対応させたいと考えている。 まずは、訓練の基本部分の実装を行った。 PyTorch Lightning CLI ボイラープレートをできるだけ削除するため、PyTorch Lightning CLIを使用して実装する。 PyTorch Lightning CLIを使用すると、コマンド引数のパース処理など含めて自動で行ってくれる。 起動部分の処理は以下のように記述するだけでよい。 def main(): LightningCLI(Model, DataModule) if __name__ == "__main
タスクの細分化とかについて - 快適な生活
すごいヤバい状況とかに追い込まれたときとか，よく，これからやる必要あることを書きだして，それをさらに細かく分けたリストをつくって，いちばんうえから消化していくみたいなテクニックが採用されて，だいたいの人間はつねに追い込まれてるので，このテクはたくさんつかわれるんだけど，しかし，自分にはあまり有用であるとは思いにくくて，決して使えないわけではないけど，優れたテクニックではないと思う．凡庸でつまらないと言いたいのではない． レッド・ツェッペリンは中高生の頃とか聴いてたけど，いちばんやり手なのはベースのジョンジーだっていうのは定説で，ジョンジーはおもしろいこと言ってた． ジョン・ボーナムと僕は、乗せたいところへ自在にビートを乗せるのがかなり上手かったんだ。拍子に対してビートを自由に移動させられるという事を知らない若いミュージシャンが最近は多いけど、僕たちはそれをしょっちゅうやっていた。それが曲の
フリーランスから会社組織に変えて感じた8つのこと | ベイジの社長ブログ
私が10年に及ぶサラリーマン生活にピリオドを打ち、フリーランスとして独立したのが2007年でした。最初に勤めていたNTTデータには、1997年から2001年までの4年在籍していました。その中でWebに興味を持ち、35歳までに独立する、ということを目標にWeb業界に飛び込みました。28歳のときです。 そこから制作会社を2社経験しました。自分の理想を具現化できる会社であれば一生会社員であってもいい、という思いはあったのですが、様々な条件を考えるとそれはやはり難しいと感じ、予定通り独立しようと再度決意したのが33歳のとき。そのまま会社員として働きつつ独立の準備をし、ちょうど35歳になる1か月前の2007年の10月、当初の予定通り、独立に漕ぎ着けました。 その時に事業形態として選んだのは、フリーランス（個人事業主）でした。待望のフリーランス生活は会社員と違って開放感に満ち溢れていました。幸いにして
RでKerasを使う（短歌手習い編） - Qiita
概要 『新しき 年の始めの うれしきは 古き人どち あへるなりけり』 以前に{tensorflow}のPythonライブラリをimportする関数を用いることで、gensimを活用できるという記事を書きました。 これにより、R/RStudio上ですべてを管理したい/されたいRおじさん（重度なRユーザーを指す。女性でも「おじさん」と呼称するので、淑女の方々はご配慮いただきたい）のできる幅が広がったと言えます。 今回はさらにTensorflowとTheanoのラッパーであるKerasというライブラリを用いてモデルを構築し、新年の挨拶によさそうな短歌の生成を試みました。具体的には「上の句を入力することで下の句を生成する」というタスクを設定しています。 なお、{tensorflow}自体の設定や使い方などは{tensorflow}でデータ分析のHello Worldであるirisデータの分類を行っ
BEMで底に達した問題を探す問題のために生まれる問題 - saneyuki_s log
最近、社内のいろんなプロジェクトのリポジトリを眺めているとスタイルシートの記述にstyled-componentsとかwebpackのcss-loaderとかで頑張っているものを頻繁に目にする。 んで、Lintとかどうしてるの？みたいな話をすると「〜はこの『A（どこかのCSS-in-JS派閥の一つ）』は対応してないんだよねー」という返答が返ってくる。 そのたびに思う。「BEMで問題解決してたんだからBEMでいいじゃん」と。 このようなことを言うと「JVMのJITコンパイラの仕組みを聞いた後に『アセンブラを生で書けばいいじゃん』と言い出す痛いおじさん」感がするので自分でもあんまり好きじゃない。ただ、CSSに関してはBEMで問題が底に達してしまっていて、そこから先の標準化されてないwebdevツール群は問題を再発明しているだけに過ぎないなと思う。 書き味をどう頑張ろうが結局我々はCascadi
0から1を作ってみて - As a Futurist...
またしてもすばらしい記事を見かけたので思うところを書いておこうかと。 どんな分野であれ、ゼロから何かを生み出す経験をした人は、あとは事例を見るほどに、自身の経験が増していく。 0 から 1 を作った経験 – レジデント初期研修用資料 運用エンジニア 僕は一応曲がりなりにも「Software Engineer」であると思う/言うようにしている。だが、働き始めてこの方ずっといわゆる「運用」をしている。SWE でありながら、世の中に価値を生み出す・利益をもたらすようなアプリケーションは書いたことなく、そのアプリケーションの運用ばかりをやっているという状況。 ともすれば、アプリケーションをゼロから書ける必要性はなくて、むしろ誰かが書いたアプリケーション、もしくは OSS なミドルウェアとかフレームワークをきちんと読みこなして理解できる力の方が重要だから、実際コード読んだり使ってみたりすることに多く
インテル8080伝説を読んだ - プログラマyasuhoの隠れ家
いしかわさんの投稿を見て「これは買わねばなるまい」と思い、購入しました :) インテル8080伝説 作者: 鈴木哲哉出版社/メーカー: ラトルズ発売日: 2017/02/20メディア: 単行本（ソフトカバー）この商品を含むブログを見る購入したのが発売されて間もなかったせいか、CD-ROM付きの初版をゲット。このCD-ROMにはなんと本書と全く同じ内容のPDF(しかもオールカラー！)が収録されていたので、PDF版を読んだ。本書はページをめくってすらいない(笑) 初版のみCD-ROMが付くということだが、出版社の購入ページから直接買えばCD-ROMがもらえるみたい。 さて その内容ですが、70-80年代のマイコン世代であれば当時の空気を感じられることは間違いない。のですが、本書の肝は8080マイコンを作る！というところにあるので、ハードウェアの知識がないとちょっとツライかも。かく言う私は電子工
mixiは私にとって「もうひとつの学校生活」だった
前の記事で、mixiについて冒頭で書いておきながらそれ以降一切言及しないという失礼をかましたので、私にとってのmixiで一記事書いておこうと思います。実はmixiは、私の「あこ」という名前が生まれたターニングポイントとも呼べる「居場所」でした。 2007年、私は18歳でした。当時まだ18歳未満は利用ができなかったので、大学入学と同時にmixiの利用がスタートしました。あと、まだ「招待制」でした。知人からの招待をされないと、参加できない制限がありました。懐かしいですね。 12年間を同じ学校で過ごし、まったく新しい環境というのは大学が初めて。そんなとき見つけたのが、同じ大学に入学する同級生たちが作ったコミュニティでした。そこでは「入学初日に、みんなで集まろう」というイベント告知がおこなわれていました。 新しい環境に少なからず不安を感じていた私はそこで数名とメッセージで交流をし、実際に初日に20
語彙力を高めるミニ英英辞書の魔力【携帯に便利なコンパクト辞典選びガイド24冊】 - 崖っぷち舞台役者が婚活を始めたら英語がペラペラになりました
こんにちは。 突然ですが皆さん、辞書使っていますか？ スマホで検索すれば簡単に調べられる昨今、紙の辞書どころか電子辞書を使う人も減ってきているのではないかと思います。 かくいう私も、電子辞書とスマホの辞書アプリを併用しており、大人になって英語のやり直しを始めて以降、紙の辞書は使っていませんでした。 www.inspire-english.net しかしある時、Twitterの英語学習者の方のアカウントで、ボキャブラリーの増強アイテムとしてコンパクトな英英辞典をおすすめされているのを見かけました。 私、英検1級では運よく語彙パート満点を取ることができたのですが、試験対策として単語帳やアプリをひたすら繰り返すという地道な方法でして、ある種の燃え尽き症候群というか、目標を見失った感じがあったのです。 www.inspire-english.net 英検1級取得後の語彙力の伸ばし方に悩んでいた私は
Web業界とやらに思うこと｜withComputer
Web業界の技術革新って日進月歩だと言われるので、棚にある「Web Desigining」の2003年2月号をめくってみた。10年前の業界専門誌には、何が取り上げられているのか。 何が変わったと考えるのか 第1特集は「ブロードバンドでWebは変わったか」。動画配信、Flashによるリッチコンテンツ、Web3Dが取り上げられている。第2特集は「正しいSEOのススメ」。ディレクトリ型検索エンジンからロボット型検索エンジンへの移行、適切なマークアップ、キーワード、検索によるトップページ以外からの流入対策、Webポジショニング。そのほかの連載では、GoLiveを使ったワークフロー、FlashのUIコンポーネント、JavaScriptのクロスブラウザテクニック、など。あと、Mac版Safariのベータ版が提供開始、という記事があった。 取り上げられている技術の中には、今とは扱われ方が異なっているもの
tidymodelsの練習・XGBoostに疎行列を渡して学習する
この記事について 『Rユーザのためのtidymodels［実践］入門』（『tidymodels本』）を参考にしつつ、tidymodelsとtextrecipesを使って著者分類をやります。 モチベーションとしては、XGBoostを使いつつ、訓練データとしてTF-IDFで重み付けされた疎行列を与えるという『tidymodels本』ではやられていないパターンをやってみて、Feature Hashingの場合と比べてみたいと思います。 suppressPackageStartupMessages({ require(tidyverse) require(tidymodels) require(textrecipes) }) tidymodels::tidymodels_prefer() データセットの準備 ここでは、青空文庫にある以下の10人の作家の文章のうち「新字新仮名」で書かれているもののな
最新脳科学が教える 高校生の勉強法 - higepon blog
最新脳科学が教える 高校生の勉強法。 メジャなレバレッジシリーズ、トニー・ブザン 頭がよくなる本以外で初めてアタリを引いた。 本書の良い点は、多くの類書で述べられている勉強方法の秘訣が、脳の性質とあわせてきちんと説明されていること。 お買い得なまとめ本と言えると思う。タイトルからも分かる通り高校生がターゲットだが勉強したい大人にも役立つと感じた。 マインドマップから再構成した重要部分メモ 脳への入力はとても多い 生死に関わる部分以外はきれいさっぱり忘れる つまり大量のデータのほとんどを「忘れてしまう」のが得意な器官 覚えられない・忘れるというのは当たり前。 どうしても覚えたかったら脳をだまして「ひょっとしたら生死に関わる大事なことなのかな？」と思わせる。 そのためには繰り返し繰り返し覚える 効率の良い勉強をするには脳の性質にあった方法を取らないと意味がない。 ひたすらがんばるのは意味がない
metric learning を少し勉強したからまとめる - Qiita
先日某社で2週間の短期インターンシップに参加してきました。 内容としては製造ラインで行われる外観検査をディープラーニングを用いて自動化することを想定して、画像から不良を検出するモデルを作成するというものでした。 そこでmetric learningについて少し勉強し、"L2-constrained Softmax Loss for Discriminative Face Verification"という論文を読んだので内容をまとめたいと思います。 嘘ついてるかもしれないので気をつけて読んでもらえると助かります。 metric learningとは? metric learningとはデータ間の関係を計量を用いて表現する特徴空間への変換を学習する手法です。図のようにニューラルネットワークを用いて同じクラスのデータは近くに、違うクラスのデータは遠くなるように特徴空間へデータの埋め込みを行います
IJCNN Social Network Challengeの勝者が取った手法(deanonymize)は許されるか？ - 糞糞糞ネット弁慶
本当はリンク予測の話として書きたかったが，優勝チームの手法及びそれに対する反応が面白かったのでメモ． 三行まとめ リンク予測のコンペティションが行われた 優勝チームは(データの出処となっていた)Flickrをクロールし，匿名化(anonymize)されていたテストデータを実データと結びつける(deanonymize)事により予測精度を向上させた 優勝チームの手法が公開され，公式フォーラムで「これは問題ではないか？」と言われる 背景 最近見つけたのだが，Kaggle: Your Home for Data Scienceというサイトでは常時賞金が出るデータコンペティションが行われている． 企業や研究者がデータを提供し，分析者がそれを分析する．企業は最終的には賞金を出し，データに対する知見を得る，みたいなアウトソーシングであると公式サイトでは説明がされている． Companies, gover
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TOEIC Part 3・4 解き方と先読みをマスターするコツ＆練習法｜Enjoy Life in English!
