はてなブックマーク

目次 tmuxとは 起動して新規セッションを作成する windowを作成する window間を行き来する windowを分割してpaneを作成する paneを行き来する セッション間を行き来する 【応用】tmuxの表示内容をリダイレクトする 【応用】情報バーにgitのbranch名を表示する 【応用】現在の操作パスを表示する 【応用】スニペットを呼び出す 以上の設定の .tmux.conf はこちら tmuxはバージョン互換性がかなり微妙 YouTubeでも公開したのでチャンネル登録してくれると嬉しいです tmuxとは tmuxとはターミナルマルチプレクサと言われるもので、sshで作業マシンにログインして操作した際や、重いプログラムを実行するなどして帰りたいが終了せずに作業を継続したい際などが、最も簡単なユースケースです。 これだけにとどまらず、tmuxはterminalを複雑に装飾できる

目次 今のPythonのRPCは種類が多すぎる 標準ライブラリで実行できる価値 コードの説明 実際に動かしてみて 今のPythonのRPCは種類が多すぎる 2020年現在、数多くのRPCがOSSとして公開されていますが、種類が多すぎる点と、それに伴う選択コストの増加と、評価コストの増加、学習コストの増加が個人的な課題 であると感じています。 社会人をやっているととにかく時間が貴重なので、次々現れるライブラリを検討していたり、使い方を学んだりしているのは、PoCを素早く行う場合やAPIなど閉じた小さ いプロダクトを作る際には適切ではありません。 Pythonでは multiprocessing の中に manager クラスが存在して、multiprocessing時のプロセス間通信をネットワーク越しに動作させることで、高性能なRemote Procudure Callを実装することができま

モダンなサーバレスアーキテクチャのログ収集基盤を、App Engine + Pub/Sub + DataFlow + GCS or BigQueryのコンビネーションで作成が可能です。 このデザインは趣味で友達と作っているプロダクトのレコメンドと機械学習を行うためのデータ収集基盤として用いたいのと、会社の業務で関連会社のデータ分析もしているのですが、多くの場合、IT業から始まっていない会社はデータ収集基盤が整っていなく、私と数名でエンジニアリングに近いデータ収集からデータサイエンス領域の分析までEnd-to-Endで完結できる感じにしたいというときに便利です。 おまけで、GoogleのDataFlowのSDK version 1.XがEnd of Lifeなるということで、プログラムの移行時にハマった点を記します。 ローカルで開発するときにの注意点 JDKはOracle JDKの1.8を使

PixivのデイリーランキングのイラストをLineに通知+Dropboxにアップロードする ネットサービスは壮大な可処分時間の奪い合いになっている 今の情報の飽和の時代、膨大な情報がある中から適切に情報を選択し、消化する必要があり、これは、とても24時間という制限ではなかなか十分に達成できないものになってきてしまいました。 特にネットのサービスは、ユーザにコンテンツを届け、楽しませ、評価してもらうには、同じようなサービスとの競合の軸になる際に、金額の他に、使い勝手や単位時間あたりの満足度も大きく関係してくる視点になります。 私が使用しているWebサービスは以下のものがあり、もう、完全に時間がパンク状態です Twitter YouTube Instagram FaceBook Pixiv(課金) NetFlix(課金) Amazon Prime Video(課金) Line Pixivのデイ

GPU Accelerated K-means 既存のkmeansは遅すぎる CPUでやった場合のkmeansはscikit-learnなどを使えるのですが、いかんせん遅すぎるのと、kmeansの多くは距離の定義がEuclidであって、word2vecなどのベクトル情報をクラスタリングする際には、あまり意図した通りのクラスタリングになりません また、実際に、kmeansの学習ステップを見るとほとんどのクラスが安定して更新しなくなってしまっているのに、完全に更新が止まるまで繰り返してしまうので、かなり遅いです。 任意の距離関数を定義できて、GPUで高速化されており、十分な精度やイテレーションを繰り返した上で、停止できるように設計します cupy cupyはchainerのバックエンドで用いられているnumpyの一部互換ライブラリであり、行列の計算をGPUで高速に行うことができます numpy

Amazon Dashボタンで「今日は休みます」メールや、HDDを消したりします Amazonのセールなどが行われると、Dash Buttonが100円という破格の値段で解放されます Wifiにボタンを押すとアクセスして、Amazon社に対してあらかじめハードウェアに紐づいている商品を購入するものです これを多少いじると、LinuxやUnixマシンで任意のコマンドを実行することができ、大変便利です nodejsでやられている方が多いですが、私は簡単なことにはPythonをよく使うので、Pythonで構築します 必要用件 Amazon Dash Button Bluetooth対応のiOS or Androidデバイス Wifi環境 Linux or Unixマシン Amazon Dash Buttonの特徴から、ネットワークのAmazon　Dash Buttonの通信を検知するので自宅サー

seq2seq sort 並び順がなくなった文字列から、文字のもとの文字列を復元 seq2seqのタスクの一つであるソートを自然言語に拡張します キャラクタレベル（文字粒度）で順序情報を失ったベクトル情報に対してベクトルを入力として、元の文章を構築しようと試みます もともとの想定していたユースケースとしては、アイディアを出し合うようなブレインストーミングなどで、よく付箋などを使ってキーワードをポスイットなどで張って、それから最終的に言いたいことを構築するようなことを、よくやるのですが、そういったキーワード群を投入することで、自然に導きたい情報を帰結させることもできるなとか思いました。 単語でやろうとすると入力次元が高次元になりすぎて、ネットワークサイズの限界にぶつかり、文字の並び替えのタスクを今回は与えてみます 先行研究 ORDER MATTERS: SEQUENCE TO SEQUENC

c++ overdose C++17のラムダ式と、テンプレートを用いることで、Rのdplyr, Kotlin, Scalaなどに似たシンタックスで、同等の機能が動かせることを示します もっと関数型ライクにC++を使いたい！ C++の言語の特徴として、その手続き的な側面が多く強調されます これはC言語を背景としているからなのですが、近年のC++の言語仕様の拡張によって面白いことができるようになってきました 例えば、Rという統計言語にはデータのオペレーションが感覚的にわかりやすい、dplyrというライブラリがあります C++がデータ分析の文脈で使われないのはなぜでしょうか。いろんな人がいろんなことを言いますが、早い話、サッと組んで、サッと動かすということができないからです The answers already cover the main reason data scientists don

Kotlin for DataScience TL;DR Kotlinを用いるデータ分析と、簡単な統計分析、一部の機械学習などのデータサイエンスができることを示します。 Kotlinをデータサイエンスで使う かなり変なモチベーションであることを理解しつつ、なぜKotlinを用いるかというと、Apache Sparkで用いられるRDDというデータフレームとの類似性が挙げられます Quoraという英語の質問サイトで、Kotlinはデータサイエンスとして、Pythonを脅かすかということかというと、DeepLearningやPandasなどのエコシステムの少なさと、言語として若すぎるということがあって、まだはやることはないだろうということです[1] しかし、Apache Sparkで用いらているScala置き換えになるかという質問がありまして、Absolutely（絶対に）という強い表現がありま

Keras im2txt (Show and Tell) Kerasでのim2txtの実装系 TensorFlowの有名な例である、im2txt(Show and Tell)の実装系をGoogleの識別ネットワークのGoogLeNetではなく、VGG16というモデルを用い、 VGG16はもとの1000クラス識別問題に最適化されたプリトレインドモデルを用いるなどをして、計算負荷を下げたモデルを構築しました 日本語を出力するネットワークはまだわたしも知らないので、あまり見たことがないネットワークかもしれません Tensorflowとの違い 学習できる GoogLeNetではなくVGG16を利用 日本語（カタカナのみ）に対応 画像識別層をフリーズしているので高速の可能性がある 画像識別層が直接decoderのRNNに入力されるわでなく、encoderのRNNに一度入力される ネットワーク 直接V

ディープラーニングでスリーサイズを予想 性やプライバシーの問題に対する姿勢 身体的特徴が、何らか数値化されるのは気分のいいものではありません。 しかし、実生活上、服を購入する際に、メジャーで測られるのは必須であり、私はこれがかなり苦手です。 知らない人に手で触れるのが苦手で、このプロセスを省略したいと考えています。 ディープラーニングでは素性を数値としてみなして四則演算などを計算できます（Seq2Seqで足し算引き算掛け算割り算ができる）。 こういう特性があることから、KPIの数値予想に使えることが想像できるかと思います。 実際、ドワンゴの研究ではイラストのユーザの閲覧数を深層学習で予想するなどを行っておりうまく行っているようです[1]。 数値化されて（もちろん、望まない限り行われないが原則）便利になる領域であれば、開拓する意義はあると考えています。 ※1. これは完全なる余暇を利用した完

ResNetで料理の材料をあてていく:food2stuff モチベーション ResNetを使ってみたい 強い転移学習方法を教わったのでやってみたい 料理から何の材料でできているかわかれば、img2cal(画像からカロリーを当てるタスク)などに転用できるかもと思った food2stuffって？ stuffって材料って意味らしいです 画像からなんの構成品目でできており、なんの食材でできているかベクトル表現で出力します 2048次元の出力に対応しておりメジャーどころの食材はだいたい抑えています 将来的には自分が食べたものをinstagramなどで写真を取るだけで栄養素の管理とかできたらいいよね 学習用のデータ・セット集め Cookpadさんのサイトから95万件のレシピと投稿写真をあつめさせていただきました レシピは個人の自由な書き方が許さており、林檎という表現一つとってもリンゴ、りんご、林檎と3

ポエム判別器 Qiita初投稿です。よろしくお願いします。 Qiitaは主に読む方で使わせていただいているんですが、統計ヤクザとか見たことがあるので、正直コメント貰っても返すの怖いし（twitterで受けつけます）、Qiitaはいいかなって思っていました。 しかし、今回はQiitaそのものを評価の対象とするので、Qiitaに投稿したいと思います。 Qiitaでは、主観や感情が入り乱れる投稿は嫌われる傾向があり、負のイメージを持ってポエムと言われることがあります。 それを機械学習で分類していれければいいね、ということで、やってきます。 手法選択 考えられるメソッド Bag of Wordsなどでlogistic-regression Bag of wordsなどでsvm Bag of wordsなどでxgboost doc2vec, fasttextなどのエンベッディングでテキスト分類 Re