バックグラウンド実行nohupとdisownの違い - Qiitaコピペ http://za.toypark.in/html/2007/06-29.html 以下引用 nohupは良く使っていた。最近になってdisownを知った。違いは、プロセスの起動前に使うのがnohup、起動後に使うのがdisown。これだけだと判りにくいので、例を考えてみる。プログラムを作って、起動させる。
WSGI ミドルウェアとして使えるラインプロファイラを作った話
この記事は CAMPHOR- Advent Calendar 2016 の1日目の記事です. Python の WSGI ミドルウェアとして使えるラインプロファイラ wsgi_lineprof を作成しました. wsgi_lineprof は Django や Pyramid, Flask, Bottle などの WSGI 互換のアプリケーションやフレームワークと組み合わせて利用できるようになっています. 背景 Web アプリケーションを作成する際に, ボトルネックとなっている部分を発見するために, ラインプロファイラは有用です. Ruby での WSGI に対応する Rack には rack-lineprof というライブラリがあり, Rack の middleware として簡単にラインプロファイラを利用できます. ISUCON の参加記事等を見ていると, Ruby ユーザーはこのライ
サッカーのデータを分析しよう - ohmemo
こんにちは, ohmurakenです. 好きなサッカーチームはリバプールFCです. この記事は, CAMPHOR- Advent Callendar 2016の5日目の記事です. サッカーに関するデータの収集と分析について書きたいと思います. 目次 やろうと思った理由 データの収集 簡単な分析 まとめ やろうと思った理由 今年, 初めてPyCon JPに参加しました. 機械学習や分析に関するセッションを観ていましたが, ビッグデータとPythonではじめる野球の統計分析というセッションが興味深いものでした. このセッションは, 野球(特に大リーグ)に関するデータを収集し, 分析する事で選手の特徴や変化を調べるという内容です(セッションの動画). このセッションを観た時, サッカーでも同様の事ができないかと思いました. 強いチームの特徴などを数値的に分析できると思ったからです. データの収集
すぐできる！Java100本ノックをSlackに自動投稿するBot - Qiita
はじめに 先日、JJUG CCC 2016 Fallに参加してきました。 その中でJava100本ノックが紹介されており、面白そうだから社内でもやってみようかという話になりました。 Slackに問題を自動投稿するBotをスプレッドシートとGASで作ってみたので、よければ参考にしてみてください。 手順 １．問題番号を保存するスプレッドシート作成 ２．スクリプトエディタを開く スプレッドシートのメニューから「ツール」→「スクリプトエディタ」を選択します。 ３.GASにSlackAppライブラリを導入する スクリプトエディタのメニューから「リソース」→「ライブラリ」を選択し、以下のLibrary Keyを入力します。 SlackAppのLibrary Key → M3W5Ut3Q39AaIwLquryEPMwV62A3znfOO ４．Slackのトークンを発行 こちらの記事を参考に、Slackの
Vue.js（v2.x.）を使ってメモアプリを作ってみた - Qiita
* この記事では、説明のためのサンプルコードを書いていますが、Githubにあるコードとは似て異なります。ご注意ください。 環境 vue-router、vuex、Firebase を使っています。 vuefire はあえて使用していません。 vuex から Firebase を呼び出しています。 vue-router@2.x. vuex@2.x. vuex-router-sync@3.0.0 babel (es2015, stage-2) webpack webpack-dev-server firebase@3.6.2 lodash@4.17.x moment@2.17.x 画面遷移 vue-router を使い、３つの画面を管理しています。 - Index（タイムライン） - Viewer（ひとつのメモを見る） - Editor（メモを追加、編集） それぞれ、URLが個別に割り当てられ
sedのパターンスペース・ホールドスペースの動作を図で学ぶ - Qiita
概要 sedは、入力ストリームに対して様々なテキスト変換をおこなう、ストリームエディタです。 cut, grep, trといった基本的なフィルタコマンドと比較して、柔軟なテキスト処理が可能です。 このsedの機能の1つとして、パターンスペース・ホールドスペースがあります。 高度なテキスト処理が可能になる反面、パターンスペース・ホールドスペースは、動作が理解し辛いという難点があります。 ですが、sedのパターンスペース・ホールドスペースの動作を丁寧に解説した記事は、私が探した限りでは見つかりませんでした。 そこで、sedを深く学ぶ方への助けとして、また私自身の復習として、sedのパターンスペース・ホールドスペースの動作を、記事としてまとめました。 本記事では、sedのパターンスペース・ホールドスペースの動作を、図示して解説します。 実行環境 Arch Linux 4.8.8-2-ARCH G
JavaScriptライブラリを使った超簡単チェスゲーム開発入門！ブラウザ上でCPU対戦が可能！ - paiza times
どうも、まさとらん（@0310lan）です。 今回は、JavaScriptによる簡単なゲーム作りに挑戦するため、「チェス」をテーマにした開発チュートリアル記事となっています。 「なんだか難しそう…」と思うかもしれませんが、簡単な手順で実現できるJavaScriptライブラリを活用するので誰でも最後まで楽しめると思います。 また、後半には「CPU対戦」機能も組み込んでいくので、チェスやゲーム開発にご興味ある方は、ぜひトライしてみてください！ ■必要なファイルを準備しよう！ まずは、チェスの骨組みを簡単に構築する方法として「chessboard.js」というJavaScriptライブラリを使ってみましょう。 【 chessboard.js 】 「chessboard.js」を使うと、チェスで遊ぶための「駒」や「ボード」を簡単にWeb上へ描画することが可能で、駒を動かす際のアニメーションやマウス
一から始めるJavaScriptユニットテスト - Hatena Developer Blog
この記事は、はてなエンジニアアドベントカレンダー2016の5日目の記事です。 こんにちは、はてなでアプリケーションエンジニアをしている id:shiba_yu36 です。先日、buildersconにおいて、現在所属しているプロジェクトでJavaScriptのユニットテストを導入した知見について、「一から始めるJavaScriptユニットテスト」というタイトルで発表しました。 speakerdeck.com この発表は、実際にJavaScriptのユニットテスト環境を作ってみると非常にハードルが高いと感じたので、そのハードルを少しでも下げられればという思いで、非常にシンプルな例で一から環境を作る例を紹介しました。アジェンダは次のとおりでした。 カクヨムのJS環境 JSのテストツールを整理する 通常の関数のユニットテスト DOM操作する機能のユニットテスト カクヨムのJS環境や、JSのテスト
Kaggleで実用|Pandasの機械学習用の使い方メモ
機械学習のためのPandas利用 機械学習のための言語はPython,Pandas,Numpy,Scikit-learn等を使うことが多いです。 データの前処理のためには、特にPandasを使うことが多いので、よく使うものやこれはいいなと思うものを自分用のメモとしてここに残すことにします。 使い方集 具体的なデータがあったほうがいいので、3つのDataFrameを使って覚えた使い方を羅列していきます。 DataFrameは学校の生徒6人分のいろんなデータを扱うことにして、 df：ID、氏名、クラス、身長 df1:ID、住んでる駅、生年月日 df2:ID、好きな色 といったデータをそれぞれのDataFrameに格納します。 コマンドは全てIPython上で実行しています。 データ作成~中身調べ データは実際はcsvとかsqlの結果とかをDataFrameに変換するのが通常ですが簡易的なデータ
ヤフーの社内システムを紹介します
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。情報システム本部の伊藤（@koh110）です。 社内システムの開発、運用を担当しています。 弊社は10月に本社を東京ミッドタウンからガーデンテラス紀尾井町へ移転しました。 情報システム本部では本社移転に合わせ4つの社内システムをリリースしました。 今日はこちらのシステムについて紹介をさせていただこうと思います。 社内位置情報システム（pozzy） このシステムは社内のWi-Fiにつながっている端末を検出し、人の位置情報を検索できるようにします。 ヤフーでは全社員にPCとiPhoneを貸与しています。これらの端末は各端末に発行された証明書によって社内のWi-Fiに自動で接続されるように設定されています。 この情報を利用し
Apache Hadoopのユニットテストを回す - Qiita
-Pnative: ネイティブライブラリをビルドし、それが必要なテストを実行する -Pshelltest: シェルスクリプトのテストを実行する このコマンドを実行すると全てのmoduleでテストしてくれるのですが、テストが失敗したmoduleで止まってしまい、全てのmoduleでテストを回すことができません。Apache Hadoopでは時々失敗するテストがいくつかあり、それが完全には修正されていないため、大抵はhadoop-hdfs moduleで落ちてしまい、それ以降のテストは実行されないということになります。各moduleのルートディレクトリに移動してテストをすればいいのですが、module自体が大量にあるので若干面倒です。 全moduleでテストを回す 全moduleでテストを回すには、qbt(quality build tool)というツールを使うのが楽だと思います。Apache
go-bindataで実行バイナリにWeb UIをバンドルする〜slackboardの場合〜 - Qiita
個人的にGoはミドルウェアやコマンドラインツールの開発によく利用していますが、その理由の一つにシングルバイナリなのでデプロイが楽、というのがあります。一方で、（特に）サーバ系のミドルウェアだとちょっとしたWeb UIを付けたくなることがあります。こうなると、シングルバイナリのほかにHTMLやCSS、JavaScriptといったリソースファイルが多数付いてくるのでちょっと面倒です。 そこでgo-bindataを使って実行バイナリにそれらのリソースファイルをくっつけてしまうという方法があります。go-bindataは各リソースファイルの内容をGoのコードとして生成し、Asset()という関数を呼び出すことで内容を取得することができます。 go-bindataによるコード生成 まずは、go-bindataをインストールします。
【Python】niconicoのコンテンツ検索apiを用いたアニメ間距離の可視化【R】 - CORDEA blog
はじめに 3連休中あまりに暇だったので、動画に付いているタグによってアニメ間の距離はどう見えるかを調べた結果と作ったプログラム群。 今回対象としているアニメ 2010-2014年までのアニメ、823作品 Wikipediaから取得 主に使用しているライブラリ等 Python scikit-learn matplotlib R ctc amap やってみて感じたこと 問題点 1700件までしか取得できないapi仕様 モノによってノイズが多く入り込む可能性がある アニメによって数の差がかなりある 利点 勢いのあるサービスであり、今後もデータが増える見込みがある サムネイル画像習得による大規模画像解析が可能 使い方次第でビッグデータになり得る 手順 ソースコードはGitHubにあります。 アニメ一覧の取得(Wikipediaページのparse) よく考えたらxmlが取得できるのでhtmlなどpa
Visualizing with t-SNE – Indico Data
Indico Data unveils Indico 6, newest version of their industry leading intelligent intake solution Read More
非線形データの次元圧縮 150905 WACODE 2nd
Methods of Manifold Learning for Dimension Reduction of Large Data SetsRyan B Harvey, CSDP, CSM
次元削除 ( t-SNE ) - puyokwの日記
今回は、kaggle のOtto Group Production Classification Challenge の上位の方々が次元削除の手法としてt-SNE(t-distributed stochastic neighbor embedding) を使用されていたので調べてみようと思いました。個人的には、pca(主成分分析) ぐらいしか思い付かなかったのですが、それぞれ比較しながら見ていきます。 t-sne の詳細についてこちらを参考にするといいかと思います。 http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf こちらに書かれているようにt-SNE は高次元のものを2 または3 次元に写像するように作られています。とりあえず、R のtsne package を試してみます。(あとでより高速なRtsne
python+pandasで大規模データを扱うときのメモ - Qiita
"""Get data from MySQL with pandas library.""" import MySQLdb import pandas.io.sql as psql con = MySQLdb.connect(db='work', user='root', passwd='') # DB接続 sql = """SELECT product_id, product_nm, product_features FROM electronics""" df = psql.read_sql(sql, con) # pandasのDataFrameの形でデータを取り出す con.close() データからベクトルを作る1 大規模データを使ってクラスタリングなどのためのベクトルを作る際、メモリ消費を抑えるためにデータを削除しながら繰り返し処理を行う。 """Delete rows whi
(nim-fuse) 調査: FUSEのコード調査 - テストステ論
ドキュメントを読む fuse_mainを呼ぶ fuse_mountはソケットの組を作る. FUSE_COMMFD_ENVにその片方を設定して, fusermountを実行する. fusermountは/dev/fuseをオープンして, fuse_mountにそのハンドル(fd)を送り返す. fuse_mountは, そのハンドルをfuse_mainに返す. 最後にfuse_loopを呼び出す. fuse_loopは/dev/fuseからファイルシステム呼び出しを読み出し, fuse_operationsを呼び出す. (before calling fuse_mainは意味不明) 結果は/dev/fuseに書き戻されて, system callに返される. When your user mode program calls fuse_main() (lib/helper.c), fuse_m
情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ
情報処理学会インターネットと運用技術研究会が主催されているIOTS2016という研究会で、「サーバモニタリング向け時系列データベースの探究」というタイトルで招待講演をしてきました。 講演のきっかけ インターネットと運用技術研究会(以下IOT研究会)というのは僕にとっては id:matsumoto_r さんが所属されている研究会です。 matsumotoryさんが、ちょうど2年前のアドベントカレンダーで書いた僕の記事に日本語だとIPSJのIOTは分野的にもインターネットの運用技術が含まれるので興味深い論文が沢山あると思う とコメントしていただいたのが最初に研究会の存在を知るきっかけだったと思います。 そのときはそんなものもあるのかと思ってちょっとプログラムを眺めた程度でした。 しかし、まさかその2年後にこうして招待していただくことになるとはもちろん思っていませんでした。 id:MIZZYさん
NLP/機械学習/データ分析系のDockerイメージ8選 + 1 - Qiita
Docker Advent Calendar 2016 の5日目の記事です。 2016年もあとわずかですが、振り返ると、僕の2016年は Dockerfile と docker-compose.yml を書いた記憶しかないです。大小 20 個くらいは書いたんじゃないでしょうか。今年の漢字は docker です。 私の所属しているJX通信社では、言語処理/機械学習系の API や、速報/災害検知 API などを提供しています。それらの各種 API に Docker を活用しているわけですが、形態素解析などはよく再利用するので、社外に Docker イメージとして公開しました。 そのような、社外にスピンアウトした 3 個の自然言語処理系 Docker イメージや、今年お世話になった Docker イメージなどをご紹介します。先に、紹介するイメージの目次を書いておくので「知ってるのしかない！」と
開発が捗る環境づくり - Qiita
環境構築は大切である。何故か? Life is Tech!のキャンプにおいては、人前に自分のデスクトップを晒すことになるからだ。 キャンプの服装はオリジナルTシャツである。キャンプに持ち込むPCのデザインは自分のオリジナルである。そんなオリジナルの環境を実現するには、最高のデスクトップと最高の環境を作り出すことが大切なのである。「カッコイイ」「ナニコレヤバイ！」「超いいやん！」と思ってもらうとやはり嬉しい。そう思うだろう。 環境づくりは自己アピールそのもの。面倒だと思った人も、下記の手順に従ってオリジナリティの溢れる最高の環境を作ってみてほしい。 デスクトップを整える 大切。 Windows, Mac(OS X El Capitan), Ubuntuの3つが揃っている環境なので、それぞれのプラットフォームごとに解説する。 Windows 1. 壁紙とテーマを変更する 壁紙とテーマの変更によ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hamano/ame.sh: 東京ame.sh
Pythonで機械学習を自動化 auto sklearn
Visualizing Data Using t-SNE
GitBucketを支えるJava技術とグローバルで使われるOSSの作り方
Interactive Subreddit Map with t-SNE