シェルスクリプトの書き方
12月にTwitterに流れていたPOSIX何とかという話題を読んでいたらこの記事にたどり着いた。もう3年以上前の記事だけれど、内容がとても偏っていると思う。 シェルスクリプトの書き方について解説しているウェブ上の資料は少なく、当該記事も検索に引っかかりやすい。最近の初学者はまず検索して調べることが多いが、反論が検索に引っかからないとそれが正しいと受け入れてしまう可能性が高いように思う。きちんと反論している日本語の記事が引っかからないので、あえて問題と思う点をまとめてみた。 そんなこと書いているあなたは誰? わたしはシェルスクリプトの専門家でも職業プログラマでもないけれど、シェルスクリプトを書いた量はそれなりにあると思う。環境はSunOS4, Solaris, HP-UX, IBM AIX, FreeBSD, OpenBSD, Linuxを経験していて、移植性や性能の問題がどこで発生しやす
Kaggleまとめ:Outbrain #1 - Qiita
はじめに 過去に参加したKaggleの情報をアップしていきます． ここでは，Outbrain Click Predictionのデータ紹介とフォーラムでの目立った議論をピックアップします． コンペ優勝者のコードに関しては，Kaggleまとめ:Outbrain(後編)にまとめており，こちらは概要，各データ解析のまとめになります． (現在作成中) 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています． jupyter notebook上で動作確認済みです．(%matplotlib inlineは適当に修正してください) サンプルスクリプトを実行した際にエラー等あった場合は，コメントいただけると助かります． 目次 概要 評価指標 データの
Go製マイグレーションツールまとめ - Qiita
2017/01時点 今回比較しなかったもの https://github.com/tanel/dbmigrate https://github.com/BurntSushi/migration https://github.com/Boostport/migration https://github.com/github/gh-ost https://github.com/wawandco/transporter https://github.com/GuiaBolso/darwin https://github.com/DavidHuie/gomigrate https://github.com/go-gormigrate/gormigrate https://github.com/pravasan/pravasan https://github.com/eure/kamimai lia
今までシェルスクリプトで順番に実行していたコマンドを簡単に並列実行させる方法 - Qiita
スクリプトの実行に時間がかかるのをなんとかしたい シェルスクリプトで複数のコマンドを実行させたいとき、上から順に1つずつ実行するから終わるまで時間がかかってつらい。 既存のスクリプト（上から順に実行される） #!/bin/bash param=huga ./hoge.sh aa 1 $param ./hoge.sh bb 2 $param ./hoge.sh cc 3 $param ./hoge.sh dd 4 $param #!/bin/bash param=huga cat << EOS | perl -pe 's/\n/\x00/' | xargs -0 -n 1 -P 3 -I{} sh -c '{}' ./hoge.sh aa 1 $param ./hoge.sh bb 2 $param ./hoge.sh cc 3 $param ./hoge.sh dd 4 $param EO
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
matplotlib の figure（図） と axes（座標軸）－python | コード７区
python の matplotlib でグラフを描くのは非常に簡単です。とくに、グラフが 1 つだけの場合は import matplotlib.pyplot as plt import numpy as np x = np.linspace(-3, 3, 20) y = x ** 2 plt.plot(x, y) plt.show()
スキャンpdf本の端末間共有ツールとしてGoogle Play Booksを使うと無料で便利という話 - MyEnigma
電子書籍の制作と販売: 出版社はどう作り、どう売るのがいいかposted with カエレバ沢辺 均 ポット出版 2018-04-05 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに Google Play books 大きなPDFファイルを自動分割するPythonスクリプト アップロードしたpdfファイルをダウンロードする Google Play Booksの改善してほしい所 1. ページめくりの方向を設定できない 2. 一個のpdfのデータのサイズが最大100MBしかアップロードできない 3. pdf本の削除を複数選択できるようにしてもらいたい 参考資料 MyEnigma Supporters はじめに 最近は 技術書や、一度読んだ小説などを 自炊(スキャン)してpdfにすることが多いです。 しかし、 データ量がかなり多くなってしまって、 データのバ
GOPATHの設定とgo getコマンドについて調べてみた - kodama-tech.blog
こんにちは。こだまです。 GOPATHとgo getについて書いていきます。 そもそもGOPATHとは？ 簡単に言うと、GOPATHとはgoのソースを取りまとめておく場所を指定する環境変数です。 goは様々なパッケージを使って開発を行っていくのですが、そのソースをわかりやすくひとつの場所にまとめておこうよ、ということでこのGOPATHを設定していきます。マイクロサービス的な思想なのかなと個人的には思っております。 goをhomebrew等でインストールした際にPATHは自動で設定されましたが、GOPATHは自分で設定する必要があります。 それではさっそく設定していきましょう。 今回も想定をmacで行っていきます。 Q1. 環境変数をどこに書けば良いのか？ A1. ずばり、bash_profileに書きます。 windowsであればホームからシステム環境変数を探して入力することができるのです
GoのnetパッケージにおけるIPアドレスの内部表現 - Qiita
// IP address manipulations // // IPv4 addresses are 4 bytes; IPv6 addresses are 16 bytes. // An IPv4 address can be converted to an IPv6 address by // adding a canonical prefix (10 zeros, 2 0xFFs). // This library accepts either size of byte slice but always // returns 16-byte addresses. package net // IP address lengths (bytes). const ( IPv4len = 4 IPv6len = 16 ) // An IP is a single IP address,
機械学習の学習日記 | Microsoft Azure Machine Learning /Evaluation results / 3Dプリンタの設定をいじる / 機械学習の学習日記 まとめ
AUC：ROC曲線下面積(Area Under the Curve) これらの値が表しているものを理解する事を目的とします。 前提 iris.arffの内容についてはこちらを参照。 iris.arffのsepallength特徴から、Iris-setosaか否かの識別を行うものとします。 具体的にはアヤメの「がく片の長さ」から、「ひおうぎあやめ」かどうかを判別します。 sepallength特徴の分布は次のようになります。 青い棒グラフがIris-setosaを示しており、オレンジの棒グラフがIris-versicolorとIris-virginicaを示しています。 Iris-setosaを識別するためのsepallengthの閾値をθとして、θ=5.4と仮定します。 混同行列（Confusion Matrix）／分割表（Contingency table） sepallengthの閾値
iPad Pro + Dropbox + GoodReaderで快適な論文閲覧システムを作る方法 - MyEnigma
APPLE iPad Pro 10.5インチ Wi-Fi 64GB MQDW2J/A [シルバー]posted with カエレバ Apple Computer Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに 準備するもの iPad Dropbox GoodReader スタイラス iPad Pro + Dropbox + GoodReaderでの論文閲覧の様子 Evernoteでの論文閲覧システムもためしたが。。 参考資料 MyEnigma Supporters はじめに 仕事柄、 技術論文を読むことが多いのですが、 自分は論文に赤ペンで沢山書き込みながら 理解していくタイプなので、 公開されている論文のpdfを毎回印刷して、 書き込んでは捨てていました。 (良い論文はスキャンして Evernoteにまとめていました。) しかし、毎回pdfを印刷するの
深入りしないCython入門 - Qiita
Cythonとは？ Pythonは処理速度は決して早くない、むしろ遅い部類である。 そこで、C/C++に変換することにより高速化しようというのがCythonである。 低級言語のC/C++（昔は高級言語だったが、現在は低級言語といって良いだろう）に変換してネイティブコンパイルするのだから、速いに決まっている。 この記事の目的 「Cythonは難しい」、「CythonはC/C++の知識が必要」という印象があるだろう。答えは「Yes」である。 しかし、その答えはCythonをフルに使いこなす事が前提である。 実はCythonは、C/C++をそんなに知らなくても、ちょっとした高速化には充分な恩恵を得られるように設計されているのだ。 しかし、無闇にCythonを使っても「あまり高速化されない」、「移行がすごく大変」と散々な結果になるだろう。そこら辺のポイントを踏まえ、C/C++をあまり知らない初心者
Python 1.0 をビルドする - Qiita
ちょっとした考古学的興味により初期のPythonを調べてみたくなったので、Python 1.0.1 をビルドして動かしてみた。 プログラミング考古学シリーズ 第1回: Python 1.0 をビルドする 第2回: Ruby 0.49 をビルドする 第3回: Perl 1.0 をビルドする ソースコード入手 現在Pythonの公式ページから手に入る最も古いソースコードは、Python 1.0.1 である。これはPythonの開発が始まった1989年12月からすでに5年近く経過した1994年にリリースされたものである。READMEによると、 Older sources If you find an older Python release (e.g. 0.9.8), we're interested in getting a copy! webmaster@python.org とあるので、こ
GitHub Contributions Graphの作り方（ロジック成分多め） - Qiita
↑のGitHubのContributions Graph(GCG)のようなヒートマップカレンダーを出力するReactコンポーネントのnpmモジュールを作ってみました。 使い方なんかはREADMEを見ていただければいいんですが、この記事ではコアのロジック部分を解説してみます。特にReactは関係ないので、他言語や他ライブラリでも実装できると思います。 ちなみにGCGは svg を使っていますが、react-heat-calendarは table タグを使っています。 きっかけ （この節はポエムなのでスキップ推奨です） 2017年1月初旬にJSer.infoのダッシュボードが公開されました。興味深く見ていたのですが、ビジュアル的にちょっと寂しいなーと思い、ヒートマップカレンダーを表示するようにコントリビュートしようと思いつきました。 で最初はダッシュボードのレポジトリ内に実装していたのですが
Deep Learning のフレームワーク Chainer を使った画像分類 その2
入力データの構造 six パッケージ 前回、Deep Learning のフレームワーク Chainer を使った画像分類その1にてインストールしたパッケージ、sixとは何だったのか。train_mnist.py 内にてファイル mnist.pkl の読み込みに使われていたので調査。結論としては six は Python 2 と Python 3 の違いを吸収するユーティリティ。恐らく 2 と 3 を乗算して six (推測)。 データフォーマット ファイル mnist.pkl は下記のように読み込まれている(train_mnist.py 30行目)。 mnist = six.moves.cPickle.load(mnist_pickle) PickleはPythonオブジェクトのシリアライズを行うモジュールで、cPickleはC言語でそれが実装された高速版。 なお、MNISTとはアメリカ
Electronよりもお手軽に！NW.jsならデザイナーでもデスクトップアプリが作れる
Webの技術でデスクトップアプリが作れるフレームワークといえばElectronが有名ですが、より手軽に使えるのがNW.jsです。デザイナーでもちょっとしたデスクトップアプリならすぐに作れちゃいますよ。 NW.jsは、HTML、JavaScript、CSSといったWeb技術を使ってネイティブアプリを作るフレームワークです。一番単純なケースだと、手慣れたワークフローでWebアプリを作り、最後にジェネレーターですべてをコンパイルして、ブラウザー同様にWebアプリを表示できるネイティブアプリを作ります。このようなアプリケーションは「ハイブリッドアプリ」と呼ばれます。 ハイブリッドアプリがすばらしいのは、単になじみのある言語（HTML、JavaScript、CSS）で書けるというだけでなく、本質的に次のような普通のWebアプリよりも優れた点があるからです。 ブラウザーの種類とバージョンをコントロール
バッチとストリーミング処理のための分散処理ツール「Apache Beam」がトップレベルプロジェクトに | OSDN Magazine
Apache Software Foundation（ASF）は1月10日（米国時間）、分散処理ツール「Apache Beam」がトップレベルプロジェクト（TLP）となったことを発表した。 Apache Beamは、バッチとストリーミング処理の両方を任意の実行エンジンで動かすことができるユニファイドプログラミングモデルを提供するソフトウェア。Apache SparkやApex、Apache Flink、Google Cloud Dataflowなどの実行環境を利用でき、PythonとJavaでデータ処理パイプラインを定義できるSDKを含む。拡張性にも優れるとしている。 当初はGoogleでMapReduceシステムの流れを汲むデータ処理の取り組みの一部として開発されたもので、2016年1月にApache Software Foundation（ASF）に寄贈された。 GoogleはApac
マージンやパディングでもう悩まない、モジュール式WebデザインにおけるHTMLとCSSの新しい実装方法
Webページを制作にする時に、マージンやパディングをどのようにつけるか悩むことがあります。2カラムの隙間は、左パネルの右マージンorパディングなのか、右パネルの左マージンorパディングなのか。 Web制作の今までの考え方がきっと変わる、モジュール式のアトミック デザインにおけるHTMLとCSSの実装のロジックを紹介します。 Learning from Lego: A Step Forward in Modular Web Design 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、著者様・元サイト様にライセンスを得て翻訳しています。 最近のWeb制作の手法は、数多くあるフレームワークやUIキットからあらゆる種類のコンテンツのブロックを組み立てています。しかしながら、モジュール性と汎用性はまだWeb要素レベルでは達成されていないと言えるでしょう。 LEGOブロックの考え方を
レンサバの常識を覆す「なめらかなシステム」に挑む──運用技術を学術研究して実際のサービスへ適用 - はてなニュース
GMOペパボが立ち上げた「ペパボ研究所」の主席研究員 松本亮介さん（id:matsumoto_r）と、はてなエンジニアの坪内佑樹（id:y_uuki）が対談しました。技術ブログにはてなブックマークを付け合う間柄だった2人の語りから、レンタルサーバーの運用技術を学術研究として突き詰めた松本さんの研究成果「高集積マルチテナント環境」（「ロリポップ！」の「次世代ホスティングサービス」の技術として適用）、そして生き物のようなシステムを目指す「なめらかなシステム」の構想が浮かび上がってきます。 （上写真、左より）GMOペパボ株式会社 ペパボ研究所 主席研究員 シニア・プリンシパルエンジニアの松本亮介さん（id:matsumoto_r）、株式会社はてな システムプラットフォーム部 シニアエンジニアの坪内佑樹（id:y_uuki）。構成はITジャーナリストの星暁雄です。 （※この記事は、GMOペパボ株式
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pandas: create a new column in a dataframe that is a function of a rolling window
Micro- and Macro-average of Precision, Recall and F-Score