大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ
追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す
精度95%以上！ ソースコードは指紋、作者はほぼ特定できる
精度95%以上！ ソースコードは指紋、作者はほぼ特定できる2015.02.11 19:0010,327 ほぼドンピシャでバレバレです。 スペースやタブ、大文字やアンダーバーを組み合わせた命名規則、コメント…コードの書き方には、人によってスタイルがありますよね。それはもう指紋のようなもので、それさえ見えれば、誰がコードを書いたかほとんどわかってしまう…そんな驚きの研究結果が発表されました。 米ドレクセル大学、メリーランド大学、プリンストン大学、独ゲッティンゲン大学の共同チームの研究によると、自然言語処理と機械学習によるコード分析により、95%の精度で作者は特定できるそうです。 解析されるのは、レイアウトや語彙の特性と、｢抽象構文木（AST）｣です。ASTとは、｢コードの書き方からまったく影響を受けずに、コードの型の特性をとらえる｣もので、つまり、関数の名前、コメント、スペース入れ方などのクセ
io.jsについて知っていること - from scratch
今、Node.jsに起きてることを語る上で、io.jsは避けて通れない話題でしょう。 今回のNode.js アドベントカレンダー 2014の締めを飾るために、このio.jsについて僕が知っている限りの事をまとめて書くことにします。 io.jsを知り、今後"Node"がどうなっていくのかを皆で一緒に考えていきましょう。 またこの一連のio.jsのfork騒動はOSSという特殊なプロジェクトをどう進めていくのがハッピーなのかを知る一つの教材だと思います。 OSSに関わっている皆さん、今回も長いですが、最後まで読んでもらえると幸いです。 io.js とは何か Node.jsのForkです。次のNode.jsの安定版になる、v0.12をForkしています。「アイ・オー ジェイエス」と読みます。名前の由来は木星にある四番目に大きな衛星の名前から取られました。*1 Nodeを使っている人のことをnod
Vue.js概要？ - Qiita
Vue.js とは 原作者である Evan You氏 が中心となって開発中のクライアントサイド JavaScirpt(JS)フレームワークです。 MVC の派生種である、GUIライブラリに適した MVVM を設計基盤として 採用し、構築されています。 MVVM を採用していること が、構文の理解しやすさに繋がっています。 MVVM を採用したフレームワークでは、表示そのものであるView、 表示するデータ 及び データを操作する手続き をひとまとめにした View Model (VM)、が舞台上の役者です、それらを管理するコントローラ(Controller)は、 存在するものの、黒子のような存在で、ユーザからは隠蔽されているため、 コードを書く際に意識する必要はありません。 公式サイトで Vue.js の特徴は Simple、Fast、Composable、Compact、 Powerfu
Big Sky :: golang のリファクタリングには gofmt ではなく、gorename を使おう。
今まで golang で変数名や関数名のリネームには gofmt の -r オプションを使ってきましたが、これからは gorename を使いましょう。 文法を解析して正しくリネームしてくれるので、gofmt で起き得た誤爆も心配ありません。インストールは以下の様に実行します。 $ go get golang.org/x/tools/cmd/gorename 使用方法は以下の通り。 gorename: precise type-safe renaming of identifiers in Go source code. Usage: gorename (-from <spec> | -offset <file>:#<byte-offset>) -to <name> [-force] You must specify the object (named entity) to rename
記事パクられ・途中経過 バリューコマースはパクリサイトはOKという返事でかなりビックリ！ - 鈴木です。別館
昨日書いたエントリー 予想以上の反響で驚きました。 いろんなところに問い合わせをしたりして返答が来たところ来ていないところありますが、途中経過を書きたいと思います。 申請・申告・投書した先 今回、申請・申告・投書した先は下記の通りです。 はてな Google DMCA侵害の申し立て Google Adsense規約違反報告 Livedoorブログ seesaaブログ バリューコマース Googleは時間がかかるのは解っているのでそれ以外の対応について書いていきます。 はてな は反応滅茶苦茶遅いというか傍観？それとも面白がってる？ はてなには1番に報告したのですが、未だに返信はありません。 と思ったら、今回の問題のパクリブログ、また別のブログの記事をパクって本日アップしていますね。 今回の件に関してはてなの運営が怠慢なのか、著作権に関していい加減なのか、それとも面白がって放置しているのか、そ
ngx_mrubyとngx_lua - Qiita
今年の秋頃に将来nginxでJavaScriptが書けるようになるという話が出ましたが、nginxには元々サードパーティモジュールの中でも有名なngx_luaがあります。また、Advent Calendarを見るにngx_mrubyも盛り上がってきているようです。 そこで両者の比較エントリを書いてみようと思います。 まずngx_mrubyについてはこのカレンダーでさんざん語られてるのでngx_luaについて。 ngx_luaは簡単に言うとngx_mrubyと同じようなこと(あるいはそれ以上のこと)がLuaでできるnginxのサードパーティモジュールです。 例えば「Hello, World!」はこんな感じで書けます。 ngx_luaで利用できるLua処理系 ngx_luaではLua5.1とLua5.1互換のLuaJITが利用できます。逆に言うとLua5.2以上だとビルドできないので注意しまし
正規表現リテラルは本当に必要なのか？
PyConJP2014発表資料。 ・正規表現リテラルは、**あれば便利だけどなくても困らない**（ライブラリでカバーできる）ことを説明する。 ・Pythonの正規表現が抱える問題点とその解決案を紹介する。
HamlとSlimをMiddleman上で比較する - Tech-Sketch
昨今の開発ではHTMLをそのまま記述するのではなく、簡潔に記述する為のテンプレートエンジンを利用することが多いと思います。今回はHamlとSlimというテンプレートエンジンを、Middlemanという開発サーバーツールを利用して比較していきます。 HamlとSlimとは？ Haml と Slim はHTMLを生成するためのテンプレートエンジンです。 HTMLをそのまま記述するのと比べ、インデントや簡略構文によって簡潔な記述が行えるのが特徴です。 HamlはRuby On Railsなどのプロジェクトで利用している方も多いと思いますが、Slimは聞きなれない方もいるのではないでしょうか？ ※Ruby On Railsで利用するにはそれぞれ、 haml-rails 、 slim-rails というgemを追加する必要があります 以下でHamlとSlimについて、サンプルコードを用いて比較し
Shibu's Diary: iOSはなぜAndroidの半分のスペックでも快適なのか
渋日記@shibu.jp 渋川よしきの日記です。ソフトウェア開発とか、ライフハックを中心に記事を書いていきます。 iPhone6/6 Plusのメモリが1GBしかない理由 この記事が突っ込みどころが多いと話題になっています。初期の頃はiOSのなめらかな動きと比べたらAndroidは劣化版と言われても反論できない感じでしたが、Nexus 4/Nexus 5ともなるとだいぶ快適で乗り換えても違和感なく使えるようになりましたが、同じぐらいの快適さが得られるハードウェアを比べてみると、メモリも半分で、コア数も半分で、クロック周波数も半分で、バッテリーにやさしいハードウェアになっていることは確か。なぜそれでやっていけるのか、ということについて僕なりの理解をまとめます。元の英語記事は読んでません。 メモリ管理方式の違い Androidはマーク・アンド・スイープ方式のGCで、iOSはNSAutorele
近日リリース予定の「jQuery 3.0」は2種類のパッケージで提供
The jQuery Foundationは、JavaScriptライブラリjQueryの最新版として、バージョン1.11.1の後継となる「jQuery Compat 3.0」、バージョン2.1.1の後継となる「jQuery 3.0」をリリースすることを、公式ブログの10月29日（現地時間）付けの投稿で発表した。 jQueryは、WebブラウザのAPI互換性に対応すべく、2013年に互換性を最大限に重視したバージョン1.x系列と、Internet Explorer 8以前の古いブラウザをサポートしないバージョン2.x系列とに分かれている。 ただし、1.x系列と2.x系列では、内部実装こそ異なるものの、APIとしての動作は同じであり、それは「jQuery Compat 3.0」と「jQuery 3.0」でも引き継がれる。 なお、メインパッケージの「jQuery」は、最新バージョンおよび1つ前
モダンな情報共有ツール esa.ioを2カ月超使ったのでβ前に紹介するよ | Tokyo Otaku Mode Tech Blog
Tokyo Otaku Mode（以下TOM）でエンジニアをやっているpchwです。 今回は情報共有ツールのお話をさせていただきます。 TOMの開発チームは、創業当初は数人で構成されていたのですが、最近ではフルタイムでないメンバーも含めてかなり人数が増えました。 少人数であればある程度自然に情報共有できるものの、人数が多くなってくると持っている情報量に差が出てきて、なかなかスムーズに共有を図ることができなくなります。 そこで頼りになるのが、情報共有ツールというわけです。現在、TOMの開発チーム内では情報共有のためにesa.ioというサービスを使っています。 なぜesa.ioを使うようになったのか？ esa.ioとはどういうものなのか？ esa.ioは他の情報共有プラットフォームと比べてなにが違うのか？ これらの点を踏まえつつ、esa.ioを紹介していきます。ぜひ参考になさってください。 な
iOSとAndroidのプッシュ通知の開発の違いまとめ
少し言い訳しておくと、ちゃんと確認せずに書いているので間違いがあるかもしれません。Wikipediaだったら[要出典]ってたくさん付けられてしまいそうです。 大きな違いをいくつか紹介していきます。 Androidは受信処理を各自実装する必要がある。 iOSとAndroidのプッシュ通知の設計の大きな違いは、iOSはOSの仕組みに乗らなければいけないのに対して、Androidは自由度が高く各自の実装にゆだねられているという点です。 iOSのAPNSは送信するデータの形式もしっかり決まっていて、その形式にしたがって送信すれば、あとはOSが定めた方法で表示されるだけです。一方のAndroid送信データは完全に自由で、それを受信した際にアプリがどんな動作をするかも、制限されていません。 逆にいえばAndroidは受信時の表示などの処理をすべて独自で実装する必要があり、クライアントの実装の手間は数倍
プロセスとスレッドの違い - IMOKURI Blog
linux上のアプリケーションはプロセスとして起動されます。 プロセスを管理することはOS（ここではlinux）の重要な役割であり、プロセスのスケジューリング、割り込み、シグナル制御、優先度の制御、プロセスの切り替え、状態管理、メモリ管理などを行っています。 プロセスとは何でしょう？ プロセスはCPU上で実行されるもので、タスクを完了するために、Linuxのカーネルが制御するあらゆるリソースを使うことができます。 スレッドとは何でしょう？ スレッドは1つのプロセスから生成される実行単位です。同じプロセスから並行でスレッドを起動させることができます。 スレッドはメモリや、オープン中のファイルなどのリソースを共有することができます。同じアプリケーションのデータにアクセスすることができるのです。 プロセスはリソースを共有することができないので、これは大きな違いです。 言い換えると、スレッドは同じ
JavaScript - Markdownパーサーのshowdown.js、markdown-js、markedを簡単比較 - ぼっち勉強会
主に比較したいこと 使い方 変換結果の見た目の印象 table記法を解釈できるか コードブロックの解釈 動作確認の前提 MarkdownはQuick Markdown Exampleから一部引用しています 使用したテキストはGistに置いておきます CSSはTwitter Bootstrapを使っています クライアントで使う場合を想定しています(=node.jsでの使用例ではない) HTMLはどれも次のコードを基本としています <!DOCTYPE html> <html lang="ja"> <head> <meta charset="UTF-8"> <link href="bootstrap.min.css" rel="stylesheet"> </head> <body> <div class="container"> <div id="content">hoge</div> </di
国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog
2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela
Docker と LXC - Qiita
Docker はただ LXC を再発明しているわけではないというお話。DotCloud のファウンダーによる stackoverflow の質問への回答。 LXC はネームスペースやコントロールグループ等の Linux カーネルケーパビリティ機能を利用し、プロセスを他のプロセスからサンドボックス化し、それらプロセスへのリソースの割当てをコントロールしている。Docker はこのローレベルのカーネル機能を軸に、以下のような機能を提供している。 LXC に対し Docker が提供している機能 どんなマシンへもポータブルデプロイ可能 Docker はアプリケーションをビルドするためのフォーマットが定義されており、その全ての依存関係を (Docker がインストールされている全てのマシンで動作する) 単一のオブジェクトに入れ、それはどこで実行してもアプリケーション実行環境が同一になります。LXC
SoGap - ソーシャルサービス間での話題性の「ギャップ」ランキング
林官房長官は、サウジアラビアのムハンマド皇太子が今月20日から来日し、天皇陛下と会見するほか、岸田総理と会談すると発表しました。林官房長官「滞在中は、天皇陛下は、ムハンマド皇太子殿下と御会見になるほか、…
ツィッターとは大違い。はてブでは、なぜネガコメが多いのか。 - 彼氏は日本人。彼女はフランス人。
コウモリが本格的にブログを始めて３ヶ月。 ありがたいことに、記事に対してたくさんのご意見を頂けるようになってきました。 そうして幾つものコメントを眺めているうちに、面白い現象に気付きました。 ツィッターとはてブでは、全くコメントの毛色が違うのです。 ここでは、面白いサンプルを２つ挙げてみます。 そこから生まれた疑問を解決するために詳細に書いていますが、 長文が苦手な方は、７のまとめに飛ぶのがオススメです。 目次 １、サンプル１ ２、サンプル２ ３、なぜ、両極端なコメントが生まれるのか？ ４、なぜ、「はてブのコメント」はネガティブ？ ５、TwitterコメントのWhom ６、hatebuコメントのWhom ７、まとめの図解 ８、提案：影響タブとかどうすか？ ９、余談：紹介系コメントの文法 ※約7000字あります。長文注意。 ※サラっと読みたい方は、太字にした１・２・７の項目だけ読むのがオスス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
