Count the number of lines in a file without reading entire file into memory?
I'm processing huge data files (millions of lines each). Before I start processing I'd like to get a count of the number of lines in the file, so I can then indicate how far along the processing is. Because of the size of the files, it would not be practical to read the entire file into memory, just to count how many lines there are. Does anyone have a good suggestion on how to do this?
ALBでのEC2へのリクエストルーティングの設定 - Qiita
Classic Load Balancer（以下CLB）からApplication Load Balancer（以下ALB）へ移行しようと思ったところ、EC2へのリクエストルーティングの設定で少し詰まったので投稿します。 設定したいこととしては下記の2点でした。 HTTP(80番)接続されたら、EC2にも80番で接続する。 HTTPS(443番)接続されたら、EC2には8080番で接続する。 なお、EC2内のApacheの設定で、HTTP（80番）接続されたらHTTPSへリダイレクト、 HTTPS(8080番)接続されたらサイトを表示、というように設定してあります。 詰まったところ 詰まった点は、ALBからEC2へのリクエスト時のリスナーをどこで設定するかわからなくなってしまったことでした。 CLBで設定していた時はこういう状態でした。 CLBでは、ロードバランサーとEC2へのリクエストの
【新機能】新しいロードバランサー Application Load Balancer（ALB）が発表されました | DevelopersIO
target2の場合も同様に作成します。 ターゲットグループにインスタンスを登録する 作成したターゲットグループにEC2インスタンスを登録します。 ターゲットグループを選択してコンテキストメニューでインスタンスの登録と登録解除をクリックするか、ターゲットタブの編集をクリックします。 インスタンスtarget1-aとtarget1-cを登録します。 ALBにインスタンスが登録されます。ロードバランサに登録していないため状態はunusedとなります。 同様にtarget2にもインスタンスtarget2-aとtarget2-cを登録します。 ALBを作成する ALBを作成します。アプリケーションロードバランサーを選択します。 ロードバランサの基本的な設定を行います。 プロトコルはHTTPとHTTPSのみとなっています。今回はHTTPSを選択します。 HTTPSを選択したのでSSL証明書を選択しま
Upstartを使ってイベントに応じてジョブを起動/停止させてみる - 世界中の羊をかき集めて
SysVinitのようなinitデーモンの代替となるUpstart。 書いてみたら凄く簡単だった。 initデーモンのスクリプトは書くの面倒だもんね。。 Upstartの基本的な書き方は、 ハートビーツさんの、「Upstart を使ってお手軽 daemon 化」の記事を参照するといい。 http://heartbeats.jp/hbblog/2013/02/upstart-daemon.html この記事では、Upstartの特徴である、"イベント"に応じてジョブを実行/停止 を紹介したいと思う。 まず簡単な例で、runlevelの変更によって実行/停止をしたい場合以下のようになる。 $ cat /etc/init/apache.conf start on runlevel [2345] stop on runlevel [016] respawn exec /usr/local/apac
serviceコマンドと/etc/initと/etc/init.dの違いの関係 - 或る阿呆の記
Ubuntu Magazineの記事を参考に、まがりなりにも自分でサーバーを構築してから早半年。といってもファイルサーバーとDLNAのメディアサーバーくらいの機能しかないわけですが、それでもかつてに比べると少しは成長したなぁと思います。 さて、そんな初心者Linuxサーバー管理者が日々ちょくちょく疑問に思っていたこと。それは /etc/init.d/なんとか と serviceコマンドを使うのは何が違うのかということ。調べていると、sshサーバー一つ立ち上げるのも、/etc/init.d/sshと書いてあったり、service sshと書いてあったりするわけですが、これって何が違うんだろう？という。さらに考えてみると、/etc/init.dじゃなくて/etc/initなのもあるよな、何が違うんだろ…とかも思ったり。 まぁ、/etc/initと/etc/init.dがあるのは歴史的経緯で深い
Upstart を使ってお手軽 daemon 化
こんにちは。斎藤です。 手元でちょちょいと作ったプログラムや、 init スクリプトの無いOSSを daemon として動作させ続けたい事、ありませんか？そんなときに便利なのが Upstart です。daemontoolsの代わりとしても使えます。 今回は設定方法を中心に、解説していきます。 ※CentOS 6.3 (x86_64) で検証しています はじめに Upstart とは何か UpstartのWikiによると、"/sbin/init"デーモン(例えばSysVinit)を置き換えるものであり、イベントベースでタスクやサービスを起動・停止できるようにしたものである、と述べられています。また、特徴として、SysVinitと比べ「設定が簡単」「起動が早くなる」などが挙げられています。 Upstart のメリット 3つのメリットがあると、私は考えています。 起動・終了制御が容易 仮にABE
1.1.1.1 — the Internet’s Fastest, Privacy-First DNS Resolver
When the Internet was built, computers weren’t mobile. They sat in offices next to data centers. The Internet has changed but the assumptions made 30 years ago are making your experience slower and less secure. 1.1.1.1 with WARP replaces the connection between your device and the Internet with a modern, optimized, protocol. Learn more Your Internet service provider can see every site and app you u
2018年春までに感動したビジネスモデルまとめ13個｜チャーリー｜note
チャーリーです。 追記：ビジネスモデルを図解できるツールキットを販売中です。この記事にあるような図解を自分でもやってみたいという方はぜひ。 もう2018年も1/4が終わったというにわかに信じがたい状況ですが、ビジネスモデルを図解し続けたものがたまってきたのでここらで13個一挙公開します。 - 目次 -俺のフレンチ サマリーポケット 未来食堂 Cansell プチローソン Unipos SCOUTER ポプテピピック ZOZOSUIT Optoro Fundbox PillPack Farmers Business Network 100の事例を図解した「ビジネスモデル2.0図鑑」という本を発売しています（本記事の事例ふくむ）。予約開始と同時にnoteで全文無料公開という試みをやっています。本記事に興味を持ったらそちらもどうぞ！ 俺のフレンチ俺の株式会社は2012年創業、あのブックオフの創業
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国税庁サイト、リニューアルでほぼすべてのURLが変更。リダイレクトもなくユーザー阿鼻叫喚【やじうまWatch】