1860年2月29日、ニューヨーク州バッファローで、ドイツラインラント=プファルツ州出身の両親(ヨハン・ゲオルグ・ホレリス(1808年 - 1869年)とフランシスカ・ブルン)から生まれた。1875年、ニューヨーク市立大学シティカレッジに入学し、1879年、コロンビア大学鉱山工学科で鉱山工学(Engineer of Mines)の学位をとって卒業。1880年、マンハッタンで鉱山技師となった彼は、1890年にはコロンビア大学でPh.D.を取得した。1890年、メキシコのベラクルス出身のルシア・ビバリー・タルコットと結婚し、後に6児を儲けた。ワシントンD.C.ジョージタウンに移り住み、その近くにタビュレーティングマシンの製造工場を作った。その工場のあった場所にはIBMが設置した記念銘板がある。1929年、心臓発作により死去。享年69。墓はワシントンD.C.ジョージタウンのオークヒル墓地にある。