1983年の第37回衆議院議員総選挙に旧東京5区(定数3)から無所属で立候補するも、候補者6人中6位で落選。1986年の総選挙も無所属で立候補するが次点で落選。 1990年の総選挙で自由民主党は現職の中村靖と小林の2人に公認を出す。社会党ブームに乗った高沢寅男が一気に票を伸ばしトップ当選を果たし、小林は得票数2位で初当選。中村は次点で落選した。当選同期には岡田克也・亀井久興・中谷元・福田康夫・石原伸晃らがいる。自民党で安倍晋太郎→三塚博派(清和会)に属した。 1993年の総選挙では新党ブームに押され、次点で落選。中村も落選した。 1996年10月の第41回衆議院議員総選挙では東京10区から立候補し2回目の当選を果たす。同年11月、第2次橋本内閣において労働政務次官に就任。 1998年8月、亀井静香や平沼赳夫らと清和会を離脱。1999年3月に志帥会(江藤隆美・亀井静香派)の旗揚げに参加した。