実父は大学頭を務めた江戸幕府儒者の林述斎。父方の祖父の松平乗薀は美濃岩村藩の第3代藩主、乗薀の実父は吉宗の下で享保の改革を進めた老中松平乗邑である。旗本鳥居成純の長女・登与の婿として養嗣子となり、鳥居家を継ぐ。弟に日米和親条約の交渉を行った林復斎が、甥に同じく幕末の外交交渉に当たった岩瀬忠震、堀利煕がいる。 やがて家斉が隠居して徳川家慶が12代将軍となり、老中である水野忠邦の天保の改革の下、目付や南町奉行として市中の取締りを行う。渋川敬直、後藤三右衛門(13代目後藤庄三郎)と共に水野の三羽烏と呼ばれる。 天保9年(1838年)、江戸湾測量を巡って江川英龍と対立する。この時の遺恨に生来の保守的な思考も加わって蘭学者を嫌悪するようになり、翌年の蛮社の獄で渡辺崋山や高野長英ら蘭学者を弾圧する遠因となったといわれる。 だが、これについては、耀蔵は単なる蘭学嫌いではなく、天保14年(1843年)多紀