940年前后(五代后晋时)，吴越国广陵王钱元镣在南湖之滨“筑登眺之所，以馆宾客”，为建楼之始，但无“烟雨楼”之名。该楼毁于1130年(建炎四年)金兀术北还取道秀州(嘉兴)战火中。

1208 -1224年(嘉定年间)，吏部尚书王希昌在原台榭旧址建楼。烟雨楼之名见于南宋丞相吴潜《水调歌头·题烟雨楼》词

有客抱幽独，高立万人头。

东湖千顷烟雨，占断几春秋。

自有茂林修竹，不用买花沽酒，此乐若为酬。

秋到天空阔，浩气与云浮。

叹吾曹，缘五斗，尚迟留。

练江亭下，长忆闲了钓鱼舟。

矧更飘摇身世，又更奔腾岁月，辛苦复何求。

咫尺桃源隔，他日拟重游。

事实上宋诗中有多首提到烟雨楼，但未必是嘉兴南湖的烟雨楼，包括上引宋词，我也有些怀疑。最为肯定的是约1270年前后在世的张尧同有《嘉禾百咏·烟雨楼》

妙手谁烘染，梳烟沐雨姿。

一声长笛晚，人在倚楼时。

1357年(元朝末年)，张士诚攻打嘉兴，烟雨楼毁于“杨苗之乱”。1548年(明嘉靖二十七年)嘉兴知府赵瀛疏浚市河形成湖心岛，翌年在岛上建烟雨楼。1571年(隆庆五年)浙江兵备道沈奎到嘉兴，修建破损不堪的烟雨楼。1582年(万历十年)，知府龚勉集资修葺烟雨楼，成为一方名胜。1632年(崇祯五年)，知府李某重修烟雨楼。张岱《陶庵梦忆》卷六记载：

嘉兴人开口烟雨楼，天下笑之，然烟雨楼故自佳。楼襟对莺泽湖，控控蒙蒙，时带雨意，长芦高柳，能与湖为浅深。湖多精舫，美人航之，载书画茶酒，与客期于烟雨楼。客至则载之去，舣舟干烟波缥缈。态度幽闲，茗炉相对，意之所安，经旬不返。舟中有所需，则逸出宣公桥、角里街，果蓏蔬鲜，法膳琼苏，咄嗟立办，旋即归航。柳湾桃坞，痴迷伫想，若遇仙缘，洒然言别，不落姓氏。间有倩女离魂，文君新寡，亦效颦为之。淫靡之事，出以风韵，习俗之恶，愈出愈奇。

明末清初，烟雨楼毁于战火。1681年(康熙二十四年)，嘉兴同知季瞬两次提议，重建烟雨楼，四年后完工。1751-1784年，乾隆六下江南，八次驻跸烟雨楼。1864年(同治三年)，烟雨楼毁于长毛之乱兵火。现在的烟雨楼为1918年(民国七年)嘉兴知事张昌庆重建。金庸小说《射雕英雄传》中有“八月十五嘉兴烟雨楼比武”，使得烟雨楼广为人知，其实《书剑恩仇录》和《神雕侠侣》也提到过烟雨楼。

乘船上湖心岛，登烟雨楼。游人如织，喧嚣吵闹。楼上尚好，共登青云，湖山一览，分烟话雨。

烟雨楼下的湖心岛。

岛上有“米芾诗碑”。1873年(同治十二年)，嘉兴知府许瑶光得米书墨宝，请人摹刻碑上。所书唐高宗李治《太子纳妃太平公主出降》的前八句

龙楼光曙景  鲁馆启朝扉

艳日浓妆影  低星降婺辉

玉庭浮瑞色  银榜藻祥徽

云转花萦盖  霞飘叶缀旂