Men theo bậc tam cấp đi vào, đường trục giữa và đường trục chạy từ đông sang tây mỗi bên có một đường máng nước ngăn cách, máng nước có chức năng phòng hỏa, cũng có chức năng phòng kẻ cắp và dùng làm lối đi, nên được g̣ọi là "Lộng thủy". Phía sau đường trục ngang thứ hai của Vĩnh Ân Đường có một "Mã lộng", vì nó rộng có thể cưỡi ngựa đi qua nên người ta mới đặt tên như vậy.

Lã Thao sinh sống trong thời kỳ cuối triều nhà Minh, khoảng 40 năm sau khi ông mất thì triều nhà Minh bị diệt vong, đến thời triều nhà Thanh thì dòng họ Lã cũng chẳng có ai ra làm quan. Do đó, sau khi Lã phủ xây dựng được ít lâu, đã nhanh chóng bị người ngoài tộc, ngoài họ chiếm hữu và cư trú, nên Lã phủ đã trở thành một tiểu khu cư trú của trăm họ lớn nhất ở Thiệu Hưng thời bấy giờ. Cũng có thể do thường dân cư trú, nên tòa kiến trúc được xây dựng vào hơn 400 năm trước này mới được bảo tồn mãi đến ngày nay. Hiện nay, ở đây chi chít khoảng ba đến bốn trăm hộ nhà dân, nhưng người đời sau của dòng họ Lã thì hầu như rất ít. Cụ Lã Đông Sinh nói:

"Tôi luôn luôn sinh sống ở đây, tôi là cháu chắt đời thứ 18 của Lã Thao, nay đã 86 tuổi, tôi cảm thấy rất kiêu hãnh, mình sống tại đây phải làm tốt công tác bảo hộ, tôi mong mình luôn được sinh sống ở đây".

Trải qua biết bao năm tháng bể dâu, cụm kiến trúc cổ từng một thời huy hoàng này, ngoài Vĩnh Ân Đường nằm ở phía nam đường trục giữa của cụm kiến trúc vẫn còn giữ được hoàn hảo ra, còn phần lớn nhà cửa ở đây đều bị hư hỏng với mức độ khác nhau.

Mấy năm gần đây, thành phố Thiệu Hưng đã đầu tư tiền vốn, nhân lực và vật lực, cũng như áp dụng một số biện pháp nhằm bảo vệ và ngăn ngừa nhà cửa tiếp tục bị hư hỏng thêm.