Không Phủ còn gọi là phủ Diễn Thánh Công, nằm ở phía đông Khổng Miếu. Không Phủ hiện nay cơ bản là những kiến trúc của hai đời Minh và Thanh, gồm 463 gian như sảnh, đường, lầu huyên...cả thảy 9 khuôn viên, là một cơ ngơi qúi tộc điển hình ở TQ, được mệnh danh là "thiên hạ đệ nhất nhân gia". Con cháu và dòng họ của Khổng Phủ trường kỳ sinh sống tại đây, cũng là quần thể kiến trúc điển hình về sự hợp nhất giữa quan trường với nhà ở của xã hội phong kiến TQ. Sau khi Khổng Tử qua đời, các đời con cháu Khổn Tử ở ngay trong Miếu để trông coi cơ ngơi, đến cuối đời bắc Tống nơi ở của họ đã lên tới hàng chục ngôi nhà, đến đời Nhà Kim họ vẫn ở bên phía đông Khổng Miếu. Cùng với địa vị và sắc phong của Không Tử trong các đời sau này được nâng cao, quần thể kiến trúc của Khổng Phủ cũng không ngừng mở rộng, và đạt tới qui mô hiện nay vào đời nhà Tống, Minh và Thanh. Hiện nay khu khuôn viên Khổng Phủ rộng 7,4 ha với 480 gian nhà chia làm 9 khuôn viên theo bố cục Trung, đông và tây.

 Trong Khổng Phủ có bảo tồn nhiều cổ vật, trong đó nổi tiếng nhất là "10 vật cổ thời Thương Châu", có hình dạng, hoa văn đẹp vốn là đồ lễ đồng đen trong cung đình, năm thứ 36 vua Càn Long nhà Thanh đã tặng cho Khổng Phủ. Trong Khổng Phủ còn lưu trữ nhiều tư liệu từ năm thứ 13 Gia Tĩnh Nhà Minh <1534> đến năm 1948, có nội dung phong phú và giá trị lịch sử quan trọng phản ánh về chính trị, kinh tế, tư tưởng và văn hóa thời cổ đại TQ từ các khía cạnh khác nhau. Hiện đã được chỉnh lý thành hơn 9 nghìn cuốn. Tư liệu lưu trữ trong Khổng Phủ là tư liệu lưu trữ tư nhân có niên đại lâu nhất, phạm vị rộng nhất và hoàn chỉnh nhất trên thế giới hiện nay.