Di tích lịch sử văn hoá đền Phúc Khánh nằm trong quần thể di tích thành cổ Nghị Lang, một kiến trúc thời Lê - Mạc thờ các chúa Bầu (Vũ Văn Mật và các con cháu). Tương truyền rằng: Vào thời nhà Mạc thay nhà Lê, hai anh em Vũ Văn Uyên và Vũ Văn Mật quê ở xã Đông Ba, huyện Gia Phúc (nay là Gia Lộc), tỉnh Hải Dương lánh nhà Mạc lên vùng Bảo Yên xây dựng căn cứ trấn ải biên giới Tây Bắc bảo vệ biên cương và chống lại quân nhà Mạc. Vũ Văn Mật đã cùng các con cháu tích cực xây luỹ, đắp thành, chiêu mộ quân sĩ chống nhà Mạc, bảo vệ biên cương và xây dựng Bảo Yên ngày nay thành một vùng trù phú. Sau này, để ghi nhớ công ơn các Chúa Bầu, nhân dân đã lập đền thờ tại đồi Tấp. Trải qua thời gian với nhiều biến động của lịch sử, những bức tường thành đã sụt lở, mọi kiến trúc bên trong thành cũng như ngôi đền Phúc Khánh gần như bị phá huỷ hoàn toàn, vết tích của đền còn lại rất ít.

Sau khi được sự quan tâm của Đảng, Nhà Nước và các cơ quan chuyên môn thông qua các cuộc tìm kiếm, khảo cổ, dấu tích thành cổ Nghị Lang và đền Phúc Khánh lại hiện ra khá rõ nét. Trên đồi Tấp, ngoài nền đền còn nguyên, còn có cây khế, rặng cây duối hàng trăm năm tuổi. Đây là những vật thể từng chứng kiến một phần, một giai đoạn tồn tại của thành luỹ cũng như ngôi đền Phúc Khánh uy nghi. Cũng tại nền đền này, qua quá trình khảo cổ còn tìm thấy một số tảng đá lớn có chạm, khắc hoa văn tinh xảo, một con rùa đá lớn lưng đội tấm bia đá, tuy tấm bia đã bị vỡ phần đầu, mặt bia bị bào mòn, nhưng vẫn hiện rõ dòng chữ ghi "Phúc Khánh Tự", được xác định là tấm bia ở ngôi chùa Phúc Khánh nổi tiếng do các Chúa Bầu xây dựng. Ngoài ra, còn tìm thấy nhiều gạch, ngói xây chùa hay các vật trang trí và vật dụng thời bấy giờ như: Bát, đĩa, chum vại, bình... đặc biệt, còn tìm thấy một số vũ khí như: kiếm, giáo. Qua các đợt khảo cổ nghiên cứu đã thu thập được trên 300 hiện vật, khẳng định sự tồn tại của di tích, cũng như khẳng định được nét văn hoá truyền thống của các nghề thủ công thời kỳ đó như: Rèn, mộc, gốm sứ...

Năm 2006, di tích lịch sử văn hoá "Đền Phúc Khánh" được trùng tu tôn tạo và được xây dựng trên nền đất cũ theo kiến trúc thời Lê - Mạc; các bộ vì mái được làm bằng gỗ dạng chồng rường giá chiêng, tam quan ngoại xây dựng dạng tứ trụ truyền thống, các đỉnh trụ đắp phượng và nghê chầu, tam quan có kiến trúc một gian 2 chái chồng diêm, thềm và bậc bằng đá có rồng cuốn, chân cột kê đá tảng có chạm khắc hoa văn đời nhà Mạc.

Vào mùng 8 tháng Giêng vừa qua, lần đầu tiên thị trấn Phố Ràng tổ chức thành công lễ hội đền Phúc Khánh theo nghi thức truyền thống và đậm bản sắc văn hoá dân tộc. Trong phần lễ, đại diện chính quyền địa phương đọc chúc thư, đại diện 29 tổ dân phố, các cơ quan, doanh nghiệp đóng trên địa bàn dâng lễ, thắp hương tỏ lòng tri ân các Chúa Bầu đã có công chống giặc và khai phá vùng đất Phố Ràng ngày nay. Phần hội với các hoạt động văn hoá, thể thao: Chọi gà, kéo co, bịt mắt đập bóng nước… Lễ hội được tổ chức đáp ứng nguyện vọng của nhân dân trong vùng và du khách thập phương và là hoạt động của Bảo Yên hưởng ứng chương trình du lịch “Về cội nguồn"…

Di tích lịch sử văn hoá đền Phúc Khánh đang mở ra hướng phát triển du lịch cho huyện Bảo Yên, đón du khánh mọi miền trong nước đến dâng hương, tham quan vãn cảnh và khám phá những nét đặc trưng văn hoá đặc sắc về vùng đất giàu truyền thống cách mạng.