Qua tìm hiểu lịch sử di tích được biết, vào giữa những năm 20 của thế kỷ XX, các phong trào yêu nước, chống thực dân Pháp, giành độc lập dân tộc của nhân dân ta dấy lên sôi nổi khắp cả nước. Từ nhu cầu chủ quan và khách quan, ngày 17/6/1929 các đại biểu ưu tú của các tổ chức cơ sở đảng ở Bắc Kỳ đã nhóm họp và quyết định thành lập Đông Dương Cộng sản Đảng. Ngày 19/6/1929, Đảng bộ Đông Dương Cộng sản Đảng Nam Định được thành lập. Tháng 10/1929, Đông Dương Cộng sản Đảng Nam Định đã cử đồng chí Lê Công Thanh về Hà Nam xây dựng chi bộ Đảng.

Đầu tháng 11/1929, đồng chí Lê Công Thanh về Duy Tiên gặp đồng chí Nguyễn Doãn Chấp đang dạy học ở Tường Thụy và đồng chí Nguyễn Hữu Tiến dạy học ở làng Lũng Xuyên để bàn bạc việc tổ chức thành lập Chi bộ Đông Dương Cộng sản Đảng của địa phương. Với địa thế rất thuận lợi làm trụ sở hoạt động bí mật, trường Tổng Sư (tên gọi khác là Văn từ Tường Thụy) nằm trong khuôn viên đền Đệ Tứ, có vị trí thuận lợi nằm cạnh ngã ba đường làng, cây cối um tùm rậm rạp; khi có động, người trong trường có thể vượt tường chạy sang nhà dân hoặc men theo con kênh chạy thoát ra ngoài cánh đồng.

Tại địa điểm đã được lựa chọn, đầu tháng 11/1929 chi bộ Đông Dương Cộng sản Đảng đầu tiên của huyện Duy Tiên được thành lập. Chi bộ gồm 6 đảng viên: Nguyễn Hữu Tiến, Nguyễn Doãn Chấp, Vũ Uyển (tức Hưng), Nguyễn Văn Trạc, Phạm Văn Tô, Phạm Văn Bình (tức Phó Đoàn); đồng chí Nguyễn Hữu Tiến được cử làm Bí thư chi bộ. Tại đây, đã diễn ra nhiều cuộc trao đổi, thảo luận của chi bộ, xoay quanh nhiệm vụ sau khi thành lập chi bộ cần củng cố tổ chức để lãnh đạo cuộc đấu tranh cách mạng của quần chúng, thống nhất về tư tưởng và phương hướng hoạt động.

Đây là Chi bộ Đông Dương Cộng sản Đảng đầu tiên của thị xã Duy Tiên, chi bộ thứ ba của tỉnh Hà Nam. Việc thành lập Chi bộ Đông Dương Cộng sản Đảng diễn ra tại trường Tổng Sư trong khuôn viên đền Đệ Tứ là dấu mốc quan trọng trong lịch sử đấu tranh cách mạng của Đảng bộ và nhân dân Duy Tiên nói riêng, tỉnh Hà Nam nói chung. Đây là chi bộ tiền thân của Đảng bộ thị xã Duy Tiên ngày nay, đặt nền móng cho phong trào cách mạng toàn thị xã trong suốt tiến trình cách mạng của Đảng bộ và nhân dân thị xã Duy Tiên. Sự kiện này còn đưa Duy Tiên trở thành trung tâm cách mạng của tỉnh Hà Nam.

 Để giáo dục truyền thống lịch sử, văn hóa, cách mạng của quê hương Hà Nam cho cán bộ, đảng viên và nhân dân thị xã, những năm qua, được sự quan tâm của Thị ủy, HĐND, UBND thị xã Duy Tiên, đền Đệ Tứ và các công trình phụ trợ, như: văn từ, nhà lưu niệm được tu bổ, tôn tạo, kiến thiết khang trang. Năm 2019, trên nền móng của tiền đường tòa Văn từ, nhân dân thôn Tường Thụy, xã Trác Văn đã xây dựng 5 gian nhà truyền thống theo phong cách cổ truyền để trưng bày, giới thiệu về truyền thống lịch sử, văn hóa, cách mạng của quê hương, sự ra đời Chi bộ Đông Dương Cộng sản Đảng đầu tiên của thị xã Duy Tiên.

Hằng năm, vào dịp kỷ niệm các ngày lễ lớn, sự kiện quan trọng của đất nước, quê hương, Đảng bộ, chính quyền thị xã Duy Tiên cùng Đảng bộ, chính quyền và nhân dân xã Trác Văn đều tổ chức dâng hương tưởng niệm tại di tích. Đồng thời, tổ chức các đoàn công tác đến thăm hỏi, động viên các đồng chí lão thành cách mạng; cán bộ tiền khởi nghĩa, Mẹ Việt Nam Anh hùng… để tri ân công lao đóng góp cho cách mạng của các thế hệ đi trước. Cùng với các hoạt động ôn lại truyền thống lịch sử cách mạng, hằng năm tại đền Đệ Tứ, lãnh đạo và nhân dân thôn Tường Thụy còn tổ chức các hoạt động tôn vinh, tưởng niệm các vị thần được thờ tại đền, như lễ Thánh Khổng Tử và giỗ Mẫu Đệ Tứ (Mẫu bản địa).

Hiện nay, tại đền Đệ Tứ còn lưu giữ được nhiều đồ thờ, hiện vật có giá trị, như: Hai tấm bia văn từ, tượng Mẫu, đại tự, cuốn thư, cửa võng, khám thờ... làm tăng thêm giá trị cho di tích. Đặc biệt, tấm bia đá đặt gian bên trái hậu cung Văn từ có tên "Tường Lân thôn văn từ bi ký" (Bia ghi văn từ thôn Tường Lân). Bia có nội dung ca ngợi nền giáo dục của đức Khổng Tử; ngoài ra, văn bia còn cung cấp thông tin về vị trí, quy mô, quá trình tu bổ, tôn tạo lại Văn từ của các sắc mục, Hội Tư văn thôn Tường Lân. Bia được khắc vào niên hiệu Tự Đức năm thứ 32 (1879). Còn tấm bia đặt phía bên phải hậu cung Văn từ được khắc vào ngày cuối mùa đông, năm thứ 32 niên hiệu Tự Đức (1879). Nội dung bia cho biết danh sách các vị sắc mục, cùng các hội viên Hội Tư văn tiến cúng tiền, ruộng trong đợt tu bổ, tôn tạo Văn từ của thôn vào năm Kỷ Mão, niên hiệu Tự Đức thứ 32 (1879). Pho tượng Mẫu Đệ Tứ ở hậu cung đền Đệ Tứ có dung mạo tươi tắn với khuôn mặt tròn, mũi nhỏ, mắt mở hờ, miệng khẽ mỉm cười, tất cả các đường nét đều toát lên vẻ hiền từ, thanh thoát nhưng không kém phần uy nghiêm, tôn kính.

Với những giá trị lịch sử, văn hóa tiêu biểu, đền Đệ Tứ đã được công nhận là Di tích Lịch sử lưu niệm sự kiện cấp tỉnh. Trong những năm qua, đền Đệ Tứ đã đón nhiều đoàn khách trong tỉnh và các địa phương của thị xã Duy Tiên đến tìm hiểu, tham quan. Các lớp học ngoại khóa, lớp bồi dưỡng nhận thức về Đảng của thị Duy Tiên đã đến tham quan nghe giới thiệu lịch sử cách mạng, về cuộc đời hoạt động cách mạng của đồng chí Nguyễn Hữu Tiến và các đồng chí cán bộ cách mạng tiền bối tại nhà truyền thống đền Đệ Tứ.

Để phát huy giá trị của sự kiện lịch sử cách mạng đền Đệ Tứ, thời gian tới, thị xã Duy Tiên có chủ trương triển khai thực hiện tốt công tác bảo tồn, phát huy giá trị địa điểm lưu niệm sự kiện này. Trong đó, tập trung tuyên truyền, giới thiệu về sự kiện thành lập Chi bộ Đông Dương Cộng sản Đảng đầu tiên của thị xã Duy Tiên, về đồng chí Nguyễn Hữu Tiến trên các phương tiện thông tin đại chúng của trung ương và địa phương; đặt bia giới thiệu sự kiện tại đền Đệ Tứ; tổ chức trưng bày hoàn thiện Nhà truyền thống trong khuôn viên đền Đệ Tứ; tổ chức các tuyến du lịch tham quan các di tích về đồng chí Nguyễn Hữu Tiến liên kết với các di tích lịch sử cách mạng khác của tỉnh Hà Nam.