Theo sử sách, ông Lê Trọng Thứ người xã Diên Hà (nay là xã Độc Lập) huyện Hưng Hà, tỉnh Thái Bình, lúc nhỏ còn có tên Lê Phú Thứ hay Lê Quý Thứ, hiệu Trúc Am Lê Văn Chinh tiên sinh, tên Thụy vua ban là Lê Trung Hiến. Ông là phụ thân nhà bác học Lê Quý Đôn. Theo truyền tụng, sinh thời, dân làng Khả Duy, xã Mộc Bắc, thị xã Duy Tiên đã xin thờ ngài.
Tổ tiên Lê Trọng Thứ vốn là họ Lý, do nạn chu diệt chỉ còn sống sót một người con trai. Người con này được một gia đình nông dân họ Lê hiếm con ở thôn Đồng Phú, xã Độc Lập, huyên Hưng Hà, tỉnh Thái Bình nhận nuôi. Người con này chính là thủy tổ của dòng họ Lê Quý. Lê Trọng Thứ là cháu đời thứ ba.
Theo sử sách, cụ Phúc Lý thân sinh Lê Trọng Thứ nhà tuy nghèo nhưng rất chăm chỉ học hành và có hoài bão lớn, thi đỗ sinh đồ (tú tài) làm nghề dạy học. Một hôm đi dạy học về tới nhà, người mệt mỏi, cụ nằm ngủ thiếp đi. Trong giấc mộng cụ được Thần báo mộng là ở một làng nọ có ngôi đất lớn, huyệt kết, ngươi hãy giả dạng là người hành khất, đến đó tìm rồi mang mả Tổ đến đó táng thì sau này con cháu sẽ phát to. Khi tỉnh dậy thì trời đã sáng, cụ nghĩ Thần đã báo mộng thì phải đi ngay. Cụ Phúc Lý cải trang thành người hành khất, theo lời Thần mách bảo tìm đến ngôi đất lớn. Đúng như lời Thần nói, ngôi đất lớn đó có nhiều thầy địa lý qua lại xem xét nhưng không ai dám để mả. Đã có người mang mả đến táng nhưng Thánh không cho, khiến dân làng bị động nên phải dời đi ngay. Một hôm, người hương trưởng nằm mộng thấy Thần mách bảo, ngôi đất này là để dành cho một người họ Lê ở Diên Hà, các người phải trông nom, giữ gìn cẩn thận, nếu không dân làng sẽ bị tai họa lớn. Từ đó, các chức sắc trong làng trông giữ cẩn thận, không cho ai mang mả đến táng ở đó. Một hôm có ông ăn mày đến làng, các chức sắc trong làng hỏi han biết đây là người Thần đã mách bảo liền nói với người ăn mày đây là ngôi đất phát, thần linh bảo để dành cho người họ Lê, vậy lão hãy mau về đem mả tổ đến táng. Cụ Phúc Lý mừng rỡ trở về nhà mang hài cốt cụ Thủy tổ đến táng tại ngôi đất thần linh mách bảo. Mộ táng xong, năm sau cụ bà Phúc Lý sinh ra Lê Trọng Thứ.
Lê Trọng Thứ sinh năm Giáp Tuất (1694), ông thông minh từ nhỏ, nhà nghèo nhưng rất chăm học, nổi tiếng thần đồng. Lê Trọng Thứ theo học cụ Nghè Hoàng Công Trí – cụ đỗ Tiến sĩ, làm quan đến chức Công bộ Thượng thư – tước Thi Khánh Bá thời vua Lê Huyền Tông. Học với cụ Nghè, Lê Trọng Thứ tiến bộ vượt bậc. Không lâu cụ Nghè thấy mình không còn đủ văn chương để dạy bèn nhờ con rể là Tiến sỹ Trương Minh Lượng cho Lê Trọng Thứ ở lại ăn học ở kinh đô. Trong thời gian học với cụ Nghè, dân làng Khả Duy được Thần báo mộng đã sớm tôn ông thành Thành hoàng làng. Năm Quý Mão (1723), Lê Trọng Thứ đỗ Tiến sỹ và được Trương Minh Lượng gả con gái là bà Trương Thị Ích. Năm 1725, Lê Trọng Thứ cùng vợ về làng Khả Duy để lễ Nữ thần giữ huyệt Thần đồng để Thần đồng vào nhập thai và thăm nơi thờ tên hiệu của ông. Sau buổi tế lễ, bà Trương Thị Ích mang thai và ngày 5 tháng 7 năm 1726 sinh thần đồng Lê Quý Đôn. Đến năm 1740, ông về lại làng Khả Duy cho xây dựng đình làng
Do tính tình khảng khái, cuộc sống thanh đạm nên cuộc đời làm quan của Lê Trọng Thứ cũng lắm thăng trầm, hết cách chức, phục chức, rồi lại bãi chức. Năm 66 tuổi ông xin nghỉ hưu, được vua Lê, chúa Trịnh đồng ý và thăng chức Hữu Thị lang Bộ hộ, tặng tước Diêm Phương Bá. Năm 1765, sau khi được mời ra làm quan lần thứ 2, ông đã về làng Khả Duy để cho dân làng tạc tượng, khi đó ông 72 tuổi. Theo truyền thuyết kể lại, khi tạc tượng ngài, dân làng dùng 72 viên gạch Bát Tràng tán nhỏ, trộn với bột giấy bản và sơn ta để tạc. Tượng có hình khối lớn hơn người thật và vẫn đang được thờ tại chính cung đình Khả Duy.
Ngày 26 tháng Giêng năm 1783, Lê Trọng Thứ qua đời, hưởng thọ 90 tuổi, lăng mộ của ngài được xây dựng tại làng Đồng Phù, xã Độc Lập, Hưng Hà, Thái Bình. Tuy nhiên, đình Khả Duy lại là nơi thờ chi trưởng của dòng họ nên đền thờ Khả Duy được coi như nơi thờ tự chính, do đó mà các sắc phong qua các triều đại cũng giao cho thôn Khả Duy phụng sự.
Ngoài nhân vật thờ, đình Khả Duy còn là di tích có giá trị về kiến trúc, nghệ thuật điêu khắc trên đồ thờ và nghệ thuật tạc tượng nên năm 1993 đình Khả Duy đã được xếp hạng là Di tích lịch sử, kiến trúc nghệ thuật cấp quốc gia.
Chu Bình