Theo sử sách và truyền thuyết dân gian, cuối thế kỷ XIV, quyền thần Hồ Quý Ly ép vua Trần Thuận Tông đi tu để nhường ngôi cho Thái tử Trần An mới 3 tuổi. Trong lúc lưu lạc, chị Thái tử là công chúa Trần Thị Bạch Hoa mới mười bảy tuổi được Hồ Nguyên Trừng thương tình, cho người chèo thuyền chở đi lánh nạn. Thuyền đi trên sông Đáy xuôi về phía nam, tới Kẽm Trống, thấy phong cảnh hữu tình, bà cho thuyền dừng lại, lên bờ tìm nơi ẩn dật. Công chúa chọn núi Bồ Đà, ngọn núi ở bờ bên trái sông Đáy cùng với các ngọn núi khác quần tụ, hợp với dòng nước uốn lượn trông như bức tranh sơn thuỷ hữu tình. Công chúa lên núi thấy trên núi có ngôi chùa nhỏ đã từ lâu không đèn nhang tụng niệm. Công chúa cho dựng một thảo am lập đàn thờ Phật, lấy pháp danh là “Thu Thu thiền sư”. Thiền sư nhận một bé gái sáu tuổi đặt tên Nguyễn Thị Giáp làm đệ tử, lấy pháp danh là “Tuệ Hoa thiền sư”. 

Trong suốt cuộc đời ở ẩn, Thu Thu thiền sư cùng đệ tử dốc lòng tụng kinh niệm Phật cầu mong cho thiên hạ thái bình, mùa màng tốt tươi, nhà nhà no đủ. Công chúa còn sang bên kia sông hái thảo dược làm thuốc cứu chữa cho dân, đem tiền của cứu giúp những người nghèo khổ, được nhân dân kính trọng.

Một ngày tháng sáu năm 1454, khi Thu Thu thiền sư đang gõ mõ tụng kinh đột nhiên ngã xuống, không dậy được nữa. Đệ tử Tuệ Hoa vội đi mời những người hàng xã cùng bàn bạc rồi theo lời dặn trước lúc lâm chung an táng công chúa tại nơi đất trũng trên núi Cô Ai gần đấy. Công chúa thác đi, nhân dân tiếc thương đã cùng nhau quyên góp tạc tượng đá thờ. Sự thác đi của công chúa cũng chính là sự hóa thân về cõi Phật, nên từ đây, ngôi chùa trên núi Bồ Đà được mang tên chùa Phật Tích. 

Năm 1686, chùa được xây dựng lại theo sự chỉ giáo của Tu tăng Lục viện Thượng lâm. Để ngôi chùa thực sự gắn liền với sự tích công chúa Bạch Hoa, đi vào đời sống tâm linh, nhân dân đã đặt tên cho chùa. Ngôi chùa được nhiều các vị vua chúa ghé thăm, đề thơ. Tại chùa và trong dân gian còn lưu trữ một số bài thơ đề vịnh chùa Trinh Tiết. Như chuyện tháng 11 năm Canh Tuất (1430) vua Lê Thái Tổ (Lê Lợi) cầm quân đi đánh Bế Khắc Triệu, Nông Đắc Thái ở chân Thạch Lâm (Cao Bằng ngày nay). Thuyền Ngự dừng nơi Kẽm Trống, vua lên núi vãng cảnh và để lại bài thơ mang tên “Chùa Phật Tích”:  

Sân chùa lá đỏ đang rơi Chiều hôm lên núi nghỉ ngơi sao buồn Rêu phong gạch ngói xanh rờn Ở bên tượng hỏng may còn bát nhang Thời bình nay đã bước sang Lòng người thì vẫn nước làng năm xưa Thương thay cảnh vật hoang sơ Nhà Trần công chúa phụng thờ có thiêng Phò cho một xứ hương thôn Trấn hưng cơ nghiệp tiền nhân dựng nền

Đến thăm chùa và đề thơ còn có vua Minh Mệnh nhà Nguyễn, Thái vương Trịnh Kiểm, thi hào Nguyễn Du, danh sỹ Bùi Huy Bích...

Chùa Trinh Tiết được xây theo hình chữ Nhị, gồm 3 gian Tam Bảo thờ Phật và 3 gian Bái đường. Bên phải chùa có ngôi miếu thờ Đức Ông. Gần đấy còn có một ngôi miếu điện thờ Tam tòa Thánh Mẫu. Năm 1999, dưới chân núi được xây dựng thêm nhà tổ, sân bãi được mở rộng. Hiện tại, khuôn viên dưới chân núi đang được mở rộng hơn nữa tạo cho không gian và cảnh quan chùa Trinh Tiết ngày càng hoàn thiện hơn.  Chùa Trinh Tiết tuy nằm cách xa làng xóm, nhưng lại gần quốc lộ 1A, nên thuận tiện khách tham quan. Theo tuần tiết, chùa Trinh Tiết vẫn đều đặn được nhân dân khói hương phụng thờ. Nhân dân đến lễ bái cầu Phật và cũng đến để tưởng niệm vị công chúa thời Trần – Trần Thị Bạch Hoa của một thời biến loạn.