เขาปฐวี มีลักษณะเป็นเทือกเขาหินที่เรียงซ้อนกันเป็นยอด ค่อนข้างสูงชัน มีถ้ำอยู่เรียงรายโดยรอบประมาณ 30 ถ้ำ ทั้งขนาดเล็กและใหญ่ แม้เป็นเทือกเขาขนาดเล็กที่มีความยาวประมาณ 750 เมตร สูง 253 เมตร และมีลักษณะเป็นเทือกเขาหินเรียงซ้อนกันเป็นยอด แต่ที่นี่ก็เต็มไปด้วยถ้ำน้อยใหญ่มากมาย ตั้งอยู่เรียงรายโดยรอบมากถึง 30 ถ้ำ เช่น ถ้ำประทุน ถ้ำบันได ถ้ำอ่าง ถ้ำช่องลม ถ้ำพุทธประวัติ ถ้ำปลา และถ้ำค้างคาว เป็นต้น และถ้ำบางแห่งยังมีการค้นพบเครื่องมือหิน และโครงกระดูกมนุษย์ก่อนประวัติศาสตร์อีกด้วย บริเวณลานกว้างหน้าเขามีร่มไม้และฝูงลิงจำนวนมาก