พระครูถาวรวิริยคุณ หรือ หลวงพ่อคง เป็นเจ้าอาวาสวัดเขากลิ้ง องค์แรกและองค์ปัจจุบัน เดิมชื่อ นายคง แก่นไม้อ่อน เกิดเมื่อวันที่ 19 ก.ย.2466 ที่บ้านบางพลับน้อย ต.บางพลับ อ.สองพี่น้อง จ.สุพรรณบุรี มีพี่น้องร่วมบิดามารดาเดียวกัน 4 คน วัยเด็กได้ย้ายจาก จ.สุพรรณบุรีมาอยู่ที่ จ.เพชรบุรี โดยย้ายมาอยู่กับย่าพลอย ซึ่งเป็นผู้ดูแลด้านการศึกษา อบรมเลี้ยงดูให้เป็นคนดี 

หลวงพ่อคง ได้เข้าเรียนที่โรงเรียนเบญจมเทพอุทิศโรงเรียนนี้จะอยู่ใกล้ๆ กับ วัดชีประชาอินทร์ อ.เมือง จ.เพชรบุรี เรียนได้ 2 ปี ก็ย้ายออกเนื่องจากญาติของหลวงพ่อต้องย้ายมารับราชการที่ จ.ภูเก็ต และย่าพลอยได้ส่งหลวงพ่อไปอยู่ที่วัดปากท่อ จ.ราชบุรี หลวงพ่อ ได้เรียนหนังสือที่วัดปากท่อ 3 ปี ต่อมาหลวงพ่อก็กลับมาอยู่ที่ภูเก็ตกับย่าพลอยเหมือนเดิม แต่ต่อมาคุณยายพลอยได้ถึงแก่กรรมด้วยโรคอหิวาตกโรค ทำให้ชีวิตของท่านอยู่อย่างโดดเดี่ยวเดียวดาย ไม่มีความสุข 

ต่อมาปู่ของหลวงพ่อได้รู้ข่าว จึงได้ลงไปรับหลวงพ่อขึ้นมาที่ภูเก็ตและดูแลที่บ้านปากคลองกุ่ม ระหว่างนั้นท่านก็ช่วยปู่ทำนาด้วย ต่อมา 2 ปีให้หลัง หลวงพ่อได้เข้าเรียนหนังสือที่ โรงเรียนวัดราษฎร์บำรุงแห่งนี้ จ.เพชรบุรี จนกระทั่งจบการศึกษาชั้น ป.4 ต่อมาท่านได้ช่วยคุณปู่ของหลวงพ่อทำนาต่อจนอายุครบ 21 ปี ปู่จึงได้นำหลวงพ่อเข้าสู่บวรพระพุทธศาสนา

หลวงพ่อได้เข้าอุปสมบทในปี 2487 ณ วัดสนามพราหมณ์ จ.เพชรบุรี โดยมี หลวงพ่อเดช เจ้าอาวาสวัดสนามพราหมณ์ เป็นพระอุปัชณาย์ หลวงพ่อได้เริ่มศึกษาพระธรรมวินัย จนกระทั่งได้สอบเป็นนักธรรมชั้นตรี เมื่อได้อุปสมบทผ่านไปแล้ว 1 พรรษา ได้สึกออกมาใช้ชีวิตฆราวาสตามเดิม และมาใช้ชีวิตอยู่ที่บ้านโงหีบ ต.ท่ากระเทียม อ.ท่ายาง จ.เพชรบุรี และได้เจอเนื้อคู่ ได้แต่งงานและมีบุตรด้วยกัน 4 คน ได้ใช้ชีวิตเป็นฆราวาสมาระยะหนึ่ง ก็ได้มีความคิดที่จะกลับไปอุปสมบทอีกครั้งหนึ่ง โดยคราวนี้มีความตั้งใจเป็นอย่างสูง และได้เข้าอุปสมบทครั้งที่ 2 เมื่ออายุได้ 41 ปี 

หลังอุปสมบทหลวงพ่อได้มาจำพรรษาอยู่วัดวิบูลย์ประชาสรรค์ (วัดท่ากระเทียม) ต.ท่ายาง อ.ท่ายาง จ.เพชรบุรี จนประชาชนได้รักใคร่และให้ความศรัทธาหลวงพ่อเป็นอย่างมาก ต่อมาหลวงพ่อได้ออกธุดงค์ไปหาที่สงบจนได้จิตสงบถือจิตเมตตา และประสบกับโรคไข้ป่ามากมาย แต่ก็ไม่ย่อท้อเดินธุดงค์มาจนถึงบ้านตอไม้แห้ง ซึ่งชาวบ้านไม่มีที่ทำกิน และพอไปถึงบ้านตอไม้ ประชาชนต่างก็ดีใจ และนิมนต์ให้ปักกลดที่หมู่บ้าน เดินทางไปกราบเรียนพระอุปัชณาย์ของท่าน คือ พระครูญาณประยุติ (หลวงพ่อเรียน) ได้ทำนายว่า หลวงพ่อจะประสบแต่ความสำเร็จในทุกๆ อย่าง 

หลวงพ่อได้กราบลาพระอุปัชฌาย์และรับคำอวยพรของอาจารย์ และได้ทำการลงมือสร้างวัดขึ้นมา หลวงพ่อได้สร้างวัดสำนักสงฆ์ และปฏิสังขรณ์สิ่งต่างๆ จนสร้างอุโบสถสำเร็จเมื่อปี 2525 แต่ยังไม่ได้ฝังลูกนิมิต 

ต่อมาทางราชการศาสนาได้ประกาศตั้งวัดขึ้นในวันที่ 24 ก.ค.2528 และได้พระราชทานวิสุงคามสีมาเมื่อวันที่ 23 เม.ย.2529 โดยหลวงพ่อคง ได้รับการแต่งตั้งเป็นเจ้าอาวาสรูปแรกแห่งวัดเขากลิ้ง และสืบต่อมาจนถึงปัจจุบัน จากที่หลวงพ่อ ได้ทำนุบำรุงศาสนาเป็นเวลานาน หลวงพ่อจึงได้รับแต่งตั้งให้ดำรงตำแหน่งฐานาจากเจ้าคุณเทพฯ ผู้ช่วยเจ้าอาวาสวัดเบญจมบพิตร และต่อมาได้รับแต่งตั้งเป็นสมณศักดิ์เป็น พระครูถาวรวิริยคุณ และได้เป็นพระอุปัชฌาย์ทำหน้าที่กุลบุตรผู้ที่เข้ามาขอบวชในบวรพระพุทธศาสนาจนถึงปัจจุบัน กระทั่งมรณภาพเมื่อเวลา 20.45 น.คืนวันที่ 9 ม.ค.62 ที่ผ่านมา