ใครที่ได้อ่านหนังสือประวัติของเจ้าประคุณสมเด็จพระพุฒาจารย์ (โต พรหมรังสี) ในส่วนที่เกี่ยวกับพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 4 ก็จะเห็นเป็นอย่างเดียวกันว่าความสัมพันธ์ไม่ค่อยราบรื่นเท่าใดนัก มีข่าวประชดประชัน กระทั่งถึงขั้นทรงขับไล่ให้ออกไปนอกพระราชอาณาจักรก็เป็นที่ทราบกันโดยทั่วไป

ถ้าหากว่าการไปสถิตเป็นเจ้าอาวาสวัดระฆังมีเป้าหมายในเรื่องกุมสภาพข้อมูลข่าวสารและความเคลื่อนไหวเป็นเรื่องที่ถูกต้อง แล้วไฉนเล่าเจ้าขรัวโตจึงมีเรื่องกระทบกระทั่งกับพระบาทสมเด็จพระเจ้าอยู่หัวหลายครั้ง ก็เป็นเรื่องควรแก่การวินิจฉัย

เรื่องกระทบกระทั่งใหญ่ที่เป็นข่าวคราวว่าไม่เป็นที่พอพระราชหฤทัยอย่างรุนแรง ถึงขั้นมีกระแสพระราชดำรัสสั่งขับไล่ให้ขรัวโตออกไปนอกราชอาณาจักร ซึ่งขรัวโตก็รับปาก แต่ต่อมาปรากฏว่าขรัวโตก็ไม่ได้ออกไปไหน แต่เข้าไปจำพรรษาอยู่ในพระอุโบสถวัดระฆัง

จึงมีพระราชกระแสรับสั่งให้ตามตัวเข้ามาเฝ้าฯแล้วทรงต่อว่าว่าไฉนไม่ถือมั่นในคำสัตย์ที่ว่าจะออกไปนอกพระราชอาณาจักร แต่กลับยังอยู่ในพระราชอาณาจักร เป็นการตระบัดสัตย์แห่งสมณะและมนุษย์

ในครั้งนั้นเจ้าประคุณสมเด็จได้ถวายพระพรว่าไม่เคยเลยที่จะละเมิดคำสัตย์ แล้วท้วงเอากับพระบาทสมเด็จพระเจ้าอยู่หัวว่ามหาบพิตรทรงจำได้หรือไม่ว่า เมื่อครั้งขึ้นครองราชย์ได้ทรงประกาศพระองค์ไว้อย่างไร แล้วกล่าวนำเสียเองว่าเมื่อครั้งขึ้นครองราชย์ พระองค์ก็ได้ปฏิบัติตามธรรมเนียมของพระมหากษัตริย์ทั้งหลาย คือประกาศตนเป็นพุทธมามกะ ให้คณะสงฆ์ทรงจำไว้ว่าพระองค์ทรงเป็นพุทธศาสนิกชน จะยึดมั่นในพระพุทธ พระธรรม พระสงฆ์อันเกษม ก็ทรงรับว่าถูกต้องแล้ว

เจ้าขรัวก็ถวายพระพรต่อไปว่าก็แลโอกาสนั้นมหาบพิตรก็ได้ประกาศต่อหน้าคณะสงฆ์ในมหาสมาคมแห่งพระราชพิธีบรมราชาภิเษกว่า แผ่นดินในขอบเขตพุทธสีมาพุทธจักรเป็นดินแดนที่ถวายไว้แก่พระพุทธเจ้าและพระรัตนตรัย ขอให้พระสงฆ์ทรงจำไว้ พระบาทสมเด็จ
พระเจ้าอยู่หัวก็มีพระราชดำรัสว่าก็ใช่

เจ้าขรัวโตก็ถวายพระพรอีกว่า ตลอดเวลาที่ผ่านมาอาตมาก็จำพรรษาอยู่ในพระอุโบสถวัดระฆังไม่ได้ไปไหนนั่นคืออาตมาอาศัยแผ่นดินของพระพุทธเจ้าตามที่พระองค์ทรงอุทิศไว้ ย่อมได้ชื่อว่าอยู่นอกพระราชอาณาจักรแล้ว พระบาทสมเด็จพระเจ้าอยู่หัวก็ยอมรับ จึงเป็นเรื่องที่กล่าวขวัญเล่าขานรู้กันทั่วไป

นอกจากนั้นก็ยังมีข่าวเรื่องระหองระแหงเป็นระยะๆ เช่น บางครั้งที่ได้รับอาราธนาเข้าไปในงานพระราชพิธีสำคัญ และเป็นผู้เทศน์บทมงคลกถา ในบางครั้งเจ้าประคุณขึ้นบทประกาศศักราชแล้วก็เทศน์ว่าบรรดาบทพระธรรมทั้งหลายมหาบพิตรก็ทรงรู้ทรงทราบกระจ่างแจ้งดีแล้ว จึงขอจบบทพระธรรมเทศนาเพียงเท่านี้ เอวังก็มี ก็เป็นข่าวว่าไม่ต้องพระทัย

อีกครั้งหนึ่งก็มีข่าวเรื่องระหองระแหงแบบเดียวกันในวันนั้นมีข่าวว่าพระบาทสมเด็จพระเจ้าอยู่หัวมีพระราชธุระที่จะต้องทรงปฏิบัติต่อไป แต่ปรากฏว่าในวันนั้นเจ้าขรัวโตเทศน์เสียยืดยาวจนทำให้พระบาทสมเด็จพระเจ้าอยู่หัวทรงกระสับกระส่ายและมีข่าวว่าไม่พอพระทัย ถึงกับตรัสถามว่าครั้งก่อนทำไมเทศน์สั้นจนไม่ได้ความ คราวนี้ไฉนจึงเทศน์เสียยืดยาว

ข่าวระบุว่าเจ้าประคุณถวายพระพรตอบว่า เมื่อครั้งก่อนมหาบพิตรมีน้ำใจผ่องใส ไม่จำต้องลิ้มรสพระธรรมอาตมาจึงเทศน์สั้นๆ แต่มาครั้งนี้มหาบพิตรมีเรื่องขุ่นข้องสับสนในพระทัย เป็นจิตใจที่ต้องอาศัยพระธรรมเป็นที่พึ่งอาตมาจึงแสดงธรรมโดยควรแก่การ พระบาทสมเด็จพระเจ้าอยู่หัวก็มิได้รับสั่งแต่ประการใด

ข่าวคราวการระหองระแหงแบบนี้ก็ดังกระฉ่อนไปทั่วพระนคร จนเป็นที่เข้าใจกันว่าขรัวโตไม่เป็นที่โปรดปรานและมีเรื่องระหองระแหงกับพระบาทสมเด็จพระเจ้าอยู่หัว คนทั้งหลายก็เข้าใจว่าสำนักวัดระฆังเป็นพวกฟากขะโน้น ด้วยความเชื่อเช่นนี้จึงทำให้ข่าวสารทั้งหลายที่เป็นไปทางฟากขะโน้นทั้งหมดกระจ่างแจ้งที่วัดระฆัง และแน่นอนว่าย่อมมาถึงกรมคชลักษณ์ของสมเด็จเจ้าฟ้ามหามาลาด้วย

การที่เจ้าประคุณสมเด็จพระพุฒาจารย์ (โต พรหมรังสี)เทศนาแบบสั้นแบบยาวเช่นนี้เคยมีพระสงฆ์รูปหนึ่งเอาอย่าง ขึ้นธรรมาสน์เทศน์แบบเดียวกันก็ถูกต่อว่าต่อขานอย่างรุนแรงว่าที่ทำอย่างนั้นได้ก็อนุโลมไว้เฉพาะขรัวโตองค์เดียวซึ่งหมายความว่าพระรูปอื่นอย่าริเอาอย่างขรัวโตเป็นอันขาด

และยังมีเรื่องเล่าขานเป็นตำนานประวัติเจ้าประคุณสมเด็จอีกหลายเรื่องเกี่ยวกับความระแหงระแหงกับวังหลวง ดังนั้นจึงเป็นที่เชื่อโดยสนิทใจของพวกฟากจะโน้นว่าเจ้าประคุณสมเด็จไม่ใช่พวกวังหลวง กระทั่งเข้าใจกันเอาเองว่าเป็นพวกฟากขะโน้นด้วย

พระราชดำริในพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 4 ที่จะเปลี่ยนแปลงระบบการสืบสันตติวงศ์จากระบบวังหน้า วังหลัง มาเป็นระบบสยามมกุฎราชกุมารปรากฏชัดเจนตั้งแต่การไม่ทรงแต่งตั้งวังหลัง ทั้งที่สิ้นพระชนม์ไปก่อนหน้านั้นนานแล้ว

ครั้นพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัวสวรรคตในปีพุทธศักราช 2408 พระบาทสมเด็จพระเจ้าอยู่หัวก็ไม่ได้สถาปนาวังหน้า ซึ่งเป็นที่ทราบกันเป็นอย่างดีจนกระทั่งเสด็จสวรรคตในปี พ.ศ. 2411 ซึ่งหมายความว่าระยะเวลา 3 ปี นับแต่สิ้นวังหน้าก็ไม่ได้ทรงสถาปนาวังหน้าขึ้นใหม่

ในจดหมายเหตุการเสด็จสวรรคตของพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 4 มีข้อเท็จจริงจำนวนมากที่สะท้อนและแสดงให้เห็นว่าพระบาทสมเด็จพระเจ้าอยู่หัวทรงบรรลุธรรมขั้นสูง จึงมีเหตุการณ์ทำนองเดียวกันกับการเสด็จดับขันธปรินิพพานของสมเด็จพระสัมมาสัมพุทธเจ้าดังที่ปรากฏความในมหาปรินิพพานสูตรนั้น

พระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 4 ทรงปรารภในหมู่ขุนนางก่อนเสด็จฯไปทอดพระเนตรสุริยุปราคาเต็มดวงที่ตำบลหว้ากอ ว่า พระองค์เป็นผู้มีบุญ พระองค์จะสวรรคตในวันขึ้น 15 ค่ำ เดือน 11 ซึ่งตอนต้นก็ไม่มีผู้ใดคาดคิดว่าจะเป็นจริง แต่หลังกลับจากเสด็จฯทอดพระเนตรสุริยุปราคาเต็มดวง พระองค์ก็ทรงพระประชวรและมีพระอาการทรุดหนักลงโดยลำดับ