มีจดหมายเหตุบางฉบับระบุว่า ในช่วงเวลาปลายรัชกาลในขณะที่พระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 3 ทรงพระประชวรมากใกล้จะสวรรคตนั้น ได้มีการจัดแจงภายในพระบรมมหาราชวังสำหรับพระมหากษัตริย์พระองค์ใหม่ ซึ่งมีอยู่เพียงสองพระองค์พี่น้องคือพระบาทสมเด็จพระเจ้าอยู่หัว รัชกาลที่ 4 และพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว จนกระทั่งขุนนางผู้ใหญ่ตระกูลบุนนาคเข้าไปกราบบังคมทูลให้ลาสิกขา จึงทรงลาสิกขาและเสวยสิริราชสมบัติเป็นพระมหากษัตริย์พระองค์ที่ 4 แห่งกรุงรัตนโกสินทร์

พระบาทสมเด็จพระเจ้าอยู่หัว รัชกาลที่ 3 สวรรคต พ.ศ. 2394 ครั้น พ.ศ. 2395 ก็สามารถตามตัวเจ้าขรัวโตมาเข้าเฝ้าฯ พระบาทสมเด็จพระเจ้าอยู่หัว รัชกาลที่ 4 ได้ จึงเป็นที่มาของเรื่องราวที่ทรงมีรับสั่งถามว่าไฉนในรัชกาลก่อนจึงหาตัวไม่พบ และเข้ามาในสมัยนี้

ขรัวโตได้ถวายพระพรตอบว่าเพราะรัชกาลก่อนไม่ได้ทรงเป็นฟ้า หมายถึงมิได้ทรงพระราชอิสริยยศเป็นสมเด็จเจ้าฟ้าที่มีศักดิ์และสิทธิ์ในการเสวยราชสมบัติ แต่มหาบพิตรทรงเป็นฟ้าอาตมาจะหนีไปแห่งไหนได้ จึงได้เข้ามาเฝ้าฯ พระบาทสมเด็จพระเจ้าอยู่หัวจึงโปรดให้ไปเป็นเจ้าอาวาสวัดระฆัง ซึ่งเป็นแค่พระอารามหลวงชั้นโท อยู่ฝั่งธนบุรี ตรงข้ามกับท่าช้างวังหลวงซึ่งแต่ละวันทางกรมช้างก็จะนำช้างไปอาบน้ำที่ท่าช้างวังหลวง จึงสามารถติดต่อสื่อสารกับวัดระฆังฝั่งตรงกันข้ามได้โดยสะดวกยิ่ง

ม.ร.ว.คึกฤทธิ์ ปราโมช ได้แย้มร่องรอยไว้ประการหนึ่งในหนังสือชุดสี่แผ่นดิน ซึ่งคนทั้งหลายอาจจะไม่สังเกต นั่นคือข้อความสั้นๆ ที่แม่พลอย ข้ารับใช้คนสนิทของเสด็จ พูดกับแม่ช้อยเพื่อนสนิท ตอนที่พูดถึงผู้คน ขุนนาง ข้าราชการ ที่มีบ้านเรือนอาศัยฝั่งตรงกันข้ามกับพระบรมมหาราชวัง ว่า “พวกฟากขะโน้น”

ใครคือพวกฟากขะโน้น? เพราะคำว่าพวกฟากขะโน้นมีนัยแห่งนิรุกติที่บ่งบอกความหมายอันลึกว่าเป็นคนละพวกกัน หรือมีความแก่งแย่งแข่งขันกันอยู่ในทีที่ลึกซึ้ง จึงสมควรจะได้วินิจฉัยเรื่องพวกฟากขะโน้นให้ปรากฏไว้

ในเรื่องนี้จำต้องกล่าวถึงธรรมเนียมในการตั้งหลักบ้านเมืองที่สืบทอดมาตั้งแต่กรุงศรีอยุธยา ซึ่งกำหนดให้ตั้งบ้านเรือนถิ่นฐานของขุนนางข้าราชการทั้งหลายอยู่คนละฝั่งแม่น้ำกับพระบรมมหาราชวัง ดังนั้นขุนนางทั้งฝ่ายพลเรือนและฝ่ายทหารจึงถูกกำหนดให้ตั้งคุ้มบ้านเรือนอยู่คนละฝั่งแม่น้ำ

ครั้นถึงเวลาประชุมขุนนางข้าราชการก็ข้ามน้ำข้ามท่ากันมา จนพื้นที่บางแห่งได้รับการขนานชื่อว่าเป็นท่าข้าม

สำหรับฝั่งพระบรมมหาราชวังนั้นก็จะมีการตั้งวังของพระบรมวงศานุวงศ์ที่ใกล้ชิดสลับกับพื้นที่ตั้งวัดสำคัญเรียงรายกันไป และธรรมเนียมการตั้งวัดริมแม่น้ำนั้นก็ขยายไปจนถึงฟากฝั่งของที่ตั้งถิ่นฐานของขุนนางด้วย เพราะเหตุนี้พื้นที่ริมแม่น้ำทั้งสองฝั่งจึงมักมีการตั้งวัดสลับกับคุ้มหรือบ้านเรือนที่พักอาศัย

วัดอันอยู่ฝั่งเดียวกับพระบรมมหาราชวังนั้น ในยามศึกสงครามก็จะใช้เป็นฐานที่ตั้งกองทหารและเมื่อมีปืนไฟใช้แล้วก็จะเป็นที่ตั้งฐานปืนไฟใช้ด้วย เวลามีการเตรียมความพร้อมก็จะใช้วัดเป็นสถานที่เตรียมความพร้อม แม้เมื่อยามว่างศึกสงครามจำเป็นต้องมีกำลังประจำรักษาพระนคร ก็เอากำลังเหล่านั้นไปไว้ที่วัดแล้วเรียกว่าเป็นเลกวัด ซึ่งไม่ใช่พวกเด็กวัด และให้เป็นหน้าที่ของวัดที่จะต้องดูแลเลกวัดเหล่านั้น

ถ้าพูดกันในภาษาปัจจุบันเลกวัดในลักษณะนี้ก็คือกองกำลังสำรองนั่นเอง

ในแผ่นดินพระเจ้ากรุงธนบุรีเวลารัชกาลสั้นและเป็นห้วงศึกสงคราม ไม่มีเวลาจัดแจงบ้านเรือน ดังจะเห็นได้จากตลอดรัชสมัย15 ปีของพระองค์ท่าน ทรงใช้เวลาส่วนใหญ่ในการออกรบทัพจับศึกมีเวลาอยู่ในพระนครหรือกรุงธนบุรีเพียงแค่เวลารวมกัน 6 เดือนเท่านั้น

การตั้งวัดสลับกับชุมชนคนละฟากฝั่งกับพระบรมมหาราชวังนั้นเมื่อครั้งอยุธยา โดยเฉพาะเมื่อครั้งเสียกรุงครั้งที่สอง กองทัพพม่าเข้ายึดชุมชนฝั่งตรงกันข้ามกับพระนครได้ ก็ได้อาศัยวัดเป็นที่ตั้งกองทัพ ดังตัวอย่างการตั้งกองทัพของพื้นที่บริเวณวัดแม่นางปลื้มและพื้นที่ข้างเคียงของเนเมียวสีหบดี แม่ทัพใหญ่ของพม่า และใช้เป็นฐานต่อสู้กับกองทัพของอยุธยาจนกระทั่งเสียกรุง

ครั้นเมื่อพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 1 สถาปนา กรุงรัตนโกสินทร์ ย้ายเมืองหลวงมาอยู่ฝั่งฟากตะวันออกของแม่น้ำเจ้าพระยาแล้ว ตลอดแนวรายริมแม่น้ำก็มีการตั้งวัดสลับกับชุมชนชาวพระนคร เช่น วัดราษฎร์บูรณะ วัดพระเชตุพนฯ วัดมหาธาตุ วัดเทวราชกุญชร วัดราชาธิวาส วัดราชผาติการาม เป็นต้น ทั้งหมดนี้ก็เป็นแนวความคิดที่ตั้งบ้านตั้งเมืองที่สืบทอดมาแต่อยุธยานั่นเอง และส่วนใหญ่ก็เป็นพระอารามหลวงชั้นพิเศษ หรืออย่างน้อยก็ชั้นเอก

ส่วนฟากตะวันตกของแม่น้ำเจ้าพระยานั้นก็ตั้งถิ่นฐานบ้านเมืองตามแบบอย่างอยุธยาเหมือนกัน อาจจะเปรียบเทียบให้เสมอกันได้ว่าวัดระฆังโฆสิตารามก็คือวัดแม่นางปลื้มในยุคอยุธยานั่นเอง วัดนี้เป็นพระอารามหลวงชั้นโท มีนามเต็มว่าวัดระฆังโฆสิตารามวรมหาวิหาร มีพื้นที่ไม่กว้างขวางเท่าใดนัก

ถ้ามองจากฝั่งพระนครไปยังวัดระฆังทางด้านซ้ายก็จะเป็นเขตพระราชวังเดิม ซึ่งปัจจุบันนี้เป็นที่ตั้งของหน่วยงานกองทัพเรือโดยในอดีตนั้นก็เป็นที่ตั้งถิ่นฐานบ้านเรือนของบรรดาขุนนางที่แม่พลอยเรียกว่าพวกฟากขะโน้น ซึ่งมีพื้นที่กว้างขวางใหญ่โตไปถึงบริเวณเชิงสะพานพุทธฝั่งตะวันตก หรือฝั่งตรงกันข้ามกับวัดประยุรวงศาวาส

ดังนั้นพื้นที่แห่งอำนาจขุนนางข้าราชการของพวกฟากขะโน้นจึงกว้างขวางใหญ่โต

ส่วนทางด้านขวาของวัดระฆังฯก็เป็นที่ตั้งของวังหลัง ถัดไปก็เป็นบ้านศิริราช ด้านบนขึ้นไปก็เป็นบ้านพรานนก บ้านช่องหล่อ บ้านวิเศษ ซึ่งเป็นชุมชนของคนพิเศษทั้งนั้น

บ้านพรานนกนั้นก็เป็นถิ่นฐานของพวกหน่วยทหารนอกประจำการในอดีต ทั้งที่เป็นคนไทยและชนกลุ่มน้อยอื่น มีหน้าที่ยามศึกสงครามคือการลาดตระเวนและเดินสารระยะไกล ซึ่งปัจจุบันก็อาจเรียกได้ว่าหน่วยลาดตระเวนระยะไกลนั่นเอง ส่วนพวกบ้านช่องหล่อนั้นก็เป็นพวกช่างทำอาวุธและช่างหล่ออาวุธยุทโธปกรณ์ต่างๆ ที่จะต้องใช้ในราชการสงคราม โดยมีพวกบ้านวิเศษซึ่งน่าจะมีชื่อเต็มว่าพวกวิเศษห้องเครื่องก็คือพวกทำครัวหรือจงโพวสำหรับเลี้ยงกองทหาร ดังนั้นจึงไม่ต้องแปลกใจว่าแต่ก่อนมานั้นชุมชนบ้านวิเศษหรือแถววัดวิเศษมีการขายอาหารและขนมหวานที่มีชื่อเสียงเลื่องชื่อลือชามาก

โดยสภาพเช่นนั้นวัดระฆังจึงเป็นศูนย์กลางของการสัญจรไป-มาของชุมชน ของฟากฝั่งธนบุรีตรงกันข้ามกับพระบรมมหาราชวัง ดังนั้นการที่พระออกบิณฑบาตทุกยามเช้า ถ้าจะคิดในแง่ของการสืบข่าวสารข้อมูลความเคลื่อนไหวต่างๆ ก็ต้องถือว่าเป็นความชาญฉลาดและลึกซึ้งอยู่มาก

จากจุดที่ตั้งวัดระฆังฯนี้หากแม้นมีข่าวสารข้อมูลความเคลื่อนไหวประการใดในแต่ละวันก็สามารถส่งสารไปยังเจ้าพนักงานฝั่งท่าช้างโดยง่ายดาย

สภาพทั้งหลายเหล่านี้จึงอาจจะเป็นที่มาของพระราชดำริที่ พระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ 4 ทรงอาราธนาให้ขรัวโตมาเป็นเจ้าอาวาสวัดระฆังฯในปี พ.ศ. 2495