บ้านเจ้าพระยายมราชที่ปัจจุบันเป็นดุสิตธานี เป็นตึกสีแดง ๆ ที่มาของคำว่า แยกศาลาแดง
เคยไปงานรดน้ำแต่งงานคุณอาที่นั่นตอนเด็ก ๆ ค่ะ ดูเหมือนจะเป็นสมาคมศิษย์เก่านักเรียนอังกฤษ
ไม่นึกว่า ท่านยังมีบ้านเหลือให้เห็นที่สุพรรณอีกนะคะ ท่านเป็นคนดีมาก ที่ไม่โกงกินชาติเลย
บ้านปลายก็ต้องขายทรัพย์สินใช้หนี้กัน จึงได้สร้างดุสิตธานีขึ้น
คุณประสงค์ สุขุม หลานปู่ของท่านเจ้าพระยายมราช ได้เขียนไว้ในหนังสือ "จากยมราชถึงสุขุมวิท เหตุการณ์ใน ๔ รัชกาล" ของท่านเกี่ยวกับเรื่องนี้ไว้ว่า
เป็นเรื่องรีบด่วนมาก รัชกาลที่ ๖ ทรงรับข่าวจากการสืบราชการมาว่า อังกฤษจะมาขอสัมปทานเหมืองแร่ในดินแดนภาคใต้ต่อขึ้นมาจาก ๔ จังหวัดที่ยึดไปแล้ว (กลันตัน ตรังกานู ปะลิส ไทรบุรี ปีนัง) แล้วจะถือโอกาสยึดครองดินแดนภาคใต้ต่อขึ้นมาอีก โดยเฉพาะจะมาขอสัมปทานเหมืองแร่ใน จ.สุราษฎร์ธานี จึงได้มีพระราชกระแสรับสั่งให้เจ้าพระยายมราชเข้าเฝ้าเป็นการส่วนพระองค์ แล้วให้ไปทำเหมืองแร่ดักไว้ที่สุราษฎร์ โดยมีรับสั่งว่า
"ครูไปทำเหมืองแร่ดักไว้ที่สุราษฎร์ก่อน ฉันจะได้ใช้เป็นข้ออ้างที่จะไม่ให้สัมปทานเหมืองแร่แก่บริษัทอังกฤษ"
"ข้าพระพุทธเจ้าฯ พร้อมที่จะไปทำเหมืองดักไว้ทันที แต่ข้าพระพุทธเจ้าฯ ไม่มีเงินพอที่จะไปลงทุน เพราะจะต้องสร้างทางรถไฟเข้าในเขตเหมืองก่อน"
"ครูเอาเงินที่พระคลังข้างที่ไปก่อน เพราะงานนี้ต้องรีบทำ"
เจ้าพระยายมราชจึงได้ไปเซ็นยืมเงินจากพระคลังข้างที่มาสร้างทางรถไฟเข้าเหมือง และซื้อเครื่องจักรทำเหมืองมามอบให้ลูกชายคนโตที่มีบรรดาศักดิ์เป็นพระยาสุขุมนัยวินิตไปบุกเบิกงานทันที
เมื่อได้ลงทุนไปแล้ว พอดีพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวเสด็จสวรรคต "เหมืองแร่รักษาดินแดน" ตามพระราชกระแสไม่มีรายได้ และไม่มีเงินจะลงทุนต่อไป
เจ้าพระยายมราชจึงต้องล้มเลิกโครงการและนำเงินส่วนตัวไปใช้หนี้พระคลังข้างที่เป็นจำนวนมาก
ทำให้ต้องมอบ "บ้านศาลาแดง" ที่ได้รับพระราชทานจากรัชกาลที่ ๕ และหุ้นส่วนบริษัทปูนซิเมนต์ไทยส่วนใหญ่ให้แก่พระคลังข้างที่ เพื่อเป็นการใช้หนี้ด้วย
แต่การลงทุนทำเหมืองแร่ดักไว้ในครั้งนั้น พระบาทสมเด็จพระเจ้าอยู่หัวได้ทรงใช้เป็นข้ออ้างที่จะไม่ทรงอนุญาตให้สัมปทานแก่บริษัทอังกฤษในสุราษฎร์ เพื่อเป็นการป้องกันการใช้อำนาจยึดดินแดนของไทยต่อขึ้นมาจากที่ได้ยึดไปแล้ว เพราะได้เคยมีตัวอย่างมาแต่เดิมว่าเมื่อบริษัทอังกฤษเข้าทำเหมืองแร่หรือทำธุรกิจที่ต้องลงทุนสูงแล้ว ต่อมาสักระยะหนึ่งก็จะอ้างว่าไม่ได้รับความสะดวก และจะถือโอกาสขอให้รัฐบาลของเขาส่งทหารมาจากอินเดียเข้ายึดพื้นที่ของประเทศในแถบนั้นไปเป็นเมืองขึ้นของอังกฤษ
