"ต้นตระกูลผมมาใหม่ ๆ ก็ไม่ทราบว่าชื่ออะไร ตำนานเล่าแค่ว่าเป็นมอญอพยพมา มาเริ่มชัดเจนในสมัยสมเด็จพระเจ้าอยู่หัวบรมโกศ เริ่มมีการบันทึกเกี่ยวกับ 'นายฉาย' มหาดเล็กข้าหลวงเดิมของเจ้าฟ้าพร ก่อนที่เจ้าฟ้าพรจะขึ้นเป็นสมเด็จพระเจ้าอยู่หัวบรมโกศ ทรงโปรดให้ข้าเดิมบรรจุตำแหน่งราชการตามความสามารถ 'นายฉาย' ได้รับพระมหากรุณาโปรดเกล้าฯ ให้กำกับกรมพระคชบาล จนได้เป็นพระยาราชวังเมือง เจ้ากรมพระคชบาล มีตราประจำตระกูลเป็นรูปช้าง"
เมื่อเสียกรุงศรีอยุธยาพร้อมกับสิ้นพระยาราชวังเมือง ลูกหลานมอญกระจัดกระจายกันไป 'นายปราบไตรภพ' บุตรพระยาราชวังเมืองถูกทหารเชื้อสายมอญในกองทัพพม่าจับกุม ทหารมอญนำออกไปทางด่านเจดีย์สามองค์ ด้วยความที่มีเชื้อสายมอญเหมือนกันนายกองมอญที่คุมไปเกิดความสงสารจึงปล่อยตัวกลับไปอยู่กรุงศรีอยุธยา
ในหนังสือลำดับสกุลโรจนวิภาต (๒๕๓๕) ระบุว่าสืบสกุลมาจากพระยาราชวังเมือง (ฉาย)
เจ้ากรมช้างต้นในสมเด็จพระเจ้าอยู่หัวบรมโกศ และนายปราบไตรภพ (โชติ) ครับ
