ตระกูลของเจ้าพระยาธรรมาธิกรณาธิบดี (ทองดี) เป็นตระกูลขุนนางใหญ่มาตั้งแต่สมัยอยุธยา กล่าวกันว่าท่านเป็นบุตรของเจ้าพระยาอภัยราชา ที่เรียกกันว่า เจ้าคุณประตูจีน ครั้งกรุงศรีอยุธยา เจ้าพระยาอภัยราชาตามความในราชพงศาวดาร เดิมเป็นเจ้าพระยาสุภาวดี บ้านอยู่ประตูจีน แล้วได้เลื่อนเป็นเจ้าพระยาอภัยราชา ตำแหน่งสมุหพระกลาโหม ในตอนปลายแผ่นดินพระเจ้าบรมโกศ
ตำแหน่งของเจ้าพระยาอภัยราชา (เจ้าคุณประตูจีน) ที่ถูกต้องน่าจะเป็นสมุหนายก
อาจารย์นิธิ เอียวศรีวงศ์ ได้เขียนไว้ในหนังสือ "การเมืองไทยสมัยพระเจ้ากรุงธนบุรี" ว่า "ในพ.ศ. ๒๒๙๘ พระเจ้าบรมโกศ ก็โปรดฯ ให้เจ้าพระยาอภัยราชาได้เป็นสมุหนายก เจ้าพระยาอภัยราชาเป็นโทษในรัชกาลพระเจ้าเอกทัศน์ จึงปรากฏว่าในพ.ศ. ๒๓๐๒ เจ้าพระยาพระคลังได้ว่าราชการที่สมุหนายกด้วย"
ท่านบุตรอีกคนหนึ่งเป็นบุตรคนโตคือ พระสำราญองค์ ส่วนจะมีธิดาหรือไม่นั้นไม่มีบันทึกไว้
พระมารดาของพระอัครชายา (หยก) ชื่อกิม เป็นธิดาในเจ้าพระยาอภัยราชา (เจ้าคุณประตูจีน)
กิตติพงษ์ วิโรจน์ธรรมากูร ได้เขียนไว้ว่า หากเมื่อได้ศึกษาถึงเชื้อสายแห่งราชจักรีวงศ์จะพบว่า
พระอัครชายา (หยก) แห่งองค์สมเด็จพระปฐมบรมมหาชนกก็เป็นธิดาของจีนกิม คหบดีชาวจีน ประสูติที่บ้านภายในกำแพงพระนคร ด้านทิศตะวันออกเฉียงใต้ บริเวณป้อมเพชร ซึ่งเป็นย่านอาศัยของชาวจีนในรัชสมัยสมเด็จพระเจ้าอยู่หัวบรมโกศ
หาก "กิม" เป็นหญิง อาจจะต้องสืบเสาะต่อไปว่าเป็นธิดาของเจ้าคุณประตูจีนจริงหรือไม่ แต่หากเป็นชายดังที่คุณกิตติพงษ์ว่าก็คงจะสรุปได้ว่าข้อมูลที่คุณ Kiangsak ได้รับมานั้น คงไม่น่าเชื่อถือเท่าไรนัก