๕ พอกลับจากยุโรป ทั้งที่ยังเป็นพระยา แต่ก็ทรงพระกรุณาโปรดเกล้าฯ เลื่อนขึ้นเป็นสมุหพระกลาโหมฝ่ายเหนือ เป็นพระยาคนแรกที่ได้เป็นสมุหกลาโหม
กราบเรียน อาจารย์เทาชมพูที่เคารพอย่างสูง
ตำแหน่งสมุหพระกลาโหมฝ่ายเหนือ เป็นที่ พระยา อยู่แล้วครับ
ต้องระดับ สมุหพระกลาโหม ถึงเป็นที่อัครมหาเสนาบดี ที่เจ้าพระยาสุพรรณบัฏ
ส่วนสมุหพระกลาโหมฝ่ายเหนือ บังคับบัญชากรมพระกลาโหมฝ่ายเหนือ (เช่นเดียวกับสมุหนายกฝ่ายเหนือ กรมมหาดไทยฝ่ายเหนือ) เป็นที่พระยาครับ
สันนิษฐานกันว่า เป็นตำแหน่งอัครมหาเสนาบดีเมืองพระพิษณุโลก สมัยอยุธาตอนกลาง ที่โปรดให้สมเด็จพระมหาอุปราชครองเมืองพระพิษณุโลก
ต่อมา เมื่อสมเด็จพระนเรศวร เทครัวหัวเมืองเหนือลงมาอยุธยาในสมัยสมเด็จพระมหาธรรมราชา เพื่อรับศึกพม่า ตำแหน่งทั้งสองจึงลดลงมาเป็นขุนนางกรุงศรีอยุธยา
เมื่อพระยามนตรีสุริยวงศ์ (ชุ่ม บุนนาค) ถึงแก่อนิจกรรม จึงโปรดฯ ให้ พระเพชรพิสัยศรีสวัสดิ์ (ท้วม บุนนาค) ปลัดเมืองเพชรบุรี (รักษาการตำแหน่งเจ้าเมือง) เข้ามาเป็นสมุหพระกลาโหมฝ่ายเหนือแทนพี่ชายต่างมารดา ที่ พระยาเทพประชุน
พระยาเทพประชุน ทำหน้าที่แทนสมุหพระกลาโหม คราวพระราชพิธีบรมราชาภิเษก รัชกาลที่ ๕ เนื่องจาก เจ้าพระยาศรีสุริยวงศ์ (ช่วง บุนนาค) สมุหพระกลาโหม เป็นผู้สำเร็จราชการแผ่นดิน
หลังจากนั้นไม่นาน พระยาเทพประชุน (ท้วม บุนนาค) ได้เลื่อนเป็นที่ เจ้าพระยาภาณุวงศ์มหาโกษาธิบดี ที่กรมท่า ท่านเป็นเสนาบดีกรมท่า (กระทรวงต่างประเทศ) คนแรกของสยาม เรียกกันลำลองว่า ท่านเจ้าคุณกรมท่า
ส่วนตำแหน่งสมุหพระกลาโหมนั้น โปรดฯ ให้ พระยาสุรวงศ์ไวยวัฒน์ (วร บุนนาค) จางวางมหาดเล็ก บุตรเจ้าพระยาศรีสุริยวงศ์ (ช่วง บุนนาค - ซึ่งเมื่อพ้นจากผู้สำเร็จราชการแผ่นดินแล้ว เป็นที่ สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์) เป็น เจ้าพระยาสุรวงศ์ไวยวัฒน์ ที่สมุหพระกลาโหม เรียกกันลำลองว่า ท่านเจ้าคุณทหาร
เมื่อตำแหน่งพระเพชรพิสัยศรีสวัสดิ์ ปลัดเมืองรักษาการเจ้าเมืองเพชรบุรีว่างลงนั้น ร. ๔ จึงโปรดให้ นายสรรพวิชัยหุ้มแพรมหาดเล็ก (เทศ บุนนาค) บุตรสมเด็จเจ้าพระยาบรมมหาประยูรวงศ์ น้องต่างมารดาของท่านช่วง ท่านชุ่ม ท่านท้วม เป็นที่ พระเพชรพิสัยศรีสวัสดิ์ ปลัดเมืองรักษาการเจ้าเมืองเพชรบุรี
ท่านเทศ คือผู้ที่ได้ไปในคณะทูตของพระยามนตรีสุริยวงศ์ เพื่อจะไปศึกษาต่อ แต่เกิดเหตุขัดข้องเสีย เมื่อขึ้นรัชกาลที่ ๕ ท่านได้เป็นที่ พระยาสุรินทรฦๅไชย เจ้าเมืองเพชรบุรีเต็มตำแหน่ง ต่อมาได้เป็นสมุหเทศาภิบาลมณฑลราชบุรี และเลื่อนเป็นที่ เจ้าพระยาสุรพันธ์พิสุทธิ์
ท่านเป็นบิดาของเจ้าจอมก๊กออ และมีบุตรชายเป็นเจ้าเมืองเพชรบุรี ราชบุรีหลายท่าน
ถ้าท่านพระยามนตรีสุริยวงศ์ (ชุ่ม บุนนาค) ไม่ถึงแก่อนิจกรรมไปเสียก่อน ท่านต้องถึงที่เจ้าพระยาเสนาบดีอย่างแน่นอน เพราะท่านเป็นน้องชายร่วมมารดากับท่านช่วง
และอาจได้เป็นถึงที่สมเด็จเจ้าพระยา แบบสมเด็จเจ้าพระยาองค์ใหญ่ องค์น้อย ในรัชกาลที่ ๔ ก็เป็นได้ เพราะท่านช่วง และท่านชุ่ม เป็น เจ้าคุณพระราชพันธ์ ชั้นที่ ๓ เนื่องจากมีมารดาเป็นเอกภริยา จึงมีเพียงท่านสองคน ที่เป็นผู้สืบราชินิกุลสายตรง จากเจ้าพระยาอรรคมหาเสนา (บุนนาค) และเจ้าคุณนวล ซึ่งเป็นเจ้าคุณพระราชพันธุ์ ชั้นที่ ๑
เพราะผู้ที่เกิดจากอนุภรรยา จะมิได้เป็น "เจ้าคุณชาย" แต่เรียกกันเพียง "คุณชาย" ในสกุลถือว่ามีศักดิ์ต่ำกว่า เช่น เจ้าพระยาทิพากรวงศ์มหาโกษธิบดี (ขำ บุนนาค) เมื่อ ร. ๕ จะเลื่อนศักดินาและเครื่องยศเทียบที่สมเด็จเจ้าพระยา นา ๓๐๐๐๐ คู่กับท่านช่วง พี่ชายต่างมารดา คนในสกุลก็ประท้วงว่าท่านเกิดแต่อนุภรรยา ร. ๕ จึงลดศักดินา เหลือ ๒๐๐๐๐ แทน
สายสมเด็จองค์ใหญ่ (สมเด็จเจ้าพระยาบรมมหาประยูรวงศ์ (ดิศ บุนนาค)) จึงมีทายาทสายตรงเพียง เจ้าคุณชายช่วง กับ เจ้าคุณชายชุ่ม
ส่วนสายสมเด็จองค์น้อย (สมเด็จเจ้าพระยาบรมมหาพิชัยญาติ (ทัต บุนนาค)) ไม่มีทายาทสายตรงเลย เนื่องจากบุตรชายที่เกิดจากเอกภริยา คือ เจ้าคุณชายสนิท (บุนนาค) ซึ่งเป็นที่ พระสุริยภักดี เจ้ากรมพระตำรวจ ในรัชกาลที่ ๓ ต้องโทษประหารเมื่อปี ๒๓๘๑
บุตรของท่านที่ได้สืบทอดราชทินนาม พระยามนตรีสุริยวงศ์ มีหลายท่าน เช่น พระยามนตรีสุริยวงศ์ (ชื่น บุนนาค) และหลาน คือ พระยามนตรีสุริยวงศ์ (วิเชียร บุนนาค) พระยามนตรีสุริยวงศ์ (ฉี่ บุนนาค)