แม้ว่าการทูตของแฮรีสจะประสบความสำเร็จก็ตาม แต่แฮรีสเกิดความไม่พอใจหลายอย่างขณะพำนัอยู่ในเมืองไทย
อาจจะเริ่มตั้งแต่รัฐบาลปล่อยให้เขาคอยอยู่ที่สันดอนปากน่้าหลายวัน เขาเขียนในบันทึกจดหมายเหตุของเขาว่า
"ฉันไม่เคยพบชนชาติใดใดเหมือนคนไทย และหวังว่าจะไม่ถูกส่งมาที่นี่อีก"
เขาออกไปยังเรือซานจาซินโตที่สันดอนปากน้ำเมื่อวันที่ ๓๑ พฤษภาคม ๒๓๙๙
แน่นอนคุณวันดี อยู่ในเรือ ปากน้ำ ตั้งหลายวันกว่าจะมีเรือมารับ การเจรจาเรื่องที่อยู่บ้านพัก ก็ให้เจ้าหน้าที่ฝรั่งไปสำรวจ 2 คนแล้วยังไม่พอใจ และท่านทูตก็รู้ว่าการเดินทางของท่านไม่สง่างามเทีบบเท่าคณะทูตกลุ่มอื่น แต่กระนั้นก็ตามผลแห่งไม้โอ๊คลูกนี้ช่วยกระชับสัมพันธไมตรีเพิ่มมากขึ้น
หลังจากเข้าเฝ้าพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวแล้ว รุ่งขึ้นก็เข้าเฝ้า The Second King of Siam หรือ สมเด็จพระปิ่นเกล้าเจ้าอยู่หัว และมีกิจกรรมในเมืองสยามอีกที่น่าสนใจ ไฉนเลยจะกล่าว่า "และหวังว่าจะไม่ถูกส่งมาที่นี่อีก" เพียงว่าจุดมุ่งหมายนั้นมองไปที่ญี่ปุ่นฝ่ายเดียว