顧維鈞一生經歷了四次婚姻。1909年與從小訂親的張潤娥小姐舉行結婚儀式。但是顧維鈞對這位小姐沒有絲毫的感情，婚后兩人實際上從未同居過，顧維鈞認為他們之間只有兄妹之情沒有男女之愛。1911年，顧、張兩人協議離婚了。

顧維鈞的第二位夫人是國務總理唐紹儀的第五個女兒唐寶玥，他們于1913年6月結婚，兩人是基于自由戀愛基礎上的一段美滿婚姻。但是這段婚姻就像曇花一現，留給顧維鈞無限的凄愴和悲傷。1918年10月唐寶因患西班牙流感，在美國突然病故。這次婚姻為顧維鈞留下兒子顧德昌和女兒顧菊珍。

1920年10月21日，顧維鈞與“爪哇糖王”黃仲涵的女兒黃惠蘭在布魯塞爾的中國使館舉行婚禮。顧黃兩人的婚姻維持了三十九年，于1959年離婚。在這期間，黃惠蘭育有兩子，顧裕昌和顧福昌。

顧維鈞的第四位夫人嚴幼韻，祖籍浙江寧波，出生于一個上海富商的家庭，是滬上著名的綢緞莊“老九章”的后裔。年幼時，嚴幼韻曾在天津中西女校畢業，因此說得一口流利的國語；后來轉入上海復旦大學讀書。改嫁顧維鈞之前，嚴幼韻是中國前駐菲律賓總領事楊光泩的遺孀。嚴幼韻1950年代曾在聯合國任職，顧維鈞當時正任駐美“大使”，近在咫尺，周末度假常來常往，終于從相識相知到相愛，1959年結為百年之好。幼韻女士和顧維鈞結婚后，治家相夫，她不僅是個好管家，更是個笑口常開、溫柔撫愛的好護士，對顧維鈞的照顧可謂是無微不至。

顧維鈞在96歲高齡時完成了他的回憶錄，這與他夫人嚴幼韻女士的大力協助是分不開的。顧維鈞原先喜愛釣魚，這確是一種平心靜氣的休息養神辦法，后因年邁不宜遠行，就改為玩麻雀牌消遣，并藉以與朋友歡敘。嚴幼韻每周都要安排一桌牌，來個8圈10圈，盡管顧維鈞十有九輸，但每次他總是十分高興。老年人懼怕孤獨，因此夫妻倆都喜歡請客，大宴小宴不斷，由嚴幼韻操持，顧維鈞招待，邊吃邊敘，其樂融融。難怪顧維鈞常說他的健康有三要素：散步、少吃零食、太太的照顧。就連顧維鈞的大兒子德昌也不得不承認，如果沒有嚴幼韻，他父親恐怕要縮短二十年的壽命。

夫人嚴幼韻在照顧他的日常起居生活時，就很注意安排他的臥室和寢具。她為顧維鈞選擇的床鋪高度以他上床時不費力、下床時伸腿可夠著鞋為度，長度超過顧維鈞身長30厘米左右。顧維鈞睡的是木板床，上面鋪6厘米至9厘米厚的墊子。這樣人體各部位自然下垂，并且可以和床面接觸吻合。臥榻鋪上厚的棉墊能適應睡眠者的身體表面曲線的需要，保持脊柱的正直和正常的生理弧度，對睡眠、健康都有好處。在對枕頭的選擇上，嚴幼韻也是頗費了一番苦心。首先，不讓他睡高枕頭，中國俗語說“長壽三寸，無憂四寸”。意思是枕高三寸有助于延年益壽，枕高四寸可以高枕無憂；顧維鈞枕的是菊花枕，菊花枕具有醒腦明目、祛風清熱的作用。

顧維鈞晚年習慣晚上11點睡覺，第二天早上10點起床。夫人嚴幼韻唯恐他從晚餐后到第二天早餐之間的十多個小時內不吃東西，對健康不利，因此規定他每天清晨5點醒來后，要喝一杯牛奶，吃一點點心，再繼續睡覺。而夫人每天凌晨3點必先起床，把熱好的牛奶放在保溫瓶里，然后連同一張“不要忘了喝牛奶”的字條一起擱在顧維鈞的床頭。等翌日起床，再去房間看他是否把牛奶喝了。

晚年住紐約時，廚師穆懷明夫婦有了一個女兒麗莎。顧維鈞雖兒孫滿堂，但分住各地。這個小麗莎就成為顧維鈞夫婦的寵兒，顧維鈞讀書之余，常與這個會說漢語和英語的小機靈鬼一起玩耍。九十大慶時，他把麗莎抱到膝上，接受賓客祝賀。賓客還以為這是他的曾孫女呢。