Боб був першим братом Вільямса, який помер у вересні 2003 року у віці 84 років. За ним пішов Енді (який також помер у віці 84 років) у вересні 2012 року, а потім Дік (у віці 91 року) у травні 2018 року. У Жанни, Дона залишилися сини Ендрю та Девід. 7 січня 2023 р.
Найстарший брат Боб помер у вересні 2003 року у віці 85 років. Енді, який був наймолодшим братом, помер у вересні 2012 року у віці 84 років. Дік помер у віці 91 року у травні 2018 року. У співака залишилися Жанна, їхні сини Девід і Енді та онук Гаррісон, за THR.
Дон Вільямс, останній член квартету братів Вільямс, який вижив, помер у віці 100 років.
Вільямс мав три старші брати — Боб, Дон і Дік Вільямс. Його перший виступ був у дитячому хорі місцевої пресвітеріанської церкви.
Особисте життя та смерть Вільямс одружився на Джой Джанін Бучер у квітні 1960 року. У них було двоє дітей. 8 вересня 2017 року Вільямс помер у Мобілі, штат Алабама, емфіземи.
Оскільки спадкодавець помер, не залишивши заповіту, його майно було розподілено за каліфорнійськими законами походження та розподілу рівними частками між трьома дітьми, Евелін Вільямс О'Ніл, Теодор Джон Вільямс і Стелла Аніта Вільямс.
Ноель ВільямсЕнді Вільямс / Донька