サフォーク公爵 1505年、ブランドンはカレー総督サー・アンソニー・ブラウンの娘アン・ブラウンと婚約した。ブランドンとアンは教会法に則った正規の婚姻手続きを踏まずに、両人の合意による事実婚を選んだ。1506年に2人の間には長女が生まれた。ところが同年、ブランドンはアンの伯母で裕福な未亡人であるマーガレット・ネヴィルと結婚する。マーガレットはモンターギュ侯ジョン・ネヴィルの娘で、「キングメーカー」と呼ばれたウォリック伯リチャード・ネヴィルの姪である。ブラウン家はこの結婚を容認したものの、翌1507年にはブランドンはマーガレットとの結婚を解消し、1508年に正式にアン・ブラウンと再婚した。1510年に次女が産まれるが、その翌年にアンは没する。