Var godsejer af Selsø Storgård fra 1559 indtil sin død som ungkarl i 1563.
Storgaarden gik til hans broder Jakob Ulfeldt. Han opførte den bygning, hvis mure står den dag i dag.
Et slot i renessance stil mrd stort trappetårn, svungne gavle og kviste. Da det stod færdigt i 1576, fremtrådte det hvidkalket med vandrette trukne striber, Slottet blev formentlig bygget af en hollandsk arkitekt.
Til byggeriet anvendtes bl. a. en halv million munkesten fra det nedrevne St. Clara Kloster i Roskilde.
Jacob Ulfeldt døde i 1593 og slottet overgik til sønnen Mogens Ulfeldt. Slottet blev i Ulfeldts eje i 65 år, hvorefter det blev solgttil en adelsmand fra Rygen.