De stamreeks begint met de uit Norfolk komende William Quarles wiens zoon John vanaf 1524 wordt vermeld en die in 1570 schepen van het lakenkopersgilde in Londen werd. Een directe nazaat, Willem († 1688), geboren in Engeland, was in dienst van de VOC, vestigde zich in de Nederlanden en was in 1670 schepen van Schieland; hij werd de stamvader van de Nederlandse takken: een kleinzoon, Willem (1717-1781), werd de stamvader van de baronale tak Quarles de Quarles, een andere kleinzoon, Lodewijk (1719-1781), werd de stamvader van de ongetitelde adellijke tak Quarles van Ufford.
Willem Quarles de Quarles (1717-1781) werd op 14 oktober 1751 verheven tot baron des H.R.Rijks. Op 16 september 1815 volgde inlijving en verheffing in de Nederlandse adel voor verschillende nakomelingen van Willem († 1688); volgens de eerste adelslijst kreeg Pieter Willem Lodewijk de Quarles de Quarles (1758-1826) verlening van de titel van baron op allen (terwijl aan de tak Quarles van Ufford alleen het predicaat toekomt).
Sinds 1992 behoort Alexandre Quarles van Ufford (1956) met zijn nageslacht tot de Belgische adel; hij is een zoon van de Nederlandse ambassadeur Bryan Quarles van Ufford (1920-1975) die getrouwd was met de Belgische jkvr. Marie-Emilie van der Linden d'Hooghvorst (1918-1991).