Over Xaveer Lovaert, derde zoon van orgelmaker Leo Lovaert, zijn weinig biografische gegevens bekend; hij moet rond 1835 geboren zijn, in Nevele. Met zijn oudere broers Evarist en Louis werkte hij in vaders atelier, eerst in Nevele, later in Gent. Bij het overlijden van vader Lovaert in 1772 hebben de broers Evarist en Xavier blijkbaar het atelier verlaten en de leiding aan Louis gelaten; toch voerden zij nog werken aan orgels uit. Xaveer Lovaert zou rond 1880 in Ledeberg gewoond hebben. Zijn laatst bekende activiteiten situeren zich rond 1887.