Costruito tra il 1732 e il 1754 a partire da edifici preesistenti, fu la dimora del conte-abate Francesco Saverio Riva (1702-83). Deve il proprio nome al prospiciente convento di S. Margherita, oggi scomparso. Il progetto, opera dello stesso committente e del capomastro Pietro Corti, attivo anche nel vicino monastero di S. Giuseppe, fu ultimato da Antonio Foletti e Rocco Gobbi. Ospita all’interno affreschi di Bartolomeo Rusca, Giuseppe Antonio Felice Orelli, Giuseppe Antonio Petrini e altri artisti locali. La facciata tardobarocca, non intonacata, presenta decorazioni in pietra e cotto. È una delle tre residenze principali della famiglia Riva, casato tra i più importanti della storia cittadina.
L'edificio presenta un cortile interno con giardinetto, dove per lungo tempo si trovava lo studio dello scultore Giuseppe Chiattone.