Le musée Lapidaire se situe depuis 1933 dans la chapelle du collège des Jésuites construite au XVIIe siècle au cœur d'Avignon. Ce superbe exemple d'architecture baroque a été édifiée par Etienne Martelange puis par François de Royers de la Valfenière (1575-1667) qui reprit ce chantier après huit ans d'interruption.

L'édifice présente un plan d'une grande sobriété, composé d'une nef unique, précédée d'un narthex et aboutissant au chœur, constitué d'une courte travée et d'une abside pentagonale bordée de deux sacristies. La nef est flanquée de part et d'autre de cinq travées trouées d'arcades et dominées par des tribunes à balustres (voir plan du musée)

Au-dessus des tribunes, se superposent une frise à décor végétal, une corniche, l'attique et de vastes baies actuellement murées d'un côté et autrefois pourvues de vitraux. L'ensemble frappe par sa majesté, bien que le bâtiment ait subi de nombreuses modifications et dégradations comme en témoigne la configuration actuelle du chœur.

Le musée fut créé pour accueillir les sculptures antiques et médiévales de la Fondation Calvet conservées dans l'Hôtel de Villeneuve-Martignan, mais aussi en plein air dans sa cour d'honneur, cette considérable collection d'archéologie qui, par­tant du fonds légué par Esprit Calvet à la Fondatin Calvet, s'était notablement accrue au fil des ans.

 Plusieurs civilisations sont représentées : La Grèce et la Grande-Grèce (Italie du Sud), Rome, la Gaule romaine et paléo-chrétienne et une sélection d'antiquités égyptiennes.

Des œuvres monumentales - relief votifs, sculptures en ronde bosse, stèles funéraires et inscriptions, sarcophages - et des objets de la vie quotidienne (vases  à figures rouges, terres cuites) sont exposés.