En 1618 la Compañía de Jesús compró la propiedad. Según las Cartas Annuas, fue entonces que la estancia se llenó de todo tipo de ganado, y se levantaron la casa y la iglesia. Años más tarde, dificultades económicas obligaron a los jesuitas a vender la estancia al sacerdote Ignacio Duarte y Quirós. Este religioso, que propuso en 1684 la fundación del Colegio Convictorio de Monserrat, testó la estancia a favor de los jesuitas en 1703, el año de su muerte. Además de la explotación ganadera, la estancia se dedicaba a actividades vitivinícolas. Sirvió también como casa de veraneo para profesores y alumnos internos del Colegio de Monserrat. Se cree que la decoración de la capilla, así como la terminación de la casa, fueron obra del escultor, pintor y arquitecto jesuita, Hno. José Klausner, quien residió en Caroya entre 1735 y 1742. Expulsados los jesuitas, la Junta de Temporalidades la vendió en subasta pública. Entre 1814 y 1816 se instaló allí la primera fábrica de armas blancas del país. Para esa época, a la capilla se le agregó el piso alto y la torre mirador. Manuel Belgrano, José de San Martín y José Rondeau utilizaron la estancia como posta.. En 1878 la estancia fue loteada para instalar una colonia de inmigrantes friulanos. Ese fue el origen de Colonia Caroya. Actualmente la casona, restaurada hacia 1979, mantiene sus características arquitectónicas originales, con el gran patio central rodeado de claustros con arquerías, que comunican a amplias habitaciones. Se ingresa al patio por una entrada lateral para carruajes o por un patio abierto; hacia la izquierda está la capilla, única edificación que se conserva del siglo XVII, y hacia la derecha, un cuerpo de dos pisos y terraza delantera, con claros rasgos poscoloniales. En su diseño, de líneas sencillas, se destacan una puerta cancel con magnífica factura en hierro martillado, el patio central con el aljibe, la irregular silueta de la techumbre provocada por las tejas "musleras" -así denominadas pues el operario las moldeaba sobre su muslo - y los dinteles de algarrobo.