Ex colonia Ugo Pisa, la demolizione