营业执照地址未变更，营业地址变更了，罚款？

我们公司的地址合同还没有到期，因为政府拆除了营业地点的行为，所以不得不搬迁。5月份，工商通知营业执照上的地址要变更。我解释了具体情况。当时工商工作者说:你赶紧处理。。这个月去变更地址的时候，说罚款1万，不交罚款就坐牢！是这样吗？