给其他单位既来普票又开专票可不可以？

我们给一个客户开发票，他们单位说不抵扣，然后我们就开了普增票，可是，后面再次开票就忘记了，开了专票，这样可不可以？