如果外族入侵时打着民族融合的旗号，那么反对入侵的人是不是就是破坏民族融合，是否有罪？

你说的没错。

宪法规定中国公民有维护全国各民族团结的法定义务。

但如果这和宪法其他条例有冲突了，比如领土完整和领土主权。

那从历史上来看，这条的优先级就会降低。