很多人都有题主的想法，但是他们的理由基本都是情绪化的，或者阴谋论。我认为这些都是肤浅荒谬的情绪化解读。我以前还真的认真思考过这事的底层逻辑，下面说说我的看法。
第一，出轨古今中外都是一个普遍的社会现象，这是不能用道德评价来一刀切的。人性和现实的因素更多。但是很多人习惯于用极端化道德来一刀切评价，动辄要么这样要么那样，完全不考虑人性因素和现实因素，我很好奇他们的生活是不是像他们说的过家家那样，可以随心所欲。比如可以说结婚就结婚，说离婚就离婚。
第二，既然出轨是一个背后原因复杂的社会现象，那就不是可以用法律来一刀切的，而且现代的法治精神也是认为道德和法律有关系但不同，各有各的领域。
第三，公权力惩罚出轨，不管从底层逻辑还是现实操作，都是存在不可能克服的巨大困难的。首先在底层逻辑上，就会造成现代社会价值观的崩溃。比如，这就意味着人，即便是成年人，也不享有支配自己身体的自由，一个成年人有没有权利按照自己的意愿，选择与何人在何时何地以何种方式发生关系？婚姻制度是否可以剥夺这种自由？公权力是否可以打着维护道德的旗号深度介入民众的私生活……尊重自由是现代文明的价值观和社会治理的基石，也是我国所坚决认同并维护的，如果婚姻制度都能剥夺人的部分自由，那还有什么理由不可以剥夺其他部分呢？这将会造成更大范围的灾难，给所有民众带来巨大苦难。
第四，出轨这事怎么认定？怎么定义？情节的恶劣轻重怎么划分？清官难断家务事，这个问题根本不可能解决。比如，夫妻双方都出轨怎么算，都抓起来？一方出轨在前，另一方为报复出轨这怎么算？一方性冷淡，伴侣长期不满足出轨怎么算？一方家暴，另一方出轨怎么算？两人没有任何矛盾，就是不爱了，出轨怎么算？一方遇到真爱了出轨怎么办，法律说爱一个人是犯罪？嫖娼怎么算，一夜情怎么算，开放式婚姻怎么算？等等
第五，出轨是算自诉还是公诉？怎么取证？公权力或者民众是否可以监控探查别人隐私？偷拍偷看的证据算不算？我发现某人出轨，他老婆还不知道，我去向警方举报把他抓起来，我这么做是道德楷模，可不可以？
第六，按照潘绥铭教授2015年的调查，中国已婚妻子出轨率7.5分之一，丈夫出轨率3分之一，现在只会更高，支持者们想过没有，如果出轨要抓起来，中国简直快要有一半人要成为罪犯，几亿家庭被打击，这叫维护婚姻和谐社会稳定？而且你们真觉得自己和家人能独善其身？你就不会被抓，别给我说你不会？你父母就不会被抓？你把你孩子的妈或者爸送到监狱，你的生活会很爽？
第七，这么大的出轨人数，公检法得增加多少工作量，得新增多少人防出轨，抓出轨，判出轨？全国各地得增加多少看不见的摄像头来取证？恐怕都是以亿来计算吧，全国人民啥事都不干了，全民盯着下半身？
第八，出轨违反道德要抓，那婚前性行为抓不抓？恋爱劈腿抓不抓？性少数派抓不抓？精神出轨抓不抓？没发生关系，但接吻了抓不抓？
第九，现在的法律，只是确定出轨非罪化，也就是说出轨不是违法也不是犯罪，法律不会把出轨的人抓起来，但并不等于出轨不付出代价，更不等于鼓励出轨。出轨者会在离婚时的财产分割受损失，党纪明确禁止出轨，很多用人单位的规章制度也禁止出轨，出轨者暴露后面临很大的工作前途和社死风险。为什么非得抓到监狱里才让你们满意呢？真的自以为抓不到自己头上？
第十，我国法律也不是说出轨一律不抓，有几个特殊情况目前还是要抓的。比如出轨军婚，但要强调这个只抓第三者，不抓军婚当事人，也就是说军婚出轨也是非罪的，这里面的逻辑是什么？可以好好思考一下。还有嫖娼，虽不违反刑法，但违反治安管理处罚条例，被抓住可能会被行政拘留。还有聚众，目前取消这个罪名的声音很大，但目前还没取消，所以如果出轨玩3P交换之类的被抓住，可能会以这个罪名被抓起来。还有出轨对象如果是女生且年龄低于16岁，那就是强奸，也要抓起来