很多答主的回答都语焉不详，其实，没啥可遮遮掩掩的，这事早已有官方文件做了结论了，想了解这方面的情况建议可以读一读张泽石写的《我的朝鲜战争》，这本书是00年出版的，作者张泽石也是归国战俘的一员，一直活到了21年去世。VOA在15年也拍了一部纪录片讲这事，也可以找来看一看。
先说人数，去台的战俘有14704人，还有一种说法是14235人，数字大差不差。归国的战俘有6080人（不包含53年先期交换的1030名重伤病战俘），而80年官方文件里记录的人数是6064人，人数也基本差不多。大部分人都是在第五次战役被俘的，其中出自180师的战俘大概就有5000多人，张泽石当时也在180师，当一名宣传干事。去中立国印度的有12人。
去台的战俘一部分本来就是从蓝方军队过来的，归国意愿不强，一部分则是被当时联军在战俘营内安插的特务胁迫，最终没敢回来。这批人都被强制送到了蓝方军中服役，退役后有的人选择上学，最后成为律师、作家、医生，有了不错的收入，而有的人文化程度不高，退伍后只能去当工人出苦力，或是在乡间种田，生活较为清贫。当时由于时代背景，台岛短短几年内涌入了很多“外乡人”，造成男性的人数远多于女性，所以这批战俘大部分的结婚年龄都到了近40岁，也有一些老兵一辈子没有成家，在“荣民之家”孤独的过完了一生。在两岸开放探亲后，这批人中的一些人也回到了故乡寻根，当地把他们当成归国的台商，热情的邀请他们在家乡投资办厂。也有人由于各种原因，终此一生再也没有踏上大陆的土地。当时对这1万多人去台的事情严格保密，他们当中的很多人被描述成了牺牲在朝鲜的烈士，其家属也成了烈属。
六千余名归国战俘很多都是在战俘营内斗争最为积极、归国意愿最为强烈的一部分人，这批人回来后最开始被集中到了辽宁省昌图县的“归来人员管理处”，集中“学习”，之后就是写“交代材料”，接着就是背靠背的相互揭发，直到54年6月，管理处宣布了处理决定，90%以上的战俘被开除了d籍或团籍，约700人被开除了军籍，4600余人承认被俘前的军籍，营以上干部转业地方，连以下干部战士保留军籍者全部复员还乡，开除军籍者资遣回乡。据张泽石在书中回忆：
这样，我在群众的帮助和领导的启发下，检查出我在被俘时是带有一个未能扔出去的手榴弹的。我写上了：“有武器不抵抗被俘。”又想我由于当“翻译官”，确实有时比一般难友吃得多点，便写上了：“被俘后怕饿肚子，同意给敌人当翻译为敌服务”，并自己将这些行为定性成：“严重→倾保命、丧失气节行为”。我的交代终于在班里得到通过，并为连里接受。
在随后的特殊年代里，这六千余人都成了“老运动员”，他们的家属子女也受到了波及，以张泽石本人为例，他在清华大学读书时就加入了地下组织，随后报名参了军，被俘归国后由于父亲工作调动，他随父母来到了北京，结果找工作时处处碰壁，很多单位都不敢要他，最后当时在远郊的北京九中看中了他毕业于清华大学物理系的高学历，让他来教高中化学，当时张是有对象的，他的对象从西北大学毕业后分配到了地质部某司，被大了20岁且已经结婚的司长蛮横追求，最后在逼迫下张只能和对象分手，张后来和学校的一名同事结婚，而他之前的对象也没有屈从于上级的淫威，最后她被调去大兴安岭当技术员，然而当时张泽石已经有了婚约，于是两人只能无奈分开，从此天各一方，一对鸳鸯就这么被硬生生拆散了。
在之后的反→里，张给学校提意见，以地质部那个司长的恶劣行径为例，希望改善作风问题，并说“希望在新社会不要再发生梁山伯、祝英台这样的事”，随后被打成→派，先是在石景山的农村劳动，后面又被派去密云修水库，62年底才摘帽，分配到五里坨中学教外语。然而在没多久的大乱斗中，张泽石再次被打成“大叛徒”、“黑帮分子”，直到乱斗结束，张这才恢复身份，但是他的很多难友的生活却更加悲惨，据张回忆：
林模丛、边世茂等好不容易考上四川大学，却因被俘问题不许入学；李炽、王洪度、罗大犹、郝安生等在老家求职不得，被迫当盲流去新疆谋生；原集中营斗争骨干曾宝元、丁先文、骆星一竟被判刑劳改；高攀被发配青海后冤死狱中；斗争英雄代玉书回乡后长期失业，以修鞋为生（最后贫病而死）⋯⋯
79年张泽石开始和一部分难友写申诉书，多次向上递交，直到80年9月终于下发了官方文件《 关于志愿军被俘归来人员问题的复查处理意见》，这六千余名归国战俘的问题才得到了改正。然而在经济上这些人并没有得到什么改善，多数人仍然贫病交加，不少人岁数不大就去世了。