很多答主已经说得很详细了，这里说一下笔者的看法。
单纯说民国以来，废府存县，又创立“市”这一行政区划，大概还是民主革命和模仿国外区划为主因。一方面革命派希望与清政府及其体制做一个切割，想改革行政区划体制，也不愿意再用“州”“府”这一称谓；另一方面，国内资本主义商业的发展，催化了市民阶级的产生和壮大，这是经济基础和阶级基础，这是原本的“市”。
后来，我们党领导人民打败了国民党反动派，建立了中华人民共和国，在行政区划上，几经调整，没有再用“府”的行政区划，而“州”则用于自治地方的二级区划，也就是“自治州”，这个其实是倒可以略微对应清代的直隶州。
而进一步扩大了“市”的应用，把本身在民国时期属于狭域管辖的“市”，通过法律的调整，几乎完全明确了“市”作为二级区划的地位，也就是现在大家说的“地级市”。由此，现在的地级市几乎就能和清代的“府”对应了，但也不是完全对应，因为现在我们还实行有“扩权强县”的体制，地级市并不完全对所辖区域内的县进行完整地管辖，而且还有明确为代管的“县级市”存在。而“副省级市”则又是一种创新。
所以，回到问题，我们现在不用传统的州、府来称呼地级市，主要还是政治考量和新的历史惯性。
再说点题外话，我国现在的行政区划体制，粗略看起来很简单，其实错综复杂。
单从级别上说，除开香港、澳门特别行政区外，以宪法第三十条规定，是有四级行政区划，
1级：省、自治区、直辖市
2级：自治州、较大的市
3级：县、自治县、市、区
4级：乡、民族乡、镇
那么在实际中，由于通过系列法律调整（除宪法），所有的地级市基本对应“较大的市”，而副省级市实际成了1.5级行政区划，再加上派出机构和一些特殊称谓的区划，实际的行政区划结构大概是这样的，
1级：省、自治区、直辖市
1.5级：副省级市
2级：自治州、较大的市（地级市），地区、盟
3级：县、自治县、市、区、旗、自治旗、特区、林区
4级：乡、民族乡、镇、苏木、民族苏木，区公所、街道办事处
这还不包括各种国家级、省级经济开发区、高新区、新区等各种功能区。以上每一种区划或派出机构，甚至功能区，不仅仅只有称谓上的差别，在管理上或多或少也有差异。
再说回来，现在很多观点认为“地级市”的存在弊大于利，是“二传手”，认为应当实行区划改革，笔者也认为地级市有其弊病所在，但也没想好有什么改革的好办法。
从历史上看，自从秦朝实行郡县制以来，历朝历代在地方上，很多时候说实行两级区划，但其实都很难，都会有出现或演变为形式上的三级区划体制（名义上有可能还是两级）。（古代乡镇一级不算行政区划）
到底在乡镇以上，实行两级制还是三级制，只有等待时代的解答了。