胡惟庸这个人看问题不行，看人倒还是有一套的，他发现李善长不吃他那一套，便开始走亲戚路线，恰好李善长的弟弟李存义是胡惟庸的儿女亲家，于是胡惟庸便把李存义拉下了水。
李存义得了好处，便不停的游说李善长。李善长刚开始的时候还严辞喝斥李存义，后来听得多了，也就默许了.
他说了一句意味深长的话：“我已经老了，等我死后，你们自己看着办吧”（吾老矣，吾死，汝等自为之）。
李善长就这样被拉下了水。
胡惟庸终于放心了，满朝文武都是我的人，你朱元璋能把我怎么样！你能做皇帝，我就不能吗！
现在看来，他确实是一个不知天高地厚的小丑。
但胡惟庸的这些活动确实给朱元璋出了道难题，毕竟如此之多的大臣都是一党，朱元璋要考虑如何分化瓦解他们，才能消灭胡惟庸的势力，而这又谈何容易，真是一道难题啊。
然而朱元璋在听完密探对胡惟庸反常举动的报告后，只用了一句话就解决了这个难题，水平是相当的高。
“那就都杀掉吧。”
——《明朝那些事儿》