刘伯温曾仔细研究过中国历代以来的兵制，他发现，主导中国多年的兵制主要有两种。一种是征兵制，这一兵制的好处是，举国皆兵，有事召集，无事务农，兵员素质好，来路清楚，平时军费开支少；但缺点也很明显，兵员都出自农村，如有长期战争，势必影响农业生产。而另一种募兵制，好处是应募的多为无业游民，当兵是职业，训练有素，战斗力强悍，兵员数量和服役时间不受农业生产的限制；可缺点是，要维持庞大的军队，军费开支就很大，招募的士兵大部分来路不明，没有妻儿老小的牵挂，容易当逃兵，也容易叛变。刘伯温的想法是，扬长避短，将武装力量和生产力量结合起来，既可以在战时有军队可用，又可以避免财政负担。于是就有了卫所制。
明代卫所的兵源主要有四种：第一种是朱元璋起事时所指挥的军队，它的班底就是朱元璋当初在郭子仪手下回老家征募的士兵700人；第二种是归附军，包括元政府的投降部队，陈友谅、张士诚等群雄失败后的军队；第三种则是谪发，因犯罪而被罚充军的，也叫思军；第四种，籍选，亦即垛集军，是根据户籍抽丁而来。除此之外尚有简拔、投充及收集等方式。
这种军事制度一经刘伯温提出，朱元璋确认后，发展迅猛，到1390年时，全国共有卫547个，所2563个，可以参战的士兵达300万。