明太祖明白，武力可用以夺取政权，却不能用以治国，而且，军官大多数不识字，也办不了公文。即使有识字的，也不能做高级执政官，武人当政，历史上的例子说明不是好办法。结论是要治国必须建立一个得心应手，御用的官僚机构，而官僚必得用文人。于是，问题来了。从朝廷到地方，从省府部院寺监到州县，各级官僚得十几万人，白手起家的明太祖，从哪儿去找这么些忠心的而又能干的文人？
当然，第一个想到的是元朝的旧官僚。除了在长期战争中被消灭了的一部分以外，剩下的会办事有才力的一批，早已来投效了；不肯来的，用威吓手段，说是“智谋之士”，“坚守不起，恐有后悔”，也不敢不来（《明史》卷二八五《张以宁传》附《秦裕伯传》）。其余有的是贪官污吏，有的人老朽昏庸，有的人怀念元朝的恩宠，北逃沙漠（《明史》卷一二四《扩廓帖木儿传》附《蔡子英传》），有的人厌恶、恐惧新朝，遁迹江湖，埋名市井（同上书卷二八五《杨维桢传》《丁鹤年传》）。尽管新朝用尽了心机，软话硬拉，要凑齐这个大班子，人数还差得太远。