但陈陵兵力不多，想剿灭杜伏威也不容易，双方打成僵持局面。
同年十二月，隋炀帝车驾到达江都，护驾骁果就有十余万人，声威赫赫。
隋炀帝带来那么多人马，再加上陈陵的人马，隋军应该是军心大振，杜伏威难逃灭亡的，哪里知道，隋炀帝的到来，适得其反。
因为正逢荒年，老百姓本来就已无以为生，如今为了养皇帝的人马，被官府强行压榨，终于造成了一场大饥谨。据记载，江都的老百姓们先是吃树皮树叶，后煮土为食，"诸物皆尽，乃自相食"。
这样一来，大量的百姓揭竿而起。
杜伏威也乘机吸收了大批手下，势力迅速膨胀。
这时杜伏威与陈陵强弱之势已经倒转，于是，他主动向陈挑战。
陈陵也知道战局不利，因此龟缩不出，任由杜伏威自己去耀武扬威。
杜伏威便派使者给陈送了一套妇女衣裳，并送了陈陵个外号叫陈姥。
陈陵怒火中烧，全军出战。
他这一出战，正中了杜伏威的激将法！
杜伏威为了击败陈陵，亲自上阵，哪里知道，被一员隋将暗箭射中！
主帅中箭，一般侍卫要护送他回去。
杜伏威骁勇异常，根本不回去，还对射自己的隋将吼道:"不杀了你，箭矢不拔"！他说着，就像那隋将直冲过去！
那隋将见了，登时吓呆了！
杜伏威过去，把他斩于马下，然后又拿着那个隋将的首级，连续杀了几十人！
隋军见杜伏威如此英勇，吓得后退！
隋军士气一挫，被打了个全军覆没。
陈陵单骑逃回江都去了。
杜伏威趁势扩大战果，占据了高邮、历阳等重镇，并在历阳自称总管，封辅公祏为长史。
势力壮大后的杜伏威，吸取了以前的教训，从部队中挑选最精锐的成员组成自己的卫队，称为 "上募"，兵力为五千人。
杜伏威把上募作为自己的子弟兵，平时非常宠爱，但要求也非常严酷，每作战必以上募为先锋，战后检查每人身上的伤痕，如伤在背后，即刻处斩，因为那表示其临阵退后。但如果战胜，杜伏威都把抢掠到的资财赏给全军，如果手下战死，就以死者的财产甚至妻妾殉葬，因此杜伏威所部的亲兵，皆为杜伏威尽死力，人自为战，所向无敌。
杜伏威号令所到之处，江淮间各路小起义军争相归附，郡县纷纷投降。
他随着势力和地盘的增长，开始有士人投靠杜伏威。
杜伏威依靠这些士人，放弃了以前的流寇式战术，开始努力建设自己的地盘。
由于杜伏威本身就深受赋税之苦，所以，对领地内只收很低的赋税，同时，可能是出于贫苦农民对贪官污吏的先天仇恨，杜伏威下令凡官吏贪污者无论轻重一律处死，这当然是不太合理，但却使杜伏威得到了百姓们的支持。
杜伏威之所以有这么大的成就，当然和他的运气有关，但是，更成就他的，是他坚韧的性格！他经历多次失败，两次差点被杀，但他仍然坚韧不屈，继续招兵买马，重头再来！