平定陈朝以后，隋朝地方官吏完全改变了江南地区刑罚宽松、执行不严的情况。尚书右仆射苏威又撰写了《五教》，令江南百姓无论男女老少都得熟读，因此士民抱怨。当时江南民间又传言隋朝将要把百姓都迁徙到关内去，于是远近惊骇。江南各地叛乱频起，在陈原来管辖的境内各地，几乎都发生了反叛，各地互相声援，声势日大。隋文帝下诏任命杨素为行军总管，率军前去讨伐。
杨素准备渡江平叛，先派始兴人麦铁杖头顶蒿草，于晚上泅渡过去侦察江南的情况，他回来后再次前往侦察情况时被叛军捉住。叛军派兵三十人看守着他。麦铁杖夺过叛兵的刀，一阵乱砍，把看押的士兵全部杀死，把他们的鼻子割下来带回江北。杨素认为麦铁杖有奇才，向文帝上奏，授官仪同三司。
杨素率水军从扬子津渡江，在京口向贼帅朱莫问发动进攻，打败了他。他乘胜前进，平定晋陵顾世兴、无锡叶略的叛乱。越州人高智慧在浙江的东岸扎营，军营前后有一百多里长，战船遍布江面。杨素准备进攻，部将南阳人来护儿对杨素说：“吴兵精锐，又擅长使用船只，他们自以为处于必死之地，一定会拼命战斗，我们难以同他们较量。您应该严阵以待，不和他们交锋。请给我几千精兵偷渡浙江，攻占他们的营寨，使他们既无退路，又不能交战，这是当年韩信打败赵国军队的计策。”
杨素听从了他的建议。于是来护儿率领轻型战船数百艘，径直登上浙江东岸，攻破了高智慧的大本营，纵火焚烧敌军营垒，烟焰冲天。叛军回望后方营垒起火，十分恐惧，杨素趁机率军奋勇进攻，大败敌军，叛军溃败。高智慧逃入海中，杨素也率军跟踪追击直达海边。杨素召见行军总管府记室参军封德彝商议军事，封德彝失足落水，被人救起得免一死，他换过衣服后就去见杨素，并没有说自己落水的事。杨素后来知道了此事，就问他为什么不说，封德彝回答说：“那是私事，所以没有告诉您。”杨素不由得称叹不已。封德彝名叫封伦，人们一般都称他的字，他是北朝魏做过五朝高官的封隆之的孙子。叛军首领汪文进任命蔡人为司空，守卫乐安，杨素又率军进讨，全都将他们平定。
杨素派遣总管史万岁率领二千人，从婺州小路越岭跨海，攻破溪洞。前后打了七百多次战斗，辗转征伐一千多里，杳无音讯一百多天，远近的人都以为史万岁战死了。史万岁把信放在竹筒里，浮在水面，被打水的人得到，告诉杨素。杨素把这件事上奏皇上，皇上赞叹不已，赐给史万岁十万钱。
杨素又率军在温州打败叛军首领沈孝彻后，向天台山进军，直达临海，一路上追捕残余叛军，前后达一百多次战斗，使高智慧逃亡到闽、越。隋文帝因为杨素长期在外辛苦辗转，下令驿站传车急驰送他入朝。杨素因为残余的贼兵还没有消灭，怕成为后患，又请求进兵，因此乘传车到达会稽。泉州叛首王国庆自以为海路艰难险阻，不是北方人所能熟习的，就不予防备。杨素渡海突然到达，王国庆仓惶弃城而逃，残余的同党逃散到海岛，有的退守溪洞，杨素派遣众将领分水陆两路追捕，又暗中派人游说王国庆，让他斩杀或捆送高智慧替自己赎罪。王国庆因此捉住高智慧送来，杨素在泉州把他处死，高智慧残余的同党全部投降。江南因而平定。
