自五胡乱华、衣冠南渡后，中国南北分裂的局面整整延续了将近三个世纪，虽然隋朝轻而易举地消灭了萎靡不振、国力虚弱的陈朝，但这并不意味着江南士民从此就会老老实实地成为大隋王朝的恭顺子民。换言之，仅仅通过一场历时不过三个月的战争，并不足以消除南北两地的士人百姓在将近三百年里形成的文化差异，更不可能在短时间内自动获取江南世族对北方王朝的政治认同。
为了迅速弥合上述裂缝，在平陈之后，苏威便迅速编写了一本熔政治宣传与思想教育为一炉的小册子，名曰《五教》，命江南士民无论男女老少都要熟读背诵。苏威此举，本意是想统一人心，可结果却适得其反，引起了江南士民极大的反感和抵触。
此外，隋朝统一陈朝全境后，各级官吏为了维护稳定，也极力打压江南的豪门世族，直接或间接地剥夺了他们原本在陈朝所享有的诸多政治和经济特权。可想而知，在江南牛逼了几百年的这些世家大族，绝不可能乖乖交出自己的既得利益。
所以，到了开皇十年年底，江南各地士民对隋朝统治的怨恨和不满就已发展到了临界点，仿佛一座蓄满岩浆的活火山，随时会轰然喷发。
恰在这个时候，又不知从哪里传出一个谣言，说隋朝要把江南人迁往北方，以便加强对他们的控制。谣言一起，整个江南顿时沸腾了。很快，大大小小的叛乱便在一夜之间遍地开花：婺州（今浙江金华市）人汪文进、越州（今浙江绍兴市）人高智慧、苏州人沈玄侩各自聚众起兵，自称皇帝，设置文武百官；此外，乐安（今浙江仙居县）、蒋山（今南京市东）、饶州（今江西波阳县）、处州（今浙江温州市）、杭州、泉州（今福建福州市）、交州（今越南河内市）等地豪强也纷纷揭起义旗，反抗隋王朝的统治。
一时间，“陈之故境，大抵皆反”。各地叛乱武装多则数万人，少则数千人，互相呼应，攻城略地。凡是抓到隋朝官吏，或开肠破肚，或剁成肉酱分食，还嘲弄那些官吏说：“你今天还能教我念诵《五教》吗？！”叛乱的奏报雪片般飞进长安。杨坚急命杨素再度南征。
同年底，杨素率水师从杨子津（今江苏扬州市南）渡江，横扫京口（今江苏镇江市）、晋陵（今江苏常州市）、无锡一带的叛乱武装，旋即攻克苏州，生擒在此称帝的沈玄侩。此时，在越州称帝的高智慧正据守钱塘江东岸，修建了一百余里的军营，大小舰船也布满钱塘江面。杨素准备发动强攻，大将来护儿献计：“吴人熟悉水性，水战对他们有利，且叛乱者多为亡命之徒，我军若正面强攻，必然付出很大的伤亡。请大帅严阵以待，不要交战，由我率数千精锐悄悄渡江，出其不意从敌营背后发起攻击，使其进退两难，定可一战破敌。”杨素采纳了来护儿的建议。
是夜，来护儿率领数百轻舟渡过钱塘江，趁着夜色对敌营发动奇袭，并燃起冲天大火。杨素看见对岸火起，即刻率主力发起全面进攻，遂大破叛军。高智慧侥幸逃脱，率残部从海上逃亡。紧接着，杨素又平定了在婺州称帝的汪文进，以破竹之势扫平了江东一带的叛乱。
随后，杨素亲率主力继续向南挺进，同时，命大将史万岁率两千精锐为前锋，像一把钢刀直插南方。
史万岁是隋军中出了名的猛将。他是长安人，早年受人牵连发配敦煌，后被秦州（今甘肃天水市）总管窦荣定赏识，收入麾下。开皇三年五月，史万岁随从窦荣定、长孙晟出征突厥，与阿波可汗对峙於高越原。窦荣定知道史万岁是个万人敌，便给阿波可汗捎话，提议双方各派一名勇士在阵前决斗，以决胜负。阿波遂派出一个他认为最能打的将领，到隋军阵前挑战。史万岁飞马出营，只一个回合，便把那个突厥人砍落马下，然后提着脑袋大摇大摆地回了军营。突厥人大为震骇，士气顿丧。阿波无奈，只好向隋军求和。
史万岁单挑厉害，打仗更不含糊。他率部从婺州出发后，一路跋山涉水，攻城拔寨，连克数百个大大小小的叛乱武装。在长达三个多月的时间里，史万岁用急行军的速度把杨素主力远远甩在身后，转战一千多里，大小七百余战，用一支两千人的先头部队横扫南方，期间自然是与隋军主力失去了联络，以致杨素和其他将领都以为，这支前锋部队十有八九已经全军覆没。直到史万岁把战报放到竹筒里，任其在水中漂流，偶然被人拾起，送到隋军大营，杨素才得知他的战绩和下落。
杨素立刻将史万岁的事迹奏报朝廷。杨坚见到奏疏，大为感叹，马上赏赐给史万岁的家人十万钱，以示表彰。
就在史万岁直插南方的同时，杨素也在闽越取得了辉煌战绩。他先是击破了温州叛军沈孝彻，其后又在天台、临海一带会战百余次，基本上肃清了这一带的叛乱。一直在负隅顽抗的高智慧没了地盘，不得不南逃泉州（今福建福州），投靠当地叛军首领王国庆。
此时，杨坚认为江南大部已平，为了表示对杨素的体恤，便命其留下副手继续平叛，本人则可以回朝接受嘉奖。杨素感动不已，当即回朝，但作完述职报告后，马上要求返回江南，彻底荡平叛乱，以绝后患。
随后，杨素回到前线，立刻着手准备进攻王国庆。
此时，王国庆以为隋军不习水战，遂全力在陆路设防，而於海路毫无防备。可他万万没料到，杨素居然亲率舰队从海上对他发起了进攻。王国庆大为惊骇，弃城而逃，部众也随之一哄而散，或流亡海岛，或据守山洞。
杨素一边派遣将领，兵分数路清剿残敌，一边派密使游说王国庆，命他交出高智慧，投降隋军，以自赎其罪。王国庆无计可施，只好把高智慧押送到泉州，同时上表请降。杨素旋即将高智慧斩首。其部众风闻匪首已死，纷纷缴械投降。
至此，江南完全平定。
杨素班师凯旋时，杨坚派出禁军大将远赴浚仪（今河南开封市）迎接慰劳。回京后，杨坚更是天天派人前往杨素府邸，嘘寒问暖，赏赐不断，还封他的另一个儿子杨玄奖为仪同三司。如果说，第一次南征陈朝使杨素得以跻身功臣行列的话，那么第二次平定江南，则为杨素赢取了丰厚的政治资本，使他一跃而为杨坚最为倚重的心腹股肱之一。
杨素之所以能在战场上所向披靡，按史书的说法，是得益於两点：“用兵多权略；驭众严整。”（《资治通鉴》卷一七七）史称，杨素每次出兵前，必定会千方百计挖出一批违背军纪的部众，然后将他们通通砍头，从而杀戮立威、震慑全军。每次杀人，多则百余，少则数十。行刑时，杨素必亲往现场观刑。而每次观刑时，眼前鲜血飞溅，杨素却故意视若无睹，跟左右谈笑风生。
很显然，对於杨素麾下的将士来讲，残忍的屠刀与轻松的笑容结合在一起，要远比声色俱厉的训话更能让他们感到军法的威严，也更能让他们对杨素生出彻入骨髓的敬畏感。
在战场上，每当杨素率部与强敌对峙时，他的克敌之法既简单又有效：挑选一二百名敢死队员，命他们不顾一切往前冲，能攻破敌阵当然最好，若攻不破，退回来的人不管还剩下多少，一律砍头；然后，又派几百人冲上去，进行第二波攻击，再败则再斩。面对这样的打法，全军将士无不断绝求生之念，人人抱定必死之心。反正横竖是个死，只能拚了命地往前冲。如此循环往复，直到陷阵破敌为止。因此，杨素的军队一旦打起仗来，都是不要命的；而杨素屡战屡胜的秘诀，也就是在这里。
当然，无论是杨素的治军之术还是克敌之法，其核心精神都可以用两个字来概括：残忍。
如果杨素只有这一手，那他固然可以打胜仗，但不可能永远打胜仗，因为一个残忍的将帅可以让将士们因恐惧而卖命，却不可能让他们自始至终都心悦诚服地效忠於他。