大象二年六月，赵王宇文招等五个亲王奉召入京，杨坚马上命人把他们暗中监控了起来。控制了文武百官和宗室亲王，杨坚总算松了一口气。接下来要对付的，就是尉冲迥、司马消难、王谦这三个手握重兵的封疆大吏了。
在这三个人中，最让杨坚忌惮的，无疑是历来在朝野享有威望的尉冲迥。
尉冲迥，其母是宇文泰的姐姐，论辈分，算是幼帝宇文阐的舅公；本人是西魏驸马，娶魏文帝之女金明公主，自少年时代起便追随宇文泰南征北战。史称其“通敏有干能，虽任兼文武，颇允时望”，深受宇文泰器重。可想而知，这样一个位尊望重、资历深厚的政坛大佬，在北周帝国的影响力是绝对不容小觑的。
杨坚首先采取的办法，是对其进行智取。他先是以幼帝名义下诏，让尉冲迥之子尉冲惇带着诏书前往相州，命尉冲迥回京奔丧；接着又任命亲信韦孝宽为相州总管，打算夺取尉冲迥的兵权。
然而，尉冲迥不是傻瓜。当宣帝驾崩、杨坚摄政的消息传到相州，他就已经意识到杨坚最终必将篡位自立了。所以，韦孝宽刚刚抵达朝歌（今河南淇县），尉冲迥派出的部将贺兰贵早已在此恭候多时。韦孝宽与贺兰贵相互试探了一番，彼此都知道对方来者不善。韦孝宽意识到尉冲迥已有防备，不敢贸然急进，而是先派探子进入相州打探情报。
还没等派出去的探子回来复命，尉冲迥旋即又命属下的魏郡太守韦艺前去迎接韦孝宽。韦艺是韦孝宽的侄子。尉冲迥派他来接人，显然是为了麻痹韦孝宽。韦孝宽心知肚明，所以跟侄子喝酒的时候拚命套他的话。韦艺在尉冲迥手下打工，自然不敢为了叔叔出卖老板。韦孝宽大怒，当场抽刀准备大义灭亲。韦艺吓得差点尿裤子，只好把尉冲迥意欲举兵对抗朝廷的密谋和盘托出。
韦孝宽大惊，料定尉冲迥的兵马转瞬即到，慌忙拉上韦艺，跳上马背，风驰电骋地往长安跑。不出所料，他们前脚刚走，尉冲迥的追兵后脚就到了。所幸韦孝宽多留了一个心眼，每经过一处驿站，都吩咐驿司把所有马匹驱散，并准备丰盛酒席拖住追兵。待追兵在驿站里酒足饭饱却又苦於没有替换的马匹时，韦孝宽早已绝尘而去了。
智取之策失败，杨坚只好采取了第二个办法，一面派人去相州对尉冲迥进行最后通牒，一面密令相州府长史晋昶暗中部署，准备从内部端掉尉冲迥。可是，这一切都没有逃过尉冲迥的眼睛。杨坚派出的使臣刚和晋昶接上头，尉冲迥便得到了消息，旋即将晋昶等人悉数捕杀。
随后，尉冲迥断然撕破假面，召集手下文武将吏和全体邺城（相州治所）士民，发表了一番慷慨激昂的演说，称：“杨坚籍后父之势，挟幼主以作威福，不臣之迹，暴於行路”，“吾与国舅甥，任兼将相”，没有理由置社稷安危於不顾，遂正式宣布起兵，匡扶社稷，救护万民。
尉冲迥既已拔刀，杨坚当然只能亮剑了。
大象二年六月十日，杨坚任命韦孝宽为元帅，率梁士彦、宇文忻、崔弘度、宇文述、杨素等人，征发大军讨伐尉冲迥。与此同时，尉冲迥的起兵檄文也传遍了黄河南北。
当时，尉冲迥下辖的相（今河北临漳县西南）、卫（今河南淇县东南）、黎（今河南浚县）、洺（今河北永年县东南）、贝（今河北清河县西北）、赵（今河北隆尧县）、冀（今河北冀州市）、瀛（今河北河间市）、沧（今河北盐山县西南）九个州，其侄尉冲勤下辖的青、齐、胶、光、莒（均属今山东）等十四州，全部响应，总兵力达数十万；此外，荥州（今河南荥阳市）刺史宇文胄，申州（今河南信阳市）刺史李惠，东楚州（今江苏宿迁市）刺史费也利进，潼州（今安徽泗县）刺史曹孝远等，也各据本州，纷纷响应。随后，尉冲迥命各部分头出击，先后攻克建州（今山西晋城市）、潞州（今山西长治市）、钜鹿（今河北槁城市）、曹州（今山东定陶县）、亳州（今安徽亳州市）、梁郡（今河南商丘市）、昌虑（今山东滕州市）、下邑（今河南夏邑县）、永州（今河南信阳市北）等地。
一时间，尉冲迥的势力范围急剧扩张，俨然据有了北周帝国的半壁天下。
此刻的形势，显然对杨坚极为不利。尉冲迥已占据了关东大部，而东南的司马消难、西南的王谦，也冲早会举兵反抗。偌大的北周帝国，只剩下两块地盘，一块是杨坚可以直接控制的关中地区，最后一块，就是北面的并州（今属山西，治所太原）。因此，时任大左辅兼并州总管的李穆，就成了杨坚和尉冲迥都必须全力争取的关键人物。换言之，他倒向哪一边，将在很大程度上决定哪一方的胜负！
李穆是西魏大将军李远的弟弟，很早就是宇文泰的心腹，曾在战场上救过宇文泰一命，颇受重用。北周开国之初，李远家族被宇文护铲除，李穆受到株连被贬为庶民。周明帝宇文毓即位后，李穆被重新起用，於建德六年进位上柱国，封并州总管；大象元年迁大左辅，二年又加太傅衔。
显而易见，这样一个位兼将相、举足轻重的人物，一旦选择与杨坚分庭抗礼、跟尉冲迥同声相应，不仅会在军事上让杨坚陷入四面楚歌的困境，更会在政治上对杨坚构成重大的威胁。尉冲迥深知这一点，所以起兵不久便迅速派人找到了李穆，劝他一同起兵对抗杨坚。当时，李穆之子李士荣也倾向於尉冲迥，力劝李穆与尉冲迥联手。
差不多同一时候，杨坚也派遣柳裘和李穆的另一个儿子、在朝中担任侍臣的李浑来到并州，对李穆晓以利害，劝他与朝廷站在一边。
两边的实力都很强大，而且各有一个儿子充当一方的说客，李穆到底该作何选择？
经过一番深思熟虑之后，李穆毅然把筹码押到了杨坚一方。他对儿子李士荣说：“大周气数已尽，这一点朝野共知。上天眷顾丞相，我岂能违天！”随后，李穆逮捕了尉冲迥的使者，把尉冲迥写给他的密信呈给了朝廷，并让儿子李浑带了两样东西回去献给杨坚：一个熨斗，一条十三环的金带。
这是何意？
关於熨斗，李穆让李浑传话说：“愿执威柄以尉安天下。”意思就是祝愿杨坚能够掌握威权，熨平天下。至於十三环金带，就不用解释了，因为这是天子的御用物品。见到这两样意味深长的礼物，杨坚大喜过望，马上派遣李浑前往韦孝宽的前线大营，告诉他李穆已经加盟，以此增强他扫平关东的信心。
李穆有个侄子叫李崇，时任怀州（今河南沁阳市）刺史，原本准备响应尉冲迥，得知李穆已归附杨坚，遂慨然长叹：“阖家富贵者数十人，值国有难，竟不能扶倾继绝，复何面目处天地间乎！”（《资治通鉴》卷一七四）尽管李崇心里并不认同李穆的选择，但是为了整个家族的利益，最后还是不得不归附了杨坚。
尉冲迥的儿子尉冲谊，在李穆手下担任朔州（今山西朔州市）刺史。李穆归附杨坚后，第一时间逮捕了尉冲谊，执送长安，同时派兵进攻潞州，旋即克复，生擒尉冲迥任命的刺史郭子胜，从而稳定了并州的局势。
在调兵遣将对付尉冲迥的同时，杨坚也没有忘记摆平长安城里的那些宗室亲王。
杨坚首先铲除的，是时任雍州牧的毕王宇文贤。雍州牧相当於首都卫戍司令，位高权重，比起那五个被召回朝中的亲王来说，宇文贤对杨坚的威胁无疑要大得多，所以理所当然地成了杨坚的首要打击目标。
六月下旬，也就是朝廷与尉冲迥正式开战前夕，长安突然爆发了一起大案。据称，是毕王宇文贤与赵王宇文招等五王暗中勾结，准备刺杀丞相。没有人知道诸王是否确有此谋，也不知道密谋是如何泄露的，总之，杨坚一得到消息，立刻发兵捕杀了宇文贤及三个儿子。而对於已成瓮中之鳖的宇文招等五王，杨坚则采取了安抚手段，非但不予追究，“掩五王之谋不问”，还对另外两个亲王进行了提拔：以秦王宇文贽为大塚宰，以杞公宇文椿为大司徒。