虽然那些民夫充入军中在肉搏、阵战，或是使用弓弩方面依然很拙劣，可单论往城下投掷滚木礌石、灰瓶金汁方面，他们做得并不比正规军差多少，而且胜在人命不值钱，随死随补充。
相比于防守方的好整以暇，攻城一方非常仓促，因为时间紧，重型器械都没有，就靠着原木和板材搭起来的简易冲车撞门，或是竹子的飞梯蚁附登城，别的防护装备一点都没有，被城头的弓弩和木石射砸得惨不忍睹，一排排地倒在血泊之中。
杨广把去年攻破辽东城时表现最好的右屯卫和骁果军都派上去强攻，无奈关卡坚固高峻，守军士气正盛，并非去年在辽东城时那般遇到强弩之末的敌人，所以连续三日也破不了关。都已经升到都尉、郎将级别的沈光、麦孟才等去年建功的勇将，也都败下城来，沈光饶是身手敏捷甲于天下，也在一次登城的时候身中数箭、镝刃穿透皮甲，入肉寸余，重伤的沈光只好被人抬下去养伤了。
杨广身边宇文述不在，李景也不在，来护儿还在朝鲜半岛，说话够份量的大将重将着实稀疏了不少，也是血战三日、死伤了数万人之后，才有太仆寺卿杨义臣冒死苦谏，力劝杨广暂缓进攻、先徐徐破坏外围工事，再图一战而克。
杨广对杨义臣的战略眼光还算有点儿放心，又经过数天鲜血洗礼的冷静。再加上这一日榆林关背后旌旗战鼓大作，军中纷纷传说是杨玄感已经平定了涿郡的形势，派了援军来帮助杨玄纵守关，杨广见突袭的机会已经没了，便答应了杨义臣所请。
这杨义臣别看只是个太仆寺卿，论官职好像是个文官，但实际上用兵很是狠辣。原本今年杨广还是委任杨义臣担任宇文述的副将，继续扮演远征朝鲜半岛高句丽腹地的任务，可见其军中履历还是很过硬的。至于这个杨义臣之所以官职一直是文官，则是因为杨义臣本身不姓杨，而是复姓尉迟。
先帝杨坚篡周自立之前，杨义臣的同族尉迟迥便是阻挠杨坚篡周的主要阻力，后来尉迟迥被杨坚灭了，才有了隋朝的。尉迟一族在隋朝初建的时候自然被打压地非常狠。然而尉迟一族中也有个别提前就靠拢了杨坚派系的，其中就包括杨义臣的父亲尉迟崇。所以杨坚为了安抚尉迟崇、表示重用如故，也就赐了他儿子姓国姓杨，示不疑其忠诚。杨义臣也就从弱冠之年便开始为大隋建立军功，垂二十余年。
可惜杨坚死了之后，杨广多疑，显然没有其父的雅量。所以杨广登基之后，杨义臣的官职品级看上去还是一直在升，但是却无缘在十二卫里头做事，官职不是太仆寺就是光禄寺，不是光禄寺就是礼部，为的就是不让杨义臣在军中建立自己的班底。不过每次遇到大战，杨广还是要用杨义臣，每每是直接让他以文官身份统领一军。比如吐谷浑之战中，杨义臣便是段文振的副将。