楊義臣是一位謹慎忠厚，擅長騎馬射箭的隋朝將領，他有將領之才，因此深受楊堅器重。他曾在開皇十九年大破匈奴，又在仁壽四年大破鍾葵，展現了出色的軍事能力。
大業三年，楊廣任命楊義臣爲宗正卿，不久後轉任太僕卿。大業五年，楊義臣隨楊廣徵討吐谷渾，被派駐於琵琶峽，與元壽和段文振相連，將吐谷渾國主包圍在覆袁州。
大業八年，楊義臣隨楊廣徵討遼東，率軍直指肅慎道。到達鴨綠江時，他與乙支文德多次交戰，每次都以先鋒身份出戰，一天內取得了七次勝利。然而，在與其他軍隊作戰時，他們遭遇了失敗，楊義臣因此受到責罰，被罷免了職務。不過，不久後他又復職。
大業九年，楊廣任命楊義臣爲副將，與大將軍宇文述一起進攻平壤。然而，在鴨綠江遇到楊玄感的叛亂，楊廣被迫返回朝廷，楊義臣代理趙郡太守。當時有名爲向海公的妖賊聚衆作亂，在扶風和安定之間進行劫掠。楊義臣奉聖旨平定了這場叛亂，隨後在大業十年，他隨楊廣再次征討遼東，被任命爲左光祿大夫。
當時渤海人高士達和清河人張金稱相聚爲盜賊，聚集了幾萬人，並攻陷了郡縣。楊廣派遣將軍段達進攻，但未能取得勝利。於是，楊義臣率領從遼東回來的軍隊，大破高士達，斬了張金稱，並收降了一些兵士。他進入豆子赹，討伐了格謙，並將其活捉。
此後，楊義臣在河北一帶遊弋，將戰況和河北羣賊的情況上報朝廷。虞世基負責將各地上奏的表文呈送給楊廣。虞世基知道楊廣不願聽到各地盜賊的奏報，因此每次報告都會掩飾真相，不實事求是地向楊廣彙報，安撫他的憂慮，並勸告皇帝不必擔心。當楊廣收到楊義臣在河北收降數十萬叛軍的捷報時，他不禁感嘆道：“我原本沒有意識到盜賊的勢力已經發展到如此地步，楊義臣竟然降服了如此衆多的賊寇?”虞世基卻仍然對楊廣說：“這些盜賊只是零散的勢力，雖然數量衆多，但終究不能形成氣候，不必擔憂;而且楊義臣已經將大部分盜賊剿滅，他長期在京城之外擁有重兵，這是不合適的，我們必須提高警惕。”楊廣竟然贊同了這一觀點，立即下令召回楊義臣，並解散他的部隊。楊義臣對此感到遺憾和憤怒，但還是不得不返回朝廷聽命。
不久之後，張金稱和高士達的餘部紛紛歸附竇建德，河北的叛軍再次興起。楊義臣回到朝廷後，因軍功升任光祿大夫，並不久後被任命爲禮部尚書。然而，他在官職上的任期不久就去世了。
此後，楊義臣遊弋河北一帶，隨把戰況和河北羣賊蜂起的情況上書朝廷。朝中內史侍郎虞世基負責把各地上奏的表文呈送楊廣，他知道楊廣不願聽到各地盜亂情況的奏報，每當有這樣的奏報，他總是掩飾真情，不實事求是地報告，只是對楊廣說：“盜賊成不了氣候，地方的官吏正在全力追剿，很快就會徹底剿除的。”並勸說皇帝不必憂心介意。當楊廣接到楊義臣在河北收降數十萬叛軍的捷報後，不禁嘆息說：“我原來沒有聽到盜賊發展到如此地步?賊勢發展得這樣快，楊義臣降賊這麼多?”虞世基卻仍然對楊廣說：“盜賊都是小股勢力，雖多但終不能成氣候，不必擔憂;楊義臣幾盡剿除盜賊，長期在京城之外擁有重兵，很不合適，不得不防。”楊廣竟以爲然，隨即下令追回楊義臣，並遣散他的士兵。楊義臣爲此報憾憂憤，不得不回朝聽命。
不久後，張金稱、高士達的餘部全都歸附竇建德，河北叛軍復盛。回朝後，楊義臣因軍功升任光祿大夫，不久拜授禮部尚書。不久，在官任上去世。
