初拜郢州(今湖北武昌)刺史。在任期間，管理州縣，清算官吏，甚有政績，後轉任宋州(今河南商丘)刺史。大業三年(607)拜鴻臚卿，父親楊素身後他以宗子身份襲爵楚國公，次年任禮部尚書深受楊廣重用。楊玄感出身王謝望族官宦世家，雖脾氣驕橫，恃才傲物，但看重文學，很重視交友名流，加上天下有很多人是楊家的弟子故吏，因而四海著名之士多趨其門，以是楊玄感在當時的名聲很不錯有必然的影響力。

大業九年(618)六月，楊廣二次東征遼東。身為禮部尚書的楊玄感被楊廣重用在黎陽(今河南灘縣)督運雄師出征的糧草。此時，顛末修建東都洛陽、苗條城、鑿運河等沉重苦役，百姓已有怨聲，海內有動亂跡象。適逢河南、山東等地產生水患，淹冇了三十餘郡，在長白山(今山東)等地接踵發作了農夫叛逆。楊玄感以為反隋機會已到，便同武賁郎將王仲伯、汲郡讚治趙懷義等人謀議，為使火線“軍眾饑餒”，“度遼諸將乏食”，用心“逗留漕運”。這已是置火線將士於死命的行動，並對遼東戰役的蓄意粉碎。楊廣派人前去催運糧草，決定造反的楊玄感竟揚言“水陸多盜賊，不成前後而發”，公開狡賴或對抗，想藉以擺盪軍心讓楊廣再次敗在遼東。

史乘說楊玄感為甚麼造反時，是說楊玄感他看到楊廣在位期間驕奢淫逸，性多猜忌，無辜搏鬥高?、賀若弼等大臣，心中忐忑不安，擔憂有朝一日本身也不能倖免。加上此時朝綱漸亂，政治日趨*，楊廣濫用民力，大肆撻伐，隋朝將有崩潰之勢，是以與諸弟潛謀廢帝，起兵反隋的。究竟上楊玄感造反的設法很早就有，就在楊廣出征吐穀渾時還軍大鬥拔穀，他見楊廣的步隊“從官狼狽“，就有打動“欲攻擊行宮”，想挾製楊廣，改立秦王楊浩，但是其叔楊慎勸止。楊慎以為隋朝“士心尚一，國末有釁，不成圖也”。這是楊素已死三年後的事，恰是隋朝極盛之年，楊慎熟諳到國度強大、繁華、安樂而“不成圖”，楊玄感卻想政變，可見其背叛之心早已有之且不是為了所謂的天下百姓而是為了一己之私。

隋朝建立的根本是獲得關隴貴族對楊堅的支撐，而關隴貴族支撐楊堅的啟事也是比較簡樸就是但願當時氣力比較強大的楊堅能代表他們的好處，但是楊堅在統治穩定後對於握有超大權力的關隴貴族采納不依靠不重用的態度。楊廣即位後有過之而不及，遍及任用出身於山東、江左的非關隴個大家士，並將權力中間從關隴個人具有強大根本的長安遷到東都洛陽，將上柱國以下勳官改成大夫，設立進士科，募民為驍果，突破了宇文泰建立北周以來的關中本位政策，從而侵害了楊玄感等一批關隴個人成員及其後輩的既得好處。說實在的在當時楊廣是很不得天下貴族的支撐，這些貴族不但僅是隋朝的統治根本關隴貴族，另有被楊廣剝奪了特權的其他門閥世族。但是隻要關隴貴族有抵擋楊廣的政治野心以及氣力，實在當時的關隴貴族並不是隻要楊玄感觸反。