薛舉是河東汾陽（今山西萬榮縣）人，後隨父親薛汪搬家金城（今甘肅蘭州）。青年期間的薛舉“凶悍善射，驍武絕倫，產業钜萬，交結豪猾，雄於邊朔”。最後他在隋朝金城府任校尉。隋煬帝大業末年，各地農夫紛繁叛逆，隴西處所的百姓因為溫飽所迫，也都起來反隋。金城令郝瑗在本地招募了三千餘人，籌辦派薛舉帶領這支軍隊去彈壓造反的饑民。合法郝瑗調集步隊，“授甲於郡中”，“置酒以饗士”之際，薛舉和他的兒子薛仁杲及十三名同謀者，趁其不備，遁辭“收捕反者”，當場將郝瑗挾製，接著出兵到四周郡縣，將本地官吏全數拘繫囚禁，並開倉濟貧。

半個時候後，薛仁杲心對勁足地從屋子裡出來，一邊繫著腰帶，一邊嘟囔著：“這娘們還不錯，就賜給你們了。”那幾名親兵一聽，立即搶先恐後地闖進了屋子……

鼻孔被灌了醋的富人不斷地打著噴嚏，醋從嘴巴裡放射出來。他們渾身痙攣，手腳抽搐，痛苦地掙紮著。有人實在熬不下去了，大喊饒命。

院子裡，幾名親兵趁薛仁杲在屋子裡折騰的當口，衝進其他的房間，將吃食和值錢的東西擄掠一空。然後，他們回到院子裡，站在屍身中間心安理得地吃著搶來的東西。

薛仁杲脾氣刻毒跋扈，不善撫卹將士，部下對他都敬而遠之。薛舉曾經訓戒他說：“以你的才氣和策畫足以成事，但是生性嚴苛酷虐，對人不能施恩，終歸要顛覆我的家和國啊！”

薛仁杲走進廳堂，快步走到禦座前，膜拜施禮，然後站起家道：“阿爸，您喚兒臣前來，不知所為何事？”薛舉道：“太子，朕派出的細作返來稟報，說扶風太守竇璡日前派出使者前去長安，欲投降唐國。扶風郡屬於隴西，乃秦國土地，豈容唐國介入？朕也曾派出使者勸說竇璡歸順秦國，可他置若罔聞。故此，朕籌算派你率三萬精兵前去篡奪扶風郡！”薛仁杲一聽，抱拳道：“兒臣謹遵皇命！”

大業十三年（公元617年）七月，薛舉在金城正式稱帝，改年號為“秦興”，封其妻鞠氏為皇後，宗子薛仁杲為皇太子。大修祖墳，購置陵邑，並在城南立廟。接著，薛舉派薛仁杲打擊秦州（今甘肅天水）。薛仁杲攻陷秦州後，薛舉遷都秦州。