1924年，康代賓中學畢業時，傳聞孫中山先生在廣州黃埔島創辦陸軍軍官黌舍，便躍躍欲試，想去投考。在進步西席李恒生、劉卓安的幫忙和族人康紀鴻的佈施下，康代賓遠赴廣州，於1925年考入黃埔軍校第三期。因他對當年曾拚著一死去刺殺清王朝攝政王載灃的年青反動黨人汪精衛非常欽慕，便在退學後師法汪兆銘（汪精衛字兆銘），改名兆名，號澤。今後，以號代名，遂以“康澤”之名聞於世。今後，康澤發言的舉止、行動、詞令一概仿照汪精衛。康澤善於演講，影象力很強，在各種場合發言從不帶講稿，並且詞句簡練，有條不紊，經耐久仿照，還真有點汪精衛的風采和氣度。

7月間，蔣介石又召見康澤，參議向陝北派邊區主席一事。康澤向蔣介石建議說：“共產黨提出在於右任、張繼、宋子文三人中擇一人去當邊區主席，我感覺都不適合。張繼先生對黨固然很虔誠，但易豪情用事，於右任先生也是一樣，都經不得一拍，共產黨對他們好了，他們就會跟著共產黨走的。宋子文先生，我對他不很體味，彷彿更豪情用事。”蔣介石同意康的觀點，也以為“他們三人都不適合”。

1937年5月至9月，康澤作為蔣介石的初級幕僚，參與了第二次國共合作的構和。5月的一天，康澤受命到廬山牯嶺去見蔣介石，進入會客室後看到張治中也在坐，蔣介石遞給康澤兩份檔案，內容是有關國共兩黨合作的共產黨軍隊改編的題目。蔣介石說：“這些題目，都談了一下，有的能夠。我拿鉛筆打了問號的，另有點題目，你拿去研討一下。”接著又對康澤說：“你今後就插手國共構和。現在周恩來他們已經到南京來了，你和立夫先生、張治中一道去和他們談。”

當這幫門生中終究有人發起要連合起來時，蔣介石順勢透露了一點心跡：“你們如何能連合起來？明天連合，明天就鬨定見。好吧，你們嚐嚐也能夠。我想，我們要有蘇聯那種‘克格勃’的構造就好了。我們明天的力量是夠的。”

在黃埔軍校學習期間，康澤學習勤奮，脾氣剛烈，餬口儉樸。他秉承了四川南部山區農夫那種刻苦刻苦、任勞任怨的傳統美德，不貪玩樂，乃至節假日也不過出遊逛。有個禮拜日，康澤獨安閒課堂裡聚精會神地清算校長的訓話條記，俄然聽到有腳步聲，轉頭一看，見是校長蔣介石在教官伴隨下進了課堂。康澤趕快放下筆起家作立正姿式。蔣介石徑直來到他的身邊，翻閱了他的條記，問道：“你叫甚麼名字？為何不歇息?”教官先容道：“他叫康澤，學習很勤奮。”蔣介石幾次點頭，叫他坐下。今後，康澤在蔣介石心目中留下了“好門生”的印象。