建隆二年七月，宋太祖出兵權時，高懷德被罷殿前副都點檢軍職，移為歸德軍（宋州，今河南商丘南）節度使，赴鎮。殿前副都點檢今後也廢罷。開寶六年（973年），加同平章事為使相。太宗初，使相銜升為兼侍中。承平興國四年（979年）從太宗滅北漢，改彰信軍（曹州，今山東定陶西南）節度使，封冀國公，承平興國七年（982年），改武勝軍（鄧州，今屬河南）節度使，同年七月死，長年 57 歲，追封渤海郡王，諡武穆。