后汉书对于祭彤之死因的记载如下：

十六年，使肜以太仆将万余骑与南单于左贤王信伐北匈奴，期至涿邪山。信初有嫌于肜，行出高阙塞九百余里，得小山，乃妄言以为涿邪山。肜到不见虏而还，坐逗留畏懦下狱免。肜性沉毅内重，自恨见诈无功，出狱数日，欧血死。临终谓其子曰：“吾蒙国厚恩，奉使不称，微绩不立，身死诚惭恨。义不可以无功受赏，死后，若悉簿上所得赐物，身自诣兵屯，效死前行，以副吾心。”既卒，其子逢上疏具陈遗言。帝雅重肜，方更任用，闻之大惊，召问逢疾状，嗟叹者良久焉。

除了南单于左贤王信和他不和之外，祭彤不熟悉作战区域的地理情况，是屈死的主要原因。