呼和浩特历史悠久。更早或无记载，战国时赵国设郡称云中。汉代为军市。唐代建东受降城。辽、金和元为丰州。明初设东胜卫所。随后东蒙古人在此建呼和浩特城。清朝重建扩建为归绥。

公元前三世纪，“胡服骑射”的赵武灵王开拓北面疆域，把原晋北和内蒙古中南部的原住民驱赶到黄河西面的鄂尔多斯高原地带，沿大青山、乌拉山南麓向西推进，把赵国疆域扩展河套边沿。在此设置了云中、雁门和代郡。《史记·赵世家》“二十六年，复攻中山，攘地北至燕、代，西至云中、九原。”云中在呼和浩特所辖的托克托县境。“持节云中，何日遣冯唐？”

公元前一世纪，西汉武帝时，在河套地区兴建了若干军市。呼和浩特市新城区的塔利村(“塔布陀罗亥”)有西汉时期的土城遗址。

公元八世纪，唐朝名将张仁愿击败东突厥后，修筑三座受降城。东受降城在呼和浩特，置振武军。

公元十世纪初，辽国在此设天德军及丰州。丰州故址在今呼和浩特东南约二十公里的白塔村附近。公元十二世纪初，女真灭辽建金。丰州是当时的军事重镇，也是人口密集的商业州邑。现在可见的遗迹是当年丰州城中大明寺的白塔，即万部华严经塔。元灭金后，丰州仍是繁华商都。

十四世纪后期，明朝兴起。在原来的元朝东胜州(现呼和浩特辖下西南的托克托县)设东胜卫。十五世纪初，“靖难之役”后漠南的卫所内迁。到了中叶“土木堡之变”后，明朝势力退出河套。东蒙古人(明朝称为鞑靼，Dada或East Mongol，不同于西方历史中的鞑靼人，Tartars，东欧讲突厥语的游牧民族)进入。

1572年(隆庆六年，藏历水公猴年)，蒙古土默特部领主阿勒坦汗(即俺答汗)驻牧丰州一带，不久后统一了蒙古各地和漠南地区。1579年(万历七年)(《万历十五年》前八年)，阿勒坦汗主持创建大召寺，为呼和浩特最早兴建的喇嘛教寺院，属于格鲁派(黄教)。1581年(万历九年)，阿勒坦汗和他的夫人三娘子在此正式筑城。城墙用青砖砌成，远望一片青色，“青城”由此得名，蒙古语为呼和浩特，最早出现在蒙古文的《俺答汗传》中。明朝称城为“归化”，民间也称“三娘子城”。

清初，归化城焚毁。1694年(康熙三十三年)，在原归化城外增筑了外城，包围了原城东、南、西三面。后又在距旧城东北五里处另建一驻防城即新城，称为“绥远”。绥远城(新城)内主要是军营，归化城(旧城)则住着居民。呼和浩特现尚有绥远将军衙署和城墙。清代建筑较多。比较著名的有建于1693年(康熙三十二年)的清真大寺、建于1697年(康熙三十六年)和硕恪靖公主下嫁后的公主府、建于1730年前后(雍正年间)的金刚座舍利宝塔(五塔寺)。清朝末期，将归化和绥远合并，称归绥。

1954年4月25日起，归绥市改名为呼和浩特市，为内蒙古自治区的首府。