1960年3月2日，国家建筑材料工业部决定，以上海建筑材料工业专科学校和同济大学硅酸盐、塑料、材料性能学3个专业为基础建立上海建筑材料工业学院（简称“上海建材学院”）；发展规模为6000—8000人，建院地址拟在同济大学西边空旷地区，同济大学王涛任校长兼院长。5月15日，上海建材学院在建材专科学校原址成立。同年8月，学校决定： ① 建材系的构件、硅酸盐、材料性能学和塑料4专业及其学生划归建材学院；化学专业及其学生划归同济大学数理力学系；② 建材系约60%教师调入建材学院；建材学院构件、硅酸盐、材料性能学和塑料四个专业的师资，从原建材系硅酸盐、建筑材料和构件、化学3个教研组中抽调；③ 撤销建材系及下设的硅酸盐教研组；原建材系建筑材料与构件、建筑材料两实验室划归建工系；化学教研组和化学实验室划归数理力学系；④原建筑材料实验室和化学实验室由同济大学配主任，建材学院配副主任，双方共管、共用；⑤ 原建材系党政领导，按上报名单调归上海建材学院；⑥ 学校在本年度内应给原建材系的经费如何分拨，由双方总务处和财务科研究；⑦部分职工和专业划归上海建材学院后，行政关系自9月1日起正式划入该学院。8月15日，上海市委任命黄蕴元为上海建材学院副院长兼教务处长，免去同济大学建材系主任职务。9月6日，两校党委商定，建材系的党政工团等一切组织关系由建材学院党委领导；调学校的76名干部、教师去上海建材学院。

1961年3月7日，建工部为贯彻党中央“调整、巩固、充实、提高”方针，使部属学校合理布局，决定撤销上海建材学院；原属同济大学建材系部分,返回同济；专科停办(1959年招收的2年制专科办到暑期为止)。7月30日，上海建材学院正式撤销，学校改名为上海建筑材料工业学校，后经发展，又成为上海建筑材料工业学院。原大学部的混凝土及建筑制品工艺、硅酸盐工艺、建筑塑料工艺、建筑材料性能学和化学5个专业，共843名学生并入同济大学。

1961年4月，黄蕴元重新出任建材系主任。11月，建材系硅酸盐工学教研组下设硅酸盐试验室；化学实验室分为基础化学、应用化学两实验室。

1965年5月25日，学校决定建材系混凝土及建筑制品专业从1965—1966学年第一学期起试行半工半读。当年入学新生64人，固定生产基地为上海混凝土制品一厂，学制5年，计划进行理论教学104周，生产劳动73周。

1969年5月至1976年7月，建材系到各地企业建立专业实践基地、教学基地，实行厂校挂钩、开门办学；实行从社(厂)来回到社(厂)去的定向招生，进行半工半读试点。1971年2月，成立建筑材料专业连队。1973年3月9日，建材系恢复教研室建制，成立了水泥专业、制品专业和化学专业3个教研室。

1978年5月，黄蕴元任系主任。1979年2月27日，建筑材料系改名建筑材料科学及工程系，下设硅酸盐材料科学与工程、混凝土材料科学与工程、硅酸盐物理化学、建筑材料性能学和化学5个教研室及建筑材料科学研究室。当年，建筑材料科学研究室承担的教育部重大科学研究计划项目“混凝土材料组分、结构、界面力学行为之间的关系”(负责人为黄蕴元)启动，拨款10万元。11月28日，校长批准成立高、中、初级科研人员结合的黄蕴元科研组。

1979年8月6日，建筑材料科学及工程系改名为建筑材料工程系；硅酸盐材料科学与工程教研室改称硅酸盐材料教研室，混凝土材料科学与工程教研室改称混凝土材料及制品教研室，另外，还设了高分子材料教研室。1982年3月，无机非金属材料专业8名毕业研究生(1978年级4人，1979年级4人)成为首批被授予我国工学硕士学位人员。1983年7月14日，建筑材料科学研究室恢复原名建筑材料研究室，专职人员29人。1984年11月30日，建材系增设金属材料研究室。1984年12月7日，成立同济材料技术研究开发公司，以转让科技成果、承办测试分析、承接工程设计、组织技术攻关、提供实用技术、受理引进咨询、洽谈联合经营、培训科技人才和代办文献翻译等方式，提供无机非金属材料、金属材料、高分子材料等方面的技术服务（该公司于1986年3月停业）。1985年6月18日，陆平通过答辨成为无机非金属材料专业首位工学博士。

1987年2月20日，建筑材料工程系改名为材料科学与工程系(简称“材料系”)，陈志源为主任。1988年4月27日起，学校以非金属结构材料重点实验室之名，申报世行贷款重点学科发展项目。7月22日，国家教委批准无机非金属材料专业为高校重点学科点。1989年6月，材料科学与工程学科成为第四批有权自审硕士学位授予权的一级学科。学校自审批准有硕士学位授予权的专业包括高分子材料、复合材料、建筑材料和硅酸盐材料专业。1995年9月，世行贷款项目混凝土材料研究国家重点实验室通过专家组验收。1988年7月，材料系下设玻璃陶瓷研究所(次年7月，改为玻璃陶瓷研究室)。1993年1月，学校成立微粉碎技术研究所，挂靠材料系。1994年4月，材料系成立上海同济四维科贸公司，取得《科技经营证书》。

1996年7月，上海建筑材料工业学院的材料工程系和上海城市建设学院的建筑材料教研室并入同济大学材料系。材料系当时教职工总数为182人，其中并入89人。9月27日，学校成立材料科学与工程学院(简称材料学院)筹备小组。10月7日，成立材料学院(筹)。12月2日，材料科学与工程学院成立，首任院长王新友。

2002年7月，学院与上海宝钢集团五钢有限公司共建上海市金属功能材料应用开发重点实验室。

2003年9月10日，实施“撤系建所”改革，撤销原有的“系、所、室”建制,建立以科学研究、本科教育和研究生教育并重的研究所建制。同年9月22日成立水泥基材料研究所等12个研究所。