信号处理的理论基础是信息论,信息论的创立者香农博士1936年在密西根大学获得数学与电气工程学士学位,然后进入MIT念研究生。1938年香农在MIT获得电气工程硕士学位,硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。” 1940年香农在MIT获得数学博士学位。在读学位的同时,他用部分时间跟VannevarBush教授进行微分分析器的研究。1948年香农在Bell System Technical Journal上发表了题为A Mathematical Theory of Communication的论文,奠定了信息论的基础。香农博士1956加入MIT RLE实验室,成为Processing and Transmission of Information Group 的教授, 为信号处理理论和技术的发展作出了巨大贡献。