1950 年代末,廖山涛敏锐地注意到一个新的学科——微分动力系统正在兴起,即毅然决然从拓扑学转到这个新的学科,成为国际上微分动力系统的几位开拓者之一。他关心的是微分动力系统的一些根本的大问题。由于当时我国与西方基本隔绝,也出于“唯古于词必己出”的理念,廖山涛采取的研究路线与西方很不相同,更一般、更系统也更困难。他相继提出典范方程组和阻碍集两个基本概念,并以此为核心,形成独特的研究体系。在当时的情况下他的研究只能一个人进行,但他的研究成果长期领先于世界。在 1980 年我国《数学年刊》英文版的创刊号上,他的 On the Stability Conjecture(《论稳定性猜测》)一文向世界展示了他的研究成果的一角,犹如石破天惊,无意间为几年后荣获第三世界科学院首届数学奖做了铺垫。廖山涛走得太远太深,以至于理解他的理论和方法需要艰苦的努力。可喜的是,现在一代又一代的年轻人开始掌握和运用他的理论和方法,形成了微分动力系统的中国学派。廖山涛的理论和方法也开始传播到西方,成为微分动力系统的有力工具和宝贵财富。