清朝时，广州一地的反清复明义士积极与台湾郑成功一脉联络，以图驱逐异族。义士段将军与何老师等人为了营救反清同志，先后被广州将军天达镇压，何老师的学生刘裕德（刘家辉 饰）因积极参与反清，举家被天达手下鹰犬唐三要所害，刘裕德孤身逃脱，历尽艰苦抵达少林寺，希望能够习得少林功夫，救助苦难百姓，兼报家仇。其时少林寺设有三十五房，其中三十四房分别锻炼体力或拳脚兵器，法号三德的刘裕德天资过人，历经五年苦学，遍通三十四房，学成之际，刘裕德向方丈提出开设少林第三十六房，旨在接纳俗家弟子，传播少林武学。刘裕德离乡七年后重返广州，收洪熙官、陆阿采等青年为徒，与清廷鹰犬展开了连番激战…… 本片获1978年亚洲影展最佳动作效果奖。

故事开始于圆明园。深夜，一宫女在一太医掩护下，偷袭了雍正的寝宫…… 雍正暴死，人头丢了。下葬时用一颗金头代替。 乾隆继位，立即多方秘密追查刺杀雍正之人。几番搜查之后，雍正时期文字狱的最大冤主吕留良家族的唯一活口吕四娘被认为正是割走雍正人头之人。(吕四娘从文字狱案逃脱后被江湖上大名鼎鼎的独臂神尼收为徒弟习武，长大后本事甚为了得。)乾隆严命“雍正无头案”不得走漏半点风声，并秘命内廷四大侍卫南下追捕吕四娘。其中领头者为一等侍卫伊尔根。 吕四娘其时正和太医曹太虚奔走在南方的某个小城里，行医卖艺。雍正晚年崇尚金石之术时，曹太虚原是皇上身边的方士之一。 乾隆对此案志在必得，又派特使快马加鞭传旨到南少林，要南少林派人暗中密查吕四娘和曹太虚下落，追回雍正的人头。特使找到南少林的老主持玄通大师，将皇上御赐的龙牌交与他，凭龙牌行事，不得有误。 此时南少林寺内正在热火朝天准备一次三十六房主持的竞选，这次竞选意义非同一般：谁当上三十六房主持，就成为南少林武功第一，也就是半个中国武功第一。寺内上下都明白最有实力者非方世玉与云明二人莫属。 特使提议谁最后成为胜出者，谁就可持龙牌抓人。但玄通明白按照比武规则，世玉和云明进入最终对决必有一死一伤，而且也延误圣命。玄通断然宣布，二人比试南拳七十二式点到为止，谁胜出谁就能凭着龙牌去执行朝廷交给的任务。云明自知武功稍逊世玉，本想在最后的比试中做手脚陷害世玉，以夺得主持之位。面临突然的变动，他顺水推舟，干脆在比试中败在世玉手下。他更想趁此机会，在世玉追查吕四娘行踪的途中杀死世玉，并栽赃给吕四娘。这样他可稳当坐上三十六房主持之位。 方世玉邀请两位老朋友——“江湖老千”卓灵和“神偷”赵大宏(在第一部中本说到大宏已死，但世玉等人发现棺木里是空的，大宏死而复生。疑是三德和尚营救了大宏)一起踏上征程。世玉的恩师、三十六房的创始人三德和尚早已被逐出南少林，得知世玉接受朝廷指派任务出行的消息后，悄悄跟随世玉一行，暗中相助。 泉州知府温荣玉绰号“玉老虎”，与云明勾结，欲在途中加害方世玉。原来他与云明都知晓世玉身上的一个秘密，那便是刺在他背上的一张“藏宝图”。明朝正德年间，倭寇在南少林寺后山埋下了一批珍宝，价值连城。悉知此事的三德和尚将藏宝的地图刻在世玉的后背上，没有留下任何副本。所以杀了世玉，云明可得主持之位，玉老虎可拿着人皮地图起获珍宝。一举两得的事情，唯有联手胜算最大！ 云明和玉老虎想从世玉身边的亲密朋友下手，于是设计欲买通卓灵和赵大宏。卓灵和赵大宏知道了宝藏图，却瞒着对此事不知内情的世玉，打起了自己的算盘：好东西干吗不自己留着？ 另一方面，三德和尚此次跟随世玉的主要目的也是为了保护宝藏图不落人他人之手——其实他并非真正被逐出少林，而是由玄通大师暗中安排在寺外接应南少林，并保护这批珍宝。 世玉一路乔装打扮，和卓灵、赵

一介贫民仁杰（刘家辉）为惩罚平时靠鱼肉百姓过日子的恶霸高峰（王龙威），假扮三德和尚对其展开攻势，不想被对方识破反遭一顿痛殴。其后，仁杰来到少林寺请求三德和尚传授功夫，但不被对方作正眼旁观。 有感于仁杰的诚心，三德和尚最终允许他留在少林寺，但不教授功夫，只让他负责搭棚修葺的工作。仁杰在工作之余，不忘初来志愿，见缝插针恳求三德和尚收他为徒，终惹怒对方，在对方的示意下，仁杰明白搭棚亦是少林功夫的一种，从此刻苦学习。

方世玉（小侯）因与大清武馆高手（刘家良）结怨，其母苗翠花（李丽丽）为避冲突，暗带方上少林寺，求三德和尚（刘家辉）收其为俗家弟子；方入寺后自恃功夫了得频频闯祸，终被三德逐出。奸人提督（白彪）乘势诱方邀同房九杰离寺，暗图一网打尽；十杰失踪，三德心知有异，遂约苗同往督府对付旗兵……