不走。夫子无奈，只得与少林住持约定，十八岁时再来领那孩子。
待那孩子十八岁时，夫子来领，住持却不愿了，说那孩子有慧根，适合修佛。夫子无奈，只得作罢。
可是夫子虽不想再追究，但柳师和安师不乐意了，跑去少林寺大闹一场，差点没闹出人命来。少林寺十八罗汉阵都搬了出来，两位大宗师见硬来讨不了巧，便合计了个智取的主意。
两人在距离少林寺最近的嵩阳镇住下，赵元佐时常下山采买物件，他们就装作与赵元佐偶遇。跟赵元佐讲儒家的东西，讲的天花乱坠，那赵元佐彼时才十七八岁，那经得住经验丰富的大宗师忽悠，没几个月，就转性想学儒家了。
两位大宗师见时机成熟，就把十八年前的往事说给赵元佐。告诉赵元佐，其实你是书院弟子，你可以算是夫子的半个义子。
赵元佐哭着回去问住持问方丈们。住持长叹一声，承认了此事。赵元佐请求要去服侍夫子。住持方丈眼看赵元佐心已乱，就放他去了。
可是智通大师不愿意了，赵元佐随两位大宗师到书院没多久，智通大师找来，又把赵元佐强行带回去了。
就这样，书院和少林寺两方面来来回回的搞了十几年。你方带走我抢回，我