黔东三省数县。杨再兴身材魁梧，武艺超群，治军有法，纪律严明，所到之处，攻城掠寨，战无不胜。而此时朝廷正被金兵所困，无暇征剿。
靖康年间，金军攻破东京，掳徽宗，钦宗二帝和后妃、皇子、宗室、贵卿等数千北归，史称“靖康之难”。靖康二年，康王赵构在临安（今杭州）即皇帝位，是为宋高宗。外有金兵虎视眈眈，内有群雄并起割地称王，一时间天下大乱。
绍兴元年，公元1131年。原宗泽部将曹成脱离了朝廷的节制，带领七万士卒起兵，流窜于江淮一带，越过洞庭湖、湘江，占据道州、贺州。“赤旗杨”杨再兴痛恨官府，率部部加入了曹成的队伍，随其南下劫掠岭南。义军人数增加到十余万。
曹成者，汝阴（今安徽阜阳颍州区）人也。少有大志，常向邻人说：“天下为己任者，舍我其谁？”但因家贫，15岁随父当了铁匠，后入宗泽之部。
“赤旗杨”义军和曹成的部队建立了联盟关系，义军人数增至十余万，将宋军打得落花流水，闻风丧胆，声震朝野，宋高宗闻讯大惊。
绍兴二年，公元1132年，宋高宗赵构任命岳飞为权知潭州，兼权荆湖南中安抚使，率领岳家军十万进讨占据道州一带的曹成。