雄踞淮泗之后，袁术对徐州膏腴之地早有觊觎之心，不时派兵蚕食徐州郡县，只是担心强邻曹操，一直未敢大举进犯。刘备虽有心抗拒，然一则初领州牧，徐州人心未定，二来西侧兖州曹操对徐州一直虎视眈眈。刘备只能一直隐忍不发，静待时机到来。
曹操这一动，袁术自以为机会到来，建安元年六月，袁术命纪灵为先锋，起兵十万进攻徐州，刘备使张飞镇守下邳，亲自率军进至盱眙、淮阴一线，迎战袁术。二军相守月余，各有胜负，僵持不下。这时，陶谦故将曹豹与张飞发生矛盾，张飞杀曹豹，城中混乱。中郎将许耽招引吕布袭取下邳，张飞兵败逃走，下邳被吕布占领，家小尽失陷在城内。一切尽如戏志才之前所言！
刘备在前线闻知后院起火，哪还有心思恋战，急忙带兵回救，可是钱粮供应被吕布断去，军中士卒家小也躲在城内，军至下邳，刘备兵马已经不战自乱。背后袁术又引兵杀来，刘备奔入广陵，收合散兵，与袁术再战，又大败。遂引军屯于广陵附近的海西县。时刘备军粮断绝，退无所归，于是请降于吕布。吕布以刘备为豫州刺史，使其军屯于小沛。
一月之间，刘备和吕布就完成了宾主间的转换。刘备好容易从陶谦手上接下来的徐州牧，连位置上