王正见当即做出了决定：“既然如此，那就照此办理吧，与安西高将军派来的使者进行商讨之事，就交给元大人去谈，如何？”

元二拱手答应：“下官遵命！”

次日，元二就与封常清进行了商谈，安西方面想要回驻军权，而北庭这边倒是没什么意见，只是还需要派人在恒逻斯城再收税三年作为驻军这些年的补偿，怎么说楚歌麾下三千将士没有功劳也要苦劳，不花点钱打发他们，只怕不容易安抚。

常清对于北庭方面要再收三年的税表示不同意，只愿意给每个驻军将士发放三个月的军饷以作补偿，这也太少了一点，元二不同意，当即中断了谈判。

六月二十七，双方再次进行谈判。

封常清也明白如果不出点血，只怕北庭方面不会轻易交出驻军权，如果此事要闹到朝廷去，朝廷插手的话，后果谁也无法预料，最好还是北庭和安西双方自行解决，以免闹得鸡飞蛋打，对双方都没有好处。

经过连续两天的讨价还价，双方各自退让一步达成协议：恒逻斯城的防务在一月之后由安西都护府派大将领兵三千前去与楚歌进行换防，换防后楚歌率部前往庭州归属瀚海军，由赵子良统领指挥。同时，北庭都护府派官员一名和吏二人、衙役十数人前往恒逻斯城进行收税，两年后收税权归还给安西都护府，北庭派去的官吏和衙役撤回！

楚歌的三千人马撤到庭州之后，赵子良立即对瀚海军进行第二轮的更深一步的整编。

有了楚歌的三千人马加入之后，瀚海军的兵力达到一万五千人余人，为了能够更好的统领和指挥军队，赵子良准备对瀚海军的编制略作修改。军级建制以下是营，各地驻军和边军由于兵力人数不同，同一级编制内的兵力又大不相同，有的军只要小几千人，有的军高达一万两千人以上，而军级以下的营级建制有的只要三四百人，有的则高达三千多人，唐朝边军尽管也有完善的军事编制体系，但是对每一级建制的具体兵力人数并没有详细的规定。