后，宋太祖派潘仁美去掌管“广州市舶司”，潘美看到了榷卖制度的漏洞，立即上奏朝廷，建议把榷卖制度改成关税制度，即不再垄断收购那些个的货物，而是由市舶司对货物做出估价，然后按照估价的十分之一征收赋税，征税以后外商拿到朝廷的凭证就可以自由出售。
不得不说，宋太祖赵匡胤确实是雄才大略，很爽快的批准了潘美的建议，于是非常“现代化”的海关制度就在北宋初年确立了。
有了这样的改变之后，各路海船源源不断地涌进了广州海港，以至于广州海关应接不暇，后来大宋朝廷不得不在泉州、杭州、明州（也就是后世的宁波）等地相继设立市舶司，管理海外贸易。
如今各个港口市舶司收取的海外贸易的关税，可以说是占据了大宋朝赋税的差不多四成之多，毕竟现在的大宋朝除了四大港口的市舶司对海外贸易收取商税外，对大宋朝境内的商人收税可以说是少的不能再少了，这也是为什么贾似道会让谢举伯考虑对商业加税的主要原因。
不过加税，显然不是一时半会的。
当然，贾似道的这个市舶总司衙门，除了广州市舶司被赵昀划拨到市舶总司衙门下之外，其余如泉州、明州(庆元府)、登州、杭州港的市舶司都依然在三司使衙