进行直接的指挥和管理，只能选择十六卫中的精锐部队进行直接指挥和管理。
虽然名义上皇帝直接指挥左右羽林军、左右金吾卫军、左右千牛卫军和独立于十六卫，不统领府兵的骑兵特种部队飞骑军这七支部队，这七支部队仍然与其余十卫一样设最高指挥官大将军，大将军下设五个将军。飞骑军人数有两万，分左、右飞骑军，比统领府兵的十二卫和左、右羽林军各一万人的规模大一倍，在大将军之下设十个将军，每个将军统兵二千。
左、右金吾卫军和左、右千牛卫军都只统兵一千，不过论单兵战斗力是十六卫中最高的，相当于后世的大内高手。
除了十六卫之外，在宫城南面驻扎五万禁军，称南衙禁军，宰相可以奉皇帝诏令调遣南衙禁军，以与皇帝不直接掌管的十二卫互相牵制。南衙禁军的最高指挥官也称大将军，其下设二十五个将军，每个将军各领兵二千。
唐朝全国设折冲府约六百三十多个，共有府兵六十余万人，唐朝政府在大规模战争时期，为补府兵兵力之不足，会临时强制性征兵。
除了中央军，唐朝还有地方军，在边境军事重镇设节度使，为地方最高军政长官，收地方赋税，供养地方军队。
此外唐朝在东方边境地区设安