“枪杆子出政权”并非近代发明的，早在北魏时期，鲜卑上层贵族就已明白“枪杆子出政权”这个道理。北魏军事力量的基础，是以拓跋部为主干的鲜卑部族军，他们推行鲜卑人当兵、汉人务农的政策。府兵全家可以免除赋役，当兵成为鲜卑人的专利，在政治上享有优越地位。这就把汉族从周至两汉三国传统的上马为兵，下马为农的耕战三军制度变为纯耕种的农民，这政策明显地带有民族隔离的色彩。汉人自此不得从军，更不能入伍带兵，备受欺凌。
北魏末年爆发北疆六镇起义，北魏分裂成东西魏，双方仍争战不休，随之而来的是鲜卑士兵的不断减员。而在关陇的汉族豪强地主为了维护自己的利益，也趁机组织乡兵自保，东西魏分立后，这些地主武装并没有解散，仍然控制在汉族豪强地主手中。
大统九年（543）二月东西魏在洛阳邙山展开决战，最终西魏惨败。邙山之战，西魏军折损过半，西魏权臣宇文泰从武川带来的鲜卑老兵就更加稀少，当时关陇地区的鲜卑族人数有限，不可能再大量补充军队。宇文泰担心东魏时刻可能来袭，不得不“广募关陇豪右以增军旅”（《周书·文帝纪》），开始从汉人中征兵，西魏军队中汉族士兵的比重慢慢增加。宇文泰改革军队时重新引入鲜卑部落的形式，依照鲜卑旧俗将关陇的汉族豪强地主将领全部改为胡姓，所统军人也各随其姓，从而将军队密切地整合了起来。虽然军队形式是鲜卑化，但由于西魏北周的鲜卑旧部已经极少，事实上军队的组成不得不越来越依靠汉人的武装力量，而逐步淡化了鲜卑色彩。这个制度较好地解决了汉化与胡化的矛盾，大大提高了士兵的地位和待遇，成为后来威震世界的隋唐军队的前身。到了北周后期，迫于形势，又对府兵制进行深化改革，下令大量征召汉族百姓入伍。北周军队中汉族士兵的比重进一步增加，这无疑使汉人成为军队下层的主要组成力量。这样，汉人武装逐步成为国家的基础。后来，杨坚在以汉人为主的军队支持下夺取北周政权建立隋朝并统一全国，结束了中国三百多年的分裂局面，拉开了隋唐盛世的序幕。
邙山之战后宇文泰改革军队建立府兵制，虽然既加强了中央对军队的控制，削弱了魏末以来的地方势力，又促进了武川鲜卑军人集团与关陇汉族地主的联合。但是不可否认的是，此举也形成了绵亘西魏、北周、隋、唐四代的“关陇统治集团”，该集团横空出世后便以文武合一的方式，及质朴复古的风格，融合胡汉民族的精华，踏上了重新统一整个中国，乃至缔造出辉煌的隋唐文明的征途。