太祖洪武初年，胶东半岛沿海仅设有莱州、登州、宁海三卫，隶山东都指挥使司。
洪武卅一年，倭寇大掠胶东，太祖遂于当年为山东都司一次性增置了七卫、三守御千户所，自北向南依次为奇山守御千户所、威海卫、成山卫、宁津守御千户所、靖海卫、海阳守御千户所、大嵩卫、鳌山卫、灵山卫、安东卫。
然因海岸线漫长和卫所事权分散，永乐初年的抗倭战役、战斗依然多以失败收场。
为此，成祖于永乐六年增设「总督登莱沿海兵马备倭都指挥使司」，简称山东备倭都司作为山东都指挥使司之「行都司」，和山东沿海最高军事机构统一管理山东海防，驻节登州府城。
其下建即墨、登州、文登三大营，划定防区、统辖卫所。
其中的登州营守御北海，辖登州、莱州、青州左三卫和奇山、福山中前、王徐寨前三所。
登州地处极边，外接重洋，历为水军要塞。
明初升州为府，登州卫下辖七个千户所，每个千户所设备倭船十只，共辖战船七十余只。
此后，为应备倭急需，又于水城建水师府，专设水师营，水师营以参将或游击统领，归登莱巡抚提调，这就是登莱水师的前身登州水师。
嘉靖二十五年至三十五年，登州水师共辖水军五营，即水左营、水右营、水中营、水前营和水后营。
每营设领兵官一人，每营两哨，每哨设哨官一人，每哨配备福船二艘、海苍一艘、艨艟二艘。
这样一来，登州水师共五营十哨，拥有大小战船五十艘，官兵三干余人。
平时，除中营专司严守水城基地外，其余四营各以一哨出海巡洋，其余在港内休整训练，亦即常年有四哨二十艘战船在海疆巡防。
明水军编制，在单船之上有「帮」，「每十只为一帮」。
帮之上有「舟宗」，据《明史兵志》记载，「修饬海舟，大小相比，或百或五十联为一舟宗」。
各分属沿海各水寨，每寨至少一腙计