衙门本作“牙门”。在古代，常常用猛兽锋利的牙齿象征武力，军营门外常常放有猛兽的爪、牙。后来为了方便，就用木刻的大型兽牙代替真的猛兽牙齿，还在营中的旗杆顶端装饰兽牙，悬挂的也是齿形的牙旗。由此，营门也就被称为“牙门”了。大约到了唐代，“牙门”逐渐被移用于官府，“牙门”也被误传为“衙门”。正如唐人封演在《封氏闻见记》中所说：“近俗尚武，是以通呼公府为‘公牙’，府门为‘牙门’。音稍讹变，转而为‘衙’也。”衙门一词广泛流行开来。宋以后，“衙门”就彻底取代“牙门”，成为官署的代称。