长城的建筑材料主要是土、石、木料、瓦件等。需用的土、石量很大，一般都就地取材。在高山峻岭的地方，就在山上开取石料，用石块砌筑。在平原黄土地带即就地取土，用土夯筑。在沙漠地区还采用了芦苇或红柳枝条层层铺砂的办法来修筑。如像今天还保存的新疆罗布泊与甘肃玉门关一带的汉长城就是这样修筑的。修筑的方法是铺一层芦苇或红柳枝条，上面铺一层砂石，砂石之上再铺一层芦苇或红柳枝条。这样层层铺筑，一直铺砌到五、六米的高度，芦苇或柳枝的厚度约五厘米左右，砂石的厚度约二十厘米左右。若修五米高的城墙就要铺到二十层左右的芦苇柳枝和砂石。在东北的辽东长城还有用编柞木为墙、木板为墙的。充分说明了我国古代劳动人民采用因地制宜，就地取材的办法。