限制人身自由的行政处罚只能由公安机关设定。行政处罚法第十六条规定，国务院或者经国务院授权的省、自治区、直辖市人民政府可以决定一个行政机关行使有关行政机关的行政处罚权，但限制人身自由的行政处罚权只能由公安机关行使。

人身自由：

人身自由也称身体自由。公民的基本权利之一。指公民在法律规定范围内，人身和行动完全受自己支配，有不受非法拘禁、逮捕、搜査和侵害的自由。它是公民享受其他一切自由的基础和前提，也是公民生存的起码权利。没有人身自由，公民从事各项政治活动，参加国家管理就只能是一句空话。