“赤佬”一词其原本含义是指坏人、坏东西。例如：日常生活遭遇不幸、病痛或出门办事不顺利，认为鬼怪作祟，说是碰着“赤佬”；抗战时期，人民憎恶日本侵略者，常斥其为“东洋赤佬”、“赤佬”，怒气溢于言表。

“赤佬”这个词，其实来源于我国古代的一种“黥面”制度。封建统治者为防止囚犯和军中士卒逃跑，在他们的脸上刺成记号或文字，并涂上朱砂。于是，当时对囚犯和士卒便侮辱性地称为“赤佬”。后来才在吴语中用作贬义词。

吴语“赤佬”，除贬义外，还派生出感情色彩迥异的两种用法：一是相当于“家伙”、“角色”，略带一点贬味，常用在同事、熟悉的朋友之间开玩笑的场合；二是用法特殊，正语反说，如大人遇到小孩顽皮不听话或闯了祸时，往往脱口而骂“小赤佬”，这种骂法，似恨而实爱。