陵令李封对凡是犯罪的官吏不加杖罚，而只是让他裹绿头巾以羞辱，错误严重的戴的时间长，轻微的则短，“戴绿头巾”被当作一种惩戒手段。
到了元代，绿色成为最卑贱的颜色，并衍生出了“绿帽子”的说法。《元典章》记载：“至元五年（1268年），准中书省札，娼妓之家，家长并亲属男子，裹青（绿）巾。”意思是说，如果家中有女子做娼妓，那么她的男性家属就都得戴绿头巾。绿头巾就成为娼妓家属的专用服饰。到了明朝，规定从事歌唱表演行业的伶人要裹绿头巾，还要穿绿衣，将特殊行业的绿色服饰进一步以法规形式固定下来。所以元朝之后，穿绿不仅仅是卑贱了，还是一种侮辱。
由于古代娼妓家中男子戴绿色头巾，而娼妓又大多从事卖淫活动，所以绿头巾就成了家中女性跟别人发生关系的符号。后人不戴头巾了，取而代之的是帽子，于是，“绿帽子”也就成了被出轨的代名词。