Hazte respetar
Hay varias cosas que puedes hacer, una es hacerte respetar, ve y cuando veas que alguien hable mal de ti, respondele y preguntale porque lo hace, otra opcion es reportarlo con tu jefe, o al final puedes cambiar de trabajo, pero nadie merece eso