El castell d'Herbers és una casa-palau que se troba situada en el poble d'Herbers, als Ports.
De planta rectangular. La seua fàbrica és de maçoneria i carreus en els cantons. Disposa de dues plantes i la coberta és a dues aigües amb teula àrab. Sobre la porta, de mig punt, hi ha una balconada del segle XVI i a la dreta d'aquest dos amplis finestrals gòtics bessons amb rosassa calada
Pertanyia al Baró d'Herbers i se troba situat en la part més alta del poble, des d'on domina tota la vila i gran part del terme. Este edifici s'atribuïx al segle XIV pels seus merlets i finestres gòtiques, així com per les característiques de la seua façana, encara que ha sofert diferents modificacions en segles posteriors.
Cinc famílies van ostentar el títol de Baró d'Herbers,[1] la primera d'elles els Garcés. Després els Centelles, els Cubells, els Valls i finalment els Ram de Viu, últims senyors propietaris d'Herbers i detentadors del títol. Destaca entre aquests últims Rafael Ram de Viu i Pueyo (Alcanyís, s. XVIII - Terol, 12/01/1834), alcalde-corregidor de la ciutat de València i important militar de la Primera Guerra Carlina.
L'octubre de 2009 la propietat va cedir el castell a l'Ajuntament. L'edifici des de llavors és objecte d'obres de rehabilitació.