Ciertos caracteres tienen un significado especial en el HTML, menos qué <, mayor qué >, ampersand &, comillas dobles ", y la apóstrofe \'. Pero cuando vamos a usar estos caracteres cómo texto normal es obligatorio que utilicemos entidades HTML, por lo que te recomiendo que memorices estas entidades.
<(menor qué)>(mayor qué)&(ampersand)"(comillas dobles)
Existe un caso particular con la apóstrofe, en XML la entidad para este caracter es ('), pero el HTML no interpreta esta entidad. Una apóstrofe solamente puede ser interpretada con su referencia numérica en HTML que es (').
Un ejemplo de un error muy común es cuando utilizamos el ampersand en las URIs de los enlaces, por ejemplo para definir variables cómo en <a href="http://www.example.com/?var=val&var2=val2"> esto es incorrecto y no valida, la forma correcta es la siguiente: <a href="http://www.example.com/?var=val&var2=val2">