O ORM apenas buscará esses campos carregados com preguiça quando necessário. Isso significa que se você instruir Jackson a ignorá-los (usando @JsonIgnore anotação) durante a serialização, o ORM não irá buscá-los.