Aspas duplas geralmente são usadas para nomes de objetos (por exemplo, nome da coluna "Primeiro nome"). Isso faz parte do padrão SQL-92.
Em ANSI SQL, aspas duplas citam nomes de objetos (por exemplo, tabelas), o que permite que eles contenham caracteres não permitidos de outra forma ou sejam iguais a palavras reservadas (evite isso, realmente).
Aspas simples são para strings.
INSERT INTO AIRLINE (airline_code, airline_name, airline_address1,
airline_address2, airline_postcode, airline_city, airline_country)
VALUES ('BA07', 'British Airways PLC', 'Waterside', 'PO Box 365,
Harmondsworth', 'UB7 0GB', 'London', 'United Kingdom');