É um pouco mais trabalhoso, mas para suas inserções, mesmo que você já tenha um valor DEFAULT no ApplicationID, você pode fazer isso:
DECLARE @MyIdentity uniqueidentifier;
SET @MyIdentity = NewID();
INSERT INTO dbo.aspnet_Applications
(
ApplicationName,
LoweredApplicationName,
ApplicationId,
Description
)
VALUES
(
'x',
'x',
@MyIdentity,
'Dummy text'
);
SELECT @MyIdentity
Essencialmente, você define o GUID de antemão, então você já sabe o que vai inserir.