Geração de dados sintéticos

Introdução

Abordagens para o preenchimento de dados em bancos de dados para teste e desenvolvimento

1. Para copiar todo o banco de dados do ambiente de produção com dados pessoais e outros dados confidenciais alterados. Dessa forma, você garante os dados e apaga os dados confidenciais.
2. Para gerar dados sintéticos. Significa gerar os dados de teste semelhantes aos dados reais em aparência, propriedades e interconexões.

Cópia e alteração de dados em um banco de dados de produção

O algoritmo geral

1. Crie um novo banco de dados vazio.
2. Crie um esquema nesse banco de dados recém-criado – o mesmo sistema do banco de dados de produção.
3. Copie os dados necessários do banco de dados de produção para o banco de dados recém-criado.
4. Higienize e altere os dados secretos no novo banco de dados.
5. Faça um backup do banco de dados recém-criado.
6. Entregue e restaure o backup no ambiente necessário.

Realização do algoritmo geral

Uma nova criação de banco de dados vazio

• PRIMÁRIO – é o grupo de arquivos primário por padrão. Ele define dois arquivos:JobEmplDB_Test1(caminho D:\DBData\JobEmplDB_Test1.mdf) e JobEmplDB_Test2 (caminho D:\DBData\JobEmplDB_Test2.ndf) . O tamanho inicial de cada arquivo é de 64 Mb, e a etapa de crescimento é de 8 Mb para cada arquivo.
• DBTableGroup – um grupo de arquivos personalizado que determina dois arquivos:JobEmplDB_TestTableGroup1 (caminho D:\DBData\JobEmplDB_TestTableGroup1.ndf) e JobEmplDB_TestTableGroup2 (caminho D:\DBData\JobEmplDB_TestTableGroup2.ndf) . O tamanho inicial de cada arquivo é de 8 Gb e a etapa de crescimento é de 1 Gb para cada arquivo.
• DBIndexGroup – um grupo de arquivos personalizado que determina dois arquivos:JobEmplDB_TestIndexGroup1 (caminho D:\DBData\JobEmplDB_TestIndexGroup1.ndf) e JobEmplDB_TestIndexGroup2 (caminho D:\DBData\JobEmplDB_TestIndexGroup2.ndf) . O tamanho inicial é de 16 Gb para cada arquivo e a etapa de crescimento é de 1 Gb para cada arquivo.

Copiar o esquema e os dados necessários do banco de dados de produção para um banco de dados recém-criado

• DbForge Schema Compare e DbForge Data Compare
• ApexSQL Diff e Apex Data Diff
• Ferramenta de comparação de SQL e ferramenta de comparação de dados SQL

Criando scripts para alterações de dados

1. Sobrenome e nome;
2. Data de nascimento;
3. A data de emissão da carteira de identidade;
4. O certificado de acesso remoto como a sequência de bytes;
5. A taxa de serviço para promoção de currículo.

1. Mudança de data e hora;
2. Mudança de valor numérico;
3. Alterando as sequências de bytes;
4. Mudança de dados de personagem.

DECLARE @dt DATETIME;

SET @dt = CAST(CAST(@StartDate AS FLOAT) + (CAST(@FinishDate AS FLOAT) - CAST(@StartDate AS FLOAT)) * RAND(CHECKSUM(NEWID())) AS DATETIME);

UPDATE [dbo].[Employee]
SET [DocDate] = CAST(CAST(CAST(CAST([BirthDate] AS DATETIME) AS FLOAT) + (CAST(GETDATE() AS FLOAT) - CAST(CAST([BirthDate] AS DATETIME) AS FLOAT)) * RAND(CHECKSUM(NEWID())) AS DATETIME) AS DATE);

DECLARE @Int INT;

SET @Int = CAST(((@MaxVal + 1) - @MinVal) *
    RAND(CHECKSUM(NEWID())) + @MinVal AS INT);

UPDATE [dbo].[Employee]
SET [CountRequest] = CAST(((@MaxVal + 1) - @MinVal) *
    RAND(CHECKSUM(NEWID())) + @MinVal AS INT);

DECLARE @Dec DECIMAL(18,2);

SET @Dec=CAST(((@MaxVal + 1) - @MinVal) *
    RAND(CHECKSUM(NEWID())) + @MinVal AS DECIMAL(18,2));

UPDATE [dbo].[Employee]
SET [PaymentAmount] = CAST(((@MaxVal + 1) - @MinVal) *
    RAND(CHECKSUM(NEWID())) + @MinVal AS DECIMAL(18,2));

DECLARE @res VARBINARY(MAX);

SET @res = CRYPT_GEN_RANDOM(@Length, CAST(NEWID() AS VARBINARY(16)));

UPDATE [dbo].[Employee]
SET [RemoteAccessCertificate] = CRYPT_GEN_RANDOM(CAST(LEN([RemoteAccessCertificate]) AS INT), CAST(NEWID() AS VARBINARY(16)));

CREATE VIEW [test].[GetNewID]
AS
SELECT NEWID() AS [NewID];
GO

CREATE VIEW [test].[GetRand]
AS
SELECT RAND(CHECKSUM((SELECT TOP(1) [NewID] FROM [test].[GetNewID]))) AS [Value];
GO

CREATE VIEW [test].[GetRandVarbinary16]
AS
SELECT CRYPT_GEN_RANDOM(16, CAST((SELECT TOP(1) [NewID] FROM [test].[GetNewID]) AS VARBINARY(16))) AS [Value];
GO

UPDATE [dbo].[Employee]
SET [RemoteAccessCertificate] = [test].[GetRandVarbinary](CAST(LEN([RemoteAccessCertificate]) AS INT));

Mudança de dados – Alteração de dados de caracteres

DECLARE @tbl TABLE ([ValueInt] INT, [ValueNChar] NCHAR(1), [ValueChar] CHAR(1));

DECLARE @ind int=0;
DECLARE @count INT=65535;

WHILE(@count>=0)
BEGIN
	INSERT INTO @tbl ([ValueInt], [ValueNChar], [ValueChar])
	SELECT @ind, NCHAR(@ind), CHAR(@ind)
	
	SET @ind+=1;
	SET @count-=1;
END

SELECT *
INTO [test].[TblCharactersCode]
FROM @tbl;

• ValueInt – o valor numérico do caractere;
• ValueNChar – o caractere do tipo NCHAR;
• ValueChar – o caractere do tipo CHAR.

SELECT [ValueInt]
      ,[ValueNChar]
      ,[ValueChar]
  FROM [test].[TblCharactersCode];

SELECT
	[ValueInt]
   ,[ValueNChar]
   ,[ValueChar]
   ,CASE
		WHEN ([ValueInt] BETWEEN 48 AND 57) THEN 1
		ELSE 0
	END AS [IsNumeral]
   ,CASE
		WHEN (([ValueInt] BETWEEN 65 AND 90) OR
			([ValueInt] BETWEEN 1040 AND 1071)) THEN 1
		ELSE 0
	END AS [IsUpperCase]
   ,CASE
		WHEN (([ValueInt] BETWEEN 65 AND 90) OR
			([ValueInt] BETWEEN 97 AND 122)) THEN 1
		ELSE 0
	END AS [IsLatin]
   ,CASE
		WHEN (([ValueInt] BETWEEN 1040 AND 1071) OR
			([ValueInt] BETWEEN 1072 AND 1103)) THEN 1
		ELSE 0
	END AS [IsRus]
   ,CASE
		WHEN (([ValueInt] BETWEEN 33 AND 47) OR
			([ValueInt] BETWEEN 58 AND 64)) THEN 1
		ELSE 0
	END AS [IsExtra]
INTO [test].[SelectCharactersCode]
FROM [test].[TblCharactersCode]
WHERE ([ValueInt] BETWEEN 48 AND 57)
OR ([ValueInt] BETWEEN 65 AND 90)
OR ([ValueInt] BETWEEN 97 AND 122)
OR ([ValueInt] BETWEEN 1040 AND 1071)
OR ([ValueInt] BETWEEN 1072 AND 1103)
OR ([ValueInt] BETWEEN 33 AND 47)
OR ([ValueInt] BETWEEN 58 AND 64);

SELECT [ValueInt]
      ,[ValueNChar]
      ,[ValueChar]
      ,[IsNumeral]
      ,[IsUpperCase]
      ,[IsLatin]
      ,[IsRus]
      ,[IsExtra]
  FROM [test].[SelectCharactersCode];

• ValueInt – o valor numérico do caractere
• ValueNChar – o caractere do tipo NCHAR
• ValueChar – o caractere do tipo CHAR
• IsNumeral – o critério de um caractere ser um dígito
• IsUpperCase – o critério de um caractere em maiúscula
• IsLatim – o critério de um caractere ser um caractere latino;
• IsRus – o critério de um caractere ser um caractere russo
• ÉExtra – o critério de um caractere ser um caractere adicional

SELECT 'SELECT '+CAST([ValueInt] AS NVARCHAR(255))+' AS [ValueInt], '+''''+[ValueNChar]+''''+' AS [ValueNChar], '+''''+[ValueChar]+''''+' AS [ValueChar] UNION ALL'
  FROM [test].[SelectCharactersCode]
  WHERE [IsUpperCase]=0
    AND [IsLatin]=1;

SELECT 'SELECT '+CAST([ValueInt] AS NVARCHAR(255))+' AS [ValueInt], '+''''+[ValueNChar]+''''+' AS [ValueNChar], '+COALESCE(''''+[ValueChar]+'''', 'NULL')+' AS [ValueChar] UNION ALL'
  FROM [test].[SelectCharactersCode]
  WHERE [IsUpperCase]=0
    AND [IsRus]=1;

SELECT 'SELECT '+CAST([ValueInt] AS NVARCHAR(255))+' AS [ValueInt], '+''''+[ValueNChar]+''''+' AS [ValueNChar], '+''''+[ValueChar]+''''+' AS [ValueChar] UNION ALL'
  FROM [test].[SelectCharactersCode]
  WHERE [IsNumeral]=1;

• Os caracteres latinos em letras minúsculas.
• Os caracteres russos em letras minúsculas.
• Os dígitos.

SELECT
	'SELECT ' + CAST([ValueInt] AS NVARCHAR(255)) + ' AS [ValueInt], '
	+ '''' + [ValueNChar] + '''' + ' AS [ValueNChar], '
	+ COALESCE('''' + [ValueChar] + '''', ‘NULL’) + ' AS [ValueChar], '
	+ CAST([IsNumeral] AS NCHAR(1)) + ' AS [IsNumeral], ' +
	+CAST([IsUpperCase] AS NCHAR(1)) + ' AS [IsUpperCase], ' +
	+CAST([IsLatin] AS NCHAR(1)) + ' AS [IsLatin], ' +
	+CAST([IsRus] AS NCHAR(1)) + ' AS [IsRus], ' +
	+CAST([IsExtra] AS NCHAR(1)) + ' AS [IsExtra]' +
	+' UNION ALL'
FROM [test].[SelectCharactersCode];

SELECT 39 AS [ValueInt], '''' AS [ValueNChar], '''' AS [ValueChar], 0 AS [IsNumeral], 0 AS [IsUpperCase], 0 AS [IsLatin], 0 AS [IsRus], 1 AS [IsExtra] UNION ALL

• Número – o número da linha no conjunto de dados retornado;
• ValueInt – o valor numérico do caractere;
• ValueNChar – o caractere do tipo NCHAR;
• ValueChar – o caractere do tipo CHAR;
• IsNumeral – o critério do caractere ser um dígito;
• IsUpperCase – o critério que define que o caractere está em maiúsculas;
• IsLatim – o critério que define que o caractere é um caractere latino;
• IsRus – o critério que define que o caractere é um caractere russo;
• ÉExtra – o critério que define que o personagem é um extra.

1. @IsNumeral – se deve retornar os números;
2. @IsUpperCase :
   • 0 – deve retornar apenas as letras minúsculas;
   • 1 – deve retornar apenas as letras maiúsculas;
   • NULL – deve retornar letras em todos os casos.
3. @IsLatin – deve retornar os caracteres latinos
4. @IsRus – deve retornar os caracteres russos
5. @IsExtra – deve retornar caracteres adicionais.

declare
@IsNumeral BIT=1
   ,@IsUpperCase BIT=0
   ,@IsLatin BIT=1
   ,@IsRus BIT=0
   ,@IsExtra BIT=0;

SELECT *
FROM [test].[GetSelectCharacters](@IsNumeral, @IsUpperCase, @IsLatin, @IsRus, @IsExtra);

UPDATE [dbo].[Employee]
SET [FirstName] = [test].[GetRandString](LEN([FirstName])),
        [LastName] = [test].[GetRandString](LEN([LastName]));

1. @str – a própria linha de caracteres;
2. @IsGroupÚnico – define se precisa agrupar caracteres únicos na linha.

1. ID – o número do pedido da linha na tabela de caracteres resultante;
2. Personagem – a apresentação do personagem em NCHAR(1)
3. Contagem – o número de repetições do caractere na linha (é sempre 1 se o parâmetro @IsGroupUnique=0)

• Transformação da linha na lista de caracteres não exclusivos:

SELECT *
FROM [test].[GetListCharacters]('123456888  789 0000', 0);

• A transformação da linha na lista de caracteres únicos

SELECT *
FROM [test].[GetListCharacters]('123456888  789 0000', 1);

SELECT [test].[GetRandString2](12, '123456789!!!!!!!!0!!!', DEFAULT);

SELECT [test].[GetRandString2](12, '123456789!!!!!!!!0!!!', 1);

Implementação do script geral para sanitização de dados e alterações de dados secretos

1. Alterar a data e a hora;
2. Alterar o valor numérico;
3. Alterando a sequência de bytes;
4. Alterando os dados dos personagens.

• Critério 2 :a seletividade dos valores não mudará significativamente nos dados alterados. Você não pode usar NULL para o campo da tabela. Em vez disso, você deve garantir que os mesmos valores de dados reais permaneçam os mesmos nos dados alterados. Por exemplo, se os dados reais contiverem o valor 103785 12 vezes no campo de uma tabela sujeito a alterações, os dados modificados deverão incluir um valor diferente (alterado) encontrado 12 vezes no mesmo campo da tabela.
• Critério 3 :o comprimento e o tamanho dos valores não devem ser alterados significativamente nos dados alterados. Por exemplo, você substitui cada caractere/byte por um caractere/byte pseudoaleatório.

• Nome – nome, linha NVARCHAR(255)
• Sobrenome – sobrenome, linha NVARCHAR(255)
• Data de nascimento – data de nascimento, DATA
• DocNumber – o número do bilhete de identidade com dois dígitos no início para a série do passaporte, e os próximos sete dígitos são o número do documento. Entre eles, temos um hífen como a linha NCHAR(10).
• DocDate – a data de emissão do bilhete de identidade, DATA
• Solicitação de contagem – o número de solicitações para aquele candidato durante a busca por currículo, o inteiro INT
• Valor do pagamento – a taxa de serviço de promoção de currículo recebida, o número decimal (18,2)
• RemoteAccessCertificate – o certificado de acesso remoto, sequência de bytes VARBINARY
• Endereço – o endereço residencial ou o endereço de registro, linha NVARCHAR(MAX)

1. Extraia todos os valores exclusivos de cada campo e mantenha os resultados em tabelas temporárias ou variáveis ​​de tabulação;
2. Gere um valor pseudoaleatório para cada valor único. Este valor pseudoaleatório não deve diferir significativamente em comprimento e tamanho do valor original. Salve o resultado no mesmo local onde salvamos os resultados do ponto 1. Cada valor recém-gerado deve ter um valor atual exclusivo correlacionado.
3. Substitua todos os valores na tabela pelos novos valores do ponto 2.

Full database backup creation

Restoring the database

USE [master]
RESTORE DATABASE [JobEmplDB_Test]
FROM  DISK = N'E:\Backup\JobEmplDB_Test.bak' WITH  FILE = 1,
MOVE N'JobEmplDB' TO N'E:\DBData\JobEmplDB.mdf',
MOVE N'JobEmplDB_log' TO N'F:\DBLog\JobEmplDB_log.ldf',
NOUNLOAD,
REPLACE,
STATS = 5;
GO

Synthetic data generation

1. Make a new empty database or clear a previously created database by purging all data.
2. Create or renew a scheme in the newly created database – the same as that of the production databases.
3. Copy of renew guidelines and regulations from the production database and transfer them into the new database.
4. Generate synthetic data into the necessary tables of the new database.
5. Make a backup of a new database.
6. Deliver and restore the new backup in the necessary environment.

Clean up the database with the data purge

1. Keep the definitions of all external keys.
2. Disable all limitations and triggers.
3. Delete all external keys.
4. Clear the tables using the TRUNCATE construction.
5. Restore all the external keys deleted in point 3.
6. Enable all the limitations disabled in point 2.

EXEC sp_MSforeachtable "ALTER TABLE ? NOCHECK CONSTRAINT ALL";
EXEC sp_MSforeachtable "ALTER TABLE ? DISABLE TRIGGER ALL";

EXEC sp_MSforeachtable "ALTER TABLE ? WITH CHECK CHECK CONSTRAINT ALL";
EXEC sp_MSforeachtable "ALTER TABLE ? ENABLE TRIGGER ALL";

DECLARE @tsql NVARCHAR(4000);

DECLARE FK_Create CURSOR LOCAL FOR SELECT
	[Script]
FROM @tbl_create_FK;

OPEN FK_Create;

FETCH NEXT FROM FK_Create INTO @tsql;

WHILE (@@fetch_status = 0)
BEGIN
	EXEC sp_executesql @tsql = @tsql;
	FETCH NEXT FROM FK_Create INTO @tsql;
END

CLOSE FK_Create;
DEALLOCATE FK_Create;

EXEC sp_executesql @tsql = @tsql;

WHILE (@@fetch_status = 0)
BEGIN
	EXEC sp_executesql @tsql = @tsql;
...

We write:

WHILE (@@fetch_status = 0)
BEGIN
	PRINT @tsql;

	EXEC sp_executesql @tsql = @tsql;
...

WHILE (@@fetch_status = 0)
BEGIN
	PRINT @tsql;
...

Copy guidelines and references from the production database to the new one

• [dbo].[Company] – companies
• [dbo].[Skill] – skills
• [dbo].[Position] – positions (occupation)
• [dbo].[Project] – projects
• [dbo].[ProjectSkill] – project and skills’ correlations

SELECT 'SELECT '+CAST([SkillID] AS NVARCHAR(255))+' AS [SkillID], '+''''+[SkillName]+''''+' AS [SkillName] UNION ALL'
  FROM [dbo].[Skill]
ORDER BY [SkillID];

Generate synthetic data

• [dbo].[Employee] – candidates
• [dbo].[JobHistory] – a candidate’s work history (experience), the resume itself

• @count – the number of lines to be generated
• @LengthFirstName – the name’s length
• @LengthLastName – the last name’s length
• @StartBirthDate – the lower limit of the date for the date of birth
• @FinishBirthDate – the upper limit of the date for the date of birth
• @StartCountRequest – the lower limit for the field [CountRequest]
• @FinishCountRequest – the upper limit for the field [CountRequest]
• @StartPaymentAmount – the lower limit for the field [PaymentAmount]
• @FinishPaymentAmount – the upper limit for the field [PaymentAmount]
• @LengthRemoteAccessCertificate – the byte sequence’s length for the certificate
• @LengthAddress – the length for the field [Address]
• @count_get_unique_DocNumber – the number of attempts to generate the unique document’s number [DocNumber]

Make a full database backup

Restore the database

USE [master]
RESTORE DATABASE [JobEmplDB_Test]
FROM  DISK = N'E:\Backup\JobEmplDB_Test.bak' WITH  FILE = 1,
MOVE N'JobEmplDB' TO N'E:\DBData\JobEmplDB.mdf',
MOVE N'JobEmplDB_log' TO N'F:\DBLog\JobEmplDB_log.ldf',
NOUNLOAD,
REPLACE,
STATS = 5;
GO

Data generation tools (for external resources)

Full list of tools

An overview of the employees’ generation by the Data Generator for SQL Server

import random
from System import DateTime
# receive the value from the Birthday field 
bd = DateTime.Parse(str(BirthDate))
# receive the current date 
current = DateTime.Now
# calculate the age in years 
timeSpan = current - bd
age = (int)(timeSpan.TotalDays / 365);
# passport’s date of issue 
releaseDate = 0
if age >= 45:
releaseDate = bd.AddDays(45 * 365 + random.randint(1, 30)) 
# randomize the issue during the month
elif age >= 20:
  releaseDate  = bd.AddDays(20 * 365 + random.randint(1, 30))
 # randomize the issue during the month
else:
  releaseDate  = bd.AddDays(14 * 365 + random.randint(1, 30)) 
# randomize the issue during the month
releaseDate

(0[1-6]|1[0-6]|2[0-7]|3[0-9]|4[0-68]|5[0-9]|6[0-8]|7[1-7]|8[0-8]|9[0-589])-(\d{7})

(\d{2})-(\d{7})

E.g., we limit the BirthDate with the 40-50 years’ interval. Then, we restrict the DocDate with 20-40 years’ interval. The StartDate is, respectively, limited with 25-35 years’ interval, and we set up the FinishDate with the offset from StartDate.

We set up the date of birth:

Set up the date of the document’s issue

Then, the StartDate will match the age from 35 to 45:

The simple offset generator sets FinishDate:

The result is, a person has worked for three months till the current date.

Also, to configure the date of the working end, we can use a small Python script:

import random
from System import DateTime
  
bd = DateTime.Parse(str(StartDate))

releaseDate = bd.AddDays(random.randint(1, 30))
 
releaseDate

This way, we receive the below configuration for the dates of work end [FinishDate] data generation:

Similarly, we fill in the rest of fields. We set the generator type – string, and set the range for generated lines’ lengths:

Also, you can save the data generation project as dgen-file consisting of:

1. Connection;
2. The database name;
3. All settings for bases, tables, and columns;
4. All settings of generators by columns, etc.

We can save all these settings:it is enough to keep the project’s file and work with the database further, using that file:

There is also the possibility to both save the new generators from scratch and save the custom settings in a new generator:

Thus, we’ve configured the synthetic data generation settings used for the jobs’ history table [dbo].[JobHistory].

Conclusion

We have examined two approaches to filling the data in the database for testing and development:

1. Copying and changing the data from the production database
2. Synthetic data generation

We’ve defied the objects for each approach and each script implementation. These objects are here. We’ve also provided scripts for changing the data from the production database and synthetic data generation. An example is the database of recruitment services. In the end, we’ve examined popular data generation tools and explored one of these tools in detail.

References

SQL SERVER – How to Disable and Enable All Constraint for Table and Database
Microsoft TechNet Wiki
Top 10 Best Test Data Generation Tools In 2020
SQL Server Documentation