Você nunca atribuiu sua string de conexão ao objeto de conexão, assim como o erro está dizendo.
Insira uma linha configurando a string de conexão antes de con.open.
Con.connectionstring = connection
Con.Open()
Ou melhor ainda, altere sua instrução using da seguinte maneira
Dim Connection As String = "Data Source=.\SQLEXPRESS;AttachDbFilename=G:\VB Project\Library Catalog System\Library Catalog System\library.mdf;Integrated
Security=True;Connect Timeout=30;User Instance=True"
Using Con As New SqlConnection(connection)
