Otimize a chamada de dados em JDBC para JTable

IMHO, a raiz do mau desempenho é que você consulta desnecessariamente o banco de dados várias vezes para obter os dados (colunas, linhas, número de linhas, número de colunas, etc) que você precisa:

Para obter o número das colunas:

ResultSet rs = stmt.executeQuery("SELECT * FROM " + tableName);

Para obter o número das linhas:

ResultSet rs = stmt.executeQuery("SELECT COUNT(*) FROM " + tableName);

Para obter linhas (este é o pior porque está dentro de um loop):

data = stmt.executeQuery("SELECT " + columnName + " FROM " + tableName + " LIMIT " + j + ", " + 1);

Como resolver

Basta consultar o banco de dados uma vez. Um único ResultSet e seu ResultSetMetaData associado deve ser suficiente para atingir seu objetivo. Além disso, e como já sugerido, use um SwingWorker para fazer chamadas de banco de dados em um thread separado. Por exemplo:

final JTable table = new JTable();

SwingWorker<Void, TableModel> worker = new SwingWorker<Void, TableModel> () {

    @Override
    protected Void doInBackground() throws Exception {

        ResultSet resultSet = stmt.executeQuery("SELECT * FROM " + tableName);
        ResultSetMetaData metaData = resultSet.getMetaData();

        int columnCount = metaData.getColumnCount(); // columns number
        String[] columnNames = new String[columnCount];
        for (int i = 1; i <= columnCount; i++) {
            columnNames[i] = metaData.getColumnName(i); // fill columns names
        }

        resultSet.last();
        int rowCount = resultSet.getRow(); // get rows number
        resultSet.beforeFirst();

        Object[][] data = new Object[rowCount][columnCount];
        int currentRow = 0;
        while (resultSet.next()) {
            for (int currentColumn = 1; currentColumn <= columnCount; currentColumn++) {
                data[currentRow][currentColumn - 1] = resultSet.getObject(currentColumn); // fill data set
             }
             currentRow++;
        }

        TableModel model = new DefaultTableModel(data, columnNames);
        publish(model);

        return null;
    }

    @Override
    protected void process(List<TableModel> chunks) {
        TableModel model = chunks.get(0);
        table.setModel(model);
    }
}

worker.execute();