Usando variáveis e condições, você pode redefinir o contador com base em uma condição (libraryId mudou). Obrigatório ordenar pela coluna libraryId.
SELECT books.*,
if( @libId = libraryId,
@var_record := @var_record + 1,
if(@var_record := 1 and @libId := libraryId, @var_record, @var_record)
) AS Ordinal
FROM books
JOIN (SELECT @var_record := 0, @libId := 0) tmp
ORDER BY libraryId;
A segunda instrução if é usada para agrupar duas atribuições e retornar @var_record.
if(@var_record := 1 and @libId := libraryId, @var_record, @var_record)