Esta questão é mais sobre como ajustar sua fórmula matemática do que qualquer outra coisa.

Parece que o que você está pedindo é popularidade, em vez de classificação. Uma maneira simples de fazer isso pode ser multiplicar a classificação média pelo número de votos. E quanto a isso (por favor, desculpe-me se minha sintaxe estiver desativada, estou longe de um servidor SQL no momento):

select From_ID, AVG(Rating) * COUNT(Rating) AS Rating FROM Ratings Group BY Fruit_IDORDER by Rating DESC

Tenha em mente que esta fórmula classificaria 1000 votos de 1 muito mais alto do que 1 voto de 5.