O
ORDER BY RAND()
A solução que a maioria das pessoas recomenda não é dimensionada para tabelas grandes, como você já sabe. SET @r := (SELECT FLOOR(RAND() * (SELECT COUNT(*) FROM mytable)));
SET @sql := CONCAT('SELECT * FROM mytable LIMIT 1 OFFSET ', @r);
PREPARE stmt1 FROM @sql;
EXECUTE stmt1;
Eu abordo esta e outras soluções em meu livro, SQL Antipatterns:Avoiding the Pitfalls of Database Programming .
Se você quiser fazer isso com PHP, você pode fazer algo assim (não testado):
<?php
$mysqli->begin_transaction();
$result = $mysqli->query("SELECT COUNT(*) FROM mytable")
$row = $result->fetch_row();
$count = $row[0];
$offset = mt_rand(0, $count);
$result = $mysqli->query("SELECT * FROM mytable LIMIT 1 OFFSET $offset");
...
$mysqli->commit();