Eu recomendaria apenas uma consulta simples para buscar todas as linhas, classificadas por id de categoria. Emita a categoria somente se seu valor for alterado em relação à linha anterior.
<?php
$stmt = $pdo-> query("SELECT * FROM `myTable` ORDER BY categoryID");
$current_cat = null;
while ($row = $stmt->fetch()) {
if ($row["categoryID"] != $current_cat) {
$current_cat = $row["categoryID"];
echo "Category #{$current_cat}\n";
}
echo $row["productName"] . "\n";
}
?>