Sur murl, il existe une page qui liste les derniers liens créés et le « top 10″ (de clics) de la journée. Les requêtes qui chargent les liens sur cette pages ont donc été modifiées pour intégrer la blacklist.

Voici une de ces requêtes :

SELECT lu.id, SUM( ls.clics ) AS cliclic
    FROM lil_stats ls
    INNER JOIN lil_urls lu
        ON ls.id = lu.id
    LEFT JOIN lil_domain_blacklist ldb1
        ON (ldb1.domain = lu.domain OR ldb1.domain = lu.subdomain)
        AND ldb1.b_display =1
WHERE ls.date="2010-10-31"
    AND ldb1.id IS NULL
GROUP BY lu.id
ORDER BY cliclic DESC
LIMIT 0 , 10

Cette requête fonctionnait très bien quand la table lil_domain_blacklist était petite (au début, elle faisait moins de 100 lignes…)

Puis, j’ai importé un énorme fichier de domaines reconnus comme spammeurs. Ce fichier comportait environ 150000 entrées, et là, ma requête ne passait plus et finissait par bloquer le serveur.

En faisant un explain de cette requête, on remarque que la table lil_domain_blacklist est analysée en entier, et qu’elle ne fait appel à aucun index…

J’ai donc décidé de changer les choses (en même temps, je n’avais pas trop le choix…), en séparant la jointure sur la table incriminée en deux jointures.

Voici la nouvelle requête :

SELECT lu.id, SUM( ls.clics ) AS cliclic
    FROM lil_stats ls
    INNER JOIN lil_urls lu
        ON ls.id = lu.id
    LEFT JOIN lil_domain_blacklist ldb1
        ON ldb1.domain = lu.domain
        AND ldb1.b_display =1
    LEFT JOIN lil_domain_blacklist ldb2
        ON ldb2.domain = lu.subdomain
        AND ldb2.b_display =1
WHERE ls.date="2010-10-31"
    AND ldb1.id IS NULL
    AND ldb2.id IS NULL
GROUP BY lu.id
ORDER BY cliclic DESC
LIMIT 0 , 10

Cette nouvelle version de la requête s’exécute en environ 0.025 secondes, ce qui est tout à fait correct.

En observant un explain de celle-ci, on constate que les 2 jointures sur la table lil_domain_blacklist utilisent correctement les index et retournent un nombre limité de lignes.

Ainsi, je sais désormais qu’il vaut mieux, parfois, faire 2 jointures sur une même table qu’une seule jointure sur cette même table.

Et toi, ami lecteur, as-tu déjà fait face à ce cas de figure ?

Ainsi, dans le but de maintenir une bonne qualité de service (et accessoirement, ne pas me prendre une amende),  j’ai décidé d’ajouter un petit système de blacklist basé sur les sous-domaines et domaines.

Le blacklistage est à 3 vitesses:

1. Un domaine (ou sous-domaine) peut créer des liens courts, ils sont fonctionnels, mais n’apparaissent pas de manière publique, c’est à dire sur http://murl.fr/-stats et http://murl.fr/-domaine/
2. Un domaine ne peut pas créer de liens courts. Les liens existants sont encore utilisables, mais n’apparaissent pas de manière publique.
3. Si un domaine est blacklisté et qu’il génère de nombreux hits sur ces liens existants, je bloque les liens dans la base de données.

Actuellement, je blackliste les domaines à la main car les spams sont encore suffisamment rares, mais j’imagine que progressivement, je mettrai un système automatisé en place.