Comment j’ai indexé 20 000 concours Web3 en quelques mois
(et ce que ça m’a appris sur la scalabilité pour les startups)
Quand j’ai démarré ce projet, j’étais seul.
Objectif : centraliser tous les raffles et quests Web3 sur une seule plateforme.
Le défi ?
→ Des centaines de sources différentes,
→ Des données qui changent chaque jour,
→ Et un budget limité.
J’ai donc construit une architecture simple, mais scalable :
- Scrapers automatisés hébergés sur le cloud,
- File d’attente et micro-services pour répartir la charge,
- Base optimisée pour 20 000+ entrées indexées et mises à jour en continu.
Résultat :
1. Des milliers de concours collectés en temps réel,
2. Une infra qui tient la charge,
3. Et un coût serveur < 50€/mois.
La scalabilité n’est pas une question de moyens.
C’est une question de structure et de discipline technique.
Et vous, quelle est votre plus grande contrainte quand vous pensez “scalable” ?
Freelance IT, je t'apprends à prospecter, choisir tes clients, ton rythme et les projets qui te passionnent. Oublie les plateformes et les ESN, deviens un freelance libre et efficace.
4 days ago
Moins de 50€/mois pour 20k entrées, c'est là qu'on voit les bons choix d'archi. La scalabilité coûte cher que quand elle est mal pensée.