Comment concevoir un crawler web massivement évolutif capable de traiter 10 milliards de pages web en seulement cinq jours, tout en restant poli, tolérant aux pannes et efficace ? Dans cette vidéo, nous décomposons un problème de conception système du monde réel axé sur la construction d'un crawler web spécifiquement pour l'entraînement des Grands Modèles de Langage (LLMs).
Nous parcourons une architecture de niveau production utilisant un pipeline multi-étapes alimenté par des crawlers distribués, des files d'attente SQS et un stockage S3 pour gérer une échelle et un débit extrêmes. Vous apprendrez à gérer la planification des crawls, la dé-duplication et la récupération après échec tout en respectant les normes web.
Les points clés incluent :
Application de la conformité au fichier robots.txt et politesse des crawls
Limitation de débit avec jitter pour éviter de surcharger les hôtes
Gestion des goulets d'étranglement DNS à grande échelle
Conception de pipelines de crawl tolérants aux pannes
Optimisation du stockage et du flux de données pour les ensembles de données d'entraînement LLM
Nous comparons également les attentes des entretiens de conception système entre les ingénieurs de niveau intermédiaire, senior et staff, vous aidant à comprendre la profondeur architecturale et l'analyse des compromis que les intervieweurs attendent à chaque niveau.
C'est un incontournable pour les ingénieurs préparant des entretiens sur l'infrastructure LLM, le backend ou la conception de systèmes à grande échelle.
👍 Aimez, 🔔 abonnez-vous et 📤 partagez pour plus de décompositions d'entretiens de conception système !
#conceptiondesystème #entretienconceptiondesystème #crawlerweb #crawlerdistribué #infrastructurellm #grandsmodèlesdelangage #infrastructureia #ingénieriebackend #ingénieriesoftware #systèmesdistribués
#systèmesévolutifs #bigdata #pipelinesdedonnées #toléranceauxpannes #hautdébit #faiblelatence #architecturecloud #aws #sqs #s3
#travailleursdistribués #pipelinecrawl #robotsdotxt #politessedecrawl #limitationdedébit #jitter #dns #gouletétranglementdns #collectededonnées #webscraping
#déduplicationdedonnées #filedecrawl #frontierurl #planificateur #architecturedestockage #stockagedeblob #architectureévenementielle #traitementdestream #traitementparlots #architecturedesystème
#architecturebackend #microservices #conceptioningénierie #entretienstech #entretienfaang #préparationentretien #ingénieurintermédiaire #ingénieursenior #ingénieurstaff #compromisdesign
#systèmesfiables #ingénieriedeproduction #stratégiesd'évolutivité #entraînementllm #pipelinesia #infrastructureml #carrièresdingénierie #sciencedescomputers #systèmesréels