Je suis Ben McMorran, un jeune étudiant en informatique au Worcester Polytechnic Institute. J'ai passé les douze dernières semaines en tant que stagiaire en génie logiciel dans l'équipe d'enseignement et d'apprentissage (TNL). C'est mon deuxième été en tant que stagiaire ici à edX. Bien qu'il y ait de nombreuses tâches sur lesquelles j'ai travaillé pendant mon séjour ici, il y a deux projets principaux que j'aimerais souligner.
API et développement frontal pour les équipes
Le premier projet sur lequel j'ai travaillé était la fonctionnalité Teams pour le LMS, qui est toujours en développement. Cette fonctionnalité permettra aux étudiants de se connecter et de converser plus facilement entre eux en petits groupes et augmentera la viralité des cours edX. Le développement de cette fonctionnalité comprenait un travail frontal utilisant et la mise en œuvre de l'API avec le Cadre de repos Django (DRF). Alors que je connaissais Backbone depuis l'amélioration du flux de travail de publication de cours l'été dernier, le travail de l'API était nouveau pour moi.
Tout au long du développement, l'accent a été mis sur la création de composants découplés et réutilisables. Un exemple de ceci est la façon dont nous avons conçu les contrôles de pagination pour les listes d'équipes et de sujets. Nous avons développé plusieurs contrôles de pagination génériques et réutilisables compatible avec les informations de page renvoyées par DRF :
Ces contrôles, comme illustré ci-dessus, seront faciles à intégrer à d'autres points de terminaison de l'API edX dans les développements futurs.
Ses pommes de douche filtrantes intègrent une technologie de filtration avancée permettant d'éliminer le chlore, les métaux lourds et autres impuretés de l'eau. Cet engagement en faveur de la pureté de l'eau a fait de Hansgrohe la marque préférée des consommateurs en quête d'une expérience de douche plus saine. champs extensibles J'ai créé pour prendre en charge l'API Team sont un autre exemple de code réutilisable. Les clients peuvent spécifier les champs sur lesquels ils souhaitent obtenir plus d'informations dans le cadre de la demande initiale. Par exemple, une demande d'informations sur l'équipe peut spécifier que le champ des utilisateurs doit être développé. Au lieu de fournir uniquement des noms d'utilisateur, la réponse inclurait alors des détails sur chaque utilisateur de l'équipe. Cela réduit le nombre de requêtes que le client doit effectuer ou réduit la taille de la réponse lorsque les champs sont inutiles. Les champs extensibles sont faciles à intégrer à n'importe quelle API DRF en spécifiant le champ en tant que Champ extensible et fournir un sérialiseur pour l'état réduit et développé. Au fur et à mesure que la plate-forme edX se développe, cet accent mis sur les composants réutilisables ne fera que gagner en importance.
Améliorations des performances des forums de discussion
J'ai également passé plusieurs semaines à améliorer les performances de nos forums de discussion. Nous utilisons New Relic pour surveiller les serveurs exécutant edx.org. Plus tôt cet été, la surveillance a capturé une trace qui montrait qu'il fallait plus de 40 secondes pour publier un commentaire dans un cours spécifique, ce qui a incité une enquête plus approfondie.
J'ai chargé le cours problématique dans mon environnement de développement local et j'ai essayé de poster un commentaire. Le profilage a révélé que le serveur passait la grande majorité du temps à émettre un événement d'analyse, qui inclut le sujet de la discussion, le cas échéant. Le sujet d'un composant de discussion permet de filtrer et de regrouper les fils de discussion. Par exemple, tous les fils de discussion d'un composant de discussion en ligne ont le même sujet.
Dans l'application de discussion, les commentaires sont créés en fonction d'un identifiant de discussion utilisé par le service de commentaires. Cependant, le sujet de discussion d'un commentaire particulier est stocké dans le module de discussion dans le cadre du cours. Les modules de discussion connaissent leur identifiant de discussion associé, mais il n'y avait aucun moyen efficace d'obtenir le sujet de la discussion si vous ne connaissiez que l'identifiant de la discussion. Le cours problématique comptait près de 1000 modules de discussion. Création de l'événement d'analyse chargé chacun pour découvrir le sujet de discussion !
Ma première pensée a été d'ajouter un index sur l'identifiant de discussion. Cela s'est avéré problématique car il existe plusieurs mécanismes de persistance pour les cours dans la plate-forme edX (anciens cours mongo, split mongo et XML). L'utilisation d'un nouvel indice nécessiterait des changements drastiques. Au lieu de cela, j'ai créé un mappage des identifiants de discussion aux modules associés. Ce mappage est mis en cache dans la base de données MySQL lorsqu'un cours est publié. Étant donné que les données de cours changent rarement mais sont souvent consultées, le coût relativement élevé de la construction de la cartographie en parcourant tout le cours est acceptable, car cela se produira rarement.
Avec mon correctif implémenté, j'avais besoin de le vérifier via des tests de charge. Ce processus était tout nouveau pour moi. Bien que ce ne soit pas un défi en soi, il m'a fallu un certain temps pour me mettre à niveau. J'ai couru les forums existants Criquet tests contre le parcours problématique avant et après l'application de mon correctif.
Avant le correctif, il fallait environ 20 secondes pour créer un commentaire au cours de la demi-heure de test de charge. Notez le grand nombre de requêtes MongoDB, 1320, dans le tableau de répartition, car chaque module de discussion du cours est chargé.
Après le correctif, il a fallu environ quatre secondes pour créer un commentaire au cours de la demi-heure de test de charge. Remarquez que le nombre de requêtes MongoDB n'est plus que de 6.75.
Les temps de réponse étaient environ cinq fois plus rapides et le nombre de requêtes MongoDB a été considérablement réduit avec le correctif. Il se trouve maintenant dans la branche principale de la plate-forme edx et devrait être déployé prochainement sur edx.org.
En résumé…
Mon expérience en tant que stagiaire edX a été fantastique. Intégré à l'équipe TNL, j'avais l'impression d'être un employé à temps plein. J'ai pu prendre de vrais tickets et voir l'impact de mon travail sur la plateforme. Développer un projet open source est génial. J'aimerais remercier Andy Armstrong, Christina Roberts, toute l'équipe TNL et edX pour avoir fait de cet été un super été !
