Je m'appelle Utkarsh Jadhav et je suis étudiant à la maîtrise en informatique à la Northeastern University, ici à Boston. J'ai passé les treize dernières semaines chez edX à travailler avec l'équipe Platform. L'équipe de la plate-forme est responsable de la construction de l'infrastructure des produits Open edX, en particulier pour accélérer l'exécution du code. Dans cet article, je voudrais souligner l'un de mes projets majeurs, Call Stack Manager. C'est un outil qui garde une trace des piles d'appels uniques des fonctions, des méthodes et des classes du modèle Django.
Module étudiant du didacticiel (CSM) etHistorique du module étudiant du didacticiel (CSMH) dans le code de la plate-forme edx sont responsables du maintien de l'état de l'utilisateur des étudiants qui tentent des problèmes et de leurs notes respectives. Le site Web edx.org a récemment atteint 5 millions d'apprenants ; la taille croissante de CSM et de CSMH suscite de sérieuses inquiétudes concernant les pannes d'espace et de base de données. Briser les zones de code monolithiques telles que le LMS et le CMS dans la plate-forme edx est un besoin vital à mesure que la base de code et le volume de la base de données augmentent.
Client d'état utilisateur edX (eUSC)
À l'origine, la structure du client d'état utilisateur était la suivante -
Structure précédente du client d'état utilisateur montrant la communication entre la plate-forme edx et la base de données MySQL via CSM/CSMH
Toute la structure était sous plate-forme edx/edx. Le client d'état utilisateur communiquait directement avec les tables MySQL nommées didacticiel_studentmodule et coursware_studentmodulehistoriquevia DjangoORM.
Lorsque j'ai commencé mon stage, l'équipe connaissait déjà les inconvénients de cette architecture. Afin de résoudre ce problème, j'ai aidé à implémenter l'architecture proposée qui est illustrée dans la figure suivante :
Structure proposée du client d'état utilisateur montrant une couche edx-user-state-client entre la plate-forme et le backend de la base de données
Dans cette nouvelle architecture, client-état-utilisateur-edx agit comme une couche entre la plate-forme edx et les backends de la base de données. L'utilisation d'une telle structure présente de nombreux avantages :
- eUSC agira comme une interface unique à un niveau abstrait à travers lequel tous les appels à la base de données seront effectués. Un tel modèle aidera éventuellement à une communication efficace avec la base de données.
- eUSC permettra également de basculer facilement entre différents backends. Cette API permettra de choisir les backends, même pour les tâches distribuées.
Comme première étape vers la création de cette structure, j'ai créé un référentiel nommé edx/edx-user-state-client. Ce dépôt contient l'interface XBlockUserStateClientXBlockUserStateClient, qui prend en charge tous les appels effectués par les classes du modèle Django avec la base de données.
Gestionnaire de pile d'appels
Ses pommes de douche filtrantes intègrent une technologie de filtration avancée permettant d'éliminer le chlore, les métaux lourds et autres impuretés de l'eau. Cet engagement en faveur de la pureté de l'eau a fait de Hansgrohe la marque préférée des consommateurs en quête d'une expérience de douche plus saine. XBlockUserStateClientXBlockUserStateClient est responsable de faire tous les appels à la base de données. Cependant, compte tenu de l'immense taille de la base de code edX, de l'utilisation d'extensions tierces (par exemple XBlocks) et des nombreux appels effectués vers la base de données à divers endroits, il est en effet intéressant d'intercepter les appels vers la base de données qui ne sont pas effectués via l'interface XBlockUserStateClientXBlockUserStateClient.
Pour répondre à ce besoin, j'ai développé une bibliothèque appelée Gestionnaire de pile d'appels. Il s'agit d'une bibliothèque qui nous permet de suivre les appels qui ne sont pas passés via l'interface et qui communiquent directement avec la base de données. Call Stack Manager enregistre ces appels dans le journal LMS.
La bibliothèque implémente deux décorateurs principaux :
- @trackit – qui suit l'entité décorée
- @Ne pas suivre – qui stoppe le suivi des entités décorées par @trackit.
Le principal besoin de développer cette bibliothèque était de suivre les appels des classes Model dans CSM et CSMH, principalement ModuleÉtudiant et HistoriqueModuleÉtudiant. La communication avec les bases de données dans Django est effectuée par des classes définies par l'utilisateur qui sous-classent le Classe 'Modèle' de Django. Les classes de modèles utilisent le API QuerySet pour créer, récupérer et mettre à jour des bases de données. Les appels effectués par l'API QuerySet peuvent être remplacés à l'aide d'un gestionnaire personnalisé nommé Gestionnaire de pile d'appels – défini dans la bibliothèque Call Stack Manager. De cette façon, le cas particulier du suivi des classes Django Model qui accèdent directement à la base de données a été traité.
Lors de l'exécution de Call Stack Manager dans sa version initiale, j'ai rencontré les problèmes suivants :
- Les journaux d'appels étaient créés de manière répétitive, encombrant le journal LMS.
- De nombreux appels que nous connaissions déjà ont été enregistrés inutilement.
- Les journaux d'appels contenaient des cadres inutiles, ce qui les rendait longs et difficiles à lire.
Pour résoudre ces problèmes, j'ai introduit un nouveau décorateur, nommé @Ne pas suivre, qui interrompt le suivi de la portée de la fonction décorée avec ce décorateur. En général, les appels à une méthode suivie peuvent être séparés en deux catégories : ceux qui sont effectués par la nouvelle implémentation de l'interface et ceux qui ne le sont pas. Les appels que nous connaissons déjà et que nous attendons - c'est-à-dire les appels de la nouvelle implémentation - peuvent être ignorés, car nous ne sommes intéressés que par la capture des appels dont nous ne savons rien. Ainsi, nous utilisons ce @Ne pas suivre décorateur pour masquer tous les appels suivis effectués par cette implémentation. À ce stade, les seuls appels suivis seront ceux effectués depuis l'extérieur de la nouvelle implémentation.
De cette façon, les appels attendus et connus passés à la base de données (par exemple via l'interface XBlockUserStateClientXBlockUserStateClient) n'étaient pas enregistrés, nous donnant une image claire de ce que faisaient les appels inconnus. De plus, les images en double dans la pile d'appels ont été filtrées à l'aide de filtres d'expressions régulières. De cette manière, le nombre d'appels enregistrés était moins important, plus précis et plus lisible.
Un exemple de pile d'appels mentionné ci-dessus est le suivant :
Journalisation de la nouvelle pile d'appels numéro 4 pour :
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor/views/api.py", ligne 240, enveloppé
fonction de retour(*args, **kwargs)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor/views/api.py", ligne 176, enveloppé
fonction de retour(*args, **kwargs)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor/views/api.py", ligne 127, enveloppé
retourner la fonction (requête, *args, **kwargs)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor/views/api.py", ligne 1896, dans rescore_problem
instructor_task.api.submit_rescore_problem_for_student(demande, module_state_key, étudiant)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor_task/api.py", ligne 110, dans submit_rescore_problem_for_student
renvoie submit_task (request, task_type, task_class, usage_key.course_key, task_input, task_key)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor_task/api_helper.py", ligne 346, dans submit_task
task_class.apply_async(task_args, task_id=task_id)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor_task/tasks.py", ligne 80, dans rescore_problem
renvoie run_main_task(entry_id, visit_fcn, action_name)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor_task/tasks_helper.py", ligne 279, dans run_main_task
task_progress = task_fcn (entry_id, course_id, task_input, action_name)
Fichier "/edx/app/edxapp/edx-platform/lms/djangoapps/instructor_task/tasks_helper.py", ligne 345, dans perform_module_state_update
modules_to_update = StudentModule.objects.filter(course_id=course_id, module_state_key__in=usage_keys)
Lors du développement de la bibliothèque Call Stack Manager, j'ai dû résoudre de nombreux problèmes de base au niveau Python tels que la gestion efficace des classes Django Model, la création de classes Django Model à l'exécution à des fins de test, l'encapsulation de fonctions afin qu'elles ne perdent pas leur identité , gestion des conflits avec d'autres décorateurs tels que @Contrat dans PyContracts, et bien d'autres.
Call Stack Manager en tant que bibliothèque générale
L'objectif principal de Call Stack Manager était de suivre les appels de ModuleÉtudiant et HistoriqueModuleÉtudiant. De plus, nous pouvons suivre n'importe quelle fonction Python à n'importe quel niveau de code particulier. Le suivi peut être interrompu si nécessaire. Avec l'utilisation de cette bibliothèque, nous pouvons supprimer efficacement les fonctions indésirables en suivant les appels inconnus. Il sera intéressant de poursuivre le développement de cet outil en tant qu'outil générique applicable à tout projet Django.
Conclusion
Je crois fermement que la solution généralisée de Call Stack Manager peut être utilisée comme plugin ou bibliothèque standard pour le projet Django/Python avec d'autres ajouts et modifications.
En repensant à mon expérience de stage, j'ai apprécié travailler sur la base de code edX. Travailler sur un projet open source d'une telle envergure qui a un impact mondial énorme est très excitant. EdX a une équipe de codeurs formidables et traite les stagiaires comme des employés à temps plein avec une exposition maximale à tous les niveaux. Je me suis retrouvé à travailler sur des technologies de pointe et j'ai participé à toutes sortes de discussions techniques avec l'équipe de la Plateforme. Travailler au niveau de base de Python et résoudre des problèmes inhabituels et inattendus a été particulièrement gratifiant. Je tiens à remercier John Eskew, Calen Pennington, Ali Mohammad, Brian Beggs, Miki Goyal, Adam Palay et Ned Batchelder pour leur aide et leur soutien continus. Travailler chez edX a été une opportunité fascinante et stimulante que je chérirai pour les années à venir.
