DVC

DVC, pour Data Version Control, est un outil gratuit et open source destiné au versionnement des données, modèles et pipelines de machine learning.

Il complète Git plutôt qu’il ne le remplace. Les fichiers volumineux restent dans un stockage distant comme Amazon S3, Google Cloud Storage, Azure Blob Storage, SSH, un disque réseau ou un stockage local, tandis que Git conserve de petits fichiers de métadonnées décrivant leurs versions.

Cette approche permet de lier précisément une version du code à une version des données, des paramètres, des modèles et des résultats. Une équipe peut ainsi revenir à un état antérieur, partager un jeu de données ou reproduire une expérience sans stocker les fichiers lourds directement dans le dépôt Git.

DVC permet également de décrire des pipelines reproductibles dans des fichiers YAML. Chaque étape peut déclarer ses dépendances, commandes, sorties, paramètres et métriques. DVC détecte les changements et réexécute uniquement les étapes nécessaires.

Les fonctions d’expérimentation permettent de comparer des paramètres, métriques et résultats tout en conservant un workflow compatible avec Git. DVC peut aussi versionner des modèles et organiser leur cycle de vie dans un registre basé sur les dépôts et les artefacts.

L’outil s’adresse aux data scientists, ingénieurs ML et petites équipes qui souhaitent appliquer des pratiques d’ingénierie logicielle à leurs projets data sans adopter une plateforme centralisée lourde.

DVC est désormais rattaché à l’écosystème lakeFS, mais il continue d’être présenté officiellement comme un outil indépendant et open source. Pour les infrastructures de données à très grande échelle, lakeFS est proposé comme solution complémentaire orientée entreprise.

DVC lui-même est gratuit. Les coûts éventuels proviennent du stockage cloud, des ressources de calcul ou des services tiers utilisés avec le projet, et non d’une licence obligatoire DVC.