WikiFactDiff est un jeu de données conçu pour la mise à jour atomique des connaissances factuelles dans les modèles de langue, et ce, dans le but de les aligner avec les connaissances actuelles. Il décrit l’évolution des connaissances factuelles entre deux dates, nommées T_old et T_new, sous forme de triplets sémantiques. Pour permettre la possibilité d’évaluer des algorithmes de connaissances (tels que ROME, MEND, MEMIT, etc.), ces triplets sont verbalisés et des faits voisins sont déterminés pour vérifier d’éventuels débordements.
Le projet GitHub, sous licence MIT, peut être utilisé à deux fins :
- Construire une instance de WikiFactDiff à partir de deux dates T_old et T_new
- Evaluer des algorithmes de mise à jour des connaissances sur une instance WikiFactDiff