Gold standard vs. silver standard: the case of dependency parsing for Italian

Résumé En It

Collecting and manually annotating gold standards in NLP has become so expensive that in the last years the question of whether we can satisfactorily replace them with automatically annotated data (silver standards) is arising more and more interest. We focus on the case of dependency parsing for Italian and we investigate whether such strategy is convenient and to what extent. Our experiments, conducted on very large sizes of silver data, show that quantity does not win over quality.

Raccogliere e annotare manualmente dati linguistici gold standard sta diventando oneroso al punto che, negli ultimi anni, la possibilità di sostituirli con dati annotati automaticamente (silver) sta riscuotendo sempre più interesse. In questo articolo indaghiamo la convenienza di tale strategia nel caso dei dependency parser per l’italiano. Gli esperimenti, condotti su dati silver di grandissime dimensioni, dimostrano che la quantità non vince sulla qualità.