Dansk ConvBERT

To forskellige størrelser ConvBERT modeller prætrænet på dansk tekstdata (omtrent 17,5 GB data). Til prætræning er der anvendt ELECTRA Pretraining metoden.

ConvBERT er en videreudvikling af BERT model, hvor man har modificeret self-attention komponenten til at modellere global og lokal kontekst mere effektivt. Dette betyder mindre træningsomkostninger og færre model parametre. Det har dog ikke givet markant udslag på kvaliteten af modellen, der præsterer ligeså godt eller bedre end BERT i forskellige NLP opgaver. I denne finder du en dansk udgave af ConvBERT modellen.

Hvis du er interesseret i at læse mere om ConvBERT kan du læse forskningsartiklen ConvBERT: Improving BERT with Span-based Dynamic Convolution

Data og Distribution(er)

Yderligere info

Felt Værdi
Destinationsside https://github.com/sarnikowski/danish_transformers
Metadata sidst opdateret december 1, 2021, 10:29 (UTC)
Metadata oprettet december 1, 2021, 09:03 (UTC)
Emne Sprog og retskrivning Uddannelse, kultur og sport
Kontaktemail p.sarnikowski@gmail.com
Kontaktnavn Philip Tamimi-Sarnikowski
Sprog dansk
URI https://data.gov.dk/dataset/lang/ebdcd8fc-49ff-406a-83d8-2232aad95d0d
Udgivelsesdato 01-03-2021
Udgivernavn Philip Tamimi-Sarnikowski
Type https://data.gov.dk/concept/core/lang-resource-type/Tool
Licens
CC-BY-4.0