Welk AI-model is het beste voor het analyseren van open antwoorden in enquêtes?

Inleiding

Heb je je ooit afgevraagd hoe bedrijven de overweldigende hoeveelheid feedback die ze ontvangen beheren? In het verleden vergde dit veel handmatig werk, maar tegenwoordig bieden AI-modellen voor tekstanalyse een efficiëntere oplossing. Deze geavanceerde AI-modellen zetten ongestructureerde gegevens uit enquêtereacties en reacties op sociale media snel om in bruikbare inzichten. In dit artikel onderzoeken we hoe deze technologieën werken, vergelijken we verschillende classificatiemodellen en laten we zien hoe je hun prestaties effectief kunt meten.

AI-Based Analysis of Open Responses

Het analyseren van open reacties betekent het sorteren van ongestructureerde tekstgegevens in specifieke onderwerpen en gevoelens. Dit helpt bedrijven om feedback van klanten te begrijpen en belangrijke trends en problemen op te sporen. Het omvat meestal twee stappen: ten eerste het toewijzen van onderwerpen aan elke reactie om te zien wat er wordt besproken; ten tweede het samenvatten van deze bevindingen om een algemeen beeld te krijgen. Deze gestructureerde aanpak bespaart niet alleen tijd, maar levert ook bruikbare inzichten op die kunnen leiden tot betere besluitvorming en betere producten en diensten.

De integratie van geavanceerde AI-tools zoals ChatGPT kan dit proces verfijnen, zoals besproken in ons gedetailleerde artikel over het gebruik van ChatGPT voor reacties op open vragenlijsten. Deze aanpak bespaart niet alleen tijd, maar levert ook bruikbare inzichten op die de besluitvorming aanzienlijk kunnen verbeteren en de dienstverlening kunnen verbeteren.

Modellen voor tekstclassificatie

Tekstclassificatiemodellen zijn er in verschillende vormen, elk geschikt voor verschillende taken:

• Regelgebaseerde modellen: Gebruiken vooraf gedefinieerde regels en patroonmatching om tekst te classificeren. Ze zijn eenvoudig en gemakkelijk te implementeren, maar kunnen rigide zijn en handmatige updates vereisen.

• Modellen op basis van machinaal leren: Omvatten algoritmen zoals Naive Bayes, Support Vector Machines (SVM), Decision Trees (Random Forests) en Logistic Regression. Deze modellen leren van gelabelde gegevens en kunnen nieuwe, ongeziene tekst verwerken. Ze hebben echter veel gelabelde gegevens nodig om effectief te trainen en kunnen moeite hebben met complexe taal.

• Transformatormodellen: De nieuwste generatie omvat BERT, GPT, T5 en RoBERTa. Deze modellen maken gebruik van geavanceerde natuurlijke taalverwerking en zijn vooraf getraind op grote hoeveelheden gegevens. Ze kunnen complexe taaltaken met hoge nauwkeurigheid aan en passen zich aan verschillende tekstanalysebehoeften aan.

Het classificatieproces begrijpen

De tabel hieronder illustreert het proces van het categoriseren van items of reacties in vooraf gedefinieerde categorieën of onderwerpen. Dit voorbeeld laat zien hoe AI-modellen voor tekstanalyse en menselijke annotators kunnen samenwerken om verschillende inputs nauwkeurig te classificeren.

Hoe meet je de prestaties van AI-modellen?

Om de prestaties van deze modellen te illustreren, bekijken we twee scenario’s: een taak voor het classificeren van dieren en een taak voor het classificeren van open tekstonderwerpen.

Voorbeeld van dierenclassificatie

In deze taak classificeren modellen afbeeldingen als “dier” of “geen dier”. De verwarringmatrix helpt de prestaties van het model te visualiseren en toont ware positieven, valse positieven, ware negatieven en valse negatieven.

• Echt positief (TP): Het model identificeert een afbeelding correct als een dier. Afbeeldingen van bijvoorbeeld een herdershond, een puppy en een kat worden correct geclassificeerd als “Dier”.

• False Positive (FP): Het model identificeert een niet-dierlijke afbeelding foutief als een dier. Afbeeldingen van een muffin en gras worden bijvoorbeeld onjuist geclassificeerd als “Dier”.

• Fout-negatief (FN): Het model slaagt er niet in een dierlijke afbeelding te identificeren en classificeert deze als “Niet dierlijk”. Een afbeelding van een kat wordt bijvoorbeeld ten onrechte geclassificeerd als “Niet dierlijk”.

• Terecht negatief (TN): Het model identificeert een niet-dierlijke afbeelding correct als “Niet dierlijk”. Dit wordt niet expliciet getoond in het voorbeeld, maar dit zou het geval zijn wanneer niet-dierlijke afbeeldingen zoals de muffin en gras correct worden geclassificeerd.

Bij taken waarbij informatie in twee categorieën moet worden gesorteerd, zoals ja/nee of beschadigd/niet beschadigd, is het belangrijk om te weten hoe nauwkeurig AI-modellen voor tekstanalyse presteren. Om dit te meten, gebruiken we drie belangrijke meeteenheden: Precisie, Recall en F1 Score.

• Precisie:

  • Meet hoeveel van de ‘ja’-beslissingen van het model correct waren.

  • Zorgt ervoor dat het model niet ten onrechte te veel items als ‘ja’ labelt (het minimaliseren van vals alarm).

• Recall:

  • Controleert of het model alle ‘ja’-gevallen identificeert die het zou moeten identificeren.

  • Een hoge recall betekent dat het model de meeste echte ‘ja’-situaties herkent en gemiste gevallen voorkomt.

• F1 Score:

  • Combineert precisie en recall in één metriek

  • Helpt bij het vinden van een balans tussen de noodzaak om zoveel mogelijk positieven te vangen en de noodzaak om te veel fouten te vermijden.

  • Nuttig voor het vergelijken van modellen om te zien welke over het geheel genomen het beste presteert, waardoor een snelle momentopname van zowel nauwkeurigheid als betrouwbaarheid wordt verkregen.

De afbeelding hieronder legt de concepten van precisie, terughalen en de F1-score visueel uit aan de hand van specifieke getallen uit een eerder voorbeeld over classificatie van “dierlijk” versus “niet-dierlijk”. Het toont de berekeningen voor precisie, recall en de F1-score op basis van echte gegevens, wat illustreert hoe deze statistieken worden afgeleid en waarom ze allemaal belangrijk zijn voor het evalueren van de prestaties van een model.

De F1-score vertelt ons snel hoe goed een model balanceert tussen het detecteren van ware positieven en het minimaliseren van fouten. Door deze score te controleren, kunt u efficiënt bepalen welk model het meest betrouwbaar is voor uw specifieke behoeften, waardoor het risico op onjuiste classificaties afneemt.

Vergelijking van F1-scores van verschillende scenario’s

Door de F1-score te gebruiken om verschillende modellen te evalueren, krijgen we een duidelijk beeld van hun nauwkeurigheid en betrouwbaarheid. In een onderzoek werden bijvoorbeeld verschillende modellen getest om te zien hoe goed ze tekst konden classificeren. De resultaten, weergegeven door hun F1 scores, benadrukten de unieke sterke en zwakke punten van elk model.

• Model 1 (classificeert alle afbeeldingen als dieren): Dit model bereikt een hoge recall door elke afbeelding als dier te classificeren, waardoor alle werkelijke dieren worden geïdentificeerd. Dit gaat echter ten koste van veel fout-positieven, omdat het ook niet-dierlijke afbeeldingen ten onrechte als dieren classificeert:

  • Precisie: Ongeveer 67%, wat aangeeft dat niet alle voorspelde dieren ook daadwerkelijk dieren zijn.

  • Recall: 100%, aangezien het model met succes alle dierenafbeeldingen identificeert.

  • F1 Score: Ongeveer 80%, wat een redelijke balans laat zien tussen precisie en recall ondanks het hoge aantal fout-positieven.

• Model 2 (classificeert alle afbeeldingen als niet-dier): Dit model vermijdt fout-positieven volledig door elk beeld te classificeren als “geen dier”. Hoewel deze aanpak geen incorrecte identificatie van niet-dieren als dieren garandeert, resulteert het in zeer slechte prestatiecijfers:

  • Precisie: 0%, omdat het model nooit een afbeelding als dier voorspelt.

  • Recall: 0%, aangezien het er niet in slaagt om daadwerkelijke dieren te identificeren.

  • F1 Score: 0%, als gevolg van het onvermogen om precisie en terugroep effectief in evenwicht te brengen.

Als we naar deze twee modellen kijken, is het duidelijk dat model 1 het beste werkt als het belangrijk is om elk dier te vangen, zelfs als er enkele fouten worden gemaakt. Aan de andere kant is model 2 beter voor situaties waarin het maken van een fout duurder is dan het missen van een dier. Elk model heeft zijn sterke punten, afhankelijk van wat je het meest nodig hebt: nauwkeurigheid of voorzichtigheid.

Voorbeeld van tekstclassificatie

Here, models classify customer feedback into predefined topics. For instance, feedback about delivery service might be categorized into topics like punctuality, service quality, and damage. The performance is measured against human-annotated benchmarks, revealing how well the AI models align with human judgment. This approach ensures that the AI’s categorization is both relevant and accurate.

De dia laat zien hoe AI-modellen omgaan met feedback over onderwerpen als schade, punctualiteit en service. Feedback zoals “De doos was opengescheurd en er ontbraken onderdelen” moet bijvoorbeeld worden gecategoriseerd onder “Schade”.

Bij het sorteren van feedback van klanten in categorieën als ‘schade’ of ‘geen schade’ is het cruciaal dat onze tekstclassificatiemodellen het goed doen. Stel je voor dat een klant zegt: “Je pakket was te laat, maar gelukkig was het niet beschadigd. Ons model moet begrijpen dat dit geen geval van schade is. Aan de andere kant willen we geen ernstige klacht missen zoals: ‘Het product was geplet bij aankomst. Erg teleurgesteld!

Om ervoor te zorgen dat onze modellen accuraat en betrouwbaar zijn, vertrouwen we op iets dat de F1-score wordt genoemd. Deze score vertelt ons hoe goed het model fouten vermijdt en echte problemen niet over het hoofd ziet. Het is een soort rapport dat ons helpt het model op het juiste spoor te houden en ervoor te zorgen dat het de echte problemen herkent zonder fouten te maken.

Het nauwkeurig categoriseren van feedback en het begrijpen van het sentiment erachter is van vitaal belang, niet alleen voor het behouden van de klanttevredenheid, maar ook voor het toepassen van deze inzichten in complexere analyses. In de Key Driver Analysis bijvoorbeeld, is het begrijpen van deze categorieën en sentimenten cruciaal omdat het helpt bij het identificeren van wat echt de drijvende kracht is achter klanttevredenheid. Deze toepassing laat zien hoe het effectief verwerken van reacties op open tekst waardevolle inzichten kan opleveren in geavanceerd marktonderzoek, door gebruik te maken van de gedetailleerde categorisatie en sentimentanalyse die wordt uitgevoerd door AI-modellen.

Wat maakt een goede F1-score?

Een goede F1 score varieert meestal van acceptabel (boven 60%) tot uitstekend (boven 80%). Het behalen van een hoge F1 score vereist zorgvuldige modeltraining, fine-tuning en validatie tegen door mensen geannoteerde data. Voor tekstclassificatietaken wordt het streven naar een F1-score boven de 70% beschouwd als een benchmark voor hoge prestaties. Dit zorgt ervoor dat het model precisie en recall effectief in balans brengt en betrouwbare en nauwkeurige resultaten levert.

Hoe behaal je een uitstekende F1-score

Om een hoge F1-score te behalen, meestal boven de 80%, is een combinatie van AI-tools en menselijk inzicht nodig. Volg deze gestructureerde methode, geïnspireerd door Survalyzer, om uw AI-model te optimaliseren:

• Stap 1: Vraag AI-GPT welke onderwerpen voorkomen in uw gegevens

Gebruik AI-GPT om in eerste instantie potentiële onderwerpen te identificeren uit uw dataset. Dit helpt bij het bepalen van een voorlopig bereik voor uw analyse door frequente thema’s en categorieën te markeren.

• Stap 2: Categorieën handmatig beoordelen en verfijnen op basis van best practices

Nadat AI-GPT onderwerpen heeft voorgesteld, controleert u deze handmatig om de nauwkeurigheid en relevantie te garanderen. Verfijn deze onderwerpen op basis van best practices in de sector om de categorieën specifieker en bruikbaarder te maken. Gebruik bijvoorbeeld in plaats van een brede term als “Stiptheid” specifieke labels als “Te late levering” of “Op tijd”.

• Stap 3: Voer meerdere tests uit

Voer 4 tot 5 tests uit om de consistentie van de verfijnde onderwerpen te bevestigen. Deze stap helpt om uw onderwerpselectie te versterken door ervoor te zorgen dat ze relevant zijn in verschillende gegevenssets.

• Stap 4: Traininggegevens voorbereiden

Bereid uw trainingsgegevens voor door een aanzienlijk deel handmatig te categoriseren om een initiële dataset van hoge kwaliteit te maken. U kunt ook AI-GPT gebruiken om te helpen bij de eerste categorisatie, gevolgd door menselijke beoordeling en verfijning voor nauwkeurigheid.

Het voorbereiden van nauwkeurige trainingsgegevens is cruciaal voor het succes van AI-modellen in tekstanalyse. Een nauwkeurige steekproef zorgt ervoor dat de voorspellingen van het model betrouwbaar zijn en de bredere dataset weerspiegelen. Lees meer over de grondbeginselen van steekproefonderzoek en bereken de optimale steekproefgrootte om ervoor te zorgen dat uw trainingsgegevens robuuste AI-analyses ondersteunen.

• Stap 5: Modeltraining en validatie

Train uw AI-model met behulp van de voorbereide en verfijnde gegevens. Valideer de prestaties voortdurend door het model te testen op een subset van uw gegevens en de nodige aanpassingen te doen op basis van deze resultaten.

• Stap 6: Het getrainde model inzetten

Zodra het model is getraind en accurate prestaties heeft laten zien, zet u het in om nieuwe gegevens te analyseren. Het moet nauwkeurig tekst categoriseren op basis van de goed gedefinieerde onderwerpen.

• Stap 7: Bewaken en optimaliseren

Houd de prestaties van het model in de gaten en optimaliseer waar nodig. Dit voortdurende aanpassingsproces helpt de effectiviteit van het model te behouden, waardoor het een betrouwbaar hulpmiddel wordt voor besluitvorming en strategieontwikkeling.

Door deze stappen te volgen, heeft Survalyzer een F1-score van 75% behaald met hun op maat getrainde AI-model, waarmee ze zowel menselijke classificatie als AI-modellen voor algemene doeleinden zoals GPT 3.5 overtreffen. Deze aanpak zorgt ervoor dat het model accuraat is en is afgestemd op specifieke bedrijfsbehoeften.

Conclusies

Concluderend wordt het gebruik van AI om tekst te classificeren en te analyseren een essentieel hulpmiddel voor bedrijven, dat gebieden als klantenservice en marketing verbetert. Door technologieën zoals machine learning en transformatormodellen te integreren, worden bedrijven niet alleen efficiënter, maar krijgen ze ook waardevolle inzichten in klantgedrag.

Door deze technologieën te begrijpen en strategisch te implementeren, kan de verwerking van uw gegevens aanzienlijk worden verbeterd. Nu deze ontwikkelingen onze benadering van bedrijfsvoering subtiel veranderen, is ons team er om u te helpen deze oplossingen in uw bedrijf te integreren, zodat ze goed aansluiten op uw doelen en zinvolle resultaten opleveren.