Vision til kødkontrol på svineslagterierne

Det vigtigste nye output er, at vi over flere omgange har testet vores gødningsalgoritme og samtidigt indsamlet flere billeder med verificerede gødningsfund, så vi bedre dækker den store gødningsvariation.

Vores evne til at finde større (>2x2 mm) gødningsforekomster er robust, men udfordringen er, at mange gødningsfund, særligt i bækkengangen, er mindre. Vi har derfor måtte tilpasse vores strategi, således at området i bækkengangen bliver undersøgt ”mere grundigt”. Da vi i dette område søger efter fund, som er mindre end 0,5 x 0,5 mm, giver det anledning til en del falske positive, som vi nu skal have trænet væk.

Alle 12 kamera-vinkler er med i analysen, således at der nu foretages helkropsanalyse efter gødning i real tid.  

Den næste store aktivitet i projektet er løbende at opdatere gødningsalgoritmer på udstyret, der står på værtslagteriet, og løbende teste udstyrets evne til robust at finde gødning i sammenligning med operatørerne. For at holde fokus vil der ikke kigges på andre veterinærkoder, før end der kan opnås en performance svarende til, hvad der er muligt manuelt og med et lavt antal af falske positive. 

Vi har i Q3 indsamlet flere billeder med verificerede gødningsfund og med optimalt lys, som vores gødningsalgoritme er blevet testet på. Mængden af falske positive (som betyder, at udstyret siger, at det er gødning, uden at det er tilfældet) viste sig at være for stor. Vi var derfor nødt til at gentænke vores metode. Deep learning/kunstig intelligens (AI) har udviklet sig meget indenfor de sidste år, og løsningen blev at anvende AI i højere grad end hidtil og træne algoritmen med de fund, vi har indsamlet.

Vi går således væk fra den tidligere mere pixelbaserede tilgang og over til en Deep learning algoritme. Udfordringen med denne tilgang er, at den kræver mange eksempler med gødning til træning, som repræsenterer de mange forskellige former og farver, som gødningsforurening kan antage.

Med det nuværende træningssæt ser gødningsalgoritmen ud til at være på et niveau, hvor vi kan starte test på værtslagteriet. Antallet af falske positive er acceptabelt lavt, og vi finder de store klatter, som vi skal.

Den næste store aktivitet i projektet er at få indsamlet flere billeder med verificerede gødningsfund, så vi bedre dækker gødningsvariationen, og med disse gentræne gødningsalgoritmen, så den bliver bedre til at finde gødning.

Planen er at lægge de opdaterede algoritmer på udstyret, der står på værtslagteriet, primo oktober, og så on-site teste udstyrets evne til at finde gødning og sammenligne i forhold til operatørerne.

Det vigtigste nye output er, at vi langt om længe igen kan opsamle (gode) billeder, så vi kan genstarte vores test af udstyrets evne til pålideligt at finde gødning. Den nye hvidkalibrering er implementeret, og afskærmningen er blevet hævet, således at der ikke kommer ”falsk lys” ind på kroppene.

Vi har været på værtsslagteriet for at indsamle flere billeder med reelle gødningsfund. Disse er nu ved at blive analyseret og forarbejdet, således at de kan bruges i vores optimerede algoritmer, der skal finde gødning.

Den næste store aktivitet i projektet er at få implementeret de opdaterede gødningsalgoritmer i udstyret og efterfølgende få testet performance af den analyse, som udstyret udfører. Vi skal undersøge, om vi fanger de forekomster, som veterinærerne finder, og så skal mængden af falske positive afdækkes. Næste følgegruppemøde er planlagt til den 1. september.

Det vigtigste nye output er, at erstatningslamper til visionudstyret langt om længe er modtaget og monteret. Computer er flyttet til mere køligt rum og i større kabinet for at undgå problemer med overophedning.

Der er sideløbende arbejdet med optimering af billedkvalitet, og det er konstateret, at der er behov for en mere avanceret hvidkalibrering, da spejlet i kamerasystemet skaber nogle randproblemer, som skal udkompenseres. Det er desuden konstateret, at afskærmningen ikke helt fjerner lys fra slagteriets lysstofrør, hvorfor afskærmningen skal øges ca. 30 cm, da dette lys potentielt forstyrrer gødningsalgoritmerne på skinken.

Projektet er præsenteret i EU-regi for ”The Commission hygiene working group” for at bane vejen for, at reglerne kan ændres og automatisk kontrol blive tilladt.

Den næste store aktivitet i projektet er at få implementeret den nye hvidkalibrering samt hævet afskærmningen. Når dette er sket, er vi igen klar til at opsamle billeder og teste algoritmernes pålidelighed.

Det vigtigste som er sket i perioden er, at der er opstået problemer med udstyr, som skal løses, inden test kan fortsætte.
Der er 2 problemer:

1)Computer-kabinet bliver for varmt pga. den ekstra effekt, som det ekstra grafikkort afsætter. PC flyttes op på loft over udstyret, hvor der er bedre køling.

2)Lamper, som skal belyse skinken, er blevet defekte, og giver ”forkert” lys, hvilket gør, at udstyret ikke kan kalibreres korrekt. Lamper skal skiftes. Nye er bestilt, men de kommer først ultimo januar 2022.

Der er endvidere blevet sat gang i proces mht. at få EU-kommissionen til at acceptere, at udstyr kan bruges til kontrol af røde koder, som fx gødning. Pt. må udstyr ikke bruges til ubemandet kontrol af røde koder. En operatør skal vurdere gris/fund. Blå koder må slagteriet suverænt bestemme over, så detektion af lungehindear og galde vil kunne ske automatisk, når slagteriets folk er overbevist om, at udstyr pålideligt finder koder. Galde er pt. rød kode, men da det er eftervist, at der ikke er Salmonella i galde, forventes det, at galde snart nedgraderes til en kode blå igen.

Der er opnået bevilling, således at projektet kan fortsætte i 2022.

Den næste store aktivitet i projektet er at få flyttet PC og opdateret lamper samt fortsætte med at teste og optimere algoritmer, således at udstyret pålideligt kan finde koder.

Parallelt hermed vil der blive arbejdet på at etablere acceptkriterier, således at der kan opnås en fælles accept af, hvad der kræves for at kunne godkende performance af udstyr.

Det skal besluttes, om projektet skal skifte fokus. Skal gødning fortsat have 1. prioritet, eller er det bedre at få galde- og lungehindear-algoritmer på plads, da de koder umiddelbart er nemmere at finde, nemmere at validere, nemmere at implementere og straks vil aflaste kødkontrollen.

De vigtigste nye output er, at software til at finde forureninger er blevet udbygget med AI (kunstig intelligens) som kan ”fjerne” baggrund og meget mørke ”huller”, således at analyse-algoritmen kun analyserer billeddata i de områder, som er relevante.

De indledende tests ser lovende ud, og antallet af falske positive bliver meget reduceret. Den ekstra analyse kræver ekstra datakraft, hvorfor det har været nødvendigt at opgradere PC til kraftigere version, som understøtter 2 grafikkort.    

Håbet i Q2 var at kunne starte validering efter uge 42, men da algoritmer endnu ikke er på et acceptabelt niveau, er der brug for mere tid til test og tilpasning, hvorfor validering udskydes til næste år.  

Der er etableret protokol for validering mhp., hvordan vi får testet, at udstyret fungerer som forventet. Da der ikke forligger en ”gylden standard” for, hvorvidt et fund er korrekt, er validering baseret på statistik og overensstemmelse mellem udstyr og flere uafhængige bedømmere. 

Den næste store aktivitet i projektet er at fortsætte med at teste og optimere algoritmer, således at udstyret pålideligt kan finde gødning og galde. Parallelt hermed vil der blive arbejdet på at etablere acceptkriterier, således at der kan opnås en fælles accept af, hvad der kræves for at kunne godkende performance af udstyr.

De vigtigste nye output er, at der siden sidste status har været gennemført flere tests på værtsslagteriet, som desværre har afdækket, at vores gødningsalgoritme ikke er helt klar endnu, og at der er behov for at supplere de spektrale algoritmer med et ekstra lag/funktion, som udpeger de områder i billedet, der skal undersøges for gødning, så store mængder af falske positive resultater undgås.

Der er ved hjælp af AI etableret en algoritme, som automatisk kan ”fjerne” baggrund og meget mørke ”huller”, således at gødningsalgoritmen ”kun” skal lede efter gødning, hvor det forventes at forekomme. Hastigheden på den samlede analyse er nu udfordret, hvorfor der arbejdes på optimering af kode samt brug af accelerator hardware.

Der er dialog med veterinærerne med henblik på at etablere en protokol for, hvordan vi får testet, at udstyret fungerer som forventet. Når DMRI mener, at udstyr er klar, skal denne aktivitet igangsættes.        

De næste store aktiviteter i projektet er, at fortsætte med at teste udstyret og optimere algoritmer, således at udstyret pålideligt kan finde gødning og galde. Når det er opnået, åbnes der for terminaler, således at operatører kan begynde at bruge data, og feedback kan fås.

Parallelt med dette arbejdes der med validerings-protokollen samt optimering af mekanik, som fikserer kamera i tårne.

Det vigtigste nye output er, at terminaler til kommunikation af de fund, udstyret finder, nu er sat op, dels på platformen hvor kødkontrollen står og dels hos udrensningen, hvor fund skal behandles.

De 24 kameraer er blevet re-kalibreret og algoritmer til gødning og galde opdateret.

I forrige uge blev værtsslagteriet besøgt mhp. at overvåge udstyrets performance og for at danne grundlag for en fintuning af de algoritmer, som er udviklet. Det er svært/umuligt ud fra billederne alene at afgøre, om et lille fund nu også er et reelt fund eller en falsk melding. Disse oplysninger bruges til at korrigere software algoritmerne, således at de fremadrettet bliver bedre til at undgå falske meldinger.

Selvom vi står på linjen og kigger på de faktiske fund, kan det være svært at være helt sikker på vurderingen. I samarbejde med Fødevarestyrelsen skal der fastlægges en protokol for, hvordan validering skal ske. Udfordringen er at finde en metode, så udstyrets performance måles op mod den performance, som præsteres i det daglige, hvor grise passerer med høj hastighed. 

Den næste store aktivitet i projektet er, at få gennemført flere tests med udstyret, således at algoritmer kan blive endnu bedre, og således at udstyret pålideligt kan finde gødning og galde. Når det er opnået, åbnes der for terminaler, således at operatører kan begynde at bruge data, og feedback kan fås.

Parallelt med dette arbejdes der med validerings-protokollen og optimering af mekanik, som fikserer kamera i tårne.

Det vigtigste nye output er, at integrationen med slagteriets systemer er ved at være færdiggjort.

Der er opsat terminaler på båndkontrollen (3 stk.), efterkontrollen (1 stk.) og slutkontrollen (2 stk.). Terminalerne viser forureningsfund til medarbejderne de respektive steder. Terminalerne viser de relevante billeder til medarbejderne, som så kan bekræfte forureningsfund på deres gamle terminaler.

På efterkontrollen skal de nye terminaler bruges til både at give feedback til optimering af algoritmerne og til at sikre, at al forurening bliver fjernet.

Den næste store aktivitet i projektet er at tænde for de nye terminaler, indkøre dem og forbedre algoritmerne med validerede træningsdata. Herefter skal systemet valideres og dets præcision kvantificeres. I 2021 skal der udvælges et nyt værtsslagteri til et nyt system. Dette nye system skal være en lettere forbedret og produktmodnet udgave.

Det vigtigste nye output er, at vi er stort set er klar til at vise vision-systemets potentielle gødningsfund og galdefund til båndkontrol, efterkontrol og slutkontrol live på linjen hos værtsslagteriet i Horsens. Snart er terminalerne sat op på slagteriet, og vi får tilsendt information om grisenes placering på linjen. Når det er på plads, kan vi ”gå live”.

Fundene præsenteres på den nye terminal til båndkontrollen, som bekræfter fundet. Udrenseren på efterkontrollen kvitterer på sin nye terminal for, at han har fjernet forureningen, som han får vist på skærmen. Slutkontrollen får ligeledes vist på sin terminal, hvor fundet var placeret, så han kan bekræfte, at grisen er ren. Vi kan også lave live analyser for lungehindear. Hvis slagteriet ønsker det, kan vi automatisk tilføje koden for lungehindear. Båndkontrollen vil i givet fald skulle fjerne koden, hvis systemet tager fejl, ligesom de selv kan tilføje den, hvis vi har overset lungehindearret. Tilsvarende kan gøres for bemærkningen maskinskade.

Den næste store aktivitet i projektet er, at optimere algoritmerne så de giver færre falsk positive. Hertil skal vi bruge feedbacket fra terminalerne på linjen. Derefter skal systemets performance valideres. Det sker inden årets udgang.

Det vigtigste nye output er, at vision systemet kører online på linjen hos Danish Crown i Horsens. Her analyseres der for gødning på grisene i realtid. Systemet er blevet justeret ind, og der er monteret ekstra lamper, så slagtekroppene er bedre belyst. Dette har forbedret billedkvaliteten og hjulpet med at gøre gødningsalgoritmen mere præcis.

Vi er ved at udvide forureningsalgoritmen til også at kunne finde galde og olie, og vi er ved at implementere deep learning algoritmerne, så analyserne for lungehindear, maskinskade og evt. sværskade kan køre online.

Den næste store aktivitet i projektet er, at der skal opsættes skærme ved båndkontrol/efterkontrol, så systemets fund kan vises til relevante medarbejdere og hjælpe med at sikre en effektiv rensning af slagtekroppene. Hertil skal der med input fra kødkontrollen og slagteriet udvikles en brugerflade. Systemets funktion skal herefter testes, optimeres og valideres.

Planen er, at systemet skriver bemærkningskoder i slagtedatabasen, og båndkontrollen kan herefter bekræfte fundet, eller evt. fjerne koden, hvis det skulle være en falsk positiv.