Een innovatieve oplossing voor autosamplers
In moderne laboratoria draait alles om precisie, (monster)veiligheid en efficiëntie. Binnen dit kader heeft Spark Holland een innovatieve oplossing ontwikkeld voor slimme identificatie van sample-plates met AI. De methode combineert beeldbewerking met een tweedimensionale Fast Fourier Transform (2D-FFT) en een compact neuraal netwerk dat kan draaien op een microcontroller of kleine processor. Dankzij deze aanpak kan het instrument de ondersteunde sample-plates ook betrouwbaar herkennen, wat bijdraagt aan minder fouten en snellere analyses.
De uitdaging
In laboratoria worden dagelijks duizenden monsters geanalyseerd met behulp van autosamplers, zie afbeelding. Het correct instellen van het plaat-type in de acquisitiesoftware en het fysiek plaatsen van de juiste sample-plates in het instrument is een verantwoordelijkheid van de eindgebruiker. Een fout hierin kan leiden tot storingen in de autosampler, waardoor een lab downtime heeft en, in het ergste geval, verlies van kostbare monsters.
Er bestaan methoden om sample-plates te identificeren met extra hardware, zoals markeringen met optische sensors of RFID-tags, maar deze vereisen het gebruik van specifieke platen. Het doel van Spark Holland is juist om gangbare, generieke platen te kunnen herkennen zonder aanpassingen of extra hardware.
Recente ontwikkelingen in kunstmatige intelligentie (AI) hebben aangetoond dat beeldherkenning goed mogelijk is. Echter, voor een volledig autonoom werkend instrument is het noodzakelijk dat de AI lokaal draait, zonder afhankelijkheid van externe (Cloud) computers. Daarom is Spark Holland gericht op het implementeren van AI op een microcontroller, zodat de herkenning direct door het instrument kan plaatsvinden.
De oplossing
Om een snelle en betrouwbare herkenning van sample-plates te realiseren, combineert het bedrijf algoritmische beeldverwerking met kunstmatige intelligentie. De implementatie bestaat uit een aantal fasen:
Een camera maakt een opname van de sample-plate in de houder. Omdat de ruimte binnen een autosampler beperkt is en de lichtomstandigheden niet optimaal zijn, kunnen delen van de afbeelding vervormd raken en ongelijk belicht worden. In onderstaande afbeelding is te zien hoe deze vervorming optreedt en hoe sommige gebieden onderbelicht en andere juist overbelicht zijn. Daarom is bewerking van het beeld noodzakelijk.
De eerste stap
Als eerste stap richt men zich op het centrale deel van het beeld en wordt er een vloeiende overgang toegepast naar de randen. Dit voorkomt abrupte contrastverschillen die ruis kunnen veroorzaken in de patroonherkenning (zie onderstaande afbeelding). Nadat deze bewerking is uitgevoerd, passen we de tweedimensionale Fast Fourier Transform (2D-FFT) toe. Dit algoritme, dat ook wordt gebruikt bij beeldverwerking en -overdracht, maakt repeterende patronen – zoals de wells in een sample-plate – beter zichtbaar. In een 2D-FFT-beeld verschijnen deze herhalende structuren als heldere punten op vaste afstanden. Dit is ook het geval na de 2D-FFT van ons beeld (zie hieronder).
De volgende stap
De volgende stap is de eigenlijke beeldherkenning door een neuraal netwerk. Neurale netwerken worden breed toegepast voor beeldherkenning. Hun werking is gebaseerd op het herkennen van patronen in grote hoeveelheden trainingsdata. Ze simuleren in zekere zin hoe het menselijk brein leert door verbanden te leggen tussen invoerbeelden en bijbehorende categorieën.
Voor een neuraal netwerk kan bijvoorbeeld TensorFlow worden gebruikt, maar dat vereist aanzienlijke rekenkracht en hardware, die niet beschikbaar zijn in een autosampler. Daarom heeft Spark Holland zelf een compact neuraal netwerk geïmplementeerd in de programmeertaal C. Het neurale netwerk heeft een geheugengebruik van minder dan 2 MB, waardoor het eenvoudig kan draaien op een microcontroller of een ander embedded platform. De training vindt plaats met de 2D-FFT beelden van ‘known’ sample-plates, waarbij het netwerk leert om onderscheid te maken tussen verschillende plaattypen. Na training kan het neurale netwerk de sample-plates nauwkeurig herkennen en classificeren, zonder afhankelijkheid van externe hardware.
In de testfase hebben we het neurale netwerk getraind met 10.000 beelden van verschillende sample-plates in meerdere oriëntaties. Dankzij de compacte opzet van het netwerk bleef de trainingstijd beperkt tot minder dan 15 minuten.
Na training heeft het bedrijf het neurale netwerk 3.000 afbeeldingen van sample-plates laten analyseren. Hiervan werden er 2.999 correct herkend – binnen een seconde. Dit resulteert in een herkenningsnauwkeurigheid van 99,97%, een veelbelovend resultaat voor een eerste concept met een compact neuraal netwerk.
Wat vooral opviel, was dat het algoritme niet alleen onderscheid maakte tussen verschillende sample plates, maar ook in staat was zowel high als low sample plates met dezelfde well-indeling correct te herkennen. Dit is opmerkelijk, aangezien deze platen bij een bovenaanzicht – en dus vanuit het perspectief van de camera – vrijwel identiek lijken. Bovendien draagt de snelle herkenningstijd van minder dan een seconde nauwelijks bij aan de cyclustijd van een analyse.
Toekomstige ontwikkelingen
In de nabije toekomst wil Spark Holland het aantal ondersteunde sample-plates verder uitbreiden. Een belangrijk voordeel van een neuraal netwerk is dat het “trainbaar” is. Het uitbreiden met nieuwe sample plates is daarom relatief eenvoudig door deze op te nemen in de training set.
Daarnaast worden sample-plates vaak afgedekt met een folie, waardoor de wells minder goed zichtbaar zijn. Mogelijk kan dit probleem worden opgelost door gebruik te maken van een betere belichting (onder een scherpe hoek bijvoorbeeld) om de contouren van de wells beter naar voren te laten komen. Dit zal een interessant onderwerp van verder onderzoek zijn.
Het huidige neurale netwerk van Spark Holland is compact, wat snelle training en herkenning mogelijk maakt. In de toekomst wil het bedrijf onderzoeken of een iets complexer netwerk de herkenning verder kan verbeteren, zonder dat dit ten koste gaat van snelheid of de haalbaarheid op embedded systemen.
Conclusie
Met de combinatie van AI-gebaseerde beeldverwerking heeft SPARK Holland een belangrijke eerste stap gezet in het autonoom herkennen van sample-plates door de nieuwe autosampler. Het resultaat – een indrukwekkende herkenningsnauwkeurigheid van meer dan 99,9% – is veelbelovend.
Spark heeft laten zien dat technologische uitdagingen praktisch kunnen worden opgelost door gebruik te maken van slimme beeldbewerkingsalgoritmes en AI, en dat dit ook toepasbaar is op compacte systemen met beperkte rekenkracht.
Het bedrijf hoopt dat dit project andere bedrijven binnen het innovatiecluster inspireert om deze technologie verder te verkennen. De mogelijkheden reiken namelijk verder dan alleen laboratoria: snelle en betrouwbare objectherkenning kan ook van grote waarde zijn in andere domeinen en productieprocessen.