Nachweis einer akuten Promyelozytären Leukämie im peripheren Blut und Knochenmark mit Anmerkung

Jul 13, 2023

Wissenschaftliche Berichte Band 13, Artikelnummer: 2562 (2023) Diesen Artikel zitieren

2506 Zugriffe

2 Zitate

12 Altmetrisch

Details zu den Metriken

Während die optische Mikroskopie-Untersuchung von Blutausstrichen und Knochenmarksproben durch einen Hämatologen ein entscheidender Schritt bei der Diagnose akuter Leukämie ist, insbesondere in ressourcenarmen Umgebungen, in denen andere Diagnosemodalitäten nicht verfügbar sind, bleibt die Aufgabe zeitaufwändig und anfällig für menschliche Inkonsistenzen . Dies hat insbesondere bei akuter Promyelozytischer Leukämie (APL) Auswirkungen, die dringend einer Behandlung bedürfen. Die Integration der automatisierten rechnergestützten Hämatopathologie in klinische Arbeitsabläufe kann den Durchsatz dieser Dienste verbessern und kognitive menschliche Fehler reduzieren. Ein großer Engpass bei der Bereitstellung solcher Systeme ist jedoch der Mangel an ausreichenden Anmerkungen zu zellmorphologischen Objektbezeichnungen, um Deep-Learning-Modelle zu trainieren. Wir überwinden dieses Problem, indem wir Patientendiagnoseetiketten nutzen, um schwach überwachte Modelle zu trainieren, die verschiedene Arten akuter Leukämie erkennen. Wir führen einen Deep-Learning-Ansatz ein, Multiple Instance Learning for Leukozyten Identification (MILLIE), der in der Lage ist, automatisierte und zuverlässige Analysen von Blutausstrichen mit minimaler Aufsicht durchzuführen. Ohne darauf trainiert zu sein, einzelne Zellen zu klassifizieren, unterscheidet MILLIE im Blutausstrich zwischen akuter lymphatischer und myeloblastischer Leukämie. Noch wichtiger ist, dass MILLIE APL in Blutausstrichen (AUC 0,94 ± 0,04) und in Knochenmarkaspiraten (AUC 0,99 ± 0,01) erkennt. MILLIE ist eine praktikable Lösung zur Steigerung des Durchsatzes klinischer Pfade, die eine Beurteilung der Blutausstrichmikroskopie erfordern.

Die morphologische Beurteilung von Leukozyten aus peripheren Blutausstrichen und Knochenmarkaspiraten unter einem Objektiv mit hoher numerischer Apertur ist ein wichtiger Schritt bei der Diagnose von hämatopoetischen Malignomen wie akuter Leukämie1. Insbesondere müssen Blutausstriche immer dann untersucht werden, wenn eine ungeklärte Leukozytose vorliegt oder wenn ein ergänzendes automatisiertes Instrument das Vorhandensein von Blasten vermutet2. Ebenso ermöglicht die Untersuchung des Blutausstrichs die Unterscheidung zwischen myeloischen und lymphatischen Abstammungslinien, was für die Behandlungsauswahl von entscheidender Bedeutung ist3,4,5.

Leider hängt die Untersuchung von peripheren Blut- und Knochenmarkaspiratfilmen stark von der Verfügbarkeit geschulten Personals ab, ist zeitaufwändig und anfällig für menschliches Versagen aufgrund von Müdigkeit und kognitiver Überlastung. Das Aufkommen der digitalen Pathologie hat das Potenzial für eine skalierbare, durch künstliche Intelligenz unterstützte Untersuchung von peripheren Blutausstrichen und Knochenmarkaspiraten zur Unterstützung diagnostischer Entscheidungen eröffnet6. Obwohl die computergestützte Pathologie gezeigt hat, dass sie die Arbeit von Hämatologen reproduzieren kann, indem sie hochmoderne überwachte Deep-Learning-Modelle trainiert, um gut etablierte morphologische Indikatoren von Leukämie zu erkennen7,8,9,10,11,12,13,14, stellt dies eine kritische Einschränkung dar Der Hauptgrund für frühere Studien ist, dass sie sich nicht auf die Unterscheidung zwischen der Art der Leukämie wie der akuten lymphatischen Leukämie (ALL) und der akuten myeloischen Leukämie (AML) konzentrieren. Darüber hinaus haben diese Studien nicht versucht, Fälle von akuter Promyelozytischer Leukämie (APL) zu erkennen, die eine Notfallbehandlung rechtfertigen, die sich auf die frühe Mortalität und Prognose auswirkt15, während andere zeitaufwändige Teile des klinischen Verlaufs noch andauern, sofern verfügbar (z. B. Genetik, Zytochemie, Durchflusszytometrie). Ein ebenso wichtiger Nachteil früherer vollständig überwachter Modelle7,9,13,16,17 besteht darin, dass sie Hunderttausende von menschlichen Experten bereitgestellte Zellanmerkungen auf Objektebene erfordern18, die nicht nur im großen Maßstab schwer zu erhalten sind, sondern auch anfällig für Inkonsistenzen sind zur Subjektivität und kognitiven Ermüdung der Kommentatoren. Um diese Einschränkungen zu überwinden und ein klinisch relevantes System bereitzustellen, das zusammen mit der klinischen Bewertung und zusätzlichen Laborparametern die sofortige Behandlung von APL-Fällen unterstützen kann, haben wir einen MILLIE-Ansatz (Multiple Instance Learning for Leukozyten Identification) entwickelt. Unser anpassbares, annotationsfreies Deep-Learning-Framework nutzt Patientendiagnoseetiketten, um schwach überwachte Modelle zu trainieren, die verschiedene Arten akuter Leukämie erkennen. Während schwach überwachte, mit diagnostischen Markierungen trainierte Mehrfachinstanz-Lernmodelle19,20 zuvor zur Analyse von Mikroskopiebildern in der Zellbiologie21,22 und in der computergestützten Krebshistopathologie23,24,25,26 verwendet wurden, gab es nur wenige Versuche, ihre Fähigkeiten auf die akute Anwendung anzuwenden klinischer Verlauf der Leukämie. Unsere Ergebnisse zeigen, dass MILLIE, obwohl sie nicht in der Klassifizierung einzelner Zellen geschult ist, genau zwischen normaler, akuter lymphoblastischer Leukämie und akuter myeloblastischer Leukämie unterscheiden kann, indem sie normale Leukozyten, Lymphoblasten und unreife myeloische Zellen in peripheren Blutausstrichen erkennt. MILLIE war ebenfalls in der Lage, AML-Knochenmarkaspirate von gesunden zu unterscheiden. MILLIE konnte außerdem Promyelozyten sowohl in Blutausstrichen als auch in Knochenmarkaspiraten als Indikator für akute Promyelozytenleukämie (APL) nachweisen.

Wir haben MILLIE-Modelle darauf trainiert, zwischen normalen, ALL- und AML-Proben zu unterscheiden, und wir haben ihre Klassifizierungsleistung sowohl auf Proben- als auch auf Zellebene anhand separater Hold-Out-Testsätze bewertet. Für jede Probe extrahiert unser Ansatz Patches, die einzelne Zellen enthalten, aus hochauflösenden Sichtfeldern von peripheren Blutfilmen und Knochenmarkaspiraten (Abb. 1a) und verwendet diese Patches, um ein schwach überwachtes Faltungs-Neuronales Netzwerkmodell mit diagnostischen Markierungen zu trainieren27 (Abb. 1b). Genauer gesagt wurde MILLIE darauf trainiert, zwischen „Beuteln“ mit Zellinstanzen, die aus positiven Proben extrahiert wurden (die sowohl normale als auch abnormale weiße Blutkörperchen enthalten) und „Beuteln“ mit Zellinstanzen, die aus negativen Proben (nur reguläre Zellen) extrahiert wurden, zu unterscheiden.

MILLIE-Ansatz. (a) Vorverarbeitung und Trainingsdatengenerierung aus einem peripheren Blutausstrich. Es werden Sichtfelder verarbeitet, die mit einem Digitalmikroskop mit hoher NA-Objektivlinse (100×/1,4 NA für Blutausstriche und 50×/0,55 für BMA) erfasst wurden. Eine histogrammbasierte Segmentierung28 (siehe Abschnitt „Methoden“) wurde verwendet, um Binärmasken zu erzeugen, die einzelnen Zellen aus den RGB-Bildern entsprechen. Diese Masken werden außerdem verwendet, um einzelne Patchbilder um jede einzelne Zelle aus den RGB-Bildern zuzuschneiden. (b) Training mit schwachen Labels. Die extrahierten Patches werden durch das Faltungs-Neuronale Netzwerk geleitet. Entsprechende Faltungsmerkmalsvektoren werden in einem einzigen Merkmalsvektor zusammengefasst (maximales Pooling), gefolgt von vollständig verbundenen Schichten und Klassifizierungsschichten. Die Gewichte des Modells werden optimiert, um die aus routinemäßigen klinischen Untersuchungen verfügbare Kennzeichnung auf Probenebene vorherzusagen. (c) Erkennung morphologischer Indikatoren. Nach dem Training können einzelne Zellen einzeln durch die MILLIE-Modelle geleitet werden, die sie als Indikatoren für die spezifischen Störungen klassifizieren, die MILLIE gelernt hat, auf Stichprobenebene vorherzusagen.

MILLIE ist darauf trainiert, die Diagnose von Patienten vorherzusagen und identifiziert implizit krankheitsspezifische Indikatoren mit minimaler Überwachung (Abb. 1c), was den Ansatz sowohl hocheffizient (z. B. nicht durch das Fehlen und die Voreingenommenheit von Annotationen auf Objektebene behindert) als auch interpretierbar macht.

Für jedes der im nächsten Abschnitt beschriebenen Experimente haben wir (1) Flecken einzelner weißer Blutkörperchen aus jeder Probe extrahiert, (2) ein lernendes Faltungs-Neuronales Netzwerkmodell mit mehreren Instanzen mit Etiketten auf Probenebene trainiert und (3) das Trainierte angewendet Modell und berichtete über die Ergebnisse.

Alle in dieser Studie verwendeten Datensätze sind öffentlich verfügbar. Tabelle 1 fasst die Herkunft und Eigenschaften der Bilddatensätze mit diagnostischen Ebenenetiketten (auch als Probenebenenetiketten bezeichnet) zusammen, die zum Trainieren und Testen von MILLIE verwendet werden. Tabelle 2 fasst die Herkunft und Eigenschaften der Bilddatensätze mit morphologischen Annotationen einzelner Zellen (auch als Ebene auf Objektebene bezeichnet) zusammen, die zur Validierung des schwach überwachten MILLIE-Ansatzes mit mehreren Instanzen verwendet werden.

Bilder im RGB-Farbraum wurden in den HSV-Raum konvertiert und die Schwellenwertberechnung von Otsu wurde auf den Sättigungskanal angewendet, da dieser einen hohen Kontrast an gefärbten Leukozytenkernen bietet28. Die morphologische binäre Öffnung, gefolgt von der Wasserscheide und der Entfernung kleiner Klumpen, wurde weiter angewendet, um WBC-Kerne zu segmentieren. Aus den anfänglichen RGB-Bildern wurden Kacheln mit 200 × 200 Pixeln um den Schwerpunkt jedes verbleibenden Binärblobs ausgeschnitten. Wir haben die Segmentierungsgenauigkeit anhand von 15 zufällig ausgewählten Sichtfeldern bewertet, die insgesamt 71 manuell kommentierte WBC umfassen. Der Segmentierungsalgorithmus „übersah“ 4 Zellen (Erinnerung: 0,94) und erkannte 6 falsch positive Ergebnisse (Genauigkeit: 0,92).

Die Faltungsschichten der MILLIE-Modelle wurden mit Gewichten eines VGG-19-Modells29 initialisiert, das auf dem ImageNet-Datensatz30 vorab trainiert wurde. Aus jeder Probe k wurden nach Anwendung des im vorherigen Abschnitt beschriebenen Segmentierungsschritts interessierende Objekte (Oki) mit i = 1,…,N extrahiert, die Bildfeldern weißer Blutkörperchen entsprechen. MILLIE wurde darin geschult, „Beutel“ dieser interessierenden Objekte mit Etiketten auf Probenebene (Lk) zu klassifizieren, die durch die routinemäßigen klinischen Tests bereitgestellt wurden. Die Faltungsmerkmalsvektoren, die jedem zugeschnittenen Bild (Fki = conv(Oki)) des Modells entsprechen, wurden in einem einzigen Merkmalsvektor zusammengefasst, gefolgt von zwei vollständig verbundenen (FC) Schichten und einer Klassifizierungsschicht:

Dabei ist N die Anzahl der Eingabebildfelder, Wj, bj die entsprechenden Gewichte und Bias jeder FC-Schicht und Ffusion die Merkmalsaggregationsregel. Genauer:

mit nf, der Anzahl der einzelnen Features (\(\zeta_{l}^{i}\)) in jedem Fki.

Bis zu fünfzig Bildfelder, die einer spontanen geometrischen Erweiterung (zufällige Drehungen und zufällige Spiegelungen) sowie einer spektralen Erweiterung (zufällige Farbtonänderung, zufällige Gammakorrekturen, zufälliges Rauschen) unterzogen wurden, wurden pro Stichprobe für jede Iteration während des Trainings zufällig ausgewählt. Die gleichen Erweiterungen wurden während des Tests sowohl für die Vorhersage auf Probenebene als auch auf Zellebene angewendet. Auf diese Weise kompensieren die spektralen Erweiterungen etwaige Verschiebungen der Kovariaten (Erfassung) aufgrund der Unterschiede in den Kameras und Mikroskopeinstellungen, die zur Abbildung der verschiedenen Datensätze verwendet werden. Wir verwendeten einen stochastischen Gradientenabstieg mit einer Lernrate von 0,0003 und einer Kreuzentropieverlustfunktion, um die Modellgewichte während maximal 100 Epochen (oder frühem Stoppen) zu optimieren. Zum Testzeitpunkt wurden alle Bildfelder jeder Probe durch das Netzwerk geleitet. Für die Einzelzellklassifizierungsaufgabe wurden einzelne Zellen einzeln durch die trainierten Modelle geleitet, die die gleichen exakten Gewichte wie für den Fall der Probenvorhersage hatten, mit dem Unterschied, dass ffusion(Fki) = Fki, da keine Merkmalsfusion mehr erfolgte erforderlich.

Wir haben die Max-Pooling-Strategie mit der neueren Aufmerksamkeits-Pooling-Strategie (allgemeines Durchschnitts-Pooling) verglichen und keinen Hinweis darauf gefunden, dass Aufmerksamkeits-Pooling die Leistung verbessern würde (ergänzende Abbildung 1). Die Max-Pooling-Strategie gibt höhere AUROCs für die Vorhersagen auf Stichprobenebene aus (ergänzende Abbildung 1).

Wir haben unser MILLIE-Modell trainiert und validiert, um diagnostische Markierungen mit Bildfeldern von 69 normalen Proben und 57 ALL-Proben (Abb. 2a, b) öffentlich zugänglichen31 und 63 AML-Proben (Abb. 2c) aus einer anderen öffentlich zugänglichen Datenbank (https:/) vorherzusagen. /imagebank.hematology.org/). Um die Farbabweichung zwischen den beiden Datensätzen zu reduzieren, wurde ein Farbübertragungsansatz32 angewendet. Dieser kombinierte Datensatz wurde zufällig in Zug (2/3) und Test (1/3) aufgeteilt. MILLIE wurde dann mit „Beuteln“ von Patches trainiert, die 200 × 200 Pixel (12,8 µm × 12,8 µm) um den Schwerpunkt jedes zuvor segmentierten weißen Blutkörperchens (WBC) umfassten28. Eine dreifache Kreuzvalidierung ergab eine durchschnittliche Genauigkeit über alle drei Klassen: 0,99 ± 0,01 (Abb. 2d, Verwirrungsmatrix für eine einzelne Falte).

Erkennung und Typisierung akuter Leukämie im Blutausstrich. (a, b) Normale Leukozyten und Lymphoblasten, nachgewiesen in zwei ALLEN positiven Proben aus dem Hold-out-Validierungssatz. (c) Von MILLIE in einer AML-Probe nachgewiesene normale Leukozyten und Myeloblasten. (d) Verwirrungsmatrix für die Probenklassifizierung im Validierungssatz. (e) ROC-Kurve (Receiver Operating Characteristic) für die Klassifizierung einzelner Zellen im Zellbild-Testsatz. (f) Verwirrungsmatrix für die Zellklassifizierung (Lymphoblasten vs. Myeloblasten vs. normal) im Zellbild-Testsatz. (g) PCA-Visualisierung der von MILLIE gelernten Faltungsdarstellungen der einzelnen Zellen im Testsatz.

Wir haben außerdem die Fähigkeit des Modells getestet, einzelne Zellen anhand eines separaten öffentlich verfügbaren Datensatzes zu klassifizieren, der aus 130 Bildern einzelner normaler Leukozyten und 130 Bildern einzelner Lymphoblasten31 besteht, ergänzt durch 130 Bilder einzelner Myeloblasten und unreifer myeloischer Zellen, die zufällig aus einem anderen öffentlichen Datensatz33 ausgewählt wurden. Wir zeigen, dass MILLIE Objekte wie Lymphoblasten (AUC = 0,97) und Myeloblastenzellen (AUC = 0,97) mit hoher Genauigkeit erkennen konnte, obwohl sie nur auf Diagnoseebenenetiketten geschult war (Abb. 2e, f). Aus Gründen der Interpretierbarkeit haben wir den von MILLIE gelernten Merkmalsraum auf Zellebene untersucht. Die Faltungsmerkmalsvektoren der einzelnen Testzellbilder wurden zur Visualisierung durch Transformation mittels Hauptkomponentenanalyse (PCA) auf einen zweidimensionalen Raum reduziert und jeder Punkt wurde durch seine Grundwahrheitszellenbezeichnung schattiert (Abb. 2g). PCA zeigt drei unterschiedliche Punktcluster mit geringer Überlappung zwischen normalen und Blastenzellen (Abb. 2g).

Die zum Trainieren von MILLIE verwendeten Datensätze enthalten nicht unbedingt Annotationen auf Einzelzellenebene, daher ist ein Vergleich mit denselben Trainingsdatensätzen nicht möglich. Dennoch verglichen wir MILLIE mit vollständig überwachten Ansätzen, indem wir einen Vergleich unserer Klassifizierungsleistung auf Zellebene mit den in der Literatur berichteten Ergebnissen hinzufügten, die mit vollständig überwachten Modellen erzielt wurden, die an denselben Datensätzen auf Zellebene getestet wurden (Ergänzungstabelle 1). MILLIE erzielte beim Nachweis von Lymphoblasten in PBS die gleiche Leistung wie vollständig überwachte Modelle (Ergänzungstabelle 1).

Als nächstes testeten wir die Fähigkeit von MILLIE, APL-Proben zu erkennen und Promyelozyten in Blutausstrichen nachzuweisen (Abb. 3a). Zu diesem Zweck haben wir ein binäres, schwach überwachtes Modell trainiert und validiert, um zwischen APL (30 Proben) und anderen (40 normale und andere AML-Proben) zu unterscheiden. Ähnlich wie beim vorherigen Experiment wurden eine zufällige Aufteilung (Zug:2/3 und Test:1/3) und eine dreifache Kreuzvalidierung durchgeführt. Hinsichtlich der Probenklassifizierung erreichte MILLIE eine AUC von 0,935 ± 0,036 (Abb. 3b, c). Nach dem Training und der Validierung anhand schwacher Etiketten auf Probenebene haben wir MILLIEs Fähigkeit, Promyelozyten von anderen Leukozytentypen zu unterscheiden, weiter getestet. In einem separaten Testsatz bestehend aus Einzelzellbildern von 611 Promyelozyten und 3000 anderen myeloischen und normalen Leukozyten, die zufällig aus einem separaten öffentlich zugänglichen Datensatz33 ausgewählt wurden, erreichte MILLIE eine AUC von 0,88 (Abb. 3d, e). Die PCA der erlernten Faltungsmerkmale zeigt einen deutlichen Cluster, der den Promyelozyten entspricht, die sich leicht mit den anderen Zelltypen überlappen (Abb. 3f). Die Tatsache, dass MILLIE in der Lage ist, zwischen Bildern von Promyelozyten und anderen Arten von weißen Blutkörperchen aus einem anderen öffentlichen Datensatz zu unterscheiden, mit dem es trainiert wurde, lässt darauf schließen, dass die spektralen Vergrößerungen während des Trainings etwaige Kovariatenverschiebungen korrigierten, die durch Farbvariationen zwischen Datensätzen verursacht wurden.

Nachweis akuter Promyelozytärer Leukämie im Blutausstrich. (a) Promyelozyten, die in einer APL-positiven Probe aus dem Hold-Out-Validierungssatz nachgewiesen wurden. (b) Verwirrungsmatrix für die Probenklassifizierung im Validierungssatz. (c) ROC-Kurve (Receiver Operating Characteristic) für die Klassifizierung auf Probenebene im Hold-Out-Validierungssatz. (d) ROC-Kurve für die Klassifizierung auf Zellebene im Zellbild-Testsatz. (e) Verwirrungsmatrix für die Zellklassifizierung (Promyelozyten vs. andere) im Zellbild-Testsatz. (f) PCA-Visualisierung der von MILLIE gelernten Faltungsdarstellungen der einzelnen Zellen im Testsatz.

Um die Robustheit der Methode zu demonstrieren, haben wir MILLIE weiter trainiert und getestet, um APL-Proben (n = 33) von AML-Proben (n = 72) aus einem anderen öffentlich verfügbaren Datensatz zu unterscheiden16. MILLIE erreichte bei einer zufälligen dreifachen Kreuzvalidierung eine AUC von 0,96 ± 0,02 (Abb. 4a–e) und eine höhere AUC (0,94) als zuvor berichtet (0,86)16.

APL- versus AML-Klassifizierung von Blutproben (zusätzlicher Datensatz16). (a) Receiver Operating Characteristic (ROC)-Kurve für die Klassifizierung auf Stichprobenebene im Hold-out-Validierungssatz. (b) Verwirrungsmatrix für die Probenklassifizierung im Validierungssatz. (c) ROC-Kurve für die Klassifizierung auf Zellebene im Zellbild-Testsatz. (d) Verwirrungsmatrix für die Zellklassifizierung (Promyelozyten vs. andere) im Zellbild-Testsatz. (e) PCA-Visualisierung der von MILLIE gelernten Faltungsdarstellungen der einzelnen Zellen im Testsatz.

Die zum Trainieren von MILLIE verwendeten Datensätze enthalten nicht unbedingt Annotationen auf Einzelzellenebene, daher ist ein Vergleich mit denselben Trainingsdatensätzen nicht möglich. Dennoch verglichen wir MILLIE mit vollständig überwachten Ansätzen, indem wir einen Vergleich unserer Klassifizierungsleistung auf Zellebene mit den in der Literatur berichteten Ergebnissen hinzufügten, die mit vollständig überwachten Modellen erzielt wurden, die an denselben Datensätzen auf Zellebene getestet wurden (Ergänzungstabelle 1). In diesem Zusammenhang schneiden vollständig überwachte Modelle, die speziell auf die Unterscheidung zwischen BMA-Myeloblasten und Promyelozyten trainiert wurden, nur geringfügig besser ab. Während die Klassifizierung einzelner Zellen nicht das Hauptziel unseres schwach überwachten MILLIE-Ansatzes ist, zeigen wir, dass MILLIE Lymphoblasten und unreife myeloische Zellen als Marker für ALL bzw. AML kennzeichnen kann.

Um unseren Ansatz weiter zu validieren, haben wir MILLIE trainiert und validiert, Blutfilme von Knochenmarksproben von 236 gesunden Probanden und 1095 AML-Patienten (von denen bei 43 APL diagnostiziert wurde) anhand eines öffentlich zugänglichen Datensatzes zu klassifizieren13. Bei diesem Drei-Klassen-Klassifizierungsproblem wurden zufällige Aufteilungen (Zug:3/4 und Test:1/4) und eine vierfache Kreuzvalidierung durchgeführt. Sowohl hinsichtlich der AML- als auch der APL-Probenklassifizierung erreichte MILLIE im Durchschnitt eine AUC von 0,99 (Abb. 5a). Die Verwirrungsmatrix (Abb. 5b) bestätigt die hohe Genauigkeit der Probenklassifizierung. Wie bei unseren vorherigen Experimenten haben wir nach dem Training und der Validierung auf Diagnoseebenen die Fähigkeit von MILLIE weiter getestet, myeloische unreife Zellen (Myeloblasten, Monoblasten und Promyelozyten) von reifen gesunden Leukozyten (Lymphozyten, Monozyten und Granulozyten) in Knochenmarkaspiraten zu unterscheiden. Auf einem öffentlich zugänglichen Testsatz bestehend aus manuell kommentierten Einzelzellbildern13 von 309 Promyelozyten, 718 Myeloblasten und 262 normalen Leukozyten, die aus unsichtbaren Proben extrahiert wurden, erreichte MILLIE eine AUC von 0,895 für Promyelozyten und 0,862 für die Myeloblastenklassifizierung (Abb. 5c). Während die meisten Promyelozyten (78 %) und Myeloblasten (84 %) anhand der schwachen Markierungen korrekt klassifiziert werden, wird ein Teil der normalen reifen Zellen (hauptsächlich Lymphozyten) von MILLIE fälschlicherweise als AML-Zellen hervorgehoben (Abb. 5d). Die PCA der gelernten Merkmale in der ersten vollständig verbundenen Schicht zeigt drei leicht überlappende, aber unterschiedliche Cluster (Abb. 5e).

Nachweis akuter myeloischer Leukämie in Knochenmarkaspiraten. (a) Receiver Operating Characteristic (ROC)-Kurve für die Klassifizierung auf Stichprobenebene im Hold-out-Validierungssatz. (b) Verwirrungsmatrix für die Probenklassifizierung im Validierungssatz. (c) ROC-Kurve für die Klassifizierung auf Zellebene im Zellbild-Testsatz. (d) Verwirrungsmatrix für die Zellklassifizierung (Promyelozyten vs. andere) im Zellbild-Testsatz. (e) PCA-Visualisierung der von MILLIE gelernten Faltungsdarstellungen der einzelnen Zellen im Testsatz.

Unser Ansatz befasst sich mit einer Herausforderung in der klinischen automatisierten rechnergestützten Hämatopathologie, nämlich der Erkennung und Unterscheidung verschiedener Arten unreifer weißer Blutkörperchen in peripheren Blutausstrichen und Knochenmarkaspiraten. Eine präzise APL-Diagnose basiert auf klinischem Verdacht, Morphologie, Durchflusszytometrie und zytogenetischem oder molekularem Nachweis der Translokation t(15;17)(q24;q21) PML-RAR, die in Umgebungen mit geringen Ressourcen zeitaufwändig sind, wenn sie überhaupt verfügbar sind. Darüber hinaus sind der eingeschränkte Zugang zur Gesundheitsversorgung, diagnostische Verzögerungen, die zu Verzögerungen bei der Verabreichung von All-Trans-Retinsäure (ATRA) und Arsentrioxid (ATO) führen, Faktoren, die die Ergebnisse von Patienten mit APL beeinflussen34,35,36,37. In diesem Zusammenhang könnten Deep-Learning-Computational-Pathology-Systeme wie MILLIE, integriert in die klinischen Arbeitsabläufe zur Blutausstrich- und Knochenmarksbeurteilung, die Priorisierung der akuten Leukämiediagnose in derzeit überlasteten Gesundheitssystemen erleichtern und in ressourcenarmen Umgebungen eine wichtige Rolle spielen.

MILLIE erstellt Deep-Learning-Modelle für die Blutausstrichanalyse, die nur mit diagnostischen Etiketten trainiert werden, ohne zusätzliche morphologische Annotationen auf Zellebene durch menschliche Experten. Um MILLIE zu trainieren, nutzten wir insbesondere schwache Diagnoseetiketten auf Patientenebene, um den Mangel an Anmerkungen zu überwinden, die zum Trainieren vollständig überwachter maschineller Lernmodelle für die Identifizierung und Klassifizierung weißer Blutkörperchen erforderlich sind. Obwohl MILLIE in solchen Diagnoseetiketten (schwachen Etiketten) geschult war, gelang es ihr, einzelne, gut etablierte Indikatoren zu identifizieren, die mit verschiedenen Arten akuter Leukämie verbunden sind, nämlich Lymphoblasten, Myeloblasten und Promyelozyten. Der Nachweis von Promyelozyten als Indikator für APL ist äußerst nützlich, da er die Notfallbehandlung unterstützt, was sich auf die Prognose des Patienten auswirkt5.

Wir haben auch gezeigt, dass MILLIE anpassbar und allgemein auf Klassifizierungsprobleme mit mehreren Klassen anwendbar ist, zusammen mit den binären Klassifikationsaufgaben „Kranke versus Gesunde“, die üblicherweise in schwach überwachten klinischen Kontexten untersucht werden. Unser rechnergestützter Pathologieansatz, der auf schwacher Überwachung basiert, eignet sich besser für die Integration in den klinischen Arbeitsablauf als frühere vollständig überwachte Ansätze13,18, da er nur Etiketten auf Patientendiagnoseebene erfordert und nicht auf schwer zu erhaltende Etiketten auf Objektebene angewiesen ist. Weitere Studien könnten detaillierte Darstellungen der klinischen Vorgeschichte und diagnostischen Modalitäten auf Patientenebene (zytogenetisch, molekular, Durchflusszytometrie) liefern, die von unserem MILLIE-Ansatz genutzt werden können, um seine Bilderkennungsfähigkeiten reaktiver Prozesse zu erweitern. Während wir zeigen, dass unser Ansatz APL-Blutausstriche und Knochenmarkaspiratproben klassifizieren kann, indem er hauptsächlich Promyelozyten von anderen Zelltypen unterscheidet, sind weitere Untersuchungen erforderlich, um zu beurteilen, ob er auf die Unterscheidung zwischen gutartigen und neoplastischen Promyelozyten sowie anderen Promyelozyten enthaltenden Neoplasien ausgeweitet werden kann auch bei anderen Erkrankungen wie chronischer myeloischer Leukämie vorhanden.

APL ist eine heilbare bösartige Erkrankung, wenn rechtzeitig mit der entsprechenden Behandlung begonnen wird. Bei Einsatz innerhalb überlasteter hämatologischer Versorgungspfade15 könnte unser MILLIE-Ansatz der rechnergestützten Hämatologie den Durchsatz bei der Beurteilung von Blutausstrichen und Knochenmarkaspiraten verändern, was zu einer sofortigen Überweisung zur Behandlung führen könnte, um die Frühmortalität zu senken und die Prognose von APL-Fällen zu verbessern15. Unabhängig von den Ressourceneinstellungen bietet MILLIE eine realisierbare Lösung für die Unterstützung klinischer Entscheidungen und die Priorisierung klinischer Pfade. Im Kontext abgelegener, ressourcenarmer Gesundheitseinrichtungen, in denen es neben dem Fehlen zytogenetischer oder molekularer Testmöglichkeiten auch an Fachwissen für die Unterscheidung zwischen normalen und abnormalen Blutausstrichen und Markaspiraten mangelt, kann MILLIE Entscheidungsunterstützung für die Einleitung einer Behandlung bieten . Im anderen Extremfall besteht in Ländern mit großen städtischen Ressourcen, in denen es eine große Anzahl von Patienten über viele komplexe klinische Behandlungspfade hinweg gibt, der Vorteil eines schnellen Durchlaufs bis zur Überweisung an eine wirksame Behandlung bei gleichzeitiger Reduzierung von Fehlern aufgrund der kognitiven Belastung überlasteten Personals. Weitere Studien zur Implementierung der MILLIE-Plattform sollten es dem System ermöglichen, einen größeren Bereich morphologischer Darstellungen einzubeziehen, um den Durchsatz und die Genauigkeit hämatologischer klinischer Pfade zu verbessern, die eine mikroskopische Beurteilung von Blutausstrichen oder Knochenmarksproben erfordern.

Alle in dieser Studie verwendeten Datensätze sind öffentlich verfügbar. Bilder der ALL-Proben und entsprechende Etiketten sind in der ALL Image DataBase (ALL-IDB)31 (http://homes.di.unimi.it/scotti/all/) verfügbar. Bilder der AML-Proben (einschließlich APL) sind in der American Society of Hematology Image Bank (https://imagebank.hematology.org/) öffentlich verfügbar. Bilder einzelner Zellen (Promyelozyten und Myelozyten), an denen MILLIE zusätzlich getestet wurde, sind öffentlich verfügbar33 unter: https://data.mendeley.com/datasets/snkd93bnjr/1. Bilder und Anmerkungen der Knochenmarkaspiratproben13 sind öffentlich verfügbar unter: https://www.kaggle.com/sebastianriechert/bone-marrow-slides-for-leukemia-prediction.

Python-Code und trainierte Modelle sind verfügbar unter: https://github.com/UCL/FASt-MAL-MOFF.

Arber, DA et al. Die Überarbeitung der Klassifikation myeloischer Neoplasien und akuter Leukämien durch die Weltgesundheitsorganisation aus dem Jahr 2016. Blut 127(20), 2391–2405 (2016).

Artikel CAS PubMed Google Scholar

Bain, BJ Diagnose aus dem Blutausstrich. N. engl. J. Med. 353(5), 498–507 (2005).

Artikel CAS PubMed Google Scholar

Narayanan, S. & Shami, PJ Behandlung von akuter lymphoblastischer Leukämie bei Erwachsenen. N. engl. J. Med. 81(1), 94–102 (2012).

Google Scholar

Roboz, GJ Neuartige Ansätze zur Behandlung der akuten myeloischen Leukämie. Hämatol. Bin. Soc. Hämatol. Educ. Programm 2011, 43–50 (2011).

Artikel Google Scholar

Tallman, MS & Altman, JK Wie ich akute Promyelozytenleukämie behandle. Blut 114(25), 5126–5135 (2009).

Artikel CAS PubMed Google Scholar

Nanaa, A., Akkus, Z., Lee, WY, Pantanowitz, L. & Salama, ME Maschinelles Lernen und erweiterte menschliche Intelligenz in der Histomorphologie für hämatolymphoide Erkrankungen. Pathologie 53(3), 400–407 (2021).

Artikel PubMed Google Scholar

Matek, C., Schwarz, S., Spiekermann, K. & Marr, C. Erkennung von Blasten auf menschlicher Ebene bei akuter myeloischer Leukämie mit konvolutionellen neuronalen Netzen. Nat. Mach. Intel. 1(11), 538–544 (2019).

Artikel Google Scholar

Doan, M. et al. Markierungsfreie Leukämieüberwachung durch Computer Vision. Zytom. Teil A 97(4), 407–414 (2020).

Artikel CAS Google Scholar

Chandradevan, R. et al. Maschinelle Erkennung und Klassifizierung für Differenzialzahlen aus Knochenmarkaspiraten: Erste Entwicklung mit Schwerpunkt auf nichtneoplastischen Zellen. Labor. Investig. 100(1), 98–109 (2020).

Artikel PubMed Google Scholar

Choi, JW et al. Differenzialzählung der weißen Blutkörperchen in Reifungsstadien im Knochenmarksausstrich unter Verwendung zweistufiger Faltungs-Neuronalnetze. PLoS ONE 12(12), 1–15 (2019).

CAS Google Scholar

Mori, J. et al. Beurteilung der Dysplasie im Knochenmarkausstrich mit einem Faltungs-Neuronalen Netzwerk. Wissenschaft. Rep. 10(1), 1–8 (2020).

Artikel Google Scholar

Boldú, L. et al. Automatische Erkennung verschiedener Formen akuter Leukämie im peripheren Blut durch Bildanalyse. J. Clin. Pathol. 72(11), 755–761 (2019).

Artikel PubMed Google Scholar

Eckardt, JN et al. Deep Learning erkennt akute myeloische Leukämie und sagt den NPM1-Mutationsstatus anhand von Knochenmarksabstrichen voraus. Leukämie 36(1), 111–118 (2021).

Artikel PubMed Central PubMed Google Scholar

Acevedo, A., Alférez, S., Merino, A., Puigví, L. & Rodellar, J. Erkennung von Bildern peripherer Blutzellen mithilfe von Faltungs-Neuronalen Netzen. Berechnen. Methodenprogramme Biomed. 180, 105020 (2019).

Artikel PubMed Google Scholar

Bewersdorf, JP et al. Übungsmuster und reale Ergebnisse für Patienten mit akuter Promyelozytärer Leukämie. Blood 136 (Beilage 1), 21–22 (2020).

Artikel Google Scholar

Sidhom, JW et al. Deep Learning zur Diagnose akuter Promyelozytärer Leukämie durch Erkennung genomisch geprägter morphologischer Merkmale. NPJ-Präzision. Onkol. 5(1), 38 (2021).

Artikel PubMed Central PubMed Google Scholar

Eckardt, JN et al. Deep Learning identifiziert akute Promyelozytäre Leukämie in Knochenmarksabstrichen. BMC Cancer 22(1), 1–11 (2022).

Artikel Google Scholar

Matek, C., Krappe, S., Münzenmayer, C., Haferlach, T. & Marr, C. Hochpräzise Differenzierung von Knochenmarkszellmorphologien mithilfe tiefer neuronaler Netze auf einem großen Bilddatensatz. Blut 138(20), 1917–1927 (2021).

Artikel CAS PubMed Central PubMed Google Scholar

Maron, O. & Lozano-Perez, T. Ein Framework für das Lernen mehrerer Instanzen. Adv. Neuronale Inf. Verfahren. Syst. 10, 570–576 (1998).

Google Scholar

Wu J, Yu Y, Huang C, Yu K. Deep Multiple Instance Learning für Bildklassifizierung und automatische Annotation. Proz. IEEE Comput. Soc. Konf. Berechnen. Vis. Mustererkennung. 2015;07-12-Juni:460–469.

Kraus, OZ, Ba, JL & Frey, BJ Klassifizierung und Segmentierung von Mikroskopiebildern mit tiefem Mehrfachinstanzlernen. Bioinformatik 32(12), i52–i59 (2016).

Artikel CAS PubMed Central PubMed Google Scholar

Sadafi, A. et al. Aufmerksamkeitsbasiertes Lernen mehrerer Instanzen zur Klassifizierung von Blutzellstörungen. MICCAI 1, 246–256 (2020).

Google Scholar

Jia, Z., Huang, X., Chang, EIC & Xu, Y. Eingeschränkte tiefe, schwache Überwachung für die histopathologische Bildsegmentierung. IEEE Trans. Med. Bildgebung 36(11), 2376–2388 (2017).

Artikel PubMed Google Scholar

Courtiol, P. et al. Die Deep-Learning-basierte Klassifizierung von Mesotheliomen verbessert die Vorhersage des Patientenergebnisses. Nat. Med. 25(10), 1519–1525 (2019).

Artikel CAS PubMed Google Scholar

Campanella, G. et al. Computerpathologie auf klinischem Niveau mit schwach überwachtem Deep Learning für ganze Objektträgerbilder. Nat. Med. 25(8), 1301–1309 (2019).

Artikel CAS PubMed Central PubMed Google Scholar

Lu, MY et al. Dateneffiziente und schwach überwachte Computerpathologie auf ganzen Objektträgerbildern. Nat. Biomed. Ing. 5(6), 555–570 (2021).

Artikel PubMed Central PubMed Google Scholar

Manescu, P., Bendkowski, C., Claveau, R. et al. Ein schwach überwachter Deep-Learning-Ansatz zum Nachweis von Malaria und Sichelzellen in Blutausstrichen. MICCAI., vol. 12265, 226–235 (LNCS, 2020).

Quiñones, VV, Macawile, MJ, Ballado, A., Cruz, JD & Caya, MV Leukozytensegmentierung und -zählung basierend auf mikroskopischen Blutbildern unter Verwendung der HSV-Sättigungskomponente mit Blob-Analyse. 2018 3. Int. Konf. Kontrollroboter. Ing. ICCRE 2018, 254–258 (2018).

Simonyan, K. & Zisserman, A. Sehr tiefe Faltungsnetzwerke für die Bilderkennung im großen Maßstab. 3. Int. Konf. Lernen. Vertreten. ICLR 2015 – Konf. Track Proc., 1–14 (2015).

Deng, J., Dong, W., Socher, R. et al. ImageNet: Eine umfangreiche hierarchische Bilddatenbank. 2009 IEEE Conf. Berechnen. Vis. Pattern Recognit., 248–255 (2010).

Labati, RD, Piuri, V., Scotti, F.. ALL-IDB: Die Bilddatenbank für akute lymphatische Leukämie zur Bildverarbeitung. IEEE Int. Konf. Bildprozess. 2089–2092 (2011).

Reinhard, E., Ashikhmin, M., Gooch, B. & Shirley, P. Farbübertragung zwischen Bildern. IEEE Comput. Graph. Appl. 21(5), 34–41 (2001).

Artikel Google Scholar

Acevedo, A. et al. Ein Datensatz mikroskopischer Bilder peripherer Blutzellen zur Entwicklung automatischer Erkennungssysteme. Datenbr. 30, 105474 (2020).

Artikel CAS Google Scholar

Lehmann, S. et al. Die Frühsterblichkeitsraten sind bei Hochrisiko-APL nach wie vor hoch: Update aus dem schwedischen Register für akute Leukämie 1997–2013. Leukämie 31(6), 1457–1459 (2017).

Artikel CAS PubMed Google Scholar

Chen, C. et al. Frühe Mortalität bei akuter Promyelozytärer Leukämie: Mögliche Prädiktoren (Übersicht). Onkol. Lette. 15(4), 4061–4069 (2018).

PubMed Central PubMed Google Scholar

Jamy, OH, Dhir, A., Costa, LJ & Xavier, AC Einfluss soziodemografischer Faktoren auf die frühe Mortalität bei akuter Promyelozytärer Leukämie in den Vereinigten Staaten: Eine Zeittrendanalyse. Krebs 0, 2021 (2021).

Schuh, AC Eine rechtzeitige Diagnose und Behandlung der akuten Promyelozytenleukämie sollte für alle möglich sein. Haematologica 107(3), 570–571 (2022).

Artikel PubMed Google Scholar

Referenzen herunterladen

Fachbereich Informatik, Fakultät für Ingenieurwissenschaften, University College London, Gower Street, London, WC1E 6BT, Großbritannien

Peter Manescu, Priya Narayanan, Christopher Bendkowski, Love Elmi, Remy Claveau, Vijay Pawar, Mike Shaw und Delmiro Fernandez-Kings

Abteilung für Pädiatrie, College of Medicine, Universität Ibadan, University College Hospital, Ibadan, Nigeria

Biobele J. Brown & Delmiro Fernandez-Reyes

Abteilung für Hämatologie, Great Ormond Street Hospital for Children, London, WC1N 3JH, Großbritannien

Anupama Rao

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

DFR und PM haben die Studie entworfen. PM, MS, ME, RC, VP, CB und DFR führten die experimentelle Analyse durch. MS, PM, PN, RC und CB entwickelten die Bildvorverarbeitungs- und Segmentierungssoftware. DFR, CB, PM, ME, BJB, AR führten experimentelle Laborarbeiten durch. PM hat die Plattform für maschinelles Lernen und ihren Code entworfen und entwickelt. PM, DFR, BJB analysierten die Daten. PM und DFR haben das Manuskript mit Beiträgen aller Autoren erstellt. DFR ist Projektleiter. PM und DFR sind korrespondierende Autoren.

Korrespondenz mit Petru Manescu oder Delmiro Fernandez-Reyes.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Manescu, P., Narayanan, P., Bendkowski, C. et al. Erkennung von akuter Promyelozytärer Leukämie im peripheren Blut und Knochenmark mit annotationsfreiem Deep Learning. Sci Rep 13, 2562 (2023). https://doi.org/10.1038/s41598-023-29160-4

Zitat herunterladen

Eingegangen: 30. August 2022

Angenommen: 31. Januar 2023

Veröffentlicht: 13. Februar 2023

DOI: https://doi.org/10.1038/s41598-023-29160-4

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Neuronale Informatik und Anwendungen (2023)

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.