Hauttonanalyse zur Darstellung in Lehrmaterialien (STAR

Aug 03, 2023

npj Digital Medicine Band 6, Artikelnummer: 151 (2023) Diesen Artikel zitieren

640 Zugriffe

26 Altmetrisch

Details zu den Metriken

Bilder mit dunklen Hauttönen sind in den Lehrmaterialien, mit denen Hausärzte und Dermatologen das Erkennen von Hautkrankheiten lernen, deutlich unterrepräsentiert. Dies könnte zu Unterschieden bei der Diagnose von Hautkrankheiten zwischen verschiedenen Rassengruppen führen. Bisher haben Domänenexperten Lehrbücher manuell bewertet, um die Vielfalt von Hautbildern abzuschätzen. Die manuelle Bewertung lässt sich nicht auf viele Lehrmaterialien anwenden und führt zu menschlichen Fehlern. Um diesen Prozess zu automatisieren, stellen wir das STAR-ED-Framework (Skin Tone Analysis for Representation in EDucational Materials) vor, das die Hauttondarstellung in medizinischen Lehrmaterialien mithilfe maschinellen Lernens bewertet. Bei einem gegebenen Dokument (z. B. einem Lehrbuch im PDF-Format) wendet STAR-ED die Inhaltsanalyse an, um Text, Bilder und Tabelleneinheiten in einem strukturierten Format zu extrahieren. Als nächstes identifiziert es Bilder, die Haut enthalten, segmentiert die hauthaltigen Teile dieser Bilder und schätzt den Hautton mithilfe maschinellen Lernens. STAR-ED wurde unter Verwendung des Fitzpatrick17k-Datensatzes entwickelt. Anschließend haben wir STAR-ED extern anhand von vier häufig verwendeten medizinischen Lehrbüchern getestet. Die Ergebnisse zeigen eine starke Leistung bei der Erkennung von Hautbildern (0,96 ± 0,02 AUROC und 0,90 ± 0,06 F1-Score) und der Klassifizierung von Hauttönen (0,87 ± 0,01 AUROC und 0,91 ± 0,00 F1-Score). STAR-ED quantifiziert die unausgewogene Darstellung von Hauttönen in vier medizinischen Lehrbüchern: Braune und schwarze Hauttöne (Fitzpatrick V-VI) machen nur 10,5 % aller Hautbilder aus. Wir stellen uns diese Technologie als Werkzeug für medizinische Ausbilder, Verleger und Praktiker vor, um die Hauttonvielfalt in ihren Lehrmaterialien zu bewerten.

In medizinischen Lehrbüchern, Vorlesungsunterlagen und veröffentlichten Artikeln, die in den Lehrplänen führender medizinischer Fakultäten verwendet werden, mangelt es an einer angemessenen Darstellung von Hauttönen in den Bildern, die zur Veranschaulichung der Manifestationen von Hauterkrankungen verwendet werden1,2,3. Beispielsweise ergab eine kürzlich durchgeführte manuelle Auswertung häufig verwendeter medizinischer Lehrbücher eine deutliche Unterrepräsentation der Fitzpatrick-Hauttöne (FST) V und VI, die braune und schwarze Hauttöne repräsentieren1,2. Die COVID-19-Pandemie hat diese Ungleichheit noch deutlicher gemacht: Die manuelle Kommentierung veröffentlichter Fotos von COVID-19-Hautmanifestationen ergab, dass Bilder mit dunkler Haut unterrepräsentiert waren4.

Da Hautkrankheiten je nach Hautton unterschiedlich aussehen, sind für gut ausgebildete Mitarbeiter im Gesundheitswesen Lehrmaterialien erforderlich, die unterschiedliche Hauttöne darstellen1,2,3,4,5. Louie und Wilkes weisen darauf hin, dass Rassenungleichheiten in der Gesundheitsversorgung (Zugänglichkeit, Bereitstellung und Qualität) durch den Mangel an vielfältiger Darstellung in Lehrplanmaterialien beeinflusst werden1. Beispielsweise erfolgt die Diagnose von Hautkrebs (z. B. Melanom, Plattenepithelkarzinom) bei farbigen Patienten deutlich verzögert, was zu einer erhöhten Morbidität und Mortalität führt6.

Frühere Analysen akademischer Materialien zum Thema Dermatologie (Zeitschriften und Lehrbücher) haben gezeigt, dass FST V und VI unterrepräsentiert sind; Die Bilder wurden jedoch manuell mit Anmerkungen versehen und analysiert, dh ein Fachexperte lokalisierte jedes Bild in einem Lehrbuch/Tagebuch und beschriftete den Hautton. Leider ist dieser manuelle Ansatz für einen großen Korpus aufgrund seines arbeitsintensiven Charakters, der visuellen Ermüdung des Bedieners und der Fehler bei der Kennzeichnung des Hauttons zwischen Beobachtern nicht umsetzbar1,2,4. Die automatische Beurteilung der Hauttondarstellung mittels maschinellem Lernen (ML) verspricht eine erhebliche Hilfe bei der Identifizierung von Vorurteilen in medizinischen Lehrmaterialien und wurde bisher bei Lehrmaterialien noch nicht durchgeführt.

Auf maschinellem Lernen basierende Ansätze zur Hauttonanalyse in der Dermatologie wurden bisher nur auf kuratierte Datensätze (z. B. ISIC 20187 und SD-1988) angewendet, nicht jedoch auf wissenschaftliche Materialien aus der Praxis. Ein früherer Ansatz verwendete den individuellen Typologiewinkel (ITA), der aus Pixelintensitätswerten berechnet wurde9,10,11; Die ITA-Werte wurden dann auf FST12 abgebildet. Allerdings schnitt ein maschinelles Lernmodell, das darauf trainiert wurde, FST direkt anhand von Hautbildern zu klassifizieren, bei der Kategorisierung von FST besser ab als eine ITA-basierte Schätzung mit Konvertierung in FST13. ITA-basierte Methoden basieren auf Rohpixelwerten, wodurch sie empfindlicher auf Lichtverhältnisse reagieren. Diese früheren Modelle ergaben, dass kuratierte Hautbilddatensätze, die für die Entwicklung von Modellen für maschinelles Lernen in der Dermatologie verwendet wurden, dunkle Hauttöne deutlich unterrepräsentierten.

In dieser Arbeit stellen wir das STAR-ED-Framework (Skin Tone Analysis for Representation in Educational Materials) vor, um mithilfe von maschinellem Lernen automatisch Verzerrungen bei der Darstellung von Hauttönen in Materialien für die medizinische Ausbildung zu bewerten. STAR-ED kann für handelsübliche akademische Materialien wie Lehrbücher, Zeitschriften und Folien in verschiedenen Dateiformaten (z. B. .pdf, .pptx, .docx) eingesetzt werden. Fachexperten (z. B. Professoren medizinischer Fakultäten, Kliniker) können die Ergebnisse direkt nutzen, um ihre Materialien zu analysieren und potenzielle Verzerrungen in der Darstellung zu identifizieren. Die Übersicht über die STAR-ED-Pipeline ist in Abb. 1 dargestellt. Sie ist darauf ausgelegt, akademische Materialien als Eingabe zu nutzen und eine Quantifizierung von FST I-IV- und FST V-VI-Bildern zu ermöglichen, wodurch eine Aufgabe automatisiert wird, die zuvor manuell erledigt wurde2. 14. Die Hauptkomponenten der Pipeline sind die automatische Aufnahme traditioneller akademischer Materialien (Lehrbücher im PDF-Format), das Parsen verschiedener Einheiten (Abbildungen), das Extrahieren von Bildern, die Auswahl von Hautbildern, das Maskieren von Nicht-Haut-Pixeln und die Schätzung von Hauttönen .

Ein STAR-ED-Framework verwendet akademische Materialien (z. B. im PDF-Format) als Eingabe, gefolgt von der Extraktion von Hautbildern in dem gegebenen akademischen Material. Konkret werden Bildpixel, die als Haut identifiziert wurden, dann zur Schätzung der Hauttonkategorie verwendet. B Corpus Conversion Service (CCS) (7) ist ein vorhandenes Dokumenterfassungstool, das zum Parsen verschiedener Dokumententitäten, wie etwa aller Bilder und Tabellen in den Daten, eingesetzt wird. Wir haben alle Bilder mit der JavaScript Object Notation (JSON) extrahiert (8); Die Ausgabe des Aufnahmeschritts enthält die Koordinaten und die Seitenzahl der identifizierten Bilder. C Da unser Fokus auf Bildern im Zusammenhang mit Hautkrankheiten liegt, werden Nicht-Hautbilder (z. B. grafische Darstellungen und Pathologiebilder) mithilfe eines XGBoost (9)-Klassifikators verworfen. D Für jedes Bild, das Haut darstellt, haben wir nicht hautbezogene Pixelbereiche im Vorder- und Hintergrund ausgeblendet (z. B. Pixel von Kleidung, Laborgeräten). Wir verwenden eine farbbasierte Skin-Pixel-Segmentierung, die Pixel extrahiert, die einen vordefinierten Schwellenwert erreichen. E Schließlich werden die segmentierten Hautregionen in ein vorab trainiertes Deep-Learning-Framework eingespeist, d. h. ResNet17, das wie in „Materialien und Methoden“ beschrieben feinabgestimmt wurde, um die Hauttonkategorie entweder als hell (FST I–IV) oder dunkel (FST) abzuschätzen V–VI). Bilder aus Wikimedia Commons übernommen.

In diesem Abschnitt beschreiben wir die Ergebnisse von STAR-ED, einem End-to-End-Framework zur Analyse der Hauttondarstellung, das anhand mehrerer Bildungsdatenquellen in der Dermatologie validiert wurde. Die folgenden Ergebnisse werden für die Komponenten des Frameworks bereitgestellt: Hautbildauswahl, Hautpixelsegmentierung und Hauttonschätzung. Wir beschreiben und validieren jeden Schritt.

Um den Unterschied zwischen Hautbildern und Nicht-Hautbildern zu visualisieren, wenden wir eine Hauptkomponentenanalyse auf den Merkmalsraum an, die das Histogramm des orientierten Gradienten (HoG) und grundlegende Statistiken (Mittelwert und Standardabweichungen) von Bildkanälen im CIE LAB-Farbraum umfasst. Die Verteilungen von Haut- und Nicht-Haut-Bildern (projiziert mit den beiden Hauptkomponenten) sind in Abb. 2A für die Datensätze DermEducation und Medical Textbooks (beschrieben in Materialien und Methoden) dargestellt. Die Haut- und Nicht-Hautbilder weisen erhebliche Überlappungen auf, wie im PCA-Diagramm dargestellt. Dies deutet darauf hin, dass Einzelbildstatistiken nicht zuverlässig zwischen Haut und Nicht-Haut unterscheiden können, und motivierte uns, Ansätze des maschinellen Lernens für STAR-ED zu verwenden.

Sobald die Bilder aus den Materialien extrahiert wurden, zielt der Auswahlschritt darauf ab, Hautbilder zu identifizieren und Nicht-Hautbilder (z. B. Pathologiebilder) zu verwerfen. Zu diesem Zweck haben wir eine Reihe von Merkmalen extrahiert: Histogramm des orientierten Gradienten (HoG) (23) sowie Mittelwert und Standardabweichungen von Bildkanälen im CIELAB-Farbraum (24). A Dies zeigt die Visualisierungen der Hauptkomponentenanalyse (PCA) von Hautbildern (grün) und Nicht-Hautbildern (rot) in den beiden Datensätzen (DermEducation und Medical Textbooks), die für die Validierung des Auswahlschritts verwendet wurden. Legende: Roter Punkt – Nicht-Haut; Grüner Punkt – Haut. B Dies zeigt eine ermutigende Leistung bei der Identifizierung von Hautbildern in DermEducation unter Verwendung der Klassifikatoren Support Vector Machines (SVM) (18) und Extreme Gradient Boosting (XGBoost) (9) in einer fünffach geschichteten Kreuzvalidierungsumgebung. Legende: Roter Balken – SVM; Grüner Balken – XGB. C Es zeigt die vergleichende Leistung dieser beiden Klassifikatoren, wenn sie in vier Dermatologielehrbüchern als externer Test verwendet werden. Die Gesamtergebnisse bestätigen den Nutzen maschineller Lernansätze zur Identifizierung von Hautbildern, und es wird eine konkurrenzfähige Leistung zwischen SVM- und XGB-Klassifikatoren erzielt, während letzterer einen leichten Vorteil hat und in STAR-ED verwendet wird.

Zwei Klassifikatoren – Support Vector Machine (SVM)15 und XGBoost (XGB)16 – wurden für die Hautbildauswahlaufgabe trainiert und getestet. Für die Berechnung von Leistungsmetriken wurden Bilder mit Haut als positive Klasse und Bilder ohne Hautbilder als negative Klasse behandelt.

Abbildung 2B zeigt die Leistung von SVM und XGB im DermEducation-Datensatz unter Verwendung einer fünffach geschichteten Kreuzvalidierungseinstellung. Mit dem DermEducation-Datensatz erreichen beide Klassifikatoren eine konkurrenzfähige Leistung mit XGB, was zu einer etwas besseren Leistung mit einem durchschnittlichen F1-Score von 0,96 ± 0,008 und einer durchschnittlichen Fläche unter der Receiver Operating Characteristic (AUROC) von 0,95 ± 0,013 führt. Abbildung 2C zeigt die Ergebnisse, wenn diese trainierten Modelle mit dem externen Medical Textbooks-Datensatz validiert werden, der aus Bildern besteht, die von CCS aus vier medizinischen Lehrbüchern extrahiert wurden. Zwischen den Klassifikatoren in den vier Lehrbüchern wird durchweg eine ermutigende Leistung (>0,9 AUROC) erzielt, was die Robustheit des Frameworks bestätigt. Insbesondere führt der XGB-Klassifikator in allen Lehrbüchern zu einem durchschnittlichen AUROC von 0,96 ± 0,02 und einem F1-Score von 0,90 ± 0,06 F1. Zusammenfassend lässt sich sagen, dass die Erkennung von Hautbildern mit herkömmlichen Klassifikatoren für maschinelles Lernen (ohne hochentwickelte tiefe Netzwerke) zufriedenstellend durchgeführt werden könnte. XGB wurde für die endgültige STAR-ED-Pipeline aufgrund seiner etwas besseren Leistung verwendet, insbesondere in seinem AUROC, das im Gegensatz zur Genauigkeit unabhängig von einzelnen Vorhersageschwellenwerten ist.

Die Segmentierung von Hautpixeln zielt darauf ab, Nicht-Hautpixel (z. B. Hintergrund, Vordergrund) auszublenden, wie in Abb. 3 dargestellt.

Eine Segmentierung von Skin-Pixel-Beispielen mit ihren entsprechenden Jaccard-Scores. B Beispiele für die Segmentierung von Hautpixeln, wobei Vordergrund- und Hintergrund-Nicht-Haut-Pixel und Läsionspixel maskiert werden. C Beispiele für Segmentierungsvergleiche. Das erste Beispiel zeigt eine höhere Übereinstimmung zwischen zwei Anmerkungen, während das zweite Beispiel eine geringere Übereinstimmung zwischen diesen Anmerkungen widerspiegelt. Bilder aus Wikimedia Commons übernommen.

Wir haben den SkinSegmentation-Datensatz (beschrieben im Abschnitt „Materialien und Methoden“) verwendet, um die Segmentierungsergebnisse der vorgeschlagenen Methode mit manuellen Segmentierungen durch einen Domänenexperten zu vergleichen. Beachten Sie, dass die Expertensegmentierung sowohl Nicht-Hautpixel als auch Regionen mit Hautläsionen ausschließt, während die automatische und intensitätsbasierte Segmentierung Hautläsionen im aktuellen Stadium nicht ausschließt. Abbildung 3C zeigt zwei Beispiele, bei denen maximale und minimale Übereinstimmung erreicht wird. Weitere Vergleichsmetriken, wie z. B. der Jaccard-Index, sind in Abb. 3A dargestellt. Insgesamt ergibt der Vergleich der Segmentierungsergebnisse eine durchschnittliche Falsch-Positiv-Rate von 0,24, eine Falsch-Negativ-Rate von 0,05, eine Richtig-Positiv-Rate von 0,36, eine Richtig-Negativ-Rate von 0,34, einen Jaccard-Index von 0,51 und eine Genauigkeit von 0,70. Beachten Sie, dass bei der Berechnung der echten Positiv- und Negativraten hautbezogene Pixel als positive Klasse und nicht hautbezogene Pixel in einem Hautbild (z. B. Stoff) als negative Klasse behandelt werden.

Tabelle 1 zeigt die Schätzergebnisse (Mittelwert und Standardabweichung) im Fitzpatrick17K-Datensatz11, basierend auf einer geschichteten fünffachen Kreuzvalidierung über mehrere Ansätze des maschinellen Lernens. In der Tabelle zeigen wir Ergebnisse zu Methoden bei Verwendung der maskierten Rohpixel im Vergleich zur Verwendung von Eingabefunktionen auf Basis von HOG + ITA (weitere Einzelheiten finden Sie im Abschnitt „Methoden“). Wir haben die Hauttöne in FST I–IV und FST V–VI kategorisiert. FST V–VI wird als positive Klasse und FST I–IV als negative Klasse bei der Berechnung von Präzision, Genauigkeit und F1-Score-Metriken gekennzeichnet. Wir verwenden gewichtete Metriken, um Klassenungleichgewichte zu berücksichtigen, indem wir den Durchschnitt binärer Metriken berechnen, bei denen die Punktzahl jeder Klasse anhand ihrer Präsenz in der wahren Datenstichprobe gewichtet wird.

Zusätzlich berechnen wir die Rückrufmetrik für alle Methoden. Im vorab trainierten ResNet-18 (Rückruf = 0,88) haben wir maskierte Pixel als Eingabe verwendet. Für traditionelle ML-Modelle verwenden wir die Feature-Vektoren (HOG + ITA), da sie eine ähnliche Leistung wie Pixel zeigen und gleichzeitig die Laufzeit des Trainings und Tests reduzieren (siehe Tabelle 1). Wir können beobachten, dass bei herkömmlichen Methoden (Random Forest = 0,61, Extremely Randomized Trees = 0,61, Ada Boost = 0,64 und Gradient Boosting = 0,65) der Balanced Random Forest (Recall = 0,77) den besten Recall für beide Hauttöne erzielt Die anderen Methoden schneiden bei der FST V-VI-Klassifizierung schlecht ab.

Wir haben festgestellt, dass das gewichtete Deep-Learning-Framework ResNet-1817, das mit ImageNet18 vorab trainiert wurde, 11.689.512 Parameter enthält und mit Fitzpatrick17K11 verfeinert wurde, die beste Leistung aufweist, und haben diese Methode der Hauttonschätzung für das STARE-ED-Framework integriert.

Nach dem Training und der Validierung im Fitzpatrick17k-Datensatz haben wir den Ansatz zur Hauttonschätzung anhand mehrerer externer Quellen evaluiert. Siehe Abb. 4 für AUROC- und F1-Scores für jedes der vier Lehrbücher im Datensatz „Medical Textbooks“ unter Verwendung eines vorab trainierten ResNet-18, das wie in „Materialien und Methoden“ beschrieben feinabgestimmt wurde. Abbildung 4 zeigt auch den Anteil der FST I–IV- und FST V–VI-Bilder für jedes Lehrbuch, wie von STAR-ED geschätzt und mit der Grundwahrheit verglichen. Wir beobachten in jedem dermatologischen Lehrbuch, das für die STAR-ED-Validierung verwendet wird, eine Unterrepräsentation von FST V–VI, in allen Fällen kleiner oder gleich 10,5 %. Zuvor wurden diese Lehrbuchbilder von Hand beschriftet, um Verzerrungen bei der Darstellung von Hauttönen festzustellen. Der Prozess dauerte im Vergleich zum STAR-ED-Framework, das innerhalb von Minuten eine Verzerrungsbewertung erstellt, mehr als 100 Arbeitsstunden.

Die Leistung wird anhand des AUROC- und F1-Scores bewertet. Wir können auch die Proportionen der Hauttöne in jedem Lehrbuch, die mit unserer vorgeschlagenen Methode geschätzten Töne und die Grundwahrheit (Ground Truth, GT) beobachten. Legende des ersten Balkendiagramms: Lila Balken – F1-Ergebnis; Blauer Balken – AUROC. Legende des zweiten Balkendiagramms: Lila Balken: FST I-IV-Hauttöne; Magenta-Balken: FST V-VI-Hauttöne.

Wir führen zusätzliche externe Tests mit DermEducation durch, einem eigenständigen Bilddatensatz, der von Dermatologen zum Lernen für kommissionelle Prüfungen verwendet wird (siehe Abschnitt „Materialien und Methoden“). Wenn ein gewichtetes ResNet17-Deep-Learning-Framework verwendet wird, das mit ImageNet18 vorab trainiert und wie in „Materialien und Methoden“ beschrieben feinabgestimmt wurde, erhalten wir einen AUROC von 0,87 und einen F1-Score von 0,91 für die Hauttonschätzung im Vergleich zu anderen etablierten Methoden, wie zum Beispiel Balanced Trees19 mit einem AUROC von 0,82 und F1-Score von 0,80. Auswertung der ITA-basierten Fitzpatrick-Index-Kartierung (siehe Ergänzungstabelle 1); führt mit einem F1-Wert von 0,36 zu der niedrigsten Hautton-Schätzleistung.

Wir stellen fest, dass STAR-ED automatisch eine deutliche Verzerrung in der Darstellung von dermatologischen Lehrmaterialien und Lehrbüchern für den Hautton FST V-VI (≤10,5 %) aufweist.

Unterschiede in der dermatologischen Diagnose können mit Ungleichheiten in den Materialien zur dermatologischen Ausbildung zusammenhängen. Insbesondere gibt es übereinstimmende Berichte von Fachexperten über das Fehlen von FST V-VI-Bildern in den Materialien, die zur Ausbildung von Dermatologen und Hausärzten verwendet werden1,2. Bisher wurden Versuche, Darstellungsverzerrungen in diesen Materialien zu verstehen, manuell durchgeführt, was arbeitsintensiv und für groß angelegte Anwendungen unpraktisch ist. Der Beitrag dieses Papiers ist die Entwicklung und Validierung eines End-to-End-Tools für maschinelles Lernen, STAR-ED, das diese Materialien automatisch aufnimmt und eine Darstellungsanalyse bereitstellt, die die Erkennung und das Verständnis von Darstellungsverzerrungen erleichtern kann. Ein solches Tool könnte wirkungsvoll sein, indem es vor der Veröffentlichung oder kurz nach der Veröffentlichung aus erster Hand ein Bewusstsein für mögliche Voreingenommenheit schafft. STAR-ED ist flexibel und kann mit verschiedenen Formaten von Lehrmaterialien arbeiten, z. B. .pdf, gescannte Bücher als Bilder, Folien in .pptx und Word-Dokumente in .docx. Somit könnte STAR-ED nicht nur für Lehrbücher verwendet werden, sondern auch für die Bewertung von Forschungsarbeiten, Bildstudiensätzen und Vorlesungsfolien.

Um STAR-ED zu erstellen, haben wir verschiedene Methoden des maschinellen Lernens getestet, um einen End-to-End-Workflow zu erstellen, der die Auswahl von Hautbildern, die Segmentierung von Hautpixeln und die Schätzung des Hauttons durchführt. Eine Herausforderung bei der Schätzung der Hauttonverteilung aus komplexen Materialien wie Lehrbüchern besteht darin, Hautbilder aus anderen Materialien (z. B. Text, Tabellen) zu analysieren und zu identifizieren. Eine Reihe regelbasierter Methoden zur Aufnahme von Dokumenten wurde bereits entwickelt; Allerdings haben Staar et al. einen auf maschinellem Lernen basierenden Ansatz entwickelt, der eine größere Flexibilität über Dokumenttypen hinweg ermöglicht20. Im Gegensatz zu einem kuratierten Dermatologie-Datensatz enthalten aus Lehrbüchern oder anderen Lehrmaterialien extrahierte Bilder jedoch häufig auch Bilder, die nicht zur Haut gehören. Um zwischen Haut- und Nicht-Haut-Bildern zu unterscheiden, haben wir für jedes Bild einen Merkmalsvektor erstellt, der den Histogram of Oriented Gradient (HOG)-Deskriptor und ein intensitätsbasiertes Merkmal basierend auf dem CIE LAB-Farbraum enthielt. Bisher wurden HOG-Deskriptoren zur Unterscheidung von Hautläsionen verwendet21. Darüber hinaus stützten sich frühere Arbeiten zur Trennung von Haut- und Nicht-Hautbildern auf Clustering im Farbraum; Ein Vergleich der normalisierten RGB-, HSV-, YCbCr-, CIE LAB- und CIE Luv-Farbräume zur Erstellung probabilistischer Klassifikatoren zur Identifizierung von Haut ergab, dass CIE LAB die beste Leistung erzielte22. Wir kombinieren diese Funktionen und stellen fest, dass der XGB-Klassifikator eine gute und skalierbare Leistung bei der Trennung von Skin- und Nicht-Skin-Bildern aufweist. Bilder von Haut haben oft Vorder- und Hintergrundobjekte, was die Identifizierung von Bildbereichen erfordert, die Haut zeigen. Für die Hautpixelsegmentierung verwendet unsere aktuelle Methodik eine intensitätsbasierte Hautpixelsegmentierungstechnik. Frühere Arbeiten zu den Daten der International Skin Imaging Collaboration (ISIC) verwendeten die Maske R-CNN für die Segmentierung von Hautläsionen; Allerdings handelt es sich bei ISIC-Bildern um dermatoskopische Bilder, die stärker standardisiert sind als die heterogenen klinischen Bilder, die in Lehrbüchern zu sehen sind23. Darüber hinaus ermöglicht unser vereinfachter Ansatz ein leichteres Modell für eine weit verbreitete Anwendung dieses Frameworks und ermöglicht gleichzeitig eine nachgelagerte Hauttonvorhersage, die der Grundwahrheit nahe kommt (Abb. 4). Schließlich haben wir mehrere verschiedene Methoden zur Hauttonbewertung getestet und festgestellt, dass ein vorab trainiertes Resnet-Modell, das auf dem Fitzpatrick17k-Datensatz feinabgestimmt wurde, die beste Leistung für die Vorhersage von FST I-IV- und FST V-VI-Bildern aufwies. Wir haben die gesamte Pipeline anhand von vier Lehrbüchern validiert, die Hautkrankheiten zeigen. Diese Lehrbücher wurden aufgrund ihrer früheren Identifizierung als Kernlehrbücher der Dermatologie in früheren Arbeiten ausgewählt2.

Wir konnten STAR-ED verwenden, um die Ergebnisse in der Literatur zusammenzufassen, die zeigen, dass FST V-VI-Haut in Lehrmaterialien zur Dermatologie deutlich unterrepräsentiert ist. STAR-ED ermöglicht die Durchführung dieser Bias-Bewertung in großem Maßstab und ohne stundenlangen manuellen Etikettierungsaufwand. Wir stellen uns vor, dass STAR-ED es medizinischen Ausbildern, Verlegern und Praktikern ermöglicht, ihre Lehrmaterialien schnell zu bewerten.

Zukünftige Arbeiten zielen darauf ab, STAR-ED bei verschiedenen Verlagen und Inhaltserstellern auf der ganzen Welt zu testen. Wir stellen uns diese Technologie als Werkzeug für dermatologische Ausbilder, Verleger und Praktiker vor, um ihre Lehrmaterialien schnell zu bewerten und auf andere Bereiche (z. B. Geschichte) zu übertragen, um automatisch einen Mangel an vielfältiger Darstellung zu erkennen.

Während bei der Erkennung von Hautbildern und der Schätzung der Hauttonkategorien eine ermutigende Leistung erzielt wird, berücksichtigt die vorgeschlagene Pipeline nicht Nichtbildinhalte eines bestimmten akademischen Materials, z. B. Texte, Autorenlisten und Tabellen, die später integriert werden könnten, um mehrere Modaldarstellungsanalyse.

Eine Einschränkung unserer Hautpixel-Segmentierungsmethode besteht darin, dass sie erkrankte oder verletzte Haut, die möglicherweise Pigmentierungsmuster aufweist, die nicht das Erscheinungsbild der gesunden Haut des Individuums widerspiegeln, nicht vollständig ausschließt. Zukünftige Iterationen von STAR-ED werden darauf abzielen, einen Schritt hinzuzufügen, der erkrankte oder verletzte Haut für mehr Granularität segmentiert. Zur Schätzung des Hauttons haben wir die Bilder in zwei Gruppen unterteilt: FST I-IV und FST V-VI, um das Fehlen brauner und schwarzer Hauttöne in Lehrmaterialien zu erfassen. Dieses Modell wurde erstellt, um zahlreiche frühere Studien im Bereich der Lehrmaterialverzerrung, die sich auf FST V und VI2 konzentrierten, manuell zusammenzufassen. Dies bedeutet zwar, dass wir keine weitere Granularität der Hauttöne erfassen, es werden jedoch die historisch am häufigsten ausgeschlossenen Hauttöne bewertet. Die Beurteilung des Hauttons allein anhand von Bildern wird auch durch Unterschiede in der Farbbalance zwischen verschiedenen Kameras und Unterschiede in der Beleuchtung eingeschränkt, die beide das Erscheinungsbild der Haut beeinflussen können23. Neuere Literatur hat jedoch gezeigt, dass die genaueste Kennzeichnung bei benachbarten Hauttönen erfolgt, wie z. B. FST V und VI24. Darüber hinaus haben wir geschulte Nicht-Experten für die Kennzeichnung des Ground-Truth-Hauttons eingesetzt, waren jedoch in der Lage, die Ergebnisse anhand einer Teilmenge von Bildern zu validieren, die mit Domänenexperten gekennzeichnet waren. Jüngste Arbeiten haben gezeigt, dass ausgebildete Nicht-Experten eine ähnliche Leistung erbringen können wie erfahrene Etikettierer, insbesondere angesichts der Variabilität, die selbst bei Experten zu beobachten ist24. Während wir zur Kennzeichnung des Hauttons die Fitzpatrick-Hauttonskala verwendet haben, hat diese Skala ihre eigenen Vorurteile und Subjektivität; Dermatologen haben die Vorteile der Verwendung alternativer Skalen zur Schätzung des Hauttons diskutiert25. Zukünftige Iterationen dieser Arbeit könnten jede entwickelte alternative Skala zur Hauttonschätzung einbeziehen.

In diesem Abschnitt beschreiben wir die Datensätze, die zum Training und Testen unseres Frameworks verwendet werden, sowie die verwendeten Algorithmen für maschinelles Lernen. Aufgrund der Verwendung öffentlich verfügbarer Daten war diese Studie vom IRB ausgenommen.

Die Beschreibung, wie jeder Datensatz während der Methodenentwicklung verwendet wird, ist in der ergänzenden Abbildung 3 beschrieben. DermEducation ist ein praktischer Bildsatz von dermatologischen Bildern, der für Bildungszwecke verwendet wird. DermEducation enthält insgesamt 2708 Bilder, darunter 461 Nicht-Hautbilder, 2247 Hautbilder (1932 FST I-IV und 315 FST V-VI). DermEducation wurde verwendet, um den Haut- und Nicht-Haut-Klassifikator zu trainieren. Darüber hinaus wurde es verwendet, um die vorgeschlagene Hauttonschätzung durch Vergleich mit der ITA-basierten Tonschätzung zu validieren. Die Kennzeichnung von Haut versus Nicht-Haut und Hautton wurde von einem Medizinstudenten vorgenommen und von einem Dermatologen auf Richtigkeit überprüft.

Der SegmentedSkin-Datensatz ist ein praktischer Bildsatz von Open-Source-Dermatologiebildern, die von einem Dermatologen aus Wikimedia ausgewählt wurden. Für diese 22 Bilder erstellte ein Dermatologe Segmentierungsmasken gesunder Haut. Dieser Datensatz wurde zur Validierung der Hautpixelsegmentierung verwendet.

Fitzpatrick17K11 ist ein öffentlich verfügbarer Datensatz mit 16.577 klinischen Bildern, die aus zwei zuvor von Dermatologen erstellten Online-Open-Source-Dermatologieatlanten mit FST-Kennzeichnung stammen. Nach der Vorverarbeitung verwendeten wir 13.844 Bilder von FST I–IV und 2168 Bilder von FST V–VI. Fitzpatrick17K wurde verwendet, um unseren Hauttonschätzer zu trainieren und zu validieren.

Für zusätzliche externe Tests und um zu demonstrieren, wie unser Framework auf Lehrmaterialien aus der Praxis angewendet werden kann, haben wir auch vier medizinische Lehrbücher verwendet, die den Autoren persönlich gehören. Als Gruppe bezeichnen wir dies als den Datensatz „Medical Textbooks“, der Folgendes umfasst: Rook's textbook of dermatology26, Bolognia 4e27, Fitzpatrick Color Atlas 8e28 und Fitzpatrick Dermatology in General Med 9e29. Nachdem wir den Korpuskonvertierungsdienst zum Extrahieren von Bildern verwendet hatten, haben wir winzige Bilder (<100 Pixel in jeder Dimension) herausgefiltert. In Tabelle 2 finden Sie eine Zusammenfassung der in diesem Dokument verwendeten Datensätze: Medizinische Lehrbücher (enthält vier Lehrbücher), DermEducation und öffentlich verfügbares Fitzpatrick17K. Beachten Sie, dass das Verhältnis von Hautbildern zu Nicht-Hautbildern in den Lehrbüchern und Datensätzen unterschiedlich ist. Atlas28 hat beispielsweise 822 Hautbilder und nur 57 sind Nicht-Hautbilder; Andererseits verfügt Fitzpatrick General29 nur über 1.881 Hautbilder im Vergleich zu 1.096 Nicht-Hautbildern. Für den Datensatz „Medical Textbooks“ wurden die Bilder von den Autoren manuell als „Haut“ bzw. „Nicht-Haut“ gekennzeichnet. Hautbilder wurden von Nicht-Dermatologen, die an früheren Beispielen geschult waren, als FST I-IV und FST V-VI gekennzeichnet. Die Etikettenverteilungen wurden mit denen verglichen, die zuvor von Domänenexperten für eine Teilmenge von Bildern gemeldet wurden, und es wurde festgestellt, dass sie ähnlich sind, siehe Abb. 5. Der Grad der Übereinstimmung zwischen einer Teilmenge von Bildern, die sowohl von Domänenexperten als auch von unseren geschulten Etikettierern gekennzeichnet wurden, betrug 0,887 für Fitzpatrick , 0,860 für Atlas und 0,855 für Bolognia (Abb. 5). Die Etiketten für DermEducation wurden von einem Medizinstudenten erstellt, während 17.000 Etiketten von Fitzpatrick im Datensatz enthalten waren11.

Beschriften Sie Verteilungen von Nicht-Dermatologen und zuvor gemeldete Gesamtzahlen von Fachexperten in mehreren Kapiteln aus Bolognia- und Atlas-Büchern.

Die Übersicht über die vorgeschlagene Methode ist in Abb. 1 dargestellt. Im Folgenden beschreiben wir die Hauptkomponenten der vorgeschlagenen Pipeline.

Wir haben den Corpus Conversion Service (CCS) genutzt, um akademische Materialien in ein gescanntes und programmatisches PDF-Dokumentformat20 einzulesen. Das CCS ist ein cloudbasierter Dienst, der große Korpora in großem Maßstab aufnehmen kann. Es nutzt KI-Modelle30, um PDF-Dokumente in strukturierte Textdateien in JavaScript Object Notation31 umzuwandeln. Neben der Extraktion des Haupttextes aus den Dokumenten ermöglicht das CCS dem Benutzer auch die einfache Identifizierung der Tabellen und Bilder anhand ihrer Beschriftungen und ihrer Position in den Dokumenten. Diese Bildextraktionsfunktion erleichtert die Extraktion von Bildern, die als (Roh-)Daten für die in diesem Dokument beschriebene Arbeit verwendet werden können.

Um den Schritt der Erkennung von Hautbildern zu vereinfachen, verwenden wir den Deskriptor „Histogram of Oriented Gradient“ (HOG), der üblicherweise bei der Objekterkennung verwendet wird und gegenüber lokalen geometrischen oder photometrischen Transformationen invariant ist32. Der HOG-Merkmalsvektor für ein Bild I (hi) wird aus einem betragsgewichteten Histogramm von Richtungsabschnitten berechnet, die aus dem Gradienten der Pixelintensitätswerte in horizontaler (Gx) und vertikaler (Gy) Richtung erhalten werden. Gx(r, c) = I(r, c + 1) − I(r, c − 1) und Gy(r, c) = I(r + 1, c) − I(r − 1, c) darstellen die Gradienten des Pixels, das durch die r-te Zeile und die c-te Spalte identifiziert wird. Der mit diesen Gradienten verbundene Winkel wird als θi(r, c) = arctan(Gy/Gx) erhalten und seine Größe ist definiert als Mi(r, c) = pG2y + Gx2. Die Winkelwerte werden nach einer Sensitivitätsanalyse über einen Bereich von Bins in C = 32 Cluster eingeteilt, und jeder θi-Wert wird dem nächstgelegenen Cluster zugeordnet, gewichtet mit der entsprechenden Größe Mi. Darüber hinaus haben wir direkte Pixelintensitätswerte hinzugefügt, nachdem der RGB-Farbraum in den CIE LAB-Farbraum (d. h. L-, a- und b-Kanäle) umgewandelt wurde, der bekanntermaßen auf verschiedenen Bildgebungsgeräten robust ist. Der aus diesen Kanälen im Bild I abgeleitete Merkmalsvektor ist pi = [µL,µa,µb,σL,σa,σb], wobei µ den Mittelwert und σ den Standardabweichungswert darstellt. Der Gesamtmerkmalsvektor ist die Verkettung der HOG-Merkmale (hi) und der intensitätsbasierten Merkmale (pi), was zu einem 38-dimensionalen endgültigen Merkmalsvektor für die Hautbilderkennung führt.

Die Klassifizierungsphase wird sowohl mit dem SVM15- als auch mit dem XGBoost16-Algorithmus validiert, und die Train-Test-Strategie verwendet eine fünffach geschichtete Kreuzvalidierung mit dem DermEducation-Datensatz. Für SVM haben wir den RBF-Kernel verwendet, da er die Beziehung zwischen Features auf nichtlineare Weise besser kodiert. Zu diesem Zweck setzen wir nu: den Parameter, der den Trainingsfehler (d. h. die Anzahl der Unterstützungsvektoren) steuert, auf 0,01 und den Gamma-Parameter, der den Einfluss des Radius auf den RBF-Kernel bestimmt. Er wurde auf 0,05 gesetzt, um eine Überanpassung zu vermeiden während dem Training. Für den XGBoost-Klassifikator verwenden wir eine auf Kreuzvalidierung (cv) basierende Kalibrierung mit cv-Falten = 3, wobei die Hyperparameter aus der Faltung mit der besten Leistung festgelegt werden. Als Leistungskennzahlen verwenden wir die Area Under Operating Receiving Characteristics (AUROC) und den F1-Score.

Für die Hautsegmentierung gibt es mehrere Ansätze. Wir können die Strategien in schwellenbasierte, modellbasierte und regionalbasierte Methoden klassifizieren. Saxen und Al-Hamadi33 zeigten, dass bereichsbasierte Methoden bei der Farbsegmentierung die leistungsstärksten sind (es werden keine Texturinformationen verwendet/ausgewertet). Da unser übergeordnetes Ziel darin besteht, binäre Hauttöne zu klassifizieren, haben wir uns für die Verwendung von Hautsegmentierungsansätzen anstelle der Läsionssegmentierung entschieden. Wenn eine höhere Granularität erforderlich ist, müssen wir Läsionspixel berücksichtigen und nicht nur den Ansatz mit Haut- und Nicht-Haut-Pixeln. Für die ersten Experimente verwenden wir eine Kombination aus einem Region-Growing-Algorithmus und farbbasierter Segmentierung in den HSV- und YCbCr-Farbräumen. Zuerst konvertieren wir unsere RGB-Bilder in die Farbräume HSV und YCbCr. Die verwendeten Bereiche basierten auf früheren veröffentlichten Arbeiten33. Zweitens wenden wir nach dem Ausschneiden der Bilder Wassereinzugsgebiete und andere morphologische Operationen an.

Zur Durchführung der Hauttonklassifizierung verwenden wir den Fitzpatrick17k-Datensatz für das Training und die Bewertung mittels Kreuzvalidierung. Für externe Tests verwendeten wir die in Tabelle 2 aufgeführten Lehrbücher und DermEducation. Als Eingabedaten verwenden wir nur die aus unserem vorherigen Abschnitt extrahierten Hautpixel (siehe Ausgewählte Pixel in Abb. 3B, C). Unser Ziel war es, Hautbilder als FST I-IV oder FST V-VI zu kennzeichnen. Für diese Experimente haben wir Feature-Engineering- und Deep-Learning-Ansätze untersucht. Für die merkmalstechnischen Vektoren verwenden wir die Verkettung des HOG-Merkmalsvektors, den Mittelwert und die Standardabweichung der Kanäle Luminanz (L) und Gelb (b) im CIE LAB-Farbraum sowie ITA-Werte, die stark mit Melaninindizes9 korrelieren. 12,23. Diese Merkmalsvektoren wurden in mehreren Ensemble-Methoden verwendet (Random Forest34, Extremely Randomized Trees35, AdaBoost36 und Gradient Boost16), siehe Tabelle 1, da alle Modelle auf einem durchschnittlichen Niveau ähnlich abschnitten. Random Forest und Randomized Trees funktionierten ähnlich wie die anderen Methoden und erforderten weniger Rechenzeit als Ada Boost und Gradient Boosting. Alle Modelle wurden mit scikit-learn v0.24.237 und imbalanced-learn38 implementiert. Darüber hinaus haben wir Deep-Learning-Modelle evaluiert. Wir haben ein vorab trainiertes ResNet-18 verwendet, ein Faltungs-Neuronales Netzwerk mit einer Tiefe von 18 Schichten. Die vorab trainierten Gewichte enthalten 11689512 Parameter. Das Netzwerk wurde anhand von mehr als einer Million Bildern aus dem ImageNet-Datensatz18 trainiert. Nach dem Laden der Gewichte modifizieren wir die letzte Ebene, um nur zwei Klassen (FST I-IV und FST V-VI) zu berücksichtigen, und führen ein gewichtetes Neutraining für zwanzig Epochen durch. Das Umtraining wurde mit der standardmäßigen Stochastic Gradient Descent-Optimierung auf gewichteten Kreuzentropieverlust, einer Lernrate von 1e−3 mit linearem Zerfall und einer Stapelgröße von 32 durchgeführt. Die Implementierung erfolgte mit dem Scientific Python Stack v3.6.939 und Pytorch v1.8.140. Die Ergebnisse sind in Tabelle 1 und Abb. 4 zu sehen. Wir haben auch einen bestehenden Ansatz getestet, der ITA-Werte auf den Fitzpatrick-Hautton abbildet. Bei Verwendung von ITA-basierten Methoden wird die ITA später auf FST abgebildet, wie in der Ergänzungstabelle 1 gezeigt.

Die sechs Fitzpatrick-Hauttonindizes werden dann in zwei Kategorien (FST I-IV und FST V-VI) zusammengefasst und die Ergebnisse mit STAR-ED verglichen. Die Hauttonschätzung wurde über alle Methoden hinweg ausgewertet, mit einer Datenaufteilung von 70 % der für das Training verwendeten Daten, 10 % für die Validierung und 20 % für das Training. Diese Aufteilungen gelten nur für den Fitzpatrick17K-Datensatz; Die restlichen Datensätze wurden lediglich als Testdatensätze verwendet.

Weitere Informationen zum Forschungsdesign finden Sie in der mit diesem Artikel verlinkten Nature Research Reporting Summary.

DermEducation ist ein privater Bildungsdatensatz, der auf Anfrage erhältlich ist. Die Lehrbücher bestanden aus Rooks Lehrbuch der Dermatologie (ISBN 9781118441190), Bolognia 4e27 (ISBN 9781118441190), Fitzpatrick Color Atlas 8e (ISBN 9781259642197) und Fitzpatrick Dermatology in General Med 9e (ISBN 9781259642197). Fitzpatrick17k ist öffentlich verfügbar unter https://github.com/mattgroh/fitzpatrick17k.

Code für die Hautbilderkennung, Hautpixelsegmentierung und Hauttonschätzung sowie den SkinSegmentation-Datensatz ist hier verfügbar: https://github.com/IBM/star-ed.

Louie, P. & Wilkes, R. Darstellungen von Rasse und Hautfarbe in medizinischen Lehrbuchbildern. Soc. Wissenschaft. Med. 202, 38–42 (2018).

Artikel PubMed Google Scholar

Adelekun, A., Onyekaba, G. & Lipoff, JB Hautfarbe in Lehrbüchern der Dermatologie: eine aktualisierte Bewertung und Analyse. Marmelade. Acad. Dermatol. 84, 194–196 (2021).

Artikel PubMed Google Scholar

Massie, JP et al. Ein Bild der modernen Medizin: Rasse und visuelle Darstellung in der medizinischen Literatur. J. Natl Med. Assoc. 113, 88–94 (2021).

PubMed Google Scholar

Lester, JC, Jia, JL, Zhang, L., Okoye, GA & Linos, E. Fehlen von Bildern farbiger Haut in Veröffentlichungen zu COVID-19-Hautmanifestationen. Br. J. Dermatol. 183, 593–595 (2020).

Artikel CAS PubMed PubMed Central Google Scholar

Massie, JP et al. Patientenrepräsentation in der medizinischen Literatur: Bilden wir Diversität angemessen ab? Plast. Rekonstr. Surg. Globus. Offen 7, e2563 (2019).

Artikel PubMed PubMed Central Google Scholar

Cormier, JN et al. Ethnische Unterschiede zwischen Patienten mit kutanem Melanom. Bogen. Praktikant Med. 166, 1907–1914 (2006).

Artikel PubMed Google Scholar

Codella, NCF et al. Hautläsionsanalyse zur Melanomerkennung 2018: eine Herausforderung der International Skin Imaging Collaboration. arXiv. Vorabdruck unter https://arxiv.org/abs/1902.03368 (2019).

Sun, X., Yang, J., Sun, M., Wang, K. Ein Maßstab für die automatische visuelle Klassifizierung von Bildern klinischer Hauterkrankungen. In: Leibe, B., Matas, J., Sebe, N., Welling, M. (Hrsg.) Computer Vision – ECCV 2016. Lecture Notes in Computer Science, Band 9910. (Springer: Cham, 2016).

Del Bino, S. & Bernerd, F. Variationen in der Hautfarbe und die biologischen Folgen der Exposition gegenüber ultravioletter Strahlung. Br. J. Dermatol 169, 33–40 (2013).

Artikel PubMed Google Scholar

Kinyanjui, NM, Odonga, T., Cintas, C., Codella, NC, Panda, R., Sattigeri, P. und Varshney, KR Fairness von Klassifikatoren für verschiedene Hauttöne in der Dermatologie. In Proc. Internationale Konferenz über medizinische Bildverarbeitung und computergestützte Intervention 320–329 (Springer International Publishing: Cham, 2020).

Groh, M. et al. Auswertung tiefer neuronaler Netze, die auf klinischen Bildern in der Dermatologie trainiert wurden, mit dem Fitzpatrick 17k-Datensatz. In: Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung. (2021).

Wilkes, M., Wright, CY, du Plessis, JL & Reeder, A. Fitzpatrick Hauttyp, individueller Typologiewinkel und Melaninindex in einer afrikanischen Bevölkerung: Schritte zu universell anwendbaren Beurteilungen der Lichtempfindlichkeit der Haut. JAMA Dermatol. 151, 902–903 (2015).

Artikel PubMed Google Scholar

Chang, CC, et al. Robuste Hauttypklassifizierung mithilfe von Faltungs-Neuronalen Netzen. In: Proc. 13. IEEE-Konferenz für Industrieelektronik und Anwendungen (ICIEA). 2011–2014 (2018).

Ebede, T. & Papier, A. Unterschiede in den Bildungsressourcen der Dermatologie. Marmelade. Acad. Dermatol. 55, 687–690 (2006).

Artikel PubMed Google Scholar

Noble, WS Was ist eine Support-Vektor-Maschine? Nat. Biotechnologie. 24, 1565–1567 (2006).

Artikel CAS PubMed Google Scholar

Chen, T., Guestrin, C. XGBoost: ein skalierbares Baum-Boosting-System. In Proc. 22. Internationale ACM SIGKDD-Konferenz zu Knowledge Discovery und Data Mining. 785–794 (2016).

He, K., Zhang, X., Ren, S., Sun, J. Deep Residual Learning für die Bilderkennung. 770–778 (2016).

Deng, J. et al. Imagenet: eine umfangreiche hierarchische Bilddatenbank. In Proc. IEEE-Konferenz zu Computer Vision und Mustererkennung. 248–255 (2009).

Chen, C., Liaw, A., Breiman, L. Verwenden von Random Forest zum Lernen unausgeglichener Daten. Universität von Kalifornien, Berkeley; 110(24) (2004).

Staar, P., Dolfi, M., Auer, C., Bekas, C. Corpus-Konvertierungsdienst: eine Plattform für maschinelles Lernen zur Aufnahme von Dokumenten in großem Maßstab. In Proc. Internationale Konferenz zu Knowledge Discovery und Data Mining. 774–782 (2018).

Javaid, A., Sadiq M., Akram, F. Hautkrebsklassifizierung mithilfe von Bildverarbeitung und maschinellem Lernen. In: Proc. Internationale Bhurban-Konferenz für angewandte Wissenschaften und Technologien (IBCAST). 439–444 (2021).

Montenegro, J., Gómez, W., Sánchez-Orellana, P. Eine vergleichende Studie von Farbräumen in der hautbasierten Gesichtssegmentierung. In: Proc. 10. Internationale Konferenz für Elektrotechnik, Informatik und automatische Steuerung (CCE). 313–317 (2013).

Lester, JC, Clark, L., Linos, E., Daneshjou, R. Klinische Fotografie bei farbiger Haut: Tipps und Best Practices. Br. J. Dermatol. https://doi.org/10.1111/bjd.19811 (2021).

Groh, M., Harris, C., Daneshjou, R., Badri, O. & Koocheck, A. Auf dem Weg zu Transparenz in dermatologischen Bilddatensätzen mit Hauttonanmerkungen von Experten, Menschenmengen und einem Algorithmus. Proz. ACM Hum.Comput. Interagieren. 6, 1–26 (2022).

Artikel Google Scholar

Okoji, UK, Taylor, SC, Lipoff, JB Gerechtigkeit bei der Hauttypisierung: Warum es an der Zeit ist, die Fitzpatrick-Skala zu ersetzen. Br. J. Dermatol. https://doi.org/10.1111/bjd.19932 (2021).

Burns, T., Breathnach, S., Cox, N., Griffiths C. Rook's Textbook of Dermatology. (John Wiley & Sons, 2008).

Bolognia, J., Schaffer, J.V., Cerroni, L. Dermatologie. 4. Aufl. 138–160 (Elsevier, 2018).

Wolff, K., Johnson, R., Saavedra, A., Roh, E. Fitzpatricks Farbatlas und Synopsis der klinischen Dermatologie (McGraw Hill, 2017).

Kang, S. et al. Fitzpatricks Dermatologie (McGraw Hill, 2019).

Livathinos, N. et al. Robuste Konvertierung von PDF-Dokumenten mithilfe wiederkehrender neuronaler Netze. In Proc. 32. Jahreskonferenz zu innovativen Anwendungen künstlicher Intelligenz (IAAI-21) 35, 15137–15145 (2021).

Severance, C. Entdecken der Javascript-Objektnotation. Computer 45, 6–8 (2012).

Google Scholar

Dalal, N. & Triggs, B. Histogramme orientierter Gradienten zur menschlichen Erkennung. In Proc. Konferenz der IEEE Computer Society über Computer Vision und Mustererkennung (CVPR'05) 1, 886–893 (IEEE, 2005).

Saxen, F., Al-Hamadi, A. Farbbasierte Hautsegmentierung: eine Bewertung des Stands der Technik. In Proc. Internationale IEEE-Konferenz zur Bildverarbeitung (ICIP). 4467–4471 (IEEE, 2014).

Breiman, L. Zufällige Wälder. Mach. Lernen. 45, 5–32 (2001).

Artikel Google Scholar

Geurts, P., Ernst, D. & Wehenkel, L. Extrem randomisierte Bäume. Mach. Lernen. 63, 3–42 (2006).

Artikel Google Scholar

Hastie, T., Rosset, S., Zhu, J. & Zou, H. Mehrklassen-Adaboost. Stat. Schnittstelle 2, 349–360 (2009).

Artikel Google Scholar

Pedregosa, F. et al. Scikit-learn: Maschinelles Lernen in Python. J. Mach. Lernen. Res. 12, 2825–2830 (2011).

Google Scholar

Lemaître, G., Nogueira, F. & Aridas, C. Imbalanced-learn: eine Python-Toolbox, um den Fluch unausgeglichener Datensätze beim maschinellen Lernen zu bekämpfen. J. Mach. Lernen. Res. 18, 1–5 (2017).

Google Scholar

Harris, CR et al. Array-Programmierung mit NumPy. Nature 585 (Sep), 357–362 (2020).

Artikel CAS PubMed PubMed Central Google Scholar

Paszke, A. et al. Pytorch: eine leistungsstarke Deep-Learning-Bibliothek im Imperativ-Stil. Fortschritte in neuronalen Informationsverarbeitungssystemen (2019).

Referenzen herunterladen

VR wird vom MSK Cancer Center Support Grant/Core Grant (P30 CA008748) und NIH/NCI U24CA264369 unterstützt. JZ wird von NSF CAREER 1942926 unterstützt. RD wird von 5T32AR007422-38 und dem Stanford Catalyst Program unterstützt.

Die folgenden Autoren haben gleichermaßen beigetragen: Girmaw Abebe Tadesse, Celia Cintas.

Diese Autoren haben diese Arbeit gemeinsam betreut: James Zou, Roxana Daneshjou.

IBM Research – Afrika, Nairobi, Kenia

Girmaw Abebe Tadesse, Celia Cintas und Skyler Speakman

IBM Research – TJ Watson, New York, NY, USA

Kush R. Varshney & Chinyere Agunwa

IBM Research – Europa, Zürich, Schweiz

Peter Staar

Stanford University, Stanford, Kalifornien, USA

Justin Jia, Elizabeth E. Bailey, James Zou und Roxana Daneshjou

Universität von Pennsylvania, Philadelphia, PA, USA

Ademide Adelekun & Ginikawana Onyekaba

Abteilung für Dermatologie, Temple Medical School, Philadelphia, PA, USA

Jules B. Lipoff

University of California San Francisco, San Francisco, CA, USA

Jenna C. Lester

Memorial Sloan-Kettering Cancer Center, New York, NY, USA

Veronica Rotemberg

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

GAT und CC trugen gleichermaßen als Co-Erstautoren bei. JZ, PhD und RD trugen gleichermaßen als Co-Senior-Autoren bei. AT, CC, KRV, PS, CA, SS, JCL, VR, JZ und RD halfen bei der Konzeption und Gestaltung der Studie. GAT, CC, KRV, JJ, EEB, AA, JBL, GO, RD halfen bei der Erfassung, Interpretation und Analyse der Daten. GAT, CC, KRV, RD und JZ halfen bei der Ausarbeitung des Manuskripts. Alle Autoren halfen bei der Überarbeitung des Manuskripts. Alle Autoren genehmigen die eingereichte Version.

Korrespondenz mit Girmaw Abebe Tadesse.

Die Autoren geben an, dass es keine konkurrierenden nichtfinanziellen Interessen gibt, sondern die folgenden konkurrierenden finanziellen Interessen: CC, KRV, PS, CA, SS sind bei IBM beschäftigt. GAT war bei Abschluss der Arbeiten bei IBM beschäftigt und ist jetzt bei Microsoft beschäftigt.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Tadesse, GA, Cintas, C., Varshney, KR et al. Hauttonanalyse zur Darstellung in Lehrmaterialien (STAR-ED) mittels maschinellem Lernen. npj Ziffer. Med. 6, 151 (2023). https://doi.org/10.1038/s41746-023-00881-0

Zitat herunterladen

Eingegangen: 05. November 2022

Angenommen: 21. Juli 2023

Veröffentlicht: 18. August 2023

DOI: https://doi.org/10.1038/s41746-023-00881-0

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt