Fakultät Informatik und Mathematik
Regensburg Center for Artificial Intelligence
Regensburg Center of Biomedical Engineering
Regensburg Center of Health Sciences and Technology

Prof. Dr. rer nat. Christoph Palm

Szenensegmentierung Chirurgieroboter

Projektbeschreibung

Motivation

Für die Interpretation von Bildern ist es essentiell zu wissen, wo sich welche Objekte im Bild befinden. Um dieses Ziel zu erreichen, muss jedem Pixel im Bild eine Objektklasse zugewiesen werden, was auch als semantische Segmentierung bezeichnet wird. Sind diese Informationen bekannt, können diese für weiterführende Problemstellungen, wie zum Beispiel die Erkennung von Risikostrukturen, automatische Kameranachführung, Qualitätsmessungen während einer Operation oder eine Operationsschritt-Erkennung verwendet werden.

Ziele und Vorgehen

Das Projekt verfolgt das Ziel der automatischen Analyse von endoskopischen Videos. Dafür werden mit Hilfe von künstlicher Intelligenz medizinisch relevante Objekte in den Videobildern detektiert. Diese Objekte können z.B. die Instrumente eines Chirurgieroboters (Manipulator, Gelenk, Schaft), anatomische Objekte (Niere, Darm, …) sowie medizinisches Material (Nadeln, Fäden, Klammern, …) sein. Die Erkennung und Unterscheidung der Objekte erfolgt anhand einer sogenannten „semantische Segmentierung“. Das für die semantische Segmentierung verwendete Verfahren basiert auf tiefen Neuronalen Netzen und beruht auf einer Encoder-Decoder Architektur, was bedeutet, dass zunächst durch den Encoder markante und für die Aufgabe essentielle Merkmale aus dem Eingabebild extrahiert werden. Diese kodierte Repräsentation des Bildes wird dann wiederum durch den Decoder in ein Maskenbild umgewandelt. Dieses Maskenbild gibt für jedes Pixel die entsprechende Objektkategorien an. Dadurch ist nach Anwendung des Verfahrens bekannt, wo sich welche Objekte im Bild befinden. Für das Projekt erforderliche Kompetenzen im Bereich der Analyse von endoskopischen Videos, konnten bereits in einem Wettbewerb [1] unter Beweis gestellt werden.

[1] https://endovissub2018-roboticscenesegmentation.grand-challenge.org/