- Robot nauczył się posługiwać igłą i katgutem z filmików
- W Krakowie wykorzystają gogle do oglądania pacjenta od środka
- Niebawem obrazy ultrasonografu lekarz zobaczy w okularach
Supernowoczesne technologie coraz odważniej wchodzą do szpitali. Maszyny potrafią już precyzyjnie pobierać krew, opiekować się pacjentami, diagnozować rozmaite choroby i sugerować terapie. Szkolone są do coraz to nowych zadań, być może wkrótce asystowania przy kompleksowych zabiegach i operacjach.
Ostatnio naukowcy z Uniwersytetu Kalifornijskiego w Berkeley we współpracy z Google Brain i Intelem wyszkolili roboty w naśladowaniu szycia ran za pomocą filmów instruktażowych. To wynik projektu Motion2Vec, w którym do szkolenia maszyny wykorzystywane są filmy wideo z rzeczywistych procedur chirurgicznych.
Adres filmu na Youtube: https://www.youtube.com/watch?v=GTP7mQ-_wno&feature=emb_logo
Źródło: UC Berkeley / YouTube
Dwuramienny robot da Vinci sprawnie fastryguje tkaninę imitującą ludzką skórę. Zespół medyczny zastosował system, opierający się na konfiguracji głębokich sieci neuronowych zwanych syjamskimi. Źródłem materiałów do szkolenia stał się … YouTube. System został nauczony zszywania ran na bazie 78 filmów instruktażowych. Igłą i nicią posługuje się prawie tak sprawnie, jak człowiek.
Co w środku bez krojenia
Krakowski Szpital na Klinach prowadzony przez Grupę NEO Hospital wdraża holograficzne obrazowanie danych medycznych. To rozwiązanie przygotowane przez polską firmę MedApp, specjalizującą się w SI i rzeczywistości mieszanej w medycynie. Zwie się CarnaLife Holo i umożliwia tworzenie dokładnego i interaktywnego środowiska rzeczywistości mieszanej (MR) z wykorzystaniem gogli HoloLens Microsoftu.
Wesprze specjalistów szpitala w planowaniu i przeprowadzaniu zabiegów onkologicznych o znacznym stopniu trudności. Na podstawie obrazów tomografii komputerowej (CT), rezonansu magnetycznego (MRI), angiografii (angio-CT, angio-MRI), echokardiografii (ECHO), USG i innych tworzy się wirtualny, trójwymiarowy obraz pacjenta „od środka”. CarnaLife Holo pozwala lekarzowi widzieć wirtualne obrazy organów i tkanek na tle pacjenta i daje możliwość interakcji z tymi obrazami w trakcie zabiegu medycznego.
Adres filmu na Youtube: https://www.youtube.com/watch?v=OHy0E5dt_5M
Źródło: MedApp / YouTube
Dzięki CarnaLife Holo lekarz jeszcze przed operacją w holograficznym obrazie może zobaczyć detale, aby lepiej poruszać się w polu operacyjnym już w trakcie zabiegu. W krakowskiej placówce system będzie wykorzystywany w zabiegach związanych z rakiem szyjki macicy, rakiem trzonu macicy, w przypadku operacji guzów wątroby i raka jelita grubego.
O MedApp i jego rozwiązaniach szerzej pisaliśmy w kwietniu w tekście „To nie Hollywood, to szpital”.
Wirtualne USG
Naukowcy z Instytutu Fraunhofera ds. Badań Grafiki Komputerowej IGD w Darmstadt, międzynarodowego lidera w badaniach stosowanych w dziedzinie obliczeń wizualnych, opracowali proces, który łączy ultrasonografię z rozszerzoną rzeczywistością (augmented reality, AR).
Obliczenia wizualne to informatyka oparta na obrazach i modelach, która opisuje zdolność do przekształcania informacji w obrazy (grafika komputerowa) i wydobywania informacji z obrazów (wizja komputerowa). Możliwe zastosowania są różnorodne i są wykorzystywane między innymi do interakcji człowiek-maszyna oraz interaktywnej symulacji i budowy modeli. W projekcie „sonAR” po raz pierwszy „ultrasonografia AR” umożliwia lekarzom oglądanie zdjęć ultrasonograficznych we właściwej pozycji za pomocą okularów AR.
Badacz patrzy bezpośrednio na pacjenta i nie musi cały czas spoglądać na ekran urządzenia ultradźwiękowego. Wyświetlanie obrazów ultradźwiękowych opiera się na zewnętrznym optycznym systemie śledzenia sondy ultradźwiękowej i okularach AR. Oprogramowanie Fraunhofer IGD ocenia pozycje i wykorzystuje różne kalibracje do obliczenia względnej pozycji obiektów. Przygotowywane są teksty kliniczne rozwiązania.