Almeida, José Crespo Mendes deCampos, Maria João de Viseu Botelho Cardoso Aires deGouveia, Pedro2024-03-192024-12-012021-112021-06http://hdl.handle.net/10451/63526Breast conservative surgery (BCS) combined with radiotherapy has become the treatment of choice for the majority of early breast cancer patients. With an identical overall survival rate when compared to mastectomy, BCS is usually associated with a better cosmetic outcome. BCS aims to achieve optimal long-term local control, thus performing excisions with free margins. However, the wider the excision, and thus the possibility of attaining free margins, the higher the risk of poor cosmetic outcomes and breast deformity. If a positive margin is obtained, a re-excision may be needed, potentially impacting breast shape and cosmesis. At least 30% of cases still result in fair/poor aesthetic outcomes. These fair/poor results depend on several factors that have been thoroughly studied. Among these, breast volume, tumor size and location are the most important with a major impact on aesthetic outcome in multivariate analysis. But a single, easy and reproducible method to estimate breast volume is not available that could ultimately help in surgical planning for selecting the optimal BCS technique. Moreover, tumor size and location interpretation rely on the treating physician’s cognitive spatial interpretation of radiology images. New tools and methodologies are needed to improve breast cancer surgical planning and oncological outcomes. In this work, a new quantitative and an inexpensive method to accurately calculate breast volume using a three-dimensional (3D) technology was developed and validated with a depth sensor low-cost surface device (Microsoft Kinect®). Standard methods like breast MRI and mastectomy specimen volumes were used as ground truth, but differences between all methods need further developments to reach clinical applicability. Imaging fusion technology was attempted to harmonize anatomic limits and to improve volume delimitation between breast MRI and 3D surface scan methods. Furthermore, a methodology for breast MRI to 3D surface scan fusion was investigated. A patient-specific digital breast model integrating the real breast torso and the tumor location was created and validated with breast MRI to 3D surface scan fusion algorithm in 16 breast cancer patients. This protocol was used to quantify breast shape differences between different modalities and measure the target registration error of several MRI/3D scan fusion algorithm variants. The fusion of single breasts with a free form deformation model of pose transformation had acceptable registration errors and accurate tumor locations. The performance of the fusion algorithm was not affected by breast volume. Breast spatial interpretation and visualization by the treating physician can thus be augmented with a digital 3D breast model that integrates radiological images, allowing immediate image interpretation of breast cancer lesions. Using previous data, a clinical surgical use case was designed and attempted after successfully production of a 3D digital breast with breast MRI to 3D surface scan fusion. An experimental test with a digital non-invasive method for intraoperative breast cancer localization using augmented reality to guide breast conservative surgery was attempted. A successful overlap of the previous standard pre-operative localization technique (carbon tattooing) and tumor visualization inside the patient’s breast with augmented reality was obtained during surgery. Along the pathway and through computer vision as artificial intelligence, various methods were investigated to produce a unified view of a patient-specific 3D digital breast model, with tumor included. A clinical use case was developed to create an innovative methodology and a proof of concept for a digital non-invasive medical device for intraoperative breast cancer localization.A cirurgia conservadora da mama combinada com a radioterapia adjuvante é considerado o tratamento de eleição para a maioria das doentes com cancro da mama precoce. Com uma sobrevida global equivalente quando comparado com a mastectomia, a cirurgia conservadora da mama é normalmente associada a uma melhor resultado estéIco. O objeIvo da cirurgia conservadora da mama é alcançar um óImo controlo local da doença, através da remoção do tumor com margens livres. Contudo, quanto maior for a excisão, e assim a possibilidade de obter margens livres, maior é o risco de um resultado estéIco menos saIsfatório e eventual deformação da mama. Se uma margem posiIva for obIda, uma nova intervenção cirúrgica com re-excisão pode ser necessária, com um potencial impacto negaIvo na forma da mama e no resultado estéIco. Em cerca de 30% dos casos os resultados estéIcos são fracos ou não saIsfatórios. Estes resultados pouco saIsfatórios em cirurgia conservadora da mama dependem de vários fatores que têm sido exausIvamente estudados. Entre os vários fatores descritos, o volume da mama, o tamanho e a localização do tumor são os mais importantes e com maior impacto no resultado estéIco da cirurgia da mama em análise mulIvariada. Na atualidade não se encontra disponível um método simples, fácil de uIlizar e reprodusvel para esImar o volume da mama, por forma a facilitar um melhor planeamento e consequentemente uma seleção oImizada da técnica de cirurgia conservadora mais adequada para cada caso. Além disso, o tamanho e a localização do tumor baseiam-se numa interpretação cogniIva espacial de imagens radiológicas e dos respeIvos relatórios clínicos pelo médico cirurgião ou oncologista. Novas ferramentas e metodologias são necessárias para oImizar o planeamento da cirurgia do cancro de mama e para uma melhoria consnua dos resultados oncológicos e estéIcos. Este trabalho de invesIgação desenvolveu e validou um novo método quanItaIvo e de baixo custo para calcular o volume da mama recorrendo a tecnologia tridimensional (3D) através de um scanner de supertcie com sensor de profundidade low-cost (Microsol Kinect®). Métodos convencionais pré-existentes como a ressonância magnéIca mamária e o volume da peça operatória após mastectomia foram usados como referência para comparação. Para uma melhor comparação com o método clássico de cálculo do volume da mama através de ressonância magnéIca mamária, uma descrição de referências anatómicas da mama inequívocas e fáceis de reproduzir (o bordo anterior do músculo grande dorsal como limite externo e o bordo externo da mama como limite interno) foi proposta, por forma a diminuir a variabilidade dos cálculos volumétricos após anotação e segmentação de imagens. Embora tenha ocorrido uma concordância e uma consistência entre ambos os métodos (Pearson superior a 0,8), as diferenças subsistem e novos desenvolvimentos são necessários para se aIngir uma aplicabilidade clínica. As diferenças de registo da ressonância magnéIca mamária com a doente na posição prona (influenciada pela gravidade e pela antena da máquina de ressonância magnéIca) quando comparada com o registo na posição de pé (com a pose natural da mama nesta posição influenciada também pela gravidade) origina dificuldades de harmonização dos limites anatómicos, e consequentemente diferenças no cálculo dos respeIvos volumes. A tecnologia de fusão aplicada a diferentes modalidades de imagem foi então idealizada e aplicada para assim harmonizar os limites anatómicos da mama e melhorar a delimitação e a correção volumétrica entre a ressonância magnéIca mamária e o scanner 3D de supertcie. Uma nova metodologia para fusão de imagens obIdas através de uma ressonância magnéIca mamária e um scanner 3D de supertcie do tronco foi invesIgada e desenvolvida. A metodologia de fusão desenvolvida incorporou algoritmos de transformação de pose da doente adquirida na posição prona para a posição em pé, para depois ocorrer fusão com o scan 3D de supertcie da doente (também na posição verIcal). Um modelo 3D digital da mama personalizado da doente foi integrado com a região frontal do tronco, incluindo a localização do tumor através da criação e validação de um algoritmo de fusão entre a ressonância magnéIca mamária e a reconstrução 3D obIda a parIr de uma scanner de supertcie. Marcadores de supertcie da mama visíveis em cada uma das modalidades e nas respeIvas malhas de supertcie após reconstrução 3D (comprimidos de óleo de tgado de bacalhau para a ressonância magnéIca e marcador preto na pele da doente para o scan 3D de supertcie) foram uIlizados para o processo de validação dos diferentes algoritmos de transformação de pose da posição prona para a posição de pé ou verIcal. Este protocolo foi uIlizado para quanIficar as diferenças da forma da mama entre as diferentes modalidades, e para medir o erro de registo de alvo das várias variantes de fusão algorítmica. A fusão de cada mama individualmente com um modelo de deformação livre para a transformação de pose teve erros de registo aceitáveis e localizações dos tumores corretas. A performance do algoritmo de fusão não foi afetada pela variabilidade volumétrica das mamas das diferentes doentes. A visualização das imagens radiológicas da mama e sua respeIva interpretação espacial por parte do cirurgião pode ser efeIvamente acelerada com um modelo 3D digital da mama visualizado através de óculos de realidade aumentada, permiIndo uma interpretação imediata da forma, do tamanho e da localização do(s) tumor(es) da mama. Após os resultados obIdos com a fusão entre a ressonância magnéIca mamária e o scanner 3D de supertcie do tronco da doente, produzindo um modelo digital 3D da mama com tumor integrado, foi idenIficado e concebido um cenário de caso de uso clínico em cirurgia conservadora de cancro da mama. Foi realizado um primeiro teste experimental para a uIlização de um método digital e não invasivo de localização intra-operatória de lesões de cancro da mama recorrendo a tecnologia de realidade aumentada, que permiIu guiar o cirurgião durante a sua intervenção cirúrgica. Um modelo 3D digital específico da doente foi produzido, com o tumor incluído. Este modelo foi transformado numa nuvem de pontos e feito o respeIvo upload para uns óculos de realidade aumentada (Microsol Hololens®). No dia da intervenção cirúrgica, o cirurgião colocou os óculos de realidade aumentada com a doente deitada em posição operatória na marquesa e procedeu à sincronização manual entre o modelo digital 3D da doente, visualizado através de realidade aumentada, e a doente deitada na marquesa do bloco operatório. A visualização e respeIva localização digital intra-operatória da lesão de cancro da mama foi testada e comparada com o método de localização pré-operatório clássico vigente na insItuição (tatuagem de carbono). Observou-se uma correta sobreposição entre as marcas de carbono que delimitam o tumor (método de localização invasivo habitual) e a visualização do tumor dentro da mama da doente por intermédio de óculos de realidade aumentada (Microsol Hololens®). Durante o decurso deste projeto de tese e através do recurso a inteligência arIficial, na sua modalidade de visão computacional, vários métodos foram assim invesIgados para produzir uma imagem unificada de um modelo específico 3D digital da mama de um grupo de doentes, com a inclusão da localização do tumor. Um caso de uso clínico foi desenvolvido para criar uma metodologia inovadora e uma prova de conceito para um disposiIvo médico digital e não invasivo de localização intra-operatória de lesões de cancro da mama. O bloco operatório do futuro com câmaras de profundidade 3D e óculos de realidade aumentada foi idealizado para guiar os cirurgiões durante as suas intervenções cirúrgicas. Esta tecnologia foi desenvolvida para a cirurgia do cancro da mama, mas pode ser facilmente aplicada a qualquer especialidade cirúrgica.engCancro de mamaCirurgia conservadora cancro de mamaInteligência artificialRealidade aumentadaModelos 3D da mamaTeses de doutoramento - 2021doctoral thesis101673809