Interpreting third-party liability model with SHAP

Abstract

Applying data science techniques in the insurance industry has become increasingly pop ular in recent years, especially in the pricing of non-life insurance. Machine Learning (ML) models have demonstrated better accuracy compared to traditional Generalized Linear Model (GLM). However, in terms of interpretability, GLM is inherently easier to explain than ML models. The beta coefficients of GLM provide straightforward indi cators of how important a factor is and how it influences the predictions. As a result, finding ways to better interpret ML models has become essential for companies using solely ML models or ensemble models that combine ML and GLM results. SHapley Additive exPlanations (SHAP), a model-agnostic method and an application of Shapley Value in machine learning, can help us better understand the mechanisms behind ML’s “black box”. We expect SHAP to play a similar role in ML as the beta coefficients do in GLM. This project primarily focuses on using SHAP to analyze the ML model, rather than the model itself, aiming to make companies feel more confident when using models that are less interpretable. In addition to using SHAP, we also applied another method called Partial Dependence Plot (PDP) to validate the conclusions drawn from SHAP.

A aplicação de técnicas de ciência de dados na indústria de seguros tem se tornado cada vez mais popular nos últimos anos, especialmente na precificação de seguros de não-vida. Os modelos de ML (aprendizado de máquina) demonstraram melhor precisão em comparação aos GLM (modelos lineares generalizados) tradicionais. No entanto, em termos de interpretabilidade, os GLM são inerentemente mais fáceis de explicar do que os modelos de ML. Os coeficientes beta dos GLM fornecem indicadores claros sobre a importância de um fator e como ele influencia as previsões. Como resultado, encontrar maneiras de interpretar melhor os modelos de ML tornou-se essencial para empresas que utilizam exclusivamente modelos de ML ou modelos em conjunto que combinam resultados de ML e GLM. O SHAP, um método independente de modelo e uma aplicação do Valor de Shapley no aprendizado de máquina, pode nos ajudar a entender melhor os mecanismos por trás da “caixa-preta” dos modelos de ML. Esperamos que o SHAP desempenhe um papel semelhante nos modelos de ML ao que os coeficientes beta fazem nos GLM. Este projeto foca principalmente no uso do SHAP para analisar o modelo de ML, em vez do próprio modelo, com o objetivo de fazer as empresas se sentirem mais seguras ao utilizar modelos que são menos interpretáveis. Além de utilizar o SHAP, também aplicamos outro método chamado PDP para validar as conclusões obtidas a partir do SHAP.