Tu comptes les points de victoire après avoir atteint la fin d'un scénario. C'est d'ailleurs précisé quand tu arrives à une fin: "chaque investigateur gagne des points de victoire ..." (un truc dans le genre).
Donc non, tu n'as pas d'addition ou de soustraction à faire en cours de partie, tu comptes les points des cartes présentes dans la pile de victoire au moment où on te dit le faire, et c'est tout.