Tengo una respuesta parcial.
Como se menciona en los comentarios, su redacción es un poco confusa. Primero dice que $C$ es el número positivo más pequeño que se puede obtener restando múltiplos de $B$ de $A$ pero luego dices que $C$ es el suma de todas esas diferencias positivas. Responderé a esto último, ya que concuerda con su ejemplo.
También supondré que $B$ es positivo.
Podemos restar múltiplos enteros de $B$ de $A$ hasta $A - kB$ es negativo. El "último" antes de que eso ocurra es $A - mB$ donde $$A - (m + 1)B \leq 0 < A - mB.$$ Estas desigualdades son equivalentes a $$A - B \leq mB < A,$$ o $$\frac{A}{B} - 1 \leq m < \frac{A}{B}.$$ Estos son equivalentes a $$m = \left\lceil \frac{A}{B} - 1 \right\rceil = \left \lceil \frac{A}{B} \right \rceil - 1,$$ donde $\lceil x \rceil$ es el techo de $x$ el menor número entero mayor o igual que $x$ .
Por lo tanto, a partir de su definición, $$C = \sum_{k = 1}^m (A - kB),$$ donde $m = \lceil A / B \rceil - 1$ . Esta suma se evalúa muy bien: $$C = mA - B \frac{m (m + 1)}{2}.$$ Suponiendo que $C > 0$ tendremos $$A = \frac{C}{m} + B \frac{m + 1}{2} = \frac{C}{\lceil A / B \rceil - 1} + B \frac{\lceil A / B \rceil}{2}.$$
No estoy seguro de cómo resolver esta ecuación para $A$ o incluso si puede serlo explícitamente.
