Gabarito disponível
Resolução comentada
sen θ = (R−r)/(R+r) e V = πh³tan²θ/3 com h = 2R²/(R−r).
Seja θ o semiângulo do vértice. As distâncias do vértice aos centros são R/senθ e r/senθ, e sua diferença é R + r, logo senθ = (R−r)/(R+r). A altura é h = R/senθ + R = 2R²/(R−r), e tgθ = (R−r)/(2√(Rr)). Assim, V = (π/3)·h³·tg²θ = (π/3)·8R⁶/(R−r)³·(R−r)²/(4Rr) = 2πR⁵/(3r(R−r)).
Análise das alternativas
As outras opções diferem apenas pelo coeficiente numérico (1, 1/3·… , 4/3, 5/3), que não resulta do cálculo acima. Só 2/3 é obtido.
Referência: Geometria espacial: cone, esferas inscritas e tangentes.
Resolução comentada do VaiConcursos.