(5)int ln^2(x+sqrt(1+x^2))dx;

设 $u = \ln^2(x + \sqrt{1 + x^2})$，则 $du = \frac{2\ln(x + \sqrt{1 + x^2})}{\sqrt{1 + x^2}}dx$。
令 $dv = dx$，则 $v = x$。
由分部积分法得：
$\int u \, dv = uv - \int v \, du$
代入得：
$\int \ln^2(x + \sqrt{1 + x^2}) \, dx = x \ln^2(x + \sqrt{1 + x^2}) - 2 \int \frac{x \ln(x + \sqrt{1 + x^2})}{\sqrt{1 + x^2}} \, dx$
令 $u = \sqrt{1 + x^2}$，则 $du = \frac{x}{\sqrt{1 + x^2}}dx$，积分变为：
$\int \frac{x \ln(x + \sqrt{1 + x^2})}{\sqrt{1 + x^2}} \, dx = \int \ln(x + u) \, du$
使用分部积分法再次，最终得到：
$\int \ln^2(x + \sqrt{1 + x^2}) \, dx = x \ln^2(x + \sqrt{1 + x^2}) - 2\sqrt{1 + x^2} \ln(x + \sqrt{1 + x^2}) + 2x + C$
答案：
$\boxed{x \ln^2(x + \sqrt{1 + x^2}) - 2\sqrt{1 + x^2} \ln(x + \sqrt{1 + x^2}) + 2x + C}$