Sí, $K$ es compacto.
Nota primero que podemos asumir que $K$ es selfadjoint; de hecho, si $K$ satisface la hipótesis, por lo $K^*$$K+K^*$, y si se demuestra que la real y la imaginaria de $K$ son compactos, entonces tenemos que $K$ es compacto.
El uso de la Weyl-von Neumann-Berg Teorema II.4.1 o II.4.2 en Davidson C$^*$-álgebras por ejemplo) podemos escribir
$$
K=A+T,
$$
donde $A$ es selfadjoint y diagonal, y $T$ es compacto. Al ser compacto, $T$ satisface la hipótesis y por lo $A=K-T$ también lo hace. Ahora, desde la $A$ es diagonal, la hipótesis implica que su diagonal tiende a cero, y por lo que es compacto. A continuación, $K$ es compacto, una suma de acuerdos.
Para finalizar, se nota que es esencial que la propiedad de las pequeñas entradas de $K$ mantiene para cualquier base. Si fijamos una sola base, es posible tener los operadores de $K$ satisfacción $\langle Ke_i,e_j\rangle\to0$ (en el sentido de la pregunta), pero no compacto. De hecho, vamos a
$$
K=\bigoplus_n\begin{bmatrix}1/n&\cdots&1/n\\ \vdots&\ddots&\vdots\\ 1/n&\cdots&1/n\end{bmatrix}.
$$
Este es ortogonal suma de pares proyecciones ortogonales, por lo que es un infinito-dimensional de proyección, por lo tanto no compacto.