En 1941, ingresa en la Gestapo en Viena, donde presta servicio hasta el 10 de noviembre de 1943, cuando es destinado a los Países Bajos. En 1943 fue transferido al Sicherheitsdienst en La Haya, siendo asignado a la Sección IVB4, bajo las órdenes del SS Obersturmbannführer (teniente coronel) Adolf Eichmann.

El 4 de agosto de 1944 se le mandó investigar una denuncia, por orden de su superior Julius Dettmann. Según la información, había judíos ocultos en Prinsengracht 263. Acompañado de miembros de la Grüne Polizei encabezados por Marteen Kuiper, interrogó a Victor Kugler sobre la entrada al escondite. Posteriormente, fueron arrestados Kugler y su socio Johannes Kleiman, Otto Frank, Edith Frank-Holländer, Margot Frank, Anne Frank, Hermann van Pels, Auguste van Pels, Peter van Pels y Fritz Pfeffer, mientras que a Miep Gies y Bep Voskuijl se les permitió marchar. Los detenidos fueron llevados a los cuarteles de la Gestapo, desde donde fueron enviados a diferentes campos de concentración nazis. De los diez detenidos tan solo sobrevivieron Otto Frank, Victor Kugler y Johannes Kleimann.

Después de la guerra

Silberbauer sufrió un grave accidente en motocicleta en los Países Bajos y fue internado en el Hospital de Ámsterdam hasta febrero de 1945, cuando volvió a Viena, donde cumplió catorce meses de prisión por sus actividades durante la Segunda Guerra Mundial. En 1954, dos años después de la publicación de la edición inglesa del diario de Anne Frank, se le rehabilitó como miembro de la policía vienesa.

En 1958, con el fin de desenmascarar a los negacionistas que sostenían que el Diario de Anne Frank era falso, Simon Wiesenthal comienza la búsqueda del hombre que les arrestó. El nombre de Silberbauer había aparecido en 1948 durante la investigación que pretendía descubrir quién había sido su delator. Dos de los hombres que habían llevado a cabo la detención habían sido identificados por Johannes Kleiman, Victor Kugler y Miep Gies. Estos declararon no recordar más que el nombre de su superior, Karl Silberbauer.

Wiesenthal, según cuenta en su libro “Los Asesinos entre nosotros”, pensó en solicitar la ayuda del padre de Anne, Otto Frank. Pero no lo hizo para no importunarle a remover sus recuerdos. Simon Wiesenthal continuó la búsqueda y durante dos años fue descartando a otros catorce austriacos que tenían el mismo nombre. Finalmente lo localizó en Viena en octubre de 1963. Silberbauer fue suspendido de su puesto de policía mientras no acabara la investigación sobre sus actividades durante la guerra. Cuando los medios neerlandeses conocieron su paradero, lo entrevistaron. Silberbauer admitió que él mismo había arrestado a Anne Frank. La investigación para encontrar al delator se reanudó cuando la historia se hizo pública el 11 de noviembre de 1963.

Aunque sus recuerdos de la detención eran claros, Silberbauer no pudo decir quién había sido la fuente de la denuncia. Sus superiores solo le habían indicado que era una ‘fuente fiable’, y Julius Dettmann, que era quien había recibido el soplo, se había suicidado tras la guerra. No pudo aportar información adicional alguna que permitiese una investigación. Dada la falta de pruebas de conducta criminal y gracias también a la declaración de Otto Frank, que afirmó que el trato que recibieron de Silberbauer durante la detención había sido correcto y carente de crueldad, se abandonaron las pesquisas judiciales. Se anuló la suspensión y pudo volver a su cargo, aunque solamente en la sección de Ficheros criminales ordenando fotografías de delincuentes, pues no se le permitió portar armas nuevamente ni prestar servicio de investigaciones.

Según algunos autores Silberbauer habría colaborado con la inteligencia de la República Federal de Alemania durante la postguerra.

Falleció en el año 1972.