Hola,
Creo q tu pregunta es de CSS no de WP, es decir, tu duda es sobre cómo mostrar los post de una categoría en la página de esa categoría.
Si quisieras hacerlo en otra parte puedes sacar los posts de una categoría con query_posts()
Para mostrar las miniaturas en bloques de 3 puedes jugar con los anchos y float, es decir el contenedor te mide 630px, resta los paddings y a la clase .post dale un ancho que permite que quepan 3 en cada fila.
Algo así:
.post {float:left; width: 150px; }
Saludos