Hola a todos
Muchos programadores usan cualquiera de estos controles para mostrar una imagen, (usualmente el que esta mas cerca del puntero mouse) pero existe una gran diferencia entre ambos
Si tu intensión es solo mostrar una imagen y nada mas, usa el control imagen que es muy ligero, no tiene muchos eventos y para eso fue creado, para mostrar imagen, incluso tiene una propiedad que no tiene el PictureBox, la de Stretch que es obligar a la imagen a tener el tamaño de nuestro control
El PictureBox es un contenedor (como el Frame) y es más para dibujar que para mostrar, tiene métodos de dibujo, creación de líneas, circulo, etc., e incluso un método para guardar lo que haz hecho en un archivo bmp.
Ahora que sabes la diferencia usa el que creas conveniente