Ya que el primer clasificado jugará contra el octavo, el segundo contra el séptimo, el tercero contra el sexto y el cuarto contra el quinto, el tener un mejor balance normalmente quiere decir que te enfrentarás a un equipo más débil. En la primera temporada completa de Ainge, la de 2004, además de los cambios mencionados, llegó al equipo Ricky Davis, camiseta chicago bulls tras un traspaso con Cleveland Cavaliers. Durante la misma, O’Brien presentó la dimisión a mitad de la temporada, siendo sustituido por John Carroll, quien a pesar de alcanzar un récord de victorias negativo (36-46) logró acceder a los playoffs, donde Indiana eliminaría a Boston por 4 victorias a 0. En la temporada siguiente, la 2004-2005, Ainge puso al frente del equipo a Doc Rivers, quien no logró mejorar lo conseguido el año anterior, al volver a caer eliminado ante los Pacers en primera ronda, en una dramática serie a siete partidos, a pesar de la presencia de un veterano Gary Payton, el regreso de Walker y la llegada al equipo a través del Draft de Al Jefferson, Tony Allen y Delonte West.