No creo que sea problema de ancho de banda del PCI-e ya que esa gráfica usa 4.0 en x16 y no x8 como la 6600xt.
Puedes mirar si en el AMD Adrenalin en el apartado de rendimiento esta ajustado. Las radeon bajan el rendimiento a lo necesario para ajustarse al monitor, esta guay eso de escupir chorrocientos frames pero realmente vale la pena??? De todas formas revisa.
Me da que el CPU se te queda cojo también. Sera un 7700k pero los años le pesan, la 1080 funcionaba mejor con procesadores antiguos. Mientras que estas nuevas series agradecen arquitecturas mas recientes, por internet puedes ver pruebas de como hasta con un i3 de 11 o de 12 funcionan mejor y sigues teniendo ddr4 y 4/8 Cores, lo que con un IPC y controladores de memorias bastante mejores.
No iría por ahí mal diciendo a AMD por una mala experiencia, yo las e tenido y muy buenas (tanto en escritorios como en portatiles) pero conozco de cerca de muy malas con las primeras RDNA, y a la vez de muy buenas también de dos personas diferentes ambos con una 5700XT una mech de MSI el otro con una Strix.
Esto siempre te toca la papeleta buena o la mala.