Muza Andyja Warhola je pri 28 letih umrla zaradi prevelike doze barbiturata, eden izmed vzrokov za prevelik odmerek pa naj bi bila tudi afera, ki naj bi jo imela z Dylanom. Tisti, ki so film že videli, pravijo, da film Dylana posredno krivi za njeno smrt, čeprav pevčevo ime ni nikjer omenjeno, ampak njegovo vlogo prevzame lik z imenom Dannyy Quinn.

Pevec se je za pritožbo odločil na podlagi scenarija, ki ga je prebral, filma pa še ni videl. Dokler ne bo ocenil, ali ga bo izdelek očrnil, pa ne želi, da se film vrti v ameriških kinematografih, kamor naj bi prišel 29. decembra. V glavni vlogi nesrečne ženske iga Sienna Miller, Danny je Hayden Christensen, Warhol pa Guy Pearce.

Zaradi Dylana na heroin in v smrt?
Sedgwickova in Dylan sta prijateljevala v poznih 60. letih in veliko je prepričanih, da sta se zapletla tudi v ljubezensko afero. Factory Girl se podrobno ukvarja z njunim razmerjem in nazorno analizira negativni vpliv, ki naj bi ga imelo na Sedgwickovo, ki je postala odvisna od heroina.

Čeprav se Dylanovo ime v filmu ne pojavi, pa je pevčev odvetnik Orin Snyder studiu, odgovornem za film, požugal s tožbo. Tako naj ne bi bilo dovolj, da je studio Dylanovo ime izpustil iz filma, da bi se izognil tožbi. "Čeprav je ime izpuščeno, pa upodobitev ostaja slabšalna in krši pravico Boba Dylana do publicitete," je dejal Snyder, ki zahteva, da Dylan film vidi, preden pride v kinematografe.

Ogorčen je tudi Lou Reed
Dylan pa ni edini, ki je nad filmom ogorčen. Lou Reed, ki ga v filmu upodablja Brian Bell, je izjavil, da je prebral scenarij, ki ga je opisal kot eno najbolj nagnusnih in napačnih stvari, kar jih je videl v zadnjem času, pa je prebral veliko stvari, ki so jih napisali "nepismeni omejenci".