A Microsoft és mások tiltják generatív mesterséges intelligencia rendszereik használatát különféle tartalmak létrehozására. A korlátozások alá nem tartozó tartalom olyan anyagokat tartalmaz, amelyek szexuális kizsákmányolást vagy visszaélést mutatnak be vagy népszerűsítenek, erotikusak vagy pornográf jellegűek, illetve faj, etnikai hovatartozás, nemzeti származás, nem, nemi identitás, szexuális irányultság, vallás, életkor alapján támadnak, becsmérelnek vagy kizárnak embereket. fogyatékossági állapot vagy hasonló tulajdonságok. Nem engedélyezi továbbá fenyegetést, megfélemlítést, testi sértést vagy más sértő magatartást népszerűsítő tartalom létrehozását.
Amellett, hogy kifejezetten megtiltotta platformja ilyen jellegű használatát, a Microsoft védőkorlátokat is kifejlesztett, amelyek mind a felhasználók által bevitt felszólításokat, mind a kapott kimenetet ellenőrzik, hogy a kért tartalom megsérti-e a feltételeket. Ezeket a kódalapú korlátozásokat az elmúlt években többször is megkerülték feltörések révén, amelyek egy része jóindulatú volt, és kutatók, másokat pedig rosszindulatú fenyegetés szereplői hajtottak végre.
A Microsoft nem vázolta pontosan, hogyan tervezték a vádlottak szoftverét a cég által létrehozott korlátok megkerülésére.
Masada írta:
A Microsoft mesterséges intelligencia-szolgáltatásai erős biztonsági intézkedéseket alkalmaznak, beleértve a beépített biztonsági csökkentéseket az AI modell-, platform- és alkalmazásszinten. Amint azt a ma felbontott bírósági beadványaink állítják, a Microsoft megfigyelte, hogy egy külföldi székhelyű fenyegetés-szereplő csoport olyan kifinomult szoftvert fejleszt ki, amely kihasználta a nyilvános webhelyekről lekapart, nyilvánosságra hozott ügyfelek hitelesítő adatait. Ennek során arra törekedtek, hogy azonosítsák és jogtalanul hozzáférjenek bizonyos generatív AI-szolgáltatásokkal rendelkező fiókokhoz, és szándékosan módosítsák e szolgáltatások képességeit. A kiberbűnözők ezt követően használták ezeket a szolgáltatásokat, és továbbértékesítették a hozzáférést más rosszindulatú szereplőknek, részletes útmutatást adva arról, hogyan használhatják ezeket az egyéni eszközöket káros és tiltott tartalom generálására. A felfedezést követően a Microsoft visszavonta a kiberbűnözők hozzáférését, ellenintézkedéseket vezetett be, és megerősítette a biztosítékait az ilyen rosszindulatú tevékenységek jövőbeni megakadályozása érdekében.
A perben azt állítják, hogy az alperesek szolgáltatása megsértette a számítógépes csalásról és visszaélésről szóló törvényt, a Digital Millennium Copyright Act-et, a Lanham-törvényt, valamint a Racketeer Influenced and Corrupt Organizations Act-et, és vezetékes csalásnak, hozzáférési eszközökkel való visszaélésnek, általános jogsértésnek és károkozós beavatkozásnak minősül. A panasz eltiltja az alpereseket, hogy „bármilyen tevékenységet végezzenek itt”.