Tavaly az Internet A CloudFlare Infrastruktúra -társaság olyan eszközöket indított, amelyek lehetővé teszik ügyfelei számára, hogy blokkolják az AI GreyFectors -t. Ma a vállalat folytatta a karcolás elleni küzdelmet, több szakaszból való engedély nélkül. Váltott arra, hogy blokkolja az alapértelmezett IA robotokat ügyfelei számára, és folytatja a Crawl -programonkénti fizetési programot, amely lehetővé teszi az ügyfelek számára, hogy az AI vállalatokat betöltsék weboldalaik megkarcolására.
A webrobotok évtizedek óta utaznak az interneten további információkért. Nélkülük az emberek elveszítik a létfontosságú online eszközöket, a Google Research -től az Internet Archívum digitális megőrzési munkájáig. De az AI Boom egy megfelelő gémet készített a Crawlers -alapú webrobotokban utánozzon egy DDOS -támadást,, kígyók És Downline webhelyek hozása– Még akkor is, ha a webhelyek képesek kezelni a megnövekedett tevékenységeket, sokan nem akarják, hogy az AI rászorulók megértsék tartalmukat, különösen olyan hírkiadványokat, amelyek megkövetelik, hogy az IA vállalatok fizethessenek a munkájuk felhasználásáért. “Lázasan megpróbáltuk megvédeni magunkat” – magyarázza Danielle Coffey, a Trade Group News Media Alliance elnöke és vezérigazgatója, aki több ezer észak -amerikai értékesítési pontot képvisel.
Eddig a Will Allen, a Will Allen Cloudflare, a Control, az adatvédelem és a médiatermékek, több mint egymillió ügyfél-webhely aktiválta a régi A-bot blokkoló eszközeit. Mostantól több millió embernél lehetősége lesz arra, hogy a robotok blokkolását alapértelmezés szerint tartsák fenn. A CloudFlare azt is jelzi, hogy képes azonosítani az egyenletes “árnyékolt” kaparókat, amelyeket az AI -társaságok nem hirdetnek. A vállalat megjegyezte, hogy a viselkedési elemzés, az ujjlenyomatok és az automatikus tanulás tulajdonos kombinációját használja az AI robotok osztályozására és elválasztására a “jó” robotoktól.
A robot -kizárási protokollnak nevezett, széles körben használt webes szabvány, amelyet gyakran a robot.txt fájlon keresztül valósítanak meg, segít a kiadóknak a robotok blokkolásában egy esetben, de az alábbiak nem szükségesek jogilag, és számos bizonyíték van arra, hogy egyes AI -társaságok megpróbálják elkerülni az erőfeszítéseket a kaparóik blokkolása érdekében. “A robots.txt figyelmen kívül hagyják” – magyarázza Coffey. Szerint Jelentés A Tollbit tartalmi licencplatformból, amely saját piacot kínál, hogy a kiadók tárgyaljanak az AI -társaságokkal a BOT -hoz való hozzáférésről, az AI karcolás továbbra is növekszik, beleértve a robotok figyelmen kívül hagyását. Tollbit megjegyezte, hogy több mint 26 millió lassulás figyelmen kívül hagyta a protokollt csak 2025 márciusában.
Ebben az összefüggésben a Cloudflare -ről az alapértelmezett elzáródásra való átlépés fontos akadálynak bizonyulhat a tálalások számára rejtett módon, és több kart biztosíthat a kiadók számára a tárgyalásokhoz, akár a mászásonkénti, akár más módon. “Ez jelentősen megváltoztathatja a hatalom dinamikáját. Mostanáig az AI -társaságoknak nem kellett fizetniük a tartalmi engedély megszerzéséhez, mert tudják, hogy egyszerűen csak következmények nélkül tudják venni azt” – magyarázza Nicholas Thompson, az Atlanti -óceán vezérigazgatója (és a Wired volt szerkesztője). “Most tárgyalásokat kell folytatniuk, és ez versenyelőnyt jelent az AI -társaságok számára, amelyek egyre több tranzakciót tudnak végrehajtani több és jobb kiadókkal.”
Az AI GIST.AI keresőmotorját üzemeltető IA prorata indítás vállalta, hogy részt vesz a Pay Per Crawl programban, a vezérigazgató és az alapító Bill Gross szerint. “Meggyőződésünk, hogy az összes tartalom -készítőt és kiadót javadást kell végezni, amikor tartalmát az AI válaszaiban használják” – magyarázza Gross.
Természetesen továbbra is látni kell, hogy az AI tér nagy szereplői részt vesznek -e olyan programban, mint a Pay Per Crawl, amely a béta verzióban található. (A CloudFlare megtagadta a jelenlegi résztvevők kinevezését.) Az olyan vállalatok, mint az OpenAi, licencszerződéseket kötöttek számos publikációs partnerrel, köztük a Conde Nast Carbelle szülői társasággal, de ezeknek a megállapodásoknak a konkrét részleteit nem tették közzé, főleg, ha a megállapodás a bothoz való hozzáférést fedezi.
Időközben van egy egész online ökoszisztéma oktatóanyagok A CloudFlare bot zárószerszámának elmenekülésének módjáról. Ahogy az alapértelmezett blokkolás megtörténik, ezek az erőfeszítések valószínűek. A CloudFlare hangsúlyozza, hogy azok az ügyfelek, akik meg akarják hagyni, hogy a robotok kölcsönözés nélkül karcolják, képesek lesznek kikapcsolni a blokkolási beállítást. “Az összes blokkolás teljesen opcionális és minden egyes felhasználó belátása szerint” – magyarázza Allen.
