--- title: "Crawl Guard: Få styr på bottrafikken | Serpwise" description: "Begræns uønskede bots, før de belaster dit website. Se effekten før du blokerer, og styr adgangen for søgemaskiner, AI-crawlere og scrapere." url: "https://serpwise.ai/da/product/crawl-guard/" source: "https://serpwise.ai/da/product/crawl-guard/" --- Crawl Guard # Få styr på bottrafikken. Aflast dit website. Bots kan gennemgå tusindvis af filtre og søgeresultater på dit website. Crawl Guard stopper den uønskede trafik, før den belaster din server. Du bestemmer, hvem der får adgang til hvad. [Book en demo](/da/demo/) [Se, hvordan det virker](#how-it-works) - Google og Bing har som standard adgang til dit indhold - Afprøv reglerne i Preview, før du blokerer Se, hvordan Crawl Guard kan sættes op til dit website. [Hostingudbyder? Se de tekniske muligheder](#hosting) Crawl Guard Enforcing Magento 2 pack Block, limit and send robots signals. Off Preview Enforce 24 hours 7 days 30 days Eksempel: ca. 3,2 timers servertid og 11.800 forespørgsler sparet Adgang efter bot og sidetype Sider med filtre /women/shoes.html?color=49&size=167 - Google Search Allow - Bing Allow - SEO crawlers Block - AI crawlers Block Sortering og søgeresultater /women/shoes.html?product\_list\_order=price /catalogsearch/result/?q=boots - Google Search Allow - Other bots and scripts Block Produkt-, kategori- og indholdssider /women/shoes/ankle-boot.html - SEO crawlers Allow - AI crawlers Allow Illustration med standardindstillinger for Magento 2. Besparelsen er et estimat. Brugerfladen er på engelsk. Mindre trafik til serveren Afviste botbesøg stoppes, før dit website skal behandle dem Klar til dit website Vi vedligeholder botlister og indstillinger til de understøttede platforme Du har kontrollen Se effekten i Preview, før du aktiverer reglerne Når bots belaster dit website ## Ét filter mere. Tusindvis af nye adresser. På en webshop kan farve, størrelse, pris og sortering kombineres på utallige måder. Hver kombination kan få sin egen URL. Når bots gennemgår dem, kan serveren bruge tid på at bygge næsten ens sider igen og igen. [Læs Googles forklaring af crawling og filtreret navigation](https://developers.google.com/search/blog/2024/12/crawling-december-faceted-nav) 01 ### Små variationer giver mange sider En kategori med få filtre kan skabe langt flere adresser, end du har produkter. Bots kan bruge store dele af deres besøg på de samme varer i nye kombinationer. 02 ### Robots.txt er ikke en blokering Robots.txt fortæller crawlere, hvilke sider de bør holde sig fra. Bots, der ignorerer anvisningerne, kan stadig sende forespørgsler til din server. 03 ### Unødvendige besøg bruger kapacitet Når en side ikke ligger i cachen, skal dit website behandle forespørgslen. Mange botbesøg kan derfor lægge pres på serveren. 04 ### Du har brug for mere end til eller fra Google, dit eget SEO-værktøj og en scraper har forskellige formål. Med Crawl Guard kan du give dem forskellig adgang til de enkelte dele af dit website. Kunder og søgemaskiner ## Start med overblik. Bevar kontrollen. Du behøver ikke blokere nogen for at finde ud af, hvad Crawl Guard kan gøre for dit website. ### Google har adgang som standard Google og Bing kan fortsat besøge dit indhold. Du vælger selv, hvis adgangen til bestemte sidetyper skal begrænses. ### Se effekten, før du aktiverer Preview viser, hvilke besøg dine regler ville afvise. Ingen bliver blokeret, mens du afprøver indstillingerne. ### Du kan altid slå det fra Skift tilbage til Preview, eller slå Crawl Guard helt fra i dashboardet. Sådan kommer du i gang ## Se trafikken. Vælg reglerne. Slå dem til. Dit domæne skal være tilsluttet Serpwise. Derefter styrer du Crawl Guard i dashboardet uden at installere et plugin eller ændre koden på dit website. 1. 1 ### Vælg din platform Start med indstillinger til Magento 2, WooCommerce eller WordPress. Til andre understøttede websites vælger du Any website. Du kan tilpasse reglerne til dit indhold. 2. 2 ### Se effekten i Preview Se, hvilke besøg reglerne ville blokere eller begrænse. Ingen bliver afvist i Preview. Test dine adresser, og tilpas reglerne, før du går videre. 3. 3 ### Aktivér beskyttelsen Skift til Enforce, når du er klar. Crawl Guard afviser nu besøg efter dine regler, før de når serveren. Du kan altid gå tilbage til Preview eller slå funktionen fra. Du bestemmer adgangen ## Giv hver bot adgang til det, den har brug for. Lad søgemaskiner besøge dit indhold, og hold scrapere væk fra filter- og søgesider. For hver botgruppe vælger du, hvilke sider den må besøge, og hvor mange forespørgsler du vil tillade. Allow Tillad adgang 60/min Begræns antallet af forespørgsler Block Blokér adgang | | Crawl traps | | | | | | | | | Rest of the shop | |--------------------------------------------|-------------|---------|---------|---------|-------------|--------------|---------|------------|--------|------------------| | Bots / URLs | Filters | Sorting | Search | Session | System URLs | Cart actions | Account | Pagination | Feeds | Rest of site | | Google Search | Allow | Allow | Allow | Allow | Allow | Block | Allow | Allow | Allow | Allow | | Google Shopping and Ads | Allow | Allow | Allow | Allow | Allow | Allow | Allow | Allow | Allow | Allow | | Bing | Allow | Allow | Allow | Allow | Allow | Block | Allow | Allow | Allow | Allow | | Other search engines | Block | Block | Block | Block | Block | Block | Block | Allow | Allow | Allow | | Social and catalog previews | 60/min | 60/min | 60/min | 60/min | Block | Block | Block | Allow | Allow | Allow | | Audit and monitoring tools | 120/min | 120/min | 120/min | 120/min | 120/min | Block | Allow | 120/min | Allow | Allow | | SEO crawlers | Block | Block | Block | Block | Block | Block | Block | 30/min | 30/min | Allow | | AI crawlers | Block | Block | Block | Block | Block | Block | Block | Allow | Allow | Allow | | Cloud and datacenter | 120/min | 60/min | 30/min | Allow | 30/min | 20/min | Allow | 120/min | 30/min | Allow | | Other bots and scripts | Block | Block | Block | Block | Block | Block | Block | 30/min | 30/min | Allow | | Fake search bots | Block | Block | Block | Block | Block | Block | Block | Block | Block | Block | | Visitors | 60/min | 60/min | 30/min | Allow | 60/min | 30/min | Allow | 120/min | 30/min | Allow | | Your sources | | | | | | | | | | | | Python scripts UA contains python-requests | Block | Block | Block | Block | Block | Block | Block | 30/min | 30/min | Allow | Eksempel med standardindstillinger for Magento 2. Tallene angiver forespørgsler pr. minut. Rest of site dækker produkt-, kategori- og indholdssider. Nederste række viser en gruppe, du selv kan oprette. Brugerfladen er på engelsk. Eksempel med standardindstillinger for Magento 2. Tallene angiver forespørgsler pr. minut. Rest of site dækker produkt-, kategori- og indholdssider. Nederste række viser en gruppe, du selv kan oprette. Brugerfladen er på engelsk. Rul til siden for at se hele tabellen. ### Google og Bing har adgang som standard Søgemaskinerne kan som udgangspunkt besøge dit indhold, også filtre og søgeresultater. Links til kurvhandlinger er undtaget. Du kan selv begrænse crawling af bestemte sidetyper. ### Tilpas reglerne til din trafik Opret egne grupper, hvis du har brug for at styre trafik fra bestemte bots, IP-adresser, netværk eller lande. ### Sæt en grænse for hele botgruppen Navngivne botgrupper deler en samlet grænse. Det samme gælder trafik i cloudgruppen, så flere IP-adresser ikke hver får deres egen kvote. Overblik og handling ## Find det, der belaster dit website. Se, hvor trafikken kommer fra, tilpas reglerne, og følg den anslåede besparelse på serveren. ### Ekstra beskyttelse ved høj belastning Under attack skærper reglerne midlertidigt i 1, 6, 24 eller 72 timer. Funktionen slår selv fra igen. Google begrænses, men blokeres ikke. Midlertidige regler med automatisk udløb Under attack. Stricter limits are live. Ends in 5h 42m · End now 1 hour 6 hours 24 hours 72 hours ### Stop gentagne besøg på manglende sider Bots kan lede efter svagheder ved at prøve mange adresser, der ikke findes. Crawl Guard kan midlertidigt afvise en klient, der rammer for mange forskellige 404-sider. Standard: 30 forskellige 404-sider på ét minut udløser fem minutters pause 404 /old-shop/ 404 /backup/ 404 /test/ 404 /shop-v1/ Paused 5 min ### Opret dine egne trafikregler Saml trafik fra en bestemt bot, et IP-interval, et netværk eller et land. Verificerede crawlere fra Google, Bing og Google Shopping er undtaget fra disse regler. Tilpas adgangen til dit website User agent IP range ASN Country Match any · Match all ### Begræns trafik fra cloudnetværk Trafik fra kendte cloud- og hostingnetværk, som ikke identificerer sig som bots, får sin egen gruppe med en fælles grænse på tværs af IP-adresser. Blandt andet AWS, Google Cloud og Azure Cloud and datacenter Cart 20/min Search 30/min Sorting 60/min Filters 120/min ### Styr anvisninger til søgemaskiner Vælg, om en sidetype skal have en anvisning i robots.txt eller en noindex-header. Crawl Guard tilføjer anvisningerne, når beskyttelsen er aktiv. Den oprindelige robots.txt-fil på serveren ændres ikke `User-agent: * # BEGIN SerpWise Crawl Guard Disallow: /checkout/cart/add Disallow: /catalogsearch/ Disallow: /*?product_list_order= Disallow: /*&product_list_order= # END SerpWise Crawl Guard` ### Find de filtre, dit website bruger Se navnene på de parametre, der er registreret i trafikken de seneste syv dage. Mulige filtre markeres, så du kan føje dem til dine regler. Parameterens navn registreres, ikke dens værdi - color Looks like a filter - price Filters - product\_list\_order Sorting - utm\_source Neutral ### Følg effekten af dine regler Rapporten viser de største trafikkilder og anslår, hvor mange forespørgsler og hvor meget servertid Crawl Guard har sparet ud fra din egen trafik. Besparelser vises som estimater Top sources · 7 days - Example Cloud Ltd AS64500 Make a rule - Example Hosting AS64501 Make a rule - Example Networks AS64502 Make a rule Til hostingudbydere ## Stop bottrafikken, før den belaster kundernes servere. Crawl Guard håndhæver botregler i Serpwises edge-netværk. Blokerede forespørgsler og trafik over de valgte grænser afvises, før de når origin. Styr adgangen efter botgruppe og URL-type uden at vedligeholde .htaccess-regler eller installere en agent på kundens server. ### Kontrollér trafikken før origin - Regler efter botgruppe og URL-type - Fælles grænser på tværs af IP-adresser - Preview på faktisk trafik før aktivering - Estimeret besparelse pr. website [Book en teknisk gennemgang](/da/demo/) [Tal med os om et samarbejde](/da/contact/#contact-form) - ### 403 og 429 håndteres på edge Blokerede forespørgsler får HTTP 403. Overskrides en trafikgrænse, returneres HTTP 429 med Retry-After. De afviste forespørgsler sendes ikke videre til origin. - ### Fælles grænser på tværs af IP-adresser Navngivne botgrupper og cloudgruppen deler hver en samlet grænse. En crawler får derfor ikke en ny kvote, blot fordi den skifter IP-adresse. - ### Afprøv reglerne på faktisk trafik Preview viser, hvilke forespørgsler reglerne ville afvise, uden at blokere dem. Kontrollér effekten, før du aktiverer Enforce. - ### Midlertidige regler med automatisk udløb Skærp botreglerne i op til 72 timer med Under attack. Reglerne udløber automatisk, og konto- og checkout-sider får ikke skærpede grænser. - ### Ingen agent på origin Trafikken til kundens domæne skal gå gennem Serpwise. Reglerne styres i dashboardet uden plugins eller ændringer i applikationskoden. - ### Følg effekten pr. website Rapporten estimerer sparede origin-forespørgsler og servertid ud fra kundens trafik. Brug den til at vurdere effekten sammen med jeres egne servermålinger. Spørgsmål og svar ## Det skal du vide, før du går i gang. 01 Kan Crawl Guard påvirke min synlighed på Google? + - Det afhænger af dine indstillinger. Som standard har Google og Bing adgang til dit indhold, også filter-, sorterings- og søgesider. Links til kurvhandlinger, ønskelister og sammenligning er undtaget. Google Shopping og Ads har fuld adgang. Begrænser du selv Google, eller tilføjer du robots.txt- eller noindex-anvisninger, kan det påvirke crawling eller indeksering. 02 Kan jeg stadig bruge mine SEO-værktøjer? + - Ja. Som standard kan crawlere som AhrefsBot og SemrushBot besøge produkt-, kategori- og indholdssider, mens adgangen til blandt andet filtre og interne søgeresultater er blokeret. Dine egne audits, eksempelvis Ahrefs Site Audit og Screaming Frog, har en separat gruppe. Her begrænses tempoet på disse sider i stedet for at blokere adgangen. 03 Ændrer Crawl Guard min robots.txt? + - Ja, når Enforce er aktiv, medmindre du vælger andet. Du kan vælge anvisninger for hver sidetype. Webshoppakkerne tilføjer som standard blandt andet Disallow for kurv, konto, søgning og sortering i en markeret sektion. Filen på din server ændres ikke. Preview ændrer ingen anvisninger, og Under attack ændrer ikke robots.txt. 04 Hvad kræver det at komme i gang? + - Dit domæne skal være tilsluttet Serpwise, så trafikken går gennem edge-netværket. Når Crawl Guard er aktiveret for din konto, styrer du det i dashboardet. Du skal ikke installere et plugin eller ændre koden på dit website. 05 Virker det kun til webshops? + - Nej. Der er standardpakker til Magento 2, WooCommerce og WordPress samt Any website til andre understøttede websites. Du kan tilføje egne URL-grupper ud fra stier eller parametre. Shopify understøttes ikke. 06 Kan mine besøgende blive påvirket? + - Ja, hvis de rammer en grænse, du har sat. Gruppen Visitors kan begrænses, men ikke sættes til Block. Flere besøgende kan dele en IP-adresse. Brug Preview til at se, hvem reglerne ville ramme, før du aktiverer dem. Betalingscallbacks og POST-forespørgsler er undtaget. 07 Hvordan får jeg adgang til Crawl Guard? + - Crawl Guard er under udrulning og skal aktiveres for din konto. Book en demo, så vi kan gennemgå dit website og mulighederne for adgang. En ny Serpwise-konto giver ikke automatisk adgang til Crawl Guard. 08 Hvad sker der med checkout og betalinger? + - Under attack skærper ikke reglerne for konto- og checkout-sider, og de er undtaget fra 404-beskyttelsen. POST-forespørgsler, betalingscallbacks og API-kald fra indloggede brugere er også undtaget. Se Crawl Guard i praksis ## Se, hvad Crawl Guard kan gøre for dit website. Book en demo, og få en gennemgang af regler, Preview og rapportering. Vi hjælper dig med at afklare, om Crawl Guard passer til dit website, og hvordan du får adgang. [Book en demo](/da/demo/) [Kontakt os](/da/contact/)