Förståelse av sökrobotarnas beteende genom loggfilsanalys
Analys av SEO-loggfiler är en viktig process som hjälper dig att förstå hur sökmotorernas spindlar interagerar med din webbplats. Genom att studera dessa filer kan du upptäcka möjligheter till teknisk SEO-optimering.
Att ignorera sökrobotarnas beteende är som att navigera i mörker. Du kan ha registrerat din webbplats i Google Search Console och lyckats få den indexerad, men utan att granska loggfilerna saknar du värdefull information om huruvida din webbplats genomsöks och läses korrekt av sökmotorerna.
I den här artikeln har jag samlat all den information du behöver för att genomföra en effektiv analys av dina SEO-loggfiler. Lär dig att identifiera problem och hitta optimeringsmöjligheter.
Vad innebär loggfilsanalys?
SEO-loggfilsanalys är en metod för att undersöka mönstren i hur sökmotorernas spindlar interagerar med din webbplats. Det är en viktig del av den tekniska SEO-strategin.
Genom att granska loggfiler kan du som SEO-specialist identifiera och lösa problem relaterade till genomsökning, indexering och statuskoder.
Vad är loggfiler?
Loggfiler registrerar detaljer om vem som besöker din webbplats och vilket innehåll som visas. De innehåller information om ”klienten”, det vill säga den enhet som begärde tillgång till webbplatsen.
Denna information kan gälla sökmotorernas spindlar, som Google och Bing, eller vanliga webbplatsbesökare. Vanligtvis samlas loggposter in och underhålls av webbplatsens server, och lagras under en begränsad tidsperiod.
Vad innehåller en loggfil?
För att förstå hur loggfiler kan gynna din SEO, är det viktigt att veta vad de innehåller. Här är några viktiga datapunkter som finns i en loggfil:
- Webbsidans adress som efterfrågades.
- HTTP-statuskoden för sidan.
- Serverns IP-adress som kontaktades.
- Tidpunkten för begäran.
- Användaragentens data (t.ex. sökmotorernas spindlar).
- Metoden för begäran (GET/POST).
Första gången du ser en loggfil kan den verka komplicerad. Men när du väl förstår dess betydelse för SEO, kommer du att kunna använda den effektivt för att få värdefulla insikter.
Varför är loggfilsanalys viktig för SEO?
Loggfilsanalys hjälper dig att lösa viktiga tekniska SEO-problem, vilket gör att du kan utforma en effektiv strategi för att optimera din webbplats.
Här är några SEO-utmaningar som kan analyseras med hjälp av loggfiler:
#1. Hur ofta Googlebot genomsöker webbplatsen
Sökmotorernas spindlar bör genomsöka dina viktigaste sidor regelbundet. Det säkerställer att sökmotorn är medveten om uppdateringar eller nytt innehåll på din webbplats.
Dina viktigaste produkt- och informationssidor bör vara tydligt synliga i Googles loggar. Om en produktsida för en utgången produkt eller någon av dina viktigaste kategorisidor inte visas, är det en indikation på ett problem som du kan upptäcka genom loggfilsanalys.
Hur använder en sökmotorbot sin genomsökningsbudget?
Varje gång en sökmotorbot besöker din webbplats, har den en begränsad ”genomsökningsbudget”. Google definierar detta som summan av en webbplats genomsökningshastighet och genomsökningsbehov.
Om webbplatsen innehåller många webbadresser med lågt värde, eller om webbadresser inte är korrekt presenterade i webbplatskartan, kan genomsökningen och indexeringen bli svårare. Genomsökning och indexering av viktiga sidor blir enklare om din genomsökningsbudget är optimerad.
Loggfilsanalys kan hjälpa dig att optimera din genomsökningsbudget, vilket i sin tur påskyndar dina SEO-insatser.
#2. Mobilanpassad indexering – problem och status
Mobilanpassad indexering är nu en nödvändighet för alla webbplatser, och Google prioriterar den. Loggfilsanalys visar hur ofta Googlebots för smarttelefoner genomsöker din webbplats.
Den här analysen hjälper webbplatsägare att optimera sina webbsidor för mobilversioner, om de inte genomsöks korrekt av Googlebot för smarttelefoner.
#3. HTTP-statuskoder som returneras av webbsidor
De senaste svarskoderna för dina webbsidor kan erhållas genom loggfiler eller med ”hämta och återge”-alternativet i Google Search Console.
Loggfilsanalysverktyg kan hitta sidor med statuskoderna 3xx, 4xx och 5xx. Du kan lösa dessa problem genom att exempelvis omdirigera felaktiga webbadresser till rätt destinationer eller ändra statuskoder från 302 till 301.
#4. Analys av genomsökningsaktiviteter, som genomsökningsdjup och interna länkar
Google bedömer din webbplats struktur baserat på dess genomsökningsdjup och interna länkar. Felaktig genomsökning kan orsakas av dålig länkstruktur och genomsökningsdjup.
Om du upplever problem med din webbplats hierarki, struktur eller interna länkstruktur kan du använda loggfilsanalys för att hitta dessa problem.
Loggfilsanalys bidrar till att optimera webbplatsens arkitektur och länkstruktur.
#4. Identifiera föräldralösa sidor
Föräldralösa sidor är webbsidor som inte är länkade från någon annan sida på webbplatsen. Det är svårt för dessa sidor att indexeras och dyka upp i sökmotorer, eftersom de inte är lätta att upptäcka för botarna.
Föräldralösa sidor kan enkelt identifieras av spindlar som Screaming Frog. Genom att länka samman dessa sidor med andra sidor på webbplatsen, kan problemet lösas.
#5. Granskning av sidornas hastighet och upplevelse
Sidorna hastighet och användarupplevelse är numera officiella rankningsfaktorer, och det är viktigt att webbsidor uppfyller Googles riktlinjer för sidhastighet.
Långsamma eller tunga sidor kan upptäckas genom loggfilsanalys. Genom att optimera sidorna för bättre hastighet kan du förbättra din webbplats övergripande rankning på SERP.
Loggfilsanalys ger dig kontroll över hur din webbplats genomsöks och hur sökmotorer hanterar den.
Nu när vi har förstått grunderna i loggfiler och deras analys, ska vi titta närmare på hur du faktiskt granskar loggfiler för SEO.
Hur genomför man en loggfilsanalys?
Vi har redan berört olika aspekter av loggfiler och deras betydelse för SEO. Nu är det dags att lära sig hur man analyserar filerna och vilka verktyg som är bäst för att göra jobbet.
För att få tillgång till loggfiler behöver du ha tillgång till webbplatsens serverloggfil. Filerna kan analyseras på följande sätt:
Det finns flera steg för att manuellt komma åt loggfilerna:
- Samla in eller exportera loggdata från webbservern och filtrera datan för sökmotorernas spindlar.
- Konvertera den nedladdade filen till ett läsbart format med hjälp av dataanalysverktyg.
- Analysera datan manuellt med Excel eller andra visualiseringsverktyg för att identifiera SEO-brister och möjligheter.
- Du kan även använda filtreringsprogram och kommandorader för att underlätta arbetet.
Att manuellt arbeta med filernas data kan vara svårt eftersom det kräver kunskaper i Excel och ofta involverar utvecklingsteamet. Loggfilsanalysverktyg underlättar dock jobbet för SEO-specialister.
Låt oss nu titta på de bästa verktygen för att granska loggfiler och hur de kan hjälpa oss i analysprocessen.
Screaming Frog Log File Analyzer
Du kan identifiera tekniska SEO-problem med uppladdade loggdata och verifierade sökmotorernas spindlar med Screaming Frog Log File Analyzer. Du kan även göra följande:
- Få information om sökmotorernas spindelaktivitet och data för SEO.
- Upptäck frekvensen med vilken sökmotorernas spindlar genomsöker din webbplats.
- Identifiera alla tekniska SEO-problem och trasiga externa/interna länkar.
- Analysera vilka webbadresser som genomsökts minst och mest för att minska förluster och öka effektiviteten.
- Upptäck sidor som inte genomsöks av sökmotorer.
- Jämför och kombinera data, inklusive externa länkdata, direktiv och annan information.
- Visa data om hänvisningsadresser.
Screaming Frogs loggfilsanalysverktyg är kostnadsfritt att använda för ett enstaka projekt med en gräns på 1 000 rader logghändelser. För obegränsad åtkomst och teknisk support behöver du uppgradera till betalversionen.
JetOctopus
När det gäller prisvärda verktyg för logganalys, är JetOctopus ett utmärkt alternativ. Det erbjuder en sju dagars kostnadsfri provperiod utan krav på kreditkort och anslutning med två klick. Med JetOctopus logganalysator kan du, precis som med andra verktyg i listan, identifiera genomsökningsfrekvens, genomsökningsbudget, populäraste sidor m.m.
Det här verktyget ger dig en fördel gentemot konkurrenterna genom att låta dig integrera loggdata med Google Search Console-data. Du kan då se hur Googlebot interagerar med din webbplats och var du kan göra förbättringar.
Oncrawl Log Analyzer
Oncrawl Log Analyzer är ett verktyg avsett för medelstora till stora webbplatser som bearbetar över 500 miljoner loggrader dagligen. Verktyget övervakar dina webbserverloggar i realtid för att säkerställa att dina sidor indexeras och genomsöks korrekt.
Oncrawl Log Analyzer är GDPR-kompatibel och mycket säker. Istället för IP-adresser lagrar programmet alla loggfiler i ett säkert och segregerat FTP-moln.
Förutom funktionerna hos JetOctopus och Screaming Frog Log File Analyzer har Oncrawl fler, såsom:
- Stöd för många loggformat, inklusive IIS, Apache och Nginx.
- Verktyget anpassar sig enkelt efter dina bearbetnings- och lagringskrav allteftersom de ändras.
- Dynamisk segmentering är ett kraftfullt verktyg som avslöjar mönster och samband i dina data genom att gruppera webbadresser och interna länkar baserat på olika kriterier.
- Använd datapunkter från råloggfiler för att skapa SEO-rapporter med konkreta åtgärder.
- Automatisera överföringen av loggfiler till ditt FTP-utrymme med hjälp av teknisk personal.
- Övervaka de vanligaste webbläsarna, inklusive Google, Bing, Yandex och Baidus spindlar.
OnCrawl Log Analyzer har även två ytterligare viktiga verktyg:
Oncrawl SEO Crawler: Oncrawl SEO Crawler ger dig möjlighet att snabbt genomsöka din webbplats med minimal resursåtgång. Det förbättrar förståelsen av hur rankningskriterier påverkar SEO.
Data från genomsökning: Oncrawl-data analyserar alla SEO-faktorer genom att kombinera data från genomsökningen och analysen. Det hämtar data från genomsökningen och loggfilerna för att förstå genomsökningsbeteendet och rekommenderar genomsökningsbudgeten för att prioritera innehåll eller ranka sidor.
SEMrush Log File Analyzer
Den SEMrush Log File Analyzer är ett bra val om du söker ett enkelt, webbläsarbaserat logganalysverktyg. Analysverktyget kräver ingen nedladdning och kan användas online.
SEMrush presenterar två rapporter:
Sidträffar: Rapporten om sidträffar visar hur spindlarna interagerar med din webbplats innehåll. Det ger information om sidor, mappar och webbadresser som har mest och minst interaktion med botar.
Googlebots aktivitet: Rapporten om Googlebots aktivitet ger dagliga insikter relaterade till webbplatsen, som:
- Typerna av filer som genomsöks
- Den totala HTTP-statuskoden
- Antalet förfrågningar som görs till din webbplats av olika botar
Loggly från SolarWinds
SolarWinds’ Loggly undersöker åtkomst- och felloggarna för din webbserver, samt webbplatsens veckostatistik. Du kan se dina loggdata när som helst. Verktyget har även funktioner som gör det enkelt att söka i loggarna.
Ett robust loggfilanalysverktyg som SolarWinds Loggly är nödvändigt för att effektivt bryta ner loggfiler på din webbserver och få information om huruvida resursförfrågningar från klienter lyckats eller inte.
Loggly kan ge dig diagram som visar de minst besökta sidorna och beräkna genomsnittliga, lägsta och högsta sidladdningshastigheter. Det hjälper dig att optimera webbplatsens SEO.
Genomsökningsstatistik i Google Search Console
Google Search Console underlättar för användarna genom att ge en användbar översikt över dess rutiner. Konsolens funktion är enkel: din genomsökningsstatistik delas in i tre kategorier:
- Nedladdade kilobyte per dag: Indikerar antalet kilobyte som laddas ner av Googlebots vid besök på webbplatsen. Detta ger två viktiga indikationer: Om höga medelvärden visas i diagrammet, betyder det antingen att webbplatsen genomsöks ofta eller att boten tar lång tid på sig att genomsöka webbplatsen.
- Antal genomsökta sidor per dag: Visar hur många sidor Googlebot genomsöker dagligen. Det noterar även om genomsökningsaktiviteten är låg, hög eller genomsnittlig. Låg genomsökningshastighet indikerar att webbplatsen inte genomsöks ordentligt av Googlebot.
- Tid för nedladdning av en sida (i millisekunder): Visar hur lång tid det tar för Googlebot att göra HTTP-förfrågningar under genomsökningen av webbplatsen. Ju kortare tid Googlebot lägger på att göra förfrågningar, desto bättre blir nedladdningen av sidan, eftersom indexeringen då går snabbare.
Sammanfattning
Jag hoppas att den här guiden har gett dig värdefull information om loggfilsanalys och verktyg som kan användas för att granska loggfiler för SEO. Granskning av loggfiler kan vara en mycket effektiv metod för att förbättra de tekniska SEO-aspekterna på din webbplats.
Google Search Console och SEMrush Log File Analyzer är bra alternativ för kostnadsfria och grundläggande analysverktyg. Du kan även kolla Screaming Frog Log File Analyzer, JetOctopus eller Oncrawl Log Analyzer för att få en bättre förståelse för hur sökmotorernas spindlar interagerar med din webbplats. Du kan kombinera premium- och kostnadsfria verktyg för loggfilsanalys för SEO.
Du kan även undersöka avancerade sökmotorrobotar för att ytterligare förbättra din SEO.