Gigablast

Gigablast

Gigablast är en kraftfull, open source, ny sökmotor som gör indexering i realtid! Funktioner som kan klassas till tusentals servrar.
Gigablast är en kraftfull, open source, ny sökmotor som gör indexering i realtid!Funktioner som kan skalas till tusentals servrar.Har skalat till över 12 miljarder webbsidor på över 200 servrar.En dubbel fyrkärna, med 32 GB ram, och två 160 GB Intel SSD: er, som kör 8 Gigablast-instanser, kan göra cirka 8 qps (frågor per sekund) på ett index på 10 miljoner sidor.Enheterna kommer att vara nära maximal lagringskapacitet.Fördubbling av indexstorlek kommer mer eller mindre att halvera qps-hastigheten.(Prestandametriker kan göras ungefär tio gånger snabbare men jag har inte kommit åt det ännu. Användning av utrymme för utrymme förmodligen förblir ungefär densamma eftersom det redan är ganska effektivt.) En miljon webbsidor kräver 28,6 GB enhet.Det inkluderar index, metainformation och komprimerad HTML på alla webbsidor.Spindelfrekvens är cirka 1 sida per sekund per kärna.Så en dubbel fyrkärna kan spindla och indexera 8 sidor per sekund vilket är 691 200 sidor per dag.4 GB RAM krävs per Gigablast-instans.(instans = process) Live demo på Written in C / C ++ för optimal prestanda.Över 500 000 rader C / C ++.100% anpassad.En enda binär.Webbservern, databasen och allt annat finns i denna källkod på ett mycket effektivt sätt.Förenklar administration och felsökning.Pålitlig.Har testats i liveproduktion sedan 2002 på miljarder frågor på ett index på över 12 miljarder unika webbsidor, 24 miljarder speglade.Super snabbt och effektivt.En av en liten handfull sökmotorer som har drabbat så stora siffror.Den enda sökmotorn med öppen källkod som har.Stöder alla språk.Kan ge resultat på specifika språk en ökning jämfört med andra vid frågestund.Använder UTF-8-representation internt.Spårrekord.Har använts av många kunder.Har framgångsrikt använts i distribuerad företagsprogramvara.Cachade webbsidor med markering av frågetermin ...

kategorier

Alternativ till Gigablast för Self-Hosted med gratis licens