Gigablast

Gigablast

Gigablast je výkonný, otvorený zdroj, nový vyhľadávací nástroj, ktorý umožňuje indexovanie v reálnom čase!
Gigablast je výkonný, opensource, nový vyhľadávací nástroj, ktorý umožňuje indexovanie v reálnom čase!Funkcie škálovateľné na tisíce serverov.Zmenšil sa na viac ako 12 miliárd webových stránok na viac ako 200 serveroch.Dvojjadrové štvorjadrové zariadenie s 32 GB RAM a dvoma 160 GB procesormi Intel SSD s 8 inštanciami Gigablastu dokáže pri indexe 10 miliónov stránok urobiť asi 8 qps (dotazy za sekundu).Jednotky sa budú blížiť maximálnej úložnej kapacite.Zdvojnásobenie veľkosti indexu viac alebo menej zníži rýchlosť na polovicu.(Metriky výkonnosti sa dajú urobiť asi desaťkrát rýchlejšie, ale ešte som sa k tomu nepriblížil. Využitie priestoru na disku pravdepodobne zostane rovnaké, pretože je už dosť efektívne.) 1 milión webových stránok vyžaduje 28,6 GB miesta na disku.To zahŕňa index, meta informácie a komprimovaný HTML všetkých webových stránok.Miera pavúka sa pohybuje okolo 1 stránky za sekundu na jadro.Takže duálne štvorjadrové jadro dokáže spider a indexovať 8 stránok za sekundu, čo je 691 200 stránok za deň.Na každý prípad Gigablastu je potrebných 4 GB pamäte RAM.(instance = process) Živé demo pri písaní v C / C ++ pre optimálny výkon.Viac ako 500 000 riadkov C / C ++.100% vlastné.Jeden binárny.Webový server, databáza a všetko ostatné je obsiahnuté v tomto zdrojovom kóde vysoko efektívne.Uľahčuje správu a riešenie problémov.Spoľahlivé.Testuje sa v živej produkcii od roku 2002 na miliardách dopytov s indexom vyše 12 miliárd jedinečných webových stránok, 24 miliárd sa zrkadlilo.Super rýchle a efektívne.Jeden z mála vyhľadávacích nástrojov, ktoré zasiahli také veľké čísla.Jediný vyhľadávací nástroj s otvoreným zdrojom, ktorý má.Podporuje všetky jazyky.Môže poskytnúť výsledky v určených jazykoch v porovnaní s ostatnými v čase dotazu.Interne používa reprezentáciu UTF-8.Traťový rekord.Využívalo ho veľa klientov.Bol úspešne použitý v distribuovanom podnikovom softvéri.Webové stránky vo vyrovnávacej pamäti so zvýraznením výrazu dotazu ....
gigablast

Kategórie

Alternatívy programu Gigablast pre Telegram

Yandex.Search

Yandex.Search

Yandex je najrýchlejšie rastúci vyhľadávací nástroj na svete, ktorý slúži predovšetkým Rusku (najväčší a najobľúbenejší) a ďalším krajinám, ktoré boli predtým súčasťou Sovietskeho zväzu.