Gigablast

Gigablast

Gigablast je výkonný, otvorený zdroj, nový vyhľadávací nástroj, ktorý umožňuje indexovanie v reálnom čase!
Gigablast je výkonný, opensource, nový vyhľadávací nástroj, ktorý umožňuje indexovanie v reálnom čase!Funkcie škálovateľné na tisíce serverov.Zmenšil sa na viac ako 12 miliárd webových stránok na viac ako 200 serveroch.Dvojjadrové štvorjadrové zariadenie s 32 GB RAM a dvoma 160 GB procesormi Intel SSD s 8 inštanciami Gigablastu dokáže pri indexe 10 miliónov stránok urobiť asi 8 qps (dotazy za sekundu).Jednotky sa budú blížiť maximálnej úložnej kapacite.Zdvojnásobenie veľkosti indexu viac alebo menej zníži rýchlosť na polovicu.(Metriky výkonnosti sa dajú urobiť asi desaťkrát rýchlejšie, ale ešte som sa k tomu nepriblížil. Využitie priestoru na disku pravdepodobne zostane rovnaké, pretože je už dosť efektívne.) 1 milión webových stránok vyžaduje 28,6 GB miesta na disku.To zahŕňa index, meta informácie a komprimovaný HTML všetkých webových stránok.Miera pavúka sa pohybuje okolo 1 stránky za sekundu na jadro.Takže duálne štvorjadrové jadro dokáže spider a indexovať 8 stránok za sekundu, čo je 691 200 stránok za deň.Na každý prípad Gigablastu je potrebných 4 GB pamäte RAM.(instance = process) Živé demo pri písaní v C / C ++ pre optimálny výkon.Viac ako 500 000 riadkov C / C ++.100% vlastné.Jeden binárny.Webový server, databáza a všetko ostatné je obsiahnuté v tomto zdrojovom kóde vysoko efektívne.Uľahčuje správu a riešenie problémov.Spoľahlivé.Testuje sa v živej produkcii od roku 2002 na miliardách dopytov s indexom vyše 12 miliárd jedinečných webových stránok, 24 miliárd sa zrkadlilo.Super rýchle a efektívne.Jeden z mála vyhľadávacích nástrojov, ktoré zasiahli také veľké čísla.Jediný vyhľadávací nástroj s otvoreným zdrojom, ktorý má.Podporuje všetky jazyky.Môže poskytnúť výsledky v určených jazykoch v porovnaní s ostatnými v čase dotazu.Interne používa reprezentáciu UTF-8.Traťový rekord.Využívalo ho veľa klientov.Bol úspešne použitý v distribuovanom podnikovom softvéri.Webové stránky vo vyrovnávacej pamäti so zvýraznením výrazu dotazu ....
gigablast

Kategórie

Alternatívy programu Gigablast pre Yandex.Browser s licenciou s otvoreným zdrojom