MiGo-Crawler V2.0

MiGo-Crawler

Mit unserem MiGo-Crawler haben Sie die Möglichkeit, Ihre komplette Webseite innerhalb kürzester Zeit volltext zu indizieren. Dabei findet der Crawler nur Webseiteninterne Verweise und geht diesen bis zu einem bestimmten, selbst definierbaren Level, nach.

Indiziert wird dabei der Inhalt zwischen den <body> Elementen. Dadurch können die Anzahl der Wörter und der Dateityp ermittelt werden. Diese Informationen können später zur Gewichtung in einer Sitemap benutzt werden. Auch können diese Kritieren die Relevanz eines Treffers bei der Ausgabe beeinflussen.

Der Crawler bildet über den Body & der URL jeweils einen MD5 Hash um bei neuen Treffern vergleichen zu können, ob dieser Content bereits indiziert wurde. Das System indiziert keine Seiten doppelt.

Der Crawler findet alle für den Browser lesbaren Formate und nimmt diese in den Index auf. Auch PDF oder ZIP Dokumente werden erfasst, aber ohne Inhalt. Hier kann lediglich über den Dateinamen gesucht werden.

Theoretisch ist es möglich, nach jedem möglichen Suchmuster in dem Body Teil einer Homepage zu suchen und diese Informationen zu filtern. Möchten Sie Beispielsweise 2 Indexe aufbauen, einen nur für Ihre PDFs auf der Webseite und einen nur für Ihre PHP Seiten, so stellt das kein Problem dar.

Weiterhin bietet das Produkt die Möglichkeit, nach der Indizierung auch eine passende XML Datei für den Google Sitemap Dienst zu erzeugen und mit gzip zu komprimieren.

Ein passendes Frontend-Modul, um über den gecrawlten Inhalten zu suchen, wird auf Anforderung & Kundenwunsch entwickelt.


Weitere Produkte

Produkt Version
MiGo-Portal Version: 3.0
MiGo Kunden Verwaltung Version: 2.3
MiGo-Crawler Version: 2.0
MiGo-Homepage Security Analyzer Version: 2.3
MiGo PLZ Umkreissuche Version: 2.0
MiGo-Newsletter Version: 1.0
MiGo-SMS Version: 1.0
MiGo IHK Unternehmenssuche Version: 1.0
MiGo-Kalender Version: 2.0

Lösungen für Ihr Business

Unsere Produkte steigern Ihre Effizienz

Mit unseren Business-Produkten steigern Sie Ihre Effizienz, indem Sie Kosten & Zeit sparen, aber dennoch professionell und flexibel ihr Geschäftsmodell im Web darstellen.

Haben Sie Interesse an einer individuellen Lösung? Dann kontaktieren Sie uns.

Sprechen Sie uns an »

Professional Research

Mit uns immer einen Schritt vorraus

Wir sind für Sie in allen Gebieten der Webentwicklung unterwegs. Ob Web 4.0, Suchmaschinen Marketing, Technologie- oder Design-Themen. Wir lassen keine Trends außen vor.

Kontaktieren Sie uns und erfahren Sie mehr.

Privatanwender Lösungen

Web-Visitenkarte

Zu unseren Lösungen gehören auch Lösungen für Privatanwender. Schon das MiGo-Portal in seiner kleinsten Edition in Verbindung mit dem Contentmodul ist flexibler als jeder statische HTML-Aufbau.

Kontaktieren Sie uns und wir beraten Sie individuell.