Infos für WebmasterSo geht dasDer ExpertRank Algorithmus von Ask liefert relevante Suchergebnisse, indem Sites mit der größten Autorität auf dem Web identifiziert werden. Bei der Ask Suchtechnologie geht es nicht nur darum, wer der Größte ist, sondern wer der Beste ist. Unser ExpertRank Algorithmus geht über die reine Link-Popularität hinaus (wobei die Reihenfolge der Seiten rein auf der Menge der Links, die auf eine bestimmte Seite verweisen basiert), um die Popularität unter den Seiten, die als Experten unter den Suchthemen gelten, festzustellen. Dies ist als themenspezifische Popularität bekannt. Die Identifizierung von Themen (auch als "Cluster" bekannt), den Experten für diese Themen und der Popularität von Millionen von Seiten unter diesen Themen - zu genau dem Zeitpunkt, zu dem Sie Ihre Suche durchführen - erfordert viele zusätzliche Kalkulationen, die andere Suchmaschinen nicht durchführen. Das Ergebnis ist eine Relevanz von Weltklasse, die im Vergleich zu anderen Suchmaschinen oftmals einen einzigartigen redaktionellen Touch hat. Die Ask Web Crawler FAQDer Ask Web Crawler ist unser Roboter, der das Web katalogisiert (oder Crawler/Spider). Der Crawler sammelt Dokumente vom Web und erstellt den sich ständig erweiternden Katalog für unsere hochentwickelte Suchfunktionalität bei Ask.com und anderen Websites, welche die Suchtechnologie von Ask lizensiert haben. Ask unterscheidet sich auf einzigartige Weise von anderen Suchtechnologien, indem das Web so analysiert wird, wie es tatsächlich existiert - in themenspezifischen Gruppen. Der Vorgang beginnt mit dem Erstellen eines verständlichen und hochwertigen Katalogs. Das Web-Crawling ist ein essentielles Tool für diesen Ansatz und stellt sicher, dass wir die allerneuesten Suchergebnisse haben. Auf dieser Seite finden Sie die Antworten zu den am häufigsten gestellten Fragen darüber, wie der Crawler funktioniert. Häufig gestellte Fragen (FAQ)1. Was ist ein Web Crawler/Web Spider?2. Warum werden Web Crawler von Ask verwendet? 3. Wie funktioniert der Crawler? 4. Wie oft werden Seiten meiner Site von dem Crawler katalogisiert? 5. Kann ich verhindern, dass die Suchmaschine von Ask eine zwischengespeicherte Kopie meiner Seite anzeigt? 6. Wird der Robot Exclusion Standard von Ask eingehalten? 7. Kann ich den Crawler davon abhalten, alle oder Teile meiner Site/URL zu katalogisieren? 8. Wo lege ich meine robots.txt Datei ab? 9. Wie kann ich feststellen, ob der Crawler meine Site/URL besucht hat? 10. Wie kann ich verhindern, dass der Crawler meine Seite verzeichnet oder Links von einer bestimmten Seite verfolgt? 11. Warum lädt der Crawler dieselbe Seite mehrmals herunter? 12. Warum versucht der Crawler, fehlerhafte Links von meinem Server herunterzuladen? Oder von einem Server, der nicht existiert? 13. Wie hat der Crawler meine URL gefunden? 14. Welche Art von Links werden von dem Crawler verfolgt? 15. Werden dynamische URLs von dem Crawler berücksichtigt? 16. Warum ist der Crawler nicht auf meiner URL gewesen? 17. Unterstützt der Crawler HTTP-Kompression? 18. Wie registriere ich meine Site/URL, damit sie von Ask katalogisiert wird? 19. Warum erscheinen Seiten, die der Crawler verzeichnet hat, nicht in den Suchergebnissen? 20. Kann ich die Anzahl der Spider-Abfragen auf meiner Site kontrollieren? 21. Wie wird der Ask Crawler authentifiziert? 22. Werden Sitemaps von Ask.com unterstützt? 23. Wie füge ich die Suche von Ask.com meiner Website hinzu? 24. Wie kann ich zusätzliche Informationen erhalten? F: Was ist ein Web Crawler/Web Spider?A: Ein Web Crawler (oder Spider oder Robot) ist ein Softwareprogramm, das Hyperlinks über eine gesamte Website verfolgt und Seiten abfragt und verzeichnet, damit die Site für Suchzwecke dokumentiert werden kann. Die Crawler sind harmlos und verursachen keinen Schaden an der Site oder den Servern.F: Warum werden Web Crawler von Ask verwendet?A: Ask setzt Web Crawler ein, um Rohdaten und Informationen zu sammeln, die zum Aufbau unseres sich ständig erweiternden Suchverzeichnisses verwendet werden. Mit dem Crawling wird sichergestellt, dass die Informationen in unseren Ergebnissen so frisch und relevant wie möglich sind. Unsere Crawler sind gut gestaltet und werden professionell betrieben. Sie stellen einen unschätzbaren Service zur Verfügung, der den Maßstäben der Suchindustrie entspricht.F: Wie funktioniert der Crawler?
F: Wie oft werden Seiten meiner Site von dem Crawler katalogisiert?A: Der Crawler lädt nur jeweils eine Seite von Ihrer Site herunter (spezifisch von Ihrer IP-Adresse). Nachdem eine Seite aufgenommen wurde, pausiert er für eine kurze Zeit, bevor die nächste Seite heruntergeladen wird. Diese Verzögerung kann von 0,1 Sekunden bis zu mehreren Stunden dauern. Je schneller die Site auf den Crawler anspricht, desto kürzer die Verzögerung.F. Kann ich verhindern, dass die Suchmaschine von Ask eine zwischengespeicherte Kopie meiner Seite anzeigt?A: Ja. Wir befolgen das "noarchive" Meta-Tag. Wenn Sie folgenden Befehl auf der HTML-Seite eingeben, stellen wir dem Anwender keine archivierte Kopie des Dokuments zur Verfügung.< META NAME = "ROBOTS" CONTENT = "NOARCHIVE" > Wenn Sie diese Einschränkungen nur für Ask festlegen möchten, können Sie "Teoma" anstelle von "Robots" einsetzen.
F: Wo lege ich meine robots.txt Datei ab?A: Die Datei muss auf der obersten Eben der Website abgelegt werden. Wenn beispielsweise www.mysite.com der Name der Website ist, dann muss sich die robots.txt Datei auf http://www.mysite.com/robots.txt befinden.F: Wie kann ich feststellen, ob der Crawler meine Site/URL besucht hat?A: Überprüfen Sie die Server-Logs, um festzustellen, ob der Crawler Ihre Site besucht hat. Suchen Sie insbesondere nach dem folgenden User-Agent-String:
F: Wie kann ich verhindern, dass der Crawler meine Seite verzeichnet oder Links von einer bestimmten Seite verfolgt?A: Wenn Sie folgenden Befehl in den <HEAD> Abschnitt der HTML-Seite eingeben, wird der Crawler das Dokument nicht katalogisieren und es wird daher nicht in unseren Suchergebnissen erscheinen.
F: Warum lädt der Crawler dieselbe Seite mehrmals herunter?A: Normalerweise sollte der Crawler während jeweils einem Crawl-Vorgang nur eine Kopie von jeder Datei Ihrer Site herunterladen. Es gibt zwei Ausnahmen:
F: Werden Sitemaps von Ask.com unterstützt? F: Wie füge ich die Suche von Ask.com meiner Website hinzu?A: Ganz einfach! Wenn Sie den Quell-Code für die Ask.com-Suche auf Ihrer Website einfügen möchten, klicken Sie einfach hier. Welche Zeichenkodierung muss ich verwenden?Ask.com geht davon aus, dass für die Suchbegriffe, die bei uns eingehen, UTF-8 Kodierung verwendet wurde. Sollte dies nicht der Fall sein, kann die Kodierung, die für eine Site verwendet wird, in dem versteckten Formularfeld "qenc" im oben erwähnten Quell-Code bestimmt werden. Fügen Sie einfach diese Zeile dem Quell-Code hinzu: <input type="hidden" name="qenc" value="Zeichenkodierung"/> Die Liste mit unterstützten Zeichenkodierungen finden Sie weiter unten. Es ist wichtig, dass Sie uns die von Ihnen verwendete Zeichenkodierung mitteilen, damit wir die Suchanfrage richtig auswerten können. Dies ist besonders dann wichtig, wenn ein akzentuierter Buchstabe oder ein nicht-lateinischer Buchstabensatz verwendet wurde. Wenn die Kodierung nicht korrekt angegeben wird, erscheinen in den Suchbegriffen entweder fehlende oder sogar falsche Buchstaben (normalerweise ein Fragezeichen). In jedem Fall führt dies zu einer schlechten Sucherfahrung für den Benutzer. Folgende Buchstabenkodierungen werden derzeit von dem "qenc"-Parameter unterstützt:
Die von der Website verwendete Kodierung wird höchstwahrscheinlich in einem META-Tag in Ihrer eigenen Quelle spezifiziert. Gehen Sie zu der Quelle der Seite, der ein Ask.com-Suchkästchen hinzugefügt werden soll und suchen Sie nach folgendem Text: <meta http-equiv="content-type" content="text/html; charset=ISO-8859-1">. Das Charset bestimmt die von der Site verwendete Buchstabenkodierung. In diesem Beispiel ist dem Charset zu entnehmen, dass die Seite in ISO-8859-1 (oder Latin-1) kodiert ist. Deshalb sollte das Beispiel des HTML-Kodes in dem Formular oben aktualisert werden. Dazu wird der Wert des ausgeblendeten Formularfelds "qenc" zu "iso-8859-1" gesetzt. Was passiert, wenn meine Seitenkodierung nicht in der Liste der unterstützten Kodierungen enthalten ist?Wenn von einer Website eine andere Kodierung verwendet wird und Sie dennoch ein Ask.com-Suchkästchen einsetzen möchten, gehen Sie bitte zu unserem Impressum, wählen Sie die Kontakt-E-Mail-Adresse aus und geben Sie uns folgende Informationen:
Wir werden uns bemühen, die gewünschte Kodierung zu unterstützen und setzen uns mit Ihnen in Verbindung, sobald die Unterstützung für den Verkehr auf Ihrer Site eingerichtet ist. F: Wie kann ich zusätzliche Informationen erhalten?A: Bitte gehen Sie zu unserem Impressum und treten Sie über die dort angegebene Kontakt-E-Mail-Adresse mit unserem Kundendienst in Verbindung.Bitte beachten Sie, dass wir E-Mails bezüglich Aktualisierungen Ihrer Site/URL oder Anfragen auf Aufnahme in unseren Katalog nicht berücksichtigen können. |
