UM – Techniken zur Spam-Erkennung Teil 2
Im ersten Teil dieser Artikelreihe haben Sie grundlegende Informationen zu den E-Mail Gefahren und prinzipielle Verhaltensregeln zum Umgang mit E-Mails erhalten. Den ersten Teil finden Sie hier --> http://www.security-dome.eu/UM-Spamgrundlagen_Teil_1.html .
In diesem Teil möchte ich Ihnen die verschiedenen Techniken zur Spam-Erkennung aufzeigen und die Vor- und Nachteile der einzelnen „Filter“ nennen. Die Techniken dieser „Filter“ zu kennen ist wichtig um eine Produktauswahl zu den verschiedenen Schutzlösungen treffen zu können.
Themen dieses Berichts (was Sie erwartet):
Methoden und Techniken der Spam-Erkennung und Abwehr (Filter) --> Signaturbasierte Filter / Regelbasierte Filter / Lernende Filter
Techniken im Einzelnen
Hash-Wert Filter --> Vorteile / Nachteile
Heuristische Filter --> Vorteile / Nachteile
Blacklists --> Vorteile / Nachteile
Whitelists --> Vorteile / Nachteile
Greylists --> Vorteile / Nachteile
Realtime Blackhole List (RBL)
Open Relay Database (ORDB)
Challenge Response --> Vorteile
Reverse-DNS Lookup --> Vorteile / Nachteile
Hostname & MX-Record Prüfung --> Vorteile
Durchsatzkontrolle --> Vorteile / Nachteile
Empfängerbegrenzung --> Vorteile / Nachteile
Prüfung evtl. Verlinkungen im Mail-Text --> Vorteile / Nachteile
Reglementierung von Anhängen
Bilder-Spam
Zusammenfassung
Interne Links
Externe Links
Methoden und Techniken der Spam-Erkennung und Abwehr (Filter):
Die unterschiedlichen Methoden kann man grob unterteilen in:
Signaturbasierte Filter
Regelbasierte Filter
Lernende Filter
Signaturbasierte Filter:
Sind in der Regel sehr schnell und haben eine geringe „False Positiv Rate“ (falsche Deklarierung als Spam), sind aber nicht dynamisch
Regelbasierte Filter:
Sind in der Regel sehr schnell und haben durchschnittliche „False Positiv Raten, sind ebenfalls nicht dynamisch
Lernende Filter:
Sind eher langsam aber nach einer gewissen Lernphase relativ zuverlässig, Diese Filter sind dynamisch.
Techniken im Einzelnen:
Man kann folgende Techniken unterscheiden:
Hash-Wert Filter
Heuristische Filter
Blacklists
Whitelists
Greylists
Realtime Blackhole List
Challenge-Response
Bayesian-Filter
Reverse-DNS Lookup
Hostname / MX-Record Prüfung
Durchsatzkontrolle
Empfängerbegrenzung
Prüfung evtl. Verlinkungen im Mail-Text
Reglementierung von Anhängen
Hash-Wert Filter:
Dies waren die ersten Filter, die in der Praxis zur Spam-Abwehr zum Einsatz kamen.
Hierbei wird zu jeder Spam-Mail ein eindeutiger Hash-Wert gebildet, so dass die Erkennungsrate extrem hoch ist.
Allerdings bringt schon eine kleine Änderung der E-Mail auch eine Veränderung des Hash-Wertes mit sich. Deshalb sind diese Filter zu statisch.
Vorteile:
Sehr schnell
Sehr gute Erkennungsrate (bei bekannten Spam-Mails)
Hohe Zuverlässigkeit
Über verteilte Signaturdatenbanken relativ erkennungssicher
Einfache Handhabung durch den Anwender
Nachteile:
Zu statisch
Einfach zu umgehen (durch kleine Änderungen)
Heuristische Filter:
Regelbasierte Filter, die bestimmte definierbare Worte im Mail-Header oder –Text als Spam deklarieren.
Diese Filter haben aber entscheidende Nachteile! So ist z.B. das Wort „Viagra“ für die meisten Anwender mit Spam verbunden. Eine Apotheke hingegen hat aber ein Interesse an Mails mit diesem Medikament. Ausserdem sind solche Worte leicht zu verschlüsseln und können vom Empfänger trotzdem erkannt werden (z.B. Vi@gra).
Vorteile:
Sehr schnell (da nur Teile der Mail geprüft werden)
Anwenderspezifische Erkennungsrate
Mittelmässige Zuverlässigkeit
Nachteile:
Leicht zu umgehen
Birgt die Gefahr von Fals-Positives (falsche Spam-Einstufung)
Birgt die Gefahr von False-Negatives (Spam wird nicht erkannt)
Blacklists:
Blacklists enthalten Daten wie IP-Adresse(-bereiche), Domänennamen und Absenderadressen von bekannten Spam-Versendern.
Treffen Kombinationen, einzelne oder alle Daten auf eine Mail zu, wird diese als Spam deklariert – je nach System.
Diese Massnahme birgt eine sehr hohe Gefahr unschuldige Absender zu blockieren, zumal die meisten Spam-Versender keine statischen Adressinformationen nutzen.
Diese Massnahme eignet sich aber um „offene Relays“ zu blockieren.
Vorteile:
Sehr schnell
Nachteile:
Hohe False-Positives
Sehr statisch
Gefahr der falschen Einstufung von Unschuldigen
Ideal für einen DoS-Angriff auf einen Mail-Provider (DoS siehe --> http://www.security-dome.eu/DoS_Grundlagen.html )
Whitelists:
Das Gegenteil von Blacklists. Hier werden Adressinformationen von vertrauenswürdigen Absendern hinterlegt. Die wenigsten Anwender können aber von sich behaupten, nur E-Mails von einem statischen Absenderkreis zu bekommen.
Diese Lösung kann aber ideal eingesetzt werden, um z.B. Adressen an welche man eine E-Mail verschickt automatisch in diese Liste aufzunehmen. Somit kann man die Prüfroutine erheblich vereinfachen (was auch von einigen Mail-Providern genutzt wird).
Vorteile:
Sehr schnell
Niedrige Fals-Negatives
Einfache Handhabung
Nachteile:
Hohe False-Positives
Zu statisch als Einzellösung
Greylists:
Eine recht neue aber effektive Lösung, die auf folgendem Prinzip beruht:
Baut ein neuer MTA (Mail Transfer Agent – Erklärung siehe „Externe Links“) eine Verbindung auf, wird diese Verbindung zunächst abgelehnt (Temporary Error). Ähnliches kann auch mit unbekannten Absendern realisiert werden.
Ein MTA, der nach den gültigen RFC`s (Requests for Comments) konfiguriert ist, wird diese Mail in eine Warteschlange verschieben und die Auslieferung nochmals probieren.
Der empfangende Mail-Server wiederum wird diesen Verbindungsaufbau in einer Verbindungsliste temporär speichern, um den zweiten Sendeversuch korrekt erkennen zu können.
Wird dann ein zweiter Sendeversuch dieses MTA erkannt, wird die E-Mail angenommen.
Spam-Versender nehmen auf solche Meldungen keine Rücksicht und versuchen in einem Rutsch alle Mails loszuwerden. Deshalb werden E-Mails, die beim ersten Mal nicht ausgeliefert wurden nicht in eine Warteschleife gelegt.
Ähnliches kann auch mit unbekannten Absendern realisiert werden. Dazu aber mehr in dem Bericht zu den Arten der Spam-Abwehr (siehe „Interne Links“).
Vorteile:
Sehr effektiv
Sehr schnell
Nachteile:
Verzögerung der Auslieferung bei neuen/unbekannten MTA`s
Realtime Blackhole List (RBL):
Von der Funktionsweise ähnlich der „normalen“ Blacklist, allerdings dynamisch, aktuell gepflegt und verteilt verfügbar. Sehr oft wird der Zugriff über kostenpflichtige Abonnements realisiert.
Trotzdem gelten (wenn auch abgeschwächt) die Vor- und Nachteile der „normalen“ Blacklists.
Open Relay Database (ORDB):
ORDB ist auch eine zusätzliche Funktion der Blacklist. Hier werden offene Relays in eine Datenbank aufgenommen und gepflegt. Offene Relays sind Mail-Server, die E-Mails ohne Prüfung bzw. Authentifizierung annehmen und weiterleiten.
Diese offenen Relays werden von Spammern genutzt, um Spam-Mails zu verbreiten.
Challenge Response:
Eine Erweiterung der Whitelist-Technik. Hierbei werden einfach aufgrund des Whitelist-Ergebnisses weitere Überprüfungen (unbekannter Absender) oder eine direkte Zustellung (bekannter Absender) eingeleitet.
Challenge Response Systeme geben dabei jedes Ergebnis an die zentrale Datenbank weiter.
Vorteile:
Lernender Filter
Ressourcenschonend, da Massnahmen je nach Bedarf eingeleitet werden
Reverse-DNS Lookup:
Hierbei wird der sendende MTA über ein Reverse-DNS Lookup-Abfrage auf gültige Adressinformationen (IP-Adresse/Domänenname) geprüft.
Da Spammer nicht über derartige DNS-Registrierungen verfügen, sondern sich normalerweise über Breitbandverbindungen einwählen, ist es sinnvoll diese Information in die Spamklassifizierung einfliessen zu lassen.
Man sollte aber beachten, das auch legale oder legitime MTA`s nicht unbedingt solche Setups haben.
Vorteile:
Als Zusatzinformation gut geeignet
Nachteile:
Erhöhte False-Positives
Hostname & MX-Record Prüfung:
Hierbei wird der sendende Mail-Server auf eine korrekte Identifizierung hin überprüft. D.h. Überpüfung des Hostnamen in der SMTP-„HELO“-Meldung mit der Liste der MX-Records (Mail Exchanger) der sendenden Domäne.
Spammer verfügen in der Regel nicht über korrekte MX-Records.
Vorteile:
Als Zusatzinformation gut geeignet
Durchsatzkontrolle:
Hierbei wird der normale Mail-Verkehr über einen bestimmten Zeitraum analysiert. Daraus ergeben sich Werte, aus welchen ein Maximalwert gebildet wird. Wird dieser Maximalwert erreicht, werden bestimmte Reaktionen generiert:
Sperrung des Absenders
Bewusste Verringerung der Bandbreite
Vorteile:
Abschwächung einer Spam-Attacke
Nachteile:
Kein geeignetes Mittel gegen „normales“ Spamaufkommen
Empfängerbegrenzung:
Spammer versuchen normalerweise eine Mail an so viele Empfänger wie möglich zu versenden und tragen deshalb abnormale Mengen als Empfänger bzw. als CC-Adresse ein. Auch hier sollte eine Begrenzung stattfinden, wenn eine eingehende E-Mail an unnatürlich viele Empfänger gesendet wird.
Vorteile:
Als Zusatzinformation geeignet
Nachteile:
Besondere Ereignisse (Weihnachten, Silvester, usw.) müssen im Grenzwert berücksichtigt werden
Prüfung evtl. Verlinkungen im Mail-Text:
Eine recht gute und viel versprechende Massnahme insbesondere gegen Phishing-Angriffe!
Phishing-Mails verlinken auf folgende Seiten:
Gefälschte Seite, die der Original-Seite sehr ähnlich ist (z.B. Banken, Zahlsysteme, Online-Händler, usw) und die Eingabe von Zugansberechtigungen verlangen
Seite mit schadhaftem Code, um den Rechner zu infizieren
Ein weiteres beliebtes Mittel sind HTTPS-Links, also SSL-verschlüsselte Seiten. Diese Technik wird aus folgenden Gründen gerne genutzt:
Verschlüsselter Datenstrom kann von den wenigsten Sicherheitslösungen überprüft werden
Nutzer haben eine Vertrauensbasis zu dem „Schlosssymbol“ im Browser aufgebaut – was ja auch viele Jahre gepredigt wurde
Warnung zu ungültigen Zertifikaten sind zu kryptisch und werden von den meisten Nutzern ignoriert
Es gibt mittlerweile recht viele Anbieter von Listen solcher gefährlichen- oder Phishing-Seiten, die regelmässig geprüft und relativ aktuell sind. Diese Dienste werden auch häufig kostenlos zur Verfügung gestellt.
Vorteile:
Guter Schutz gegen Phishing und gefährlichen Scripten
Wenig False-Positives
Nachteile:
Recht zeit intensive Prüfung (wenn diese Online durchgeführt wird)
Listen müssen aktuell sein
Reglementierung von Anhängen:
Anhänge sollten immer reglementiert werden! Nur der Umfang der Reglementierung ist recht schwierig!
Zumindest sollten alle ausführbaren Dateien blockiert werden (z.B.*.exe)
Aber auch andere Dateien können Schaden anrichten, oder Schwachstellen ausnutzen. Bekannt sind z.B.:
Word-Dokumente (siehe auch „Offene Sicherheitslücken“--> http://www.security-dome.eu/Patchday_Januar07_Final.html )
Office-Dokumente im Allgemeinen
Bilddateien
Videos
Usw.
Als mögliche Reaktionen auf Anhänge kommen in Frage:
Löschung (sicherlich die radikalste Methode)
Umbenennung, sodass der Anhang nicht mehr direkt ausführbar ist
Zurückhaltung, um den Anhang von einem Administrator prüfen zu lassen
Zurückhaltung, um den Anhang mit neuesten Signaturen prüfen zu lassen
Bilder-Spam:
Als relativ neue Spam-Methode gilt „Bilder-Spam“. Hierbei wird die Werbenachricht in einem Bild versteckt. Dies bringt momentan noch erhebliche Erkennungsprobleme für die Anti-Spam-Lösungen. Die Nachrichten sind aber für den Empfänger ohne Probleme zu lesen. Hier bleibt abzuwarten, welche Erkennungstechniken entwickelt werden.
Zusammenfassung:
In diesem Teil haben Sie die Techniken zur Spamerkennung kennen gelernt. Die zurzeit beste Rate der Spamerkennung bietet eine Kombination aus den verschiedenen Techniken!
Damit ist Spam aber noch nicht vermieden worden, sondern nur erkannt!
Interne Links:
Teil 1 – UM – Grundlagen zu E-Mail Gefahren: http://www.security-dome.eu/UM-Spamgrundlagen_Teil_1.html
Teil 2 – UM–Techniken zur Spam-Erkennung: dieser Bericht
Teil 3 – UM – Erweiterte E-Mail Gefahren: http://www.security-dome.eu/UM-Erweiterte_Spamgefahren_Teil_3.html
Teil 4 – UM: folgt in Kürze
Klassische Malware – Teil 1: http://www.security-dome.eu/Klassische_Malware_-_Begriffserklaerung_Teil_1.html
Erweiterte Malware – Teil 2: http://www.security-dome.eu/Erweiterte_Malware_-_Begriffserklaerung_Teil_2.html
Erweiterte Malware – Teil 3: http://www.security-dome.eu/Erweiterte_Malware_-_Begriffserklaerung_Teil_3.html
Neue Angriffsformen – Teil 4: http://www.security-dome.eu/Neue_Angriffsformen_-_Begriffserklaerung_Teil_4.html
Neue Angriffsformen – Teil 5: http://www.security-dome.eu/Neue_Angriffsformen_-_Begriffserklaerung_Teil_5.html
Externe Links:
Erkärung MTA: http://de.wikipedia.org/wiki/Mail_Transfer_Agent
Weitere Informationen bzw. zur Diskussion dieses Beitrags besuchen Sie unser Forum unter --> http://www.security-dome.eu/forum/pA/
Autor: Frank Richter
Copyright: Frank Richter – securITy-dome.eu
Erstellungsdatum: 13.05.07
Letzte Aktualisierung: 13.05.07