Sind intelligente Maschinen eine Lösung gegen Trolle im Social Web?

Menschen wollen sich im Social Web mitteilen. Internet-Publisher und -Händler wissen, wie wichtig offene Diskussionen für die Relevanz ihrer Inhalte sind. Aber die freie Meinungsäußerung der User schlägt in besorgniserregender Intensität um in Beschimpfungen, Hass und Hetze oder auch in groben Unfug sogenannter Web-Trolle. Im IT-Channel von buchreport.de erklärt Michael Lemster, was Redaktionen dagegen unternehmen können.

Trolle sind nicht nur lästig. Massenhaftes Trolling kann sogar zu einer politischen Gefahr werden. So ließ der Washington Post zufolge die Putin-Administration 2014 ganze Fakenews-Fabriken mit Hunderten Mitarbeitern entstehen, deren „Erzeugnisse“ das Wahlkampfklima in den Vereinigten Staaten vergifteten und Trump zum Wahlsieg verhalfen.

Für die Verwalter des usergenerierten Contents ist es ein wachsendes Problem, dass ihre User ihren Gefühlen zunehmend freien Lauf lassen. Einerseits in rechtlicher Hinsicht: Opfer von Hass-Attacken könnten versuchen, sie juristisch in Anspruch zu nehmen. Andererseits ziehen Trolle Trolle an, und normale Community-Mitglieder bleiben aus. Zurück bleiben entwertete Angebote und überforderte Redakteure. Reaktionen:

• Newssites implementieren Melde-Buttons für unangemessene Sprache,
• limitieren die Kommentierungs-Möglichkeiten zeitlich oder
• schalten ihre Kommentar-Bereiche komplett ab.

Nicht nur in sozialen Medien stehen die Community-Manager den oft ohne Vorwarnung über sie hereinbrechenden Hass-Lawinen ohnmächtig gegenüber.

„Denken strengt an. Daher lieben die Menschen Meinungen.“ (Einstein)

Unqualifizierte Hass-Botschaften entfernt man dann am besten aus dem Social Web, wenn man sie von vornherein aussperrt. Dies ist eine Frage der Entschlossenheit der Führung. Facebook zum Beispiel weist diese Entschlossenheit nicht auf und riskiert lieber, dass der Gesetzgeber Zwang ausübt oder User sich in Massen abwenden.

Die Herrschaft über den Hass ist aber auch eine lösbare technische Frage. Niemand steht den Wellen von Unflat völlig machtlos gegenüber. Eine technische Lösung heißt semantische Analyse mit Verfahren des Maschinellen Lernens, bei denen die Maschine anhand vorklassifizierter Beispiele (unkritisch/kritisch) lernt und das Muster dann auf alle eingehenden Meldungen anwendet. So beschreibt es Heiko Beier, Gründer und Geschäftsführer des Münchner „Smart-Content“-Spezialisten Moresophy.

Am Beginn der semantischen Textanalyse steht die Erkennung von Mustern in der Sprache der eingegebenen Postings. Finden sich darin auffällige Häufungen von Satzzeichen oder Großbuchstaben? Enthalten sie Wörter, die auf einer Schwarzen Liste, einer sogenannten Stopword-Liste, stehen? Oder drücken die enthaltenen Wörter aus, dass der Schreiber erregt war?

Diese und viele andere Kriterien können die semantischen Maschinen mit einer Fehlerrate im niedrigen einstelligen Prozentbereich auf beliebig viele Texte anwenden, erklärt der Bernauer Semantik-Dienstleister Ferret-go. Die Community-Betreiber müssen nichts tun, als alle Postings über eine Schnittstelle an die Rechner von Ferret-go auszuliefern. In Echtzeit bekommen sie sie zurück, vermehrt um bestimmte Metadaten, die den Grad der Übereinstimmung mit den Community-Richtlinien in einer Zahl angeben. Kommentare, die unter einer bestimmten Valenz liegen, können automatisiert freigeschaltet werden – wiederum in Echtzeit, ein hoch wichtiger Faktor für die Bindung der Community-Teilnehmer.

Alle Postings, die über einer bestimmten Valenz liegen, gelten als verdächtig und müssen manuell geprüft werden, bevor sie freigegeben und ins Frontend geschickt werden. Klarerweise ist ihre Zahl viel geringer als die Gesamtzahl der Kommentare. Die Community-Manager können sich auf die vermutlich kritischen Kommentare konzentrieren. Sind zu einem bestimmten Zeitpunkt die Kapazitäten in der Redaktion besonders knapp, kann der kritische Wert nach oben gesetzt werden, so dass die Anzahl der zu prüfenden Postings geringer wird. Die hochriskanten Kommentare werden dann aber immer noch manuell geprüft. Werden die Systeme von Ferret-go bei einem Kunden eingesetzt, werden sie im Laufe der Zeit immer besser, da sie selbstlernend sind. Sie passen sich dem spezifischen Jargon einer jeden Community an, der im einen oder anderen Fall durchaus etwas „rustikaler“ sein darf, ohne dass die übrigen Mitglieder daran Anstoß nehmen würden.

Vor allem im Bereich der Massenpresse wenden Verlage solche Monitoring-Systeme an. Sie reden nicht gern darüber, denn das hieße ja, zuzugeben, dass man ein Problem mit Trollen und Fanatikern hat. Aber in der Springerpresse zum Beispiel hat Ferret-go einige treue Kunden – so etwa „Welt Online“. Der „Welt“ erlaubt das System, ihre Kommentarfunktion rund um die Uhr in Betrieb zu erhalten, auch bei hohem Aufkommen. Da viele User ausgesprochene „Nachttiere“ sind, kommt dies der Kundenbindung erheblich entgegen.

IT-Grundlagen und Technologien der Zukunft

Mehr zum Thema IT und Digitalisierung lesen Sie im IT-Channel von buchreport und den Channel-Partnern knk und Rhenus. Hier mehr…

Ursprünglich wurden diese Semantik-Werkzeuge zu anderen Zwecken entwickelt. Denn die Sprachanalyse funktioniert natürlich nicht nur bei Hasskommentaren, sondern dient zur Qualifizierung von Textinhalten jeder Art. „Aus technischer Sicht ist die Herausforderung nicht besonders speziell. Die Lösungsansätze sind die gleichen wie sie in anderen Bereichen verwendet werden, wie beispielsweise auch dem Spam-Filtering von E-Mail“, unterstreicht Heiko Beier.

Ein Anwendungsfall ist etwa im Kundenservice gegeben: Ein Webanbieter wie zum Beispiel ein Online-Shop kann Kundenanfragen und Reklamationen auf bequeme Weise damit kanalisieren. Statt dass er es den Kunden überlässt, ihre Anfragen in mehrstufigen Systemen mühsam den verschiedenen Bereichen wie zum Beispiel Lieferanfragen, Produktberatung oder Reklamation zuzuordnen, kann er ihnen ein bequemes Freitextfeld zur Verfügung stellen, dessen Inhalt nach Betätigung der Return-Taste an den Dienstleister geschickt und dort analysiert wird – ebenso wie alle Anfragen, die per E-Mail hereinkommen. Der Analyzer erkennt, ob ein Kunde sich nach dem neuen Buch seines Lieblings-Krimihelden oder nach dem Verbleib seiner Sendung oder Retoure erkundigen möchte. Er kann auch Hinweise auf die Vorgeschichte des Kontakts auslesen und feststellen, ob der Kunde ärgerlich ist. Mit den entsprechenden Kennzeichen versehen, können die einzelnen Vorfälle in Echtzeit an den passenden Mitarbeiter am Helpdesk oder in ernsten Fällen an die Leitung des Callcenters gerootet werden.

„Trolle bitte nicht füttern!“ (Verbreitete Empfehlung von Community-Betreibern an User; gemeint ist: auf Beiträge eines Trolls grundsätzlich nicht eingehen, um sie nicht durch Aufmerksamkeit zu belohnen).

Schwieriger ist der Fall bei multimedialen Inhalten verletzenden oder obszönen Charakters. Die Analyse von Farben und Formen gibt immerhin Hinweise, die in der folgenden Prozessstufe manuell eliminiert werden können. Auch sind Browser-Frontends im Einsatz, auf denen Tausende von Bildern aggregiert werden. Das menschliche Auge kann sie schneller sichten und qualifizieren als eine Maschine.

Redaktionen, die zu diesen Maßnahmen greifen, sollten sie ihrer Community erklären. Denn neben den Trollen gibt es meist eine Mehrheit an Usern, denen die Freiheit der Meinung ein hohes Gut ist – und die niemals daran denken, sie zu missbrauchen.