Data Analytics Plattform für Automatische Nachrichtenanalyse
Herausforderungen
Der Kunde möchte seinen Nutzern einen neuartigen Ansatz zur Analyse von Nachrichten zu einem bestimmten Ereignis oder Thema bieten und deren Medienkompetenz mithilfe moderner NLP/KI-Analysedienste und Datenvisualisierungsmethoden verbessern. Insbesondere sollte der Nutzer in der Lage sein, Ähnlichkeiten und Unterschiede zwischen produzierten Nachrichtentexten zu identifizieren und zu untersuchen sowie Nachrichtenartikel verschiedener Medien zu vergleichen und gegenüberzustellen. Dasselbe politische Ereignis kann je nach Zugehörigkeit oder politischer Ausrichtung der Redaktion des Nachrichtenportals ganz unterschiedlich beschrieben werden.
Auf der anderen Seite werden Nachrichten zu wichtigen Ereignissen von vielen Websites oder anderen Medien ohne oder mit minimalen Änderungen neu veröffentlicht (sogenannte syndizierte Nachrichten). Die Erkennung, Clustering und Visualisierung syndizierter Nachrichten kann dem Leser viel Zeit sparen, da er nur einen Artikel aus einem Cluster überprüfen muss.
Lösung für Media-Monitoring-Tools
Wir schlagen vor, die Data-Analytics-Plattform mit Technologien von Silk Data und freien Open-Source-Technologien mit freizügigen Lizenzen zu entwickeln. Unsere Erfahrung zeigt, dass die Nutzung von Open-Source-Lösungen als Basis die Entwicklungszeit und den -aufwand erheblich reduziert und gleichzeitig eine hohe Systemqualität und Zuverlässigkeit ermöglicht.
Insbesondere bilden Open-Source-Pakete das Rückgrat der modernen KI und bieten erprobte, flexible und hochmoderne Modelle und Algorithmen.
Das Silk Data-Team setzte diese Anforderung in Form eines Webentwicklungsdienstes und einer Chrome-Browsererweiterung mit sowohl Benutzer- als auch Administrationskomponenten um. Dieses Nachrichtenmonitoring-Tool vergleicht Nachrichtenartikel zum selben Thema und "hebt" dem Leser die Nuancen der Nachrichtendarstellung verschiedener Nachrichtenagenturen hervor (beim Klicken auf einen Link oder Button in der Erweiterung öffnet sich eine Dokumentenkarte für dieses Ereignis).
Der Nachrichtenanalysator ermöglicht den Vergleich von Nachrichtenartikeln zwischen Publikationen, um gemeinsame und/oder spezifische Informationen in der Berichterstattung zu identifizieren. Auf diese Weise muss der Nutzer nicht jeden Artikel lesen, um in die Recherche einzusteigen und die Hauptpunkte gegenzuprüfen. Mit diesen Data-Mining-Algorithmen kann ein Artikel mit 6000 Zeichen auf 400 Zeichen reduziert werden. Das KI-Modell analysiert eigenständig andere Referenzen zum gegebenen Thema und hebt das Wesentliche im aktuellen Artikel hervor.
Die Lösung verfügt über Opinion-Mining-Analysen dank Natural Language Processing (NLP). Opinion-Mining-Anwendungen für intelligente Meinungsanalysen ermöglichen es Ihnen, Details von Quellen zu erkennen, die Meinungen (oder Sentiment-Analyse Opinion Mining), Gefühle, Einstellungen über ein Objekt oder eine Forschung enthalten.
Funktionalität der Media-Monitoring-Software
Informationsextraktion
Laden und Analyse von Nachrichten sowie Aktualisierungen von Nachrichtenartikeln – Content Curation und Trendanalyse.
Text-Clustering
Erkennung von Clustern lexikalisch und semantisch ähnlicher Artikel zum selben Thema oder Ereignis für die Erkennung von Fake News und Medienverzerrungen.
Textklassifizierung
Paarweiser Vergleich von Nachrichtenartikeln und Hervorhebung der am häufigsten wiederholten Passagen und Kernaussagen aus anderen Nachrichtenartikeln. Anzeige der Quellen identischer Informationen.
Automatisierte Inhaltsanalyse
Anzeige einer Liste bekannter Nachrichtenereignisse und Social-Media-Analysen mit Filterung nach Ereignisdatum, Ereignistyp und einfacher Stichwortsuche.
Social-Bots-Erkennung
Erkennung von Social Bots auf Medienseiten durch Analyse von Benutzeraktionen. Beim Vergleich von Nachrichten wird nicht nur der Text analysiert, sondern auch Benutzeraktionen auf Webseiten, die sich auf das analysierte Thema beziehen. Diese Funktion können Sie nutzen, um gefälschte Benutzer zu identifizieren, die Spam verbreiten, an ihrem Ruf arbeiten oder andere schädliche Aktionen durchführen.
Weitere Funktionen
- Die Lösung ist mehrsprachig und unterstützt mehr als 20 Sprachen;
- Flexible Vergleichsparameter. Benutzeroberfläche;
- Nach der Installation erscheint der Erweiterungsbutton im Erweiterungsmenü;
- Wenn der Benutzer die Erweiterung durch Klicken auf das Icon aktiviert, bietet die Erweiterung eine Analyse für den aktuellen Tab.
Entwicklungsphasen
| Beschreibung der Funktionalität, die das System bereitstellen soll. Identifizierung aller Projektanforderungen und deren Dokumentation in der Projektspezifikation. |
| Transformation des Geschäftskonzepts und der Projektanforderungen in eine technische Vision des Produkts. Erstellung eines Projektdesigns, einschließlich Projektarchitektur, Modulaufteilung, Beschreibung des Projektverhaltens, Bereitstellungsschema, statisches Klassen- und Domänenmodell, Testfälle, Datenbankdesign und API-Design. |
| Entwicklung nicht nur des Quellcodes, sondern auch Aktualisierung aller Projektunterlagen. Einrichtung der Entwicklungsumgebung, Implementierung von Funktionen gemäß technischer Spezifikation und Projektplan, Aktualisierung der Projektunterlagen zur aktuellen Haltung und Aktualisierung der Testfälle. |
| Durchführung der gesamten Projektintegration durch Zusammensetzung aller Teile und Module. Durchführung von Entwicklertests des gesamten Projekts, abschließende Überprüfung und Code-Updates. Nach Abschluss der Integration ist das Projekt für die Stabilisierungsphase bereit. |
| Vorbereiten der Testumgebung, Bereitstellen der Lösung, Ausführen der Testfälle und Überprüfen des Produkts. Das Software-Testing-Team führt umfassende Tests des Projekts durch, und das Entwicklungsteam behebt Fehler und nimmt Verbesserungen vor, um den Build als Release Candidate zu erhalten. |
| Übergabe der Projektergebnisse an den Kunden, Bereitstellung des Produkts und der Komponenten in der Umgebung des Kunden, Stabilisierung der Bereitstellung, Übergang des Projekts in den Supportmodus und Erhalt der endgültigen Freigabe. |
| Während der Abnahme führt der Kunde UAT (User Acceptance Testing) durch. Falls Probleme festgestellt werden, wird eine Runde zur Fehlerbehebung durchgeführt. |
Entwicklungsphasen
Analyse und Planung
Beschreibung der Funktionalität, die das System bereitstellen soll. Identifizierung aller Projektanforderungen und deren Dokumentation in der Projektspezifikation.
Design
Transformation des Geschäftskonzepts und der Projektanforderungen in eine technische Vision des Produkts. Erstellung eines Projektdesigns, einschließlich Projektarchitektur, Modulaufteilung, Beschreibung des Projektverhaltens, Bereitstellungsschema, statisches Klassen- und Domänenmodell, Testfälle, Datenbankdesign und API-Design.
Implementierung
Entwicklung nicht nur des Quellcodes, sondern auch Aktualisierung aller Projektunterlagen. Einrichtung der Entwicklungsumgebung, Implementierung von Funktionen gemäß technischer Spezifikation und Projektplan, Aktualisierung der Projektunterlagen zur aktuellen Haltung und Aktualisierung der Testfälle.
Integration
Durchführung der gesamten Projektintegration durch Zusammensetzung aller Teile und Module. Durchführung von Entwicklertests des gesamten Projekts, abschließende Überprüfung und Code-Updates. Nach Abschluss der Integration ist das Projekt für die Stabilisierungsphase bereit.
Stabilisierung
Vorbereiten der Testumgebung, Bereitstellen der Lösung, Ausführen der Testfälle und Überprüfen des Produkts. Das Software-Testing-Team führt umfassende Tests des Projekts durch, und das Entwicklungsteam behebt Fehler und nimmt Verbesserungen vor, um den Build als Release Candidate zu erhalten.
Bereitstellung
Übergabe der Projektergebnisse an den Kunden, Bereitstellung des Produkts und der Komponenten in der Umgebung des Kunden, Stabilisierung der Bereitstellung, Übergang des Projekts in den Supportmodus und Erhalt der endgültigen Freigabe.
Abnahme
Während der Abnahme führt der Kunde UAT (User Acceptance Testing) durch. Falls Probleme festgestellt werden, wird eine Runde zur Fehlerbehebung durchgeführt.
Ergebnisse
Das untenstehende Beispieldiagramm demonstriert die Visualisierung einiger Nachrichtenartikel zum selben Thema. Die Farbe des Punkts kennzeichnet die Nachrichtenquelle, die Größe entspricht der Artikellänge in Wörtern und die relative Position der Punkte zeigt die semantische Ähnlichkeit zwischen den Nachrichten.
Im nächsten Screenshot wird eine Variante der Browsererweiterung im Betrieb mit dem Nachrichtenartikel gezeigt.
Die aktuelle Version der Nachrichtenvergleichs-App ist für 500 bis 1000 Nachrichtenartikel pro Ereignis optimiert (und in seltenen Ausnahmen bis zu 15.000 Nachrichtenartikel).
Über die Nachrichtenanalyse hinaus kann die oben beschriebene Technologie auch für andere Anwendungen genutzt werden, wie etwa für automatisierte Bot-Accounts in sozialen Medien, da Bots normalerweise nahezu identische Kommentare in mehreren Chats posten. Ebenso kann diese Technologie für die Analyse großer Dokumentensammlungen verwendet werden, wie z.B. die Analyse von Geschäftsverträgen während einer Due-Diligence-Prüfung.
Häufig gestellte Fragen (FAQ)
Nachrichtenanalyse ist eine Lösung, die Tausende Seiten von Informationsquellen im Internet nach Titel, Stichwörtern eines bestimmten Themas analysiert.
Datenanalyse ist, einfach ausgedrückt, ein automatisiertes KI-Tool, das automatisch Informationen nach vorgegebenen Parametern findet und Inhalte/Daten auf Seiten auf Ähnlichkeiten und Unterschiede hin vergleicht, die häufigsten Teile eines Themas identifiziert und visuell darstellt.
Social-Bot-Erkennung ist die Fähigkeit, Bots (keine echten Benutzer, die automatisierte Aktionen durchführen) auf Webseiten zu erkennen und zu identifizieren, die Kommentare hinterlassen oder andere schädliche Aktionen durchführen.
Das Erkennen schädlicher Social Bots ist sehr einfach mit der Implementierung und Nutzung automatisierter Webdatenanalyse-Tools. Diese KI-Lösungen können problemlos Tausende von Webseiten und Benutzeraktionen darauf analysieren und vergleichen.
Unser Team
Fragen zur KI-Integration oder -Entwicklung?
