Entwickeln des Entwickeln wegens

Mein erstes privates Seitenprojekt mit SAP HANA war ein Reinfall. Gleichzeitig markierte es den Beginn für alles andere.

Die erste Idee war es, die größten Jobbörsen auszulesen, die Informationen zu verarbeiten und zu visualisieren. Dafür lernte ich Python, um die Jobbörsen regelmäßig auszulesen (zu ’scrapen‘). Für die Verarbeitung der Texte nutzte ich das Text Analytics der SAP HANA. Gelernt über einen openSAP Kurs. Für die Visualisierung entschied ich mich für Bootstrap und einer lizenzfreien Bibliothek für Diagramme. Was ich daraus mitgenommen habe

  • Lange habe ich mich Kleinigkeiten aufgehalten.
  • Spät habe ich angefangen, was ich eigentlich visualisieren will.
  • Früh habe ich mich mit meiner Idee auf etwas festgelegt, was eigentlich kein Nutzen hat.

Der Weg ist das Ziel

Ich wollte nicht die gleichen Fehler zweimal machen. Also erweiterte ich mein Wissen durch Literatur über Effektivität, Überzeugung, Unternehmensprozesse, Wirtschaftspsychologie. Und entwickelte ein Konzept das zu mir passt. Hilfreich waren für mich das Konzept eines ‚Minimal Viable Products‘ (MVP) oder ein persönliches, problemorientiertes Denken. Und das Ergebnis daraus ist ‚twitvis‘. Eine Informations- und Visualisierungsplattform. Basierend auf SAP HANA und mit verschiedenen Applikationen, die mich alle persönlich weiterbringen und weitergebracht haben.

Maßgeschneiderte Nachrichten und Artikel mit Künstlicher Intelligenz

Die aktuellen Zahlen

  • Über 1.000 Quellen (RSS) aus Artikel und Nachrichten
  • Bis zu 80.000 Artikel und Nachrichten
  • Und 1 Feed mit relevanten Informationen

Und Fakten, die ich aus den Daten entnehmen konnte. Seit dem 22.04. führe ich Statistik über Dateninhalte.

  • Positive Meldungen kann man generell zwischen 17 Uhr und 22 Uhr erwarten (Sentiment Analysis)
  • Mittwoch und Donnerstag gibt es die meisten Meldungen
  • ‚Zeit‘ und ‚Woche‘ tauchen überproportional oft im Meldungstitel an erster Stelle auf
  • ‚SPD‘ wird doppelt so oft genannt wie CDU. CDU und AfD finden die gleiche Anzahl an Erwähnung

Täglich brauchte ich mindestens eine Stunde, um mich über tagesaktuelle Nachrichten und Artikel zu informieren. Dabei hatte ich nur eine Handvoll an Quellen.

  • Beiträge aus der SAP Community zu SAP HANA
  • News-Aggregatoren, wie Hackernews
  • Allgemeine Nachrichten, wie Tagesschau oder n-tv
  • Twitter

Und dennoch bekam ich Informationen teilweise sehr spät oder überhaupt nicht mit. Weil ich sie einfach verpasst habe. Entweder hatte ich nicht so viel Zeit um mich zu informieren oder weil ich nicht alle Quellen im Blick haben konnte. Also entwickelte ich eine Lösung.

Ich wollte alle relevanten Informationen der letzten Tage, passend für mich in maximal 10 Minuten am Tag konsumieren.

Also befragte ich zunächst Google. Warum das Rad neu erfinden, wenn es schon eine Lösung gibt. Aber ich wurde nicht fündig. Entweder musste man, wie bei Flipboard, zunächst Kategorien angeben und dann erhält man wichtige Informationen zu diesen Kategorien. Oder man nutzte News Aggregatoren, die inhaltlich ungefähr passend waren. Ich wollte mich aber nicht auf Kategorien, sondern auf Inhalte festlegen – unabhängig von einer Kategorie. Zudem wollte ich nur lesen, was mich interessiert.

Kurzum, ich entwickelt meine eigene Lösung. Ein Webservice ruft alle 15 Minuten RSS-Feeds ab und lädt diese direkt in die SAP HANA. Dort werden diese Texte durch Text Analytics aufbereitet und über Caluclation View normiert. Über eine UI kann man nun einzelne Artikel als relevant oder nicht relevant markieren. Im Hintergrund wird so eine strukturierte Tabelle aufgebaut. Aus dieser Tabelle wird mittels eines Algorithmus ein Modell erstellt. Gegen diese Modell kann nun geprüft werden, ob jeder zukünftige Artikel relevant ist und entsprechend bei Relevanz in einem eigenen Feed angezeigt werden.

Als die Lösung fertig war übertraf diese meine Erwartungen. Inzwischen kann man auch Lesezeichen setzen oder Artikel direkt als Tweet teilen.

Ich empfehle es einfach mal selbst auszuprobieren.

twitvis:flow ist sogar ein paar Minuten schneller als Twitter

Volle Kontrolle von Anfang an. Löschen, kopieren, downloaden.

Twitter-Hashtags visuell in Echtzeit verfolgen. Und das Publikum einbinden

Mich faszinierte schon immer eine Verarbeitung von Daten in Echtzeit. Ich stellte mir die Frage, warum dies nicht in ein Showcase zu packen und jederzeit für Veranstaltungen, Vorträge, etc. mit einzubeziehen.

Perfekt schien dafür die Twitter Streaming-API, welche in Echtzeit Tweets zu einer bestimmten Hashtag oder einer bestimmten Person lieferte. Man müsste den Text nur noch sofort verarbeiten und die Informationen visualisieren – perfekt für die SAP HANA.

Also definierte ich ein paar Anforderungen an das Dashboard. Wie eine Geschlechterverteilung, die allgemeine Stimmung (Sentiment), erwähnte Themen und Personen oder Influencer zu identifizieren. Zudem wollte ich Bilder in Echtzeit in einem eigenen Stream anzeigen lassen.

Das Ergebnis kann man auch ohne Anmeldung jederzeit einsehen und testen. So habe ich es als ‚Langzeittest‘ auf das Schlagwort ‚twitvis‘ eingestellt. Sofern jemand einen Tweet mit ‚twitvis‘ twitter, erscheint dies auf dem Dashboard.

Und das war es schon…?

Ein besseres Bookmark Management. Webseiten eintragen und automatisch indizieren, fotografieren und PDF erstellen. Anschließend jederzeit darin suchen und einzelne Einträge bewerten.

twitvis:react

Neuste Applikation. Online Verkehrsverbund und -linien, Mobilnummer, Wochentage und -zeiten eintragen. Ab sofort per SMS über Störungen, Ausfälle und Verspätungen informiert werden.