SOMEMO I-2012 Results

SOMEMO-I-2012 (PDF) (German version)

SOMEMO is an initiative aiming to disentangle the variety of tools on the market. It presents an evaluation framework and invites vendors to apply it on their tools. 24 of them responeded during the first survey period in I-2012. For 2 companies SOMEMO added evaluation through own observation.

Application of the SOMEMO evaluation framework ensures that those criteria which were defined as relevant are compared. Choice, definition and argumentation are result of Helene Fritzsche’s MBA Master Thesis.

SOMEMO I-2012 shows a snap-shot of what these tools can deliver. Technologies develop very quickly. The market consolidates. One vendor buys the other. New platforms emerge. That is why this evaluation shall be repeated in June.

Social media monitoring tools can do much more than evaluated here, but to include all details would make evaluation too complex. Using the SOMEMO evaluation framework does not replace tests. Requirements from one company to the other are too different, to do general tests, but the framework allows to short-list tools, which can be tested afterwards.

I would like to thank all vendors who attended so far.
If you are a vendor and would like to attend, please feel free to use the online evaluation framework. It only takes some minutes and is for free.
For more informatione please contact Helene Fritzsche.

More

>> Advantages of this assessment tool

>> Online evaluation framework for vendors (V2.0)

Twitter Digg Delicious Stumbleupon Technorati Facebook Email

23 Responses to “SOMEMO I-2012 Results”

  1. Schön gemacht.

    Inhaltlich fehlen mir die bekannten und führenden Tools wie Radian6 oder Viralheat. Auch Engagor als einer der vielversprechendsten europäischen Vertreter fehlen.

    Bei den Kriterien, das wichtigste: 1. Quellenabdeckung, 2. Länderfilter, 3. Usability, 4. Workflows, 5. Engagement-Möglichkeiten, 6. Schnittstellen (z.B. zu CRM und Analytics) und 7. Firehose-Access (Standard-API reicht bei Facebook und Twitter nicht aus).

    Ungenauigkeiten bei der Bezeichnung könnte man auch optimieren: Sysomos Heartbeat oder Map? Landaumedia oder MediaAccount? etc.

    • Hallo Mike Schwede,

      Radian6 ist indirekt vertreten: Infopaq arbeitet auf Basis von Radian6. Radian6 selbst und Viralheat wurden direkt eingeladen, wollten aber vorerst nicht teilnehmen – finde ich auch schade, aber eventuell überzeugt sie das Echo auf diesen Marktvergleich.

      Engagor lade ich gerne ein. Wenn Ihnen noch weitere Tools besonders wichtig erscheien – bitte immer her damit.
      Auch freue ich mich über Kommentare bei den einzelnen Lösungen, sollten Sie persönlich Erfahrungen damit gemacht haben.

      Die Auswahl der Kriterien habe ich in meiner Master Thesis argumentiert. Ich überlege gerade, ob und wie ich die am besten veröffenltiche …

      lg
      Helene Fritzsche

  2. Danke super spannende Grafik. Würde mich über einen Kontakt freuen. Wir sind Mitveranstalter einer Konferenz zum Thema Social Media und das Thema Social Media Monitoring wird sicher einen Platz in der Konferenzagenda haben.Der Markt an Social Media Monitoring Tools ist schier unübersichtlich und hier Transparenz reinzubringen ist absolut wertvoll. Eine Frage noch: wird es gegenbenfalls die Master Thesis als PDF geben?
    Alexander Holl
    121WATT

    • Danke für das Feedback! Wir können gerne z.B. über Xing oder LinkedIn in Kontakt bleiben.
      Und ich melde mich gern, sobald ich entschieden habe, wie ich die Thesis genau veröffentliche.

  3. Hallo Helene,

    danke für das Engagement und die Zusammenstellung, ich schließe mich Mike an.

    Der Vergleich liefert (neben vielem anderen) gute Argumente für ein kostenpflichtiges Tool. Oft ist es schwer deren Vorteile gegenüber den Socialmentions am kostenlosen Markt klar zu machen – zumal dieses und andere Tools häufig empfohlen werden.

    Aber da wurde die Rechnung ohne den Prozess gemacht, dem Mike oben mit “Usability/ Workflow” genau die richtige Relevanz gegeben hat.

    Leider habe ich kein Vertrauen in die Methode der Selbstauskunft der Toolanbieter. Da kann ein Anbieter sich auf den Fünferskalen der Bewertungsmatrix* schnell nach oben mogeln, indem man manche Dinge nicht allzu genau nimmt.
    Kunden können viele Aspekte gar nicht einschätzen oder haben die Zeit es zu überprüfen. Es fehlt daher meiner Meinung nach an einer Unabhängigen, Nutzergetriebenen Bewertung von Tools und Anbietern (Service). Natürlich entstehen dabei auch Unschärfen, diese sollten jedoch durch eine hohe Anzahl an Bewertenden nivelliert werden können.

    Wie wäre es die Bewertungsmatrixen auch für Anwender der Tools zu öffnen und damit eine zweite Ebene neben den selbstbewertungen zu ermöglichen? Außerdem wichtig: Kommentare zu den Kategorien, um Details der Bewertung angeben zu können und die Möglichkeit sich zu enthalten, wenn man eine entsprechende Funtion nicht intensiv nutzt und nicht bewerten kann.

    *zudem scheint es eine Reihe an Anbietern zu geben, die nahezu alles richtig machen. Dennoch muss es ja Unterschiede geben, da die Tools nicht identisch sein können. Es wird unscharf an dieser Stelle.

    Diese ganzen Angaben verkomplizieren die Daten und gehen vom Anspruch, einem Laien verständlich zu sein weg – dieser Anspruch ist meiner Meinung nach aber gar nicht erfüllbar. Wenn man ein Tool aussucht, welches man später noch bedienen will, ohne Fehler zu machen oder an Arbeitsbelastung unterzugehen ist ein Wissensstand zu Social Media (Monitoring) notwendig, der auch komplexere Angaben verstehen lassen muss.

    Viele Grüße nach Wien,

    André

    • Ich würde es sogar sehr toll finden, wenn Anwender ihre Erfahrungen einbringen würden, zumindest mal als Kommentar bei den Seiten der einzelnen Produkte! Ich werde einen entsprechenden Aufruf einbauen.

      Die Selbstauskunft hat natürlich Einschränkgungen, das gebe ich zu. Meine Überlegung war, dass wenn ich als Manager gerade in der Situation bin, ein Tool auswählen zu müssen, bin ich ja auch zunächst auf die Selbstauskunft angewiesen, außer das Tool wurde von jemandem kompetenten wie Mike Schwede getestet.

      Und ja, scheinbar sind viele Tools sehr ähnlich. Hier bin ich auf die Mithilfe von Anbietern, Testern und Anwendern angewiesen: Wie könnte man die Definition der Abstufungnen ändern, um die Unterschiede transparenter zu machen? Welches Kriterium würde mehr Klarheit bringen?

      lg
      Helene

      • Die Unterschiede stellen sich meist erst bei der Anwendung heraus. Will man eine bestimmte Fragestellung beantworten und dafür ein Detail auswerten/ betrachten ist es mit manchen Tools einfacher als anderen.

        Vielleicht kann mann auch so an die Sache herangehen: idealtypische Fragestellungen überlegen und vielleicht auch die entsprechenden Vorgehensweisen definieren. Diese dann mit oder ohne Vorgehensweisen an den Tools erproben. Dies kann dann entweder selber gemacht werden oder die Toolanbieter gebeten werden, es zu lösen. Ersteres wäre transparenter (es lässt sich sicherlich alles mit einem Tool erreichen, wenn man nur den Aufwand betreibt) letzteres wäre ökonomischer, da der Toolanbieter sicherlich am besten weiß, wie man die Möglichkeiten des Tools ausreizt.

        Die dokumentierten Vorgehensweisen und Ergebnisse sowie die Vergleichbaren Fragestellungen bieten dann Vergleichsmöglichkeiten.

        Bleibt noch die Performance und die Servicequalität des Anbieters zu überprüfen.

        Soweit erstmal,

        André

  4. Helene

    Thanks for this interesting overview of the social media monitoring tools.

    We do a similar thing but just for your corporate blog. Benchmark your blog’s performance against yourself (past performance), competitors and so forth.

    See what resonance, engagement, ripple effect (e.g., Twitter) and so forth you get.

    If you want to use it just let me know and log in at

    http://My.ComMetrics.com

    Thanks a bunch

    Urs
    http://SecURL.de/audit

    • Dear Urs,
      I’m using Google Analytics but of course I would like to try your solution, too! Please let me know how to proceed.

  5. Hallo zusammen, die Aufstellung zeigt zwar zunächst einmal welche Anbieter es am Markt gibt und was die Tools leisten – wie schon oben erwähnt, natürlich durch die Brille des Anbieters selbst, was aber fehlt sind Länderfokus und Inhalte der Pakete. Wenn wir bspw. vom deutschsprachigen Raum sprechen, liegt die Quellenbasis der internationalen Anbieter verglichen mit einem deutschen Anbieter meilenweit auseinander. Auch haben die genannten Preise keine Aussagekraft, da es immernoch Anbieter gibt, die die Anzahld er Suchtreffer begrenzen, was den Sinn eines Monitorings gerade im Krisenfall völlig ad absurdum führt. Und wie André schon richtig erwähnte sollte das Thema Support, Suchtermanpassungen und Quellenrecherche ebenfalls ganz weit oben stehen, wenn es um die Auswahl eines Anbieters geht. Grüße nach Wien, Robert

    • Ja, das Thema ist komplex. Daher ist es ja auch für Nicht-Experten so schwierig zu durchschauen.
      Danke für die Inputs! Bzgl. der Preise könnte man die großen Abrechnungsvarianten abfragen. Worin besteht deiner Erfahrung nach der Unterschied bzgl. der Quellen genau?

  6. Hallo Helene, die großen internationalen Anbieter haben keine landesbezogene Tiefe, dort wird häufg nach den Ranking-Listen der Top500-Foren oder Blogs usw. agiert wenn der Quellenpool aufgebaut wird. Was auch nachvollziehbar ist, da es technisch kaum abbildbar ist für jedes Land der Welt eine maximale Quellenbasis aufzustellen. Da fallen schonmal Foren mit nur 1.000 Mitgliedern hinten runter, auch wenn es vielleicht ein Fachforum ist und für den Kunden 100% Zielgruppe bedeutet. Deshalb sollte für jedes Unternehmen vorher klar sein, ob es um das große weltweite Gesamtbild geht, einfach um zu sehen was da passiert, oder ob man national/regional auch aktive Maßnahmen auf so einem Monitoring aufbauen will. LG, Robert

  7. Sehr gut beschrieben, Robert. Folge ist, um das noch einmal zu betonen, dass ein europäischer Anbieter in Europa wesentlich besser performt als US-Fokussierte US-Anbieter. Das fängt bei den Quellen an, und hört beim Service (Zeitverschiebung) noch lange nicht auf.

  8. Dear Helene,
    thanks for your interesting study of social media monitoring tools that shows ethority’s gridmaster as the best of 26 global tools. Have a look at our blog, where we deal with the results of your study: http://www.ethority.de/weblog/ and http://www.ethority.net/weblog/
    With kind regards,
    Mathias

    • Dear Mathias,

      Thanks again for being part of this evaluation.
      Obviously, your product is a mature solution.

      Nonetheless, I am not that happy about the way you present results.
      I think there is a perfect tool for each case and not each tool is perfect for each case.

      Helene

  9. Hi, hope you don’t mind me writing in English. Found your framework thanks to @webmetricsguru and i see something mentioned in the comments but why is Radian6 not in your lists?

    thanks.

    • Hi Luis,
      Thanks for asking! Many tools are still missing, not only Radian6. I invited them but they refused to attend so far (although they supported my research and were part of my master thesis). Anyway, the vendor Infopaq is using Radian6 technology and they did evaluate their solution already.
      Helene

  10. Sehr guter Vergleich, eine professionelle Initiative für das gesamte Thema – Social Monitoring – Danke für diesen Schritt und weiter so, das bringt unsere Branche weiter. Ich würde Dich auch gerne treffen und einige Themen dazu erörtern. Kontakt über Xing werde ich aufnehmen. Alles Gute und Viel Erfolg Thomas Holzhuber

  11. Großes Kompliment: Tolle Grafik und ein ebenso schöner Vergleich, nur leider kann ich das ein oder andere Ergebnis nicht verstehen bzw. nachvollziehen.

    Ich arbeite jetzt seit fast einem Jahr mit Meltwater und bin sehr enttäuscht. Das Tool hat unglaublich viele Bugs und arbeitet einfach nicht zufriedenstellend. Daher frage ich mich, wie Sie zu dem wirklich guten Ergebnis kommen und wie genau haben sie das Tool getestet? Bei uns funktioniert derzeit beispielsweise die manuelle Sentiment-Einstellung nicht.Für ein Social Media Tool schon fast ein Eklat.

    Beste Grüße, Carsten Wagner

    • Danke für das Feedback! Erfahrungsberichte wie die Ihren, wenn sie auch auf bestimmte Anwendungsfälle bezogen sind, fehlen sicher noch auf SOMEMO.at!
      Ich habe die Tools nicht getestet, sondern die Anbieter einladen, Ihr Tool zu evaluieren. Natürlich birgt das die üblichen Nachteile einer derartigen Erhebung.

      Warum habe ich die Tools nicht getestet?
      Die Software tatsächlich zu testen macht aus meiner Sicht nur unter 2 Bedingungen Sinn: 1. Mit konkreten Daten im Zusammenhang mit einem bestimmten Unternehmen und 2. parallel, um die konkreten Ergebnisse von einem Tool zum anderen tatsächlich vergleichen zu können. Ich gebe zu, dass dieser Anspruch hoch ist und daher für mich als ehrenamtliche Initiatorin auch nicht leistbar.

      Mein Ziel war es, Managern ein Werkzeug zu bieten, das es ihnen erlaubt, schnell die Spreu vom Weizen zu trennen. Und das erfüllt das hier vorgestellte Bewertungsschema.
      Ich überlege mir jedoch sicher noch, wie man die Erfahrungsberichte zu den einzelnen Tools erheben und benutzerfreundlich darstellen kann. Ich würde mich freuen, wenn Sie insofern den Anfang machen, als dass sie unter http://www.somemo.at/?p=179 Vor- und Nachteile aus Ihrer Sicht als Kommentar listen.

      mlg
      Helene Fritzsche

Trackbacks/Pingbacks

  1. Update zur Masterarbeit und Literaturliste « Kommunikations-Controlling und -Evaluation - May 20, 2012

    [...] Fritzsche, H. (2012): Social Media Monitoring Tools: SOMEMO I-2012 Results. Abgerufen am 20.05.2012 unter http://www.somemo.at/?p=474. [...]