"Zeitraum filtern" auch für Diagramme

[oioix]

Ich hätte noch einen Verbesserungsvorschlag:

"Zeitraum filtern" funktioniert ja für die Hauptgrafik und die aufgerufenen URLs wunderbar.

Ich war immer davon ausgegangen, dass "Zeitraum filtern" für alle Statistikgrafiken/Ausgaben gilt.
Nun wollte ich wegen der Umstellung auf Bootstrap 5 mal checken, wie viele alte IE-10 oder 11 Browser aktuell noch unter den Besuchern verwendet werden und da fiel mir auf, dass "Zeitraum filtern" für die Grafiken/Statistiken auf der ersten Seite, wie Browser, Gerätetyp, Betriebssystem, Gerätehersteller etc. nicht anwendbar ist. Man sieht hier also immer nur die absolute Gesamtzahl seit Inbetriebnahme des Add-ons. Eine genauere und aktuelle Betrachtung dieser Detailinformationen ist daher nicht möglich.

Es wäre daher klasse, wenn "Zeitraum filtern" durchgängig anwendbar wäre.

[oioix]

Ups, ich seh grad, dass das unter #68 schon mal angesprochen wurde. Na ja, ist aber auch schon 6 Monate her. ;-)

[AndiLeni]

Ja das gab es schon als Ticket. Das Problem ist, dass in V1 alle Diagramm auch nach Datum gefiltert wurden konnten und es massive Performance Probleme gab bei großen Webseiten, da die Tabellen sehr groß wurden und nicht mehr effizient gefiltert werden konnten.
Man müsste nochmal die gesamte Speicherung/das Updating dieser Werte überdenken, sodass keine Performanceprobleme auftreten.

Imho ist das auch eher etwas, was meiner Meinung nach über den Funktionsumfang dieses Addons hinausgeht. Wer so detaillierte Statistiken benötigt, wäre vermutlich mit Matomo/Google Analytics/etc besser versorgt.
Meine Intention war es, ein Addons zu schaffen, welches ohne zusätzliche Software wie Matomo auskommt, schnell eingerichtet werden kann, für den Anwender einfach zu verstehen ist und die wichtigsten Informationen über eine Webseite anzeigen kann 🙂

[oioix]

Das schreiben in die sql wäre bzgl. der Performane ja nicht das Problem, sondern nur das auswerten im Backend. Das verstehe ich.

Ich würde deiner Erklärung folgend hier zwei Strategien parallel fahren:

1. schlanker Normalbetrieb:
   genau so wie es jetzt ist für die allgemeine zeitliche Betrachtung. Also Performance schonende Gesamtausgabe.

2. im bedarfsfall aufwändigerer Spezialbetrieb (eigener Zeitfilter):
   wenn man wirklich tiefer hineinschauen muss oder will, dann eine performancelastige Abfrage (gem. deiner Beschreibung) durchführen. Das ist dann ja auch gewollt und dann hat man auch die Geduld. Allerdings müssen die Detaildaten dann auch existieren, um sie auswerten zu können.

Das wäre mein Lösungsvorschlag.

Ansonten ...
Matomo/Google Analytics/etc haben halt alle das Problem mit den Cookies, die kein Besucher haben will und bei Ablehnung auch zu unvollständigen Statistiken führt.
Aber auch ohne die Cookie-Thematik finde ich es persönlich ohnehin gut, wenn Google & Co. nicht über alles was im Web so passiert Bescheid wissen.

[AndiLeni]

Ich könnte mir vorstellen, die Detaildaten in der Datenbank zu speichern (explizit, wenn man es als Option aktiviert), aber nicht auszuwerten. Wenn jemand so einen speziellen Anwendungsfall hat, würde ich raten, die Auswertung selber vorzunehmen. Das ist sicherlich zielführender als wenn ich Annahmen treffe, wie welche Daten ausgewertet werden müssen.

Konkret denke ich an eine Tabelle wie pagestats_dump oder so ähnlich, in welche bei einem Aufruf ein Dump der Daten abgelegt wird.
| UA | browser | device | url | ... | usw.
Wer dann eine detaillierte Auswertung braucht oder die Daten exportieren/weiterverarbeiten möchte, könnte dies dann tun.

[oioix]

Schon die Erhebung wäre top!

Das Addon simplestats hatte so was per eigener Tabelle gemacht (läuft aber nicht mit php8).
Die Tabelle sah dort so aus:

Die Auswertung ist mit einer Tabelle natürlich smarter, um eine statistische Auswertung zu machen, als wenn man erst ein explode() machen muss.

[AndiLeni]

@oioix
Ich hatte jetzt mal an folgende Spalten gedacht, fehlen da noch welche die interessant wären?

rex_sql_table::get(rex::getTable('pagestats_dump'))
    ->ensureColumn(new rex_sql_column('datetime', 'datetime'))
    ->ensureColumn(new rex_sql_column('user_agent', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('domain', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('url', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('browser', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('os', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('os_ver', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('device_type', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('brand', 'varchar(2048)'))
    ->ensureColumn(new rex_sql_column('model', 'varchar(2048)'))
    ->ensure();

Jetzt bleibt noch die Frage, wann wird gespeichert? Sollen die Einstellungen berücksichtigt werden? Also ignorierte pfade ausgeschlossen werden? Sollen css/js/etc dateien ausgeschlossen werden? Wird gespeichert wenn es ein Bot ist?

Ich würde dazu tendieren, immer zu speichern, egal was eingestellt wurde.
Wer dieses Feature nutzt, weis ja sowieso, dass er die Daten nochmal aufarbeiten muss.

[oioix]

Also wenn du so fragst ,-) ...

Dank deines Tools konnte ich schon diverse Angriffsversuche durch Aufrufe spezieller URLs (offenbar potenzielle Backdoors in verbreiteten JS-Plug-ins und Fremdcode) detektieren. Ich bin immer wieder überrascht, welche URLs da so ausprobiert werden. Leider kann man aber bisher nicht herausbekommen, welcher Besucher welche URLs bzw. welche Kombinationen ausprobiert hat.
Deshalb fände ich es sehr sinnvoll, wenn die IP zumindest vorübergehend (AN/AUS + Zeitraum einstellbar?) gespeichert werden könnte, um einen Zusammenhang herstellen und Angriffsstrategien nachverfolgen zu können (IP könnte man mit Cronjob nach gewisser Zeit automatisch löschen). Die zumindest vorübergehende Erhebung der IP ist zur Abwehr von Angriffen meines Wissens erlaubt, sofern darüber in der DS informiert wird. Gerade auch bei Uploads (sofern man das anbietet) kann das wichtig sein.

Land wäre interessant, wird sich aber seit DSGVO kaum noch ermitteln lassen.
Sprache lässt sich aber ermitteln und wäre auch nützlich, um zu sehen, ob es sich lohnt entsprechenden Content anzubieten.

Ansonsten wäre die Browserversion sicher nicht schlecht.

bots würde ich aufzeichnen, am besten mit dem Namen des bots.

Zu deiner Frage nach dem Ausschluss fällt mir auf die schnelle nur das ein:
Ausschluss ist auf jeden Fall eine super Sache, wobei ich es insbesondere gut fände Seitenaufrufe (php, html, directories) von Medienaufrufen zu unterscheiden. Alleine schon wegen der Menge an Links zu Bildern, CSS, und JS fände ich es gut, wenn man das abschalten könnte, sofern man solche URLs einbezieht.
Einzelne Artikel, Dirs oder URLs ausschließen zu können, könnte u.U. schon sinnvoll sein.

Eigene Aufrufe verzerren natürlich jede Statistik. Ausschluss per Angabe der eigenen IP hast du ja schon eingebaut und das ist auch wirklich super praktisch.
Was aber noch richtig top wäre ist, wenn man eigene Geräte auch per gesetztem Cookie ausschließen könnte (strict,secure, httponly). Das ginge im Grunde recht einfach. Man loggt sich mit dem Gerät z.B. Smartphone im BE ein und setzt dort ein Cookie für das eigene Gerät (Cookie-Wert in der DB speichern). Wird im FE das eigene Cookie erkannt wird der Besuch nicht gezählt.
Dann kann man von überall aus mit verschiedenen Geräten auf die eigenen Seiten zugreifen, ohne dass die eigenen Aufrufe gezählt werden.

Ich würde aus den oben genannten Angriffs-Gründen (mit der Möglichkeit sich selbst hiervon auszuschließen und ggf. auch ON/OFF) auch BE-Aufrufe loggen, aber diese nicht in die Statistik aufnehmen.

Ansonsten fällt mir noch auf ...
2048 sind für "varchar" ziemlich viele Zeichen. Soweit ich weiß sollte gerade bei varchar aus Performancegründen nur so viele Zeichen wie benötigt verwendet werden. Wenn es tatsächlich so viele Zeichen braucht, wäre "text" meines Wissens performanter.

Das ist das, was mir so an Vorschlägen dazu einfällt. ,-))

[AndiLeni]

Was aber noch richtig top wäre ist, wenn man eigene Geräte auch per gesetztem Cookie ausschließen könnte

Dafür bitte ein eigenes Issue aufmachen

Das ginge im Grunde recht einfach
Ich freue ich über PRs :)

Für das Feature eines "dumps" um alle Details zu loggen habe ich nun folgende Spalten im Hinterkopf:

->ensureColumn(new rex_sql_column('datetime', 'datetime'))
    ->ensureColumn(new rex_sql_column('user_agent', 'text'))
    ->ensureColumn(new rex_sql_column('domain', 'text'))
    ->ensureColumn(new rex_sql_column('url', 'text'))
    ->ensureColumn(new rex_sql_column('browser', 'text'))
    ->ensureColumn(new rex_sql_column('os', 'text'))
    ->ensureColumn(new rex_sql_column('os_ver', 'text'))
    ->ensureColumn(new rex_sql_column('device_type', 'text'))
    ->ensureColumn(new rex_sql_column('brand', 'text'))
    ->ensureColumn(new rex_sql_column('model', 'text'))
    ->ensureColumn(new rex_sql_column('language', 'text'))
    ->ensureColumn(new rex_sql_column('ip', 'text'))
    ->ensureColumn(new rex_sql_column('response_code', 'text'))

Dabei speichert das Addon alles und immer. Medien, Pfade, egal ob ignoriert oder nicht.
Wer diese Daten dann auswerten möchte soll auch die Möglichkeit bekommen sich ein Gesamtbild zu bilden mit den Daten.

Ein Auszug der Tabelle sieht dann so aus:

datetime,user_agent,domain,url,browser,os,os_ver,device_type,brand,model,language,ip,response_code
2022-05-20 11:36:15,"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0",redaxo.test,/,Firefox,Windows,10,Desktop,Undefiniert,Undefiniert,"de,en-US;q=0.7,en;q=0.3",127.0.0.1,200 OK
2022-05-20 11:36:17,"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:100.0) Gecko/20100101 Firefox/100.0",redaxo.test,/resources/css/bootstrap.css.map,Firefox,Windows,10,Desktop,Undefiniert,Undefiniert,"de,en-US;q=0.7,en;q=0.3",127.0.0.1,404 Not Found
2022-05-20 11:36:58,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47",redaxo.test,/,Microsoft Edge,Windows,10,Desktop,Undefiniert,Undefiniert,"de,de-DE;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",127.0.0.1,200 OK
2022-05-20 11:36:59,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47",redaxo.test,/resources/css/bootstrap.css.map,Microsoft Edge,Windows,10,Desktop,Undefiniert,Undefiniert,"de,de-DE;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",127.0.0.1,404 Not Found
2022-05-20 11:37:06,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47",redaxo.test,/wp-admin,Microsoft Edge,Windows,10,Desktop,Undefiniert,Undefiniert,"de,de-DE;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",127.0.0.1,404 Not Found
2022-05-20 11:37:07,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47",redaxo.test,/resources/css/bootstrap.css.map,Microsoft Edge,Windows,10,Desktop,Undefiniert,Undefiniert,"de,de-DE;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",127.0.0.1,404 Not Found
2022-05-20 11:37:14,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47",redaxo.test,/login,Microsoft Edge,Windows,10,Desktop,Undefiniert,Undefiniert,"de,de-DE;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",127.0.0.1,404 Not Found
2022-05-20 11:37:15,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36 Edg/101.0.1210.47",redaxo.test,/resources/css/bootstrap.css.map,Microsoft Edge,Windows,10,Desktop,Undefiniert,Undefiniert,"de,de-DE;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",127.0.0.1,404 Not Found

[oioix]

Vielleicht noch den referrer?
Ansonsten finde ich das gut so.

Eigenes Issue für den Cookie Vorschlag lege ich gerne an.

[alxndr-w]

Der Übersicht wegen weil Duplicate geschlossen. In #68 geht es weiter!