Daten aus LOG-File visualisieren

[Holomino]

Kannst Du mir sagen, wie lange die Ausführung des folgenden Quellcodes bei Dir dauert?

private void button1_Click(object sender, EventArgs e)
        {
            int Max = 500000;
            Random rnd = new Random();
            DateTime start = DateTime.Now;
            List<DateTime> dtList = new List<DateTime>(); 
            for (int i = 0; i < Max; i++)
            {
                int year = 1999;
                int month = 11;
                int day = 22;
                int hour = 11;
                int minute = 12;
                int second = 13 + rnd.Next(20);
                ;

                DateTime dt = new DateTime(year, month, day, hour, minute, second);
                dtList.Add(dt);
            }
            System.Diagnostics.Debug.WriteLine(DateTime.Now.Subtract(start));
            System.Diagnostics.Debug.WriteLine(dtList.Count); 

        }

Das Ergebnis siehst Du im "Direkt" oder "Immediate"-Fenster. (Menü Debug->Windows->Immediate). Bei meinem 5 Jahre alten Notebook (VS2010 mit .NET 4.0) dauert das 0,11 Sekunden.


Bezüglich der Chart-Geschichte: Es hilft, die Daten für die Ansicht so aufzubereiten, dass nicht mehr Datenpunkte eingegeben werden, als maximal auf der Bildbreite sichtbar sind. Du musst also Daten gruppieren (über Minima, Maxima zusammenfassen). Ansonsten malt das ChartControl auch nur viele vertikale Linien übereinander.

[indeas]

Habe wieder etwas gelernt: mit dem Debug-Fenster hatte noch nciht gearbeitet; habe bisher immer ein "debug"-Text-Feld in der Anwendung beschrieben, dass ich für die Endanwender dann ausgeblendet habe...

Der Code läuft sehr flott:
00:00:00.0560000
500000
Ich habe dann auch mal Teile meines Codes in die Schleife gepackt:

start = DateTime.Now;
string dummystring ="";
for (Int32 Linenumbercounter = 10; Linenumbercounter < LogFileDataLineNumbers - 2; Linenumbercounter++)
{
   dummystring = LogFileDataLine[Linenumbercounter];
   if (dummystring.Length == 36) // nur beschreibene Zeilen darstellen
   {
   try
      {
      LineNumber = Convert.ToInt32(dummystring.Substring(0, 7), 16);

      year = int.Parse(dummystring.Substring(8, 2), NumberStyles.HexNumber) + 2000;
      month = int.Parse(dummystring.Substring(10, 2), NumberStyles.HexNumber);
      day = int.Parse(dummystring.Substring(12, 2), NumberStyles.HexNumber);
      hour = int.Parse(dummystring.Substring(14, 2), NumberStyles.HexNumber);
      minute = int.Parse(dummystring.Substring(16, 2), NumberStyles.HexNumber);
      //DateTime dt = new DateTime(year, month, day, hour, minute, second);
      //dtList.Add(dt);
      }
      catch { }
    }
 }
System.Diagnostics.Debug.WriteLine(DateTime.Now.Subtract(start));
System.Diagnostics.Debug.WriteLine(LineNumber);

Dann wird es schon etwas langsamer:
00:00:00.6190000
1572862
Die ganze Sache wird so richtig langsam, wenn die auskommentierten unteren beiden Zeilen in die Schleife integriere, es dauert Stunden.....
und da liegt auch das Problem, das ich durch Deinen Hinweis (Anzeige im Debug Ausgabe Fenster) gefunden habe
Mein Log-File hat hin und wieder fehlerhafte Einträge (das war mir bekannt, aber ich hatte diesem Umstand keine so große Bedeutung beigemessen).
Wenn ich noch eine kleine Plausibilitätsabfrage:

if (month > 0 && month < 13 && day > 0 && day < 32 && hour < 25 && minute < 61 && year > 2014 && year < 2100)
   {
   DateTime dt = new DateTime(year, month, day, hour, minute, second);
   dtList.Add(dt);
   }

hinzufüge, dann sieht es wieder freundlich aus
00:00:00.6930693
1572862

Übrigens mit ZedGraph bringe ich alle Daten (mit Grafik) in 1,6s auf dem Schirm. Das wäre absolut OK.
Mit der Plausibilitätsabfrage sind es nur noch 1,4s das bringt dann neben Geschwindigkeit auch plausible Daten.
Danke für die Hilfe!

[Frank E.]

ICH würde die Daten zunächst einer Datenbank wie MySQL oder MariaDB einspeisen, denn die ist auf das schnelle Herauslesen, Sortieren und den Umgang mit Timestamps usw. optimiert. Das Herumstochern und Parsen irgendwelcher Strings finde ich bei dieser Datenmenge ziemlich unprofessionell ... sorry. Ein der Aufgabenstellung angepasstes SQL-Statement an die DB und DANN die Visualisierung der gefundenen Daten - so macht man das.

Falls noch Interesse an dem Auftrag besteht, ich mach' das - wahlweise für Mac, Win oder Linux mit grafischer Oberfläche. Aber im ganzen Thread wurde bisher immer noch nicht beschrieben (trotz mehrmaliger Nachfrage), was denn genau mit "Visualisierung" eigentlich gemeint ist! Ein einfaches Linien- oder Balkendiagramm oder eine virtuelle 3D-Landschaft?

[indeas]

Hallo,

Ein einfaches Liniendiagramm reicht schon. Zeitraum auswählen und dann los:
Das sieht heute ungefähr so aus:

und funktioniert prinzipiell.
Das ganze soll dann noch erweitert werden, der Ansatz mit der SQL Datenbank wäre da genau das richtige...
=> Interesse besteht noch. Realisierung mit Visual C# 2010 Express, ich möchte es dann weiter pflegen können.
Erweiterung dahin gehend, dass die verschiedenen Log-Files über mehrere Jahre hintereinander zu einem Datensatz gefügt werden.
Außerdem soll noch die Darstelluung (und der Ausdruck) von fünf Alarm und Warnmeldungen in einem separtaten Text-File parallel zur Grafik möglich sein.
Also gerne nehme ich Unterstützung an. Der Auftrag ist noch nicht vergeben!

[wkrug]

Guck mal das Programm Logview www.logview.info .
Das ist speziell um Datensätze zu visualisieren.
Man kann da auch ein eigenes Open Format generieren, das nur an ein paar Konvrntionen gebunden ist.

[Frank E.]

Hallo,

Ein einfaches Liniendiagramm reicht schon. Zeitraum auswählen und dann los:
Das sieht heute ungefähr so aus:

und funktioniert prinzipiell.
Das ganze soll dann noch erweitert werden, der Ansatz mit der SQL Datenbank wäre da genau das richtige... Der Auftrag ist noch nicht vergeben!

Ich kann leider nur RealBasic/Xojo (ähnlich VisualBasic, compilierte EXE bzw. APP) oder HTML/PHP/JS (Web) anbieten, mit C# o.ä. hab' ich nix am Hut ... als DB empfehle ich MariaDB, wahlweise auf dem selben PC oder "irgendwo" im LAN, z.B. falls ein NAS vorhanden ist (QNAP oder Synology), eröffnen sich da ganz neue Möglichkeiten.