source: tools/tracertstats/tracertstats_parallel.c @ 7c95027

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 7c95027 was 7c95027, checked in by Richard Sanger <rsangerarj@…>, 6 years ago

Move combiners.h into libtrace_parallel.h and export libtrace_parallel.h
so that it is installed correctly.

  • Property mode set to 100644
File size: 11.0 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31/* This program takes a series of traces and bpf filters and outputs how many
32 * bytes/packets every time interval
33 */
34
35#include <stdio.h>
36#include <stdlib.h>
37#include <assert.h>
38#include <string.h>
39#include <sys/time.h>
40#include <sys/types.h>
41#include <time.h>
42
43#include <netinet/in.h>
44#include <netinet/in_systm.h>
45#include <netinet/tcp.h>
46#include <netinet/ip.h>
47#include <netinet/ip_icmp.h>
48#include <arpa/inet.h>
49#include <sys/socket.h>
50#include <getopt.h>
51#include <inttypes.h>
52#include <lt_inttypes.h>
53
54#include "libtrace_parallel.h"
55#include "output.h"
56#include "rt_protocol.h"
57#include "dagformat.h"
58
59#ifndef UINT32_MAX
60        #define UINT32_MAX      0xffffffffU
61#endif
62
63#define DEFAULT_OUTPUT_FMT "txt"
64
65struct libtrace_t *trace;
66char *output_format=NULL;
67
68int merge_inputs = 0;
69
70struct filter_t {
71        char *expr;
72        struct libtrace_filter_t *filter;
73        uint64_t count;
74        uint64_t bytes;
75} *filters = NULL;
76int filter_count=0;
77uint64_t totcount;
78uint64_t totbytes;
79
80uint64_t packet_count=UINT64_MAX;
81double packet_interval=UINT32_MAX;
82
83
84struct output_data_t *output = NULL;
85
86static void report_results(double ts,uint64_t count,uint64_t bytes)
87{
88        int i=0;
89        output_set_data_time(output,0,ts);
90        output_set_data_int(output,1,count);
91        output_set_data_int(output,2,bytes);
92        for(i=0;i<filter_count;++i) {
93                output_set_data_int(output,i*2+3,filters[i].count);
94                output_set_data_int(output,i*2+4,filters[i].bytes);
95                filters[i].count=filters[i].bytes=0;
96        }
97        output_flush_row(output);
98}
99
100static void create_output(char *title) {
101        int i;
102       
103        output=output_init(title,output_format?output_format:DEFAULT_OUTPUT_FMT);
104        if (!output) {
105                fprintf(stderr,"Failed to create output file\n");
106                return;
107        }
108        output_add_column(output,"ts");
109        output_add_column(output,"packets");
110        output_add_column(output,"bytes");
111        for(i=0;i<filter_count;++i) {
112                char buff[1024];
113                snprintf(buff,sizeof(buff),"%s packets",filters[i].expr);
114                output_add_column(output,buff);
115                snprintf(buff,sizeof(buff),"%s bytes",filters[i].expr);
116                output_add_column(output,buff);
117        }
118        output_flush_headings(output);
119
120}
121
122uint64_t count;
123uint64_t bytes;
124
125typedef struct statistic {
126        uint64_t count;
127        uint64_t bytes;
128} statistic_t;
129
130typedef struct result {
131        struct statistic total;
132        struct statistic filters[0];
133} result_t;
134
135static uint64_t last_ts = 0;
136static void process_result(libtrace_t *trace UNUSED, int mesg,
137                           libtrace_generic_t data,
138                           libtrace_thread_t *sender UNUSED) {
139        static uint64_t ts = 0;
140        int j;
141        result_t *res;
142
143        switch (mesg) {
144                case MESSAGE_RESULT:
145                ts = data.res->key;
146                res = data.res->value.ptr;
147                if (last_ts == 0)
148                        last_ts = ts;
149                while (last_ts < ts) {
150                        report_results((double) last_ts * (double) packet_interval, count, bytes);
151                        count = 0;
152                        bytes = 0;
153                        for (j = 0; j < filter_count; j++)
154                                filters[j].count = filters[j].bytes = 0;
155                        last_ts++;
156                }
157                count += res->total.count;
158                bytes += res->total.bytes;
159                for (j = 0; j < filter_count; j++) {
160                        filters[j].count += res->filters[j].count;
161                        filters[j].bytes += res->filters[j].bytes;
162                }
163                free(res);
164        }
165}
166
167typedef struct timestamp_sync {
168        int64_t difference_usecs;
169        uint64_t first_interval_number;
170} timestamp_sync_t;
171
172static void* per_packet(libtrace_t *trace, libtrace_thread_t *t,
173                        int mesg, libtrace_generic_t data,
174                        libtrace_thread_t *sender UNUSED)
175{
176        int i;
177        static __thread uint64_t last_ts = 0, ts = 0;
178        static __thread result_t * results = NULL;
179
180        switch(mesg) {
181        case MESSAGE_PACKET:
182                // Unsure when we would hit this case but the old code had it, I
183                // guess we should keep it
184                assert(trace_get_packet_buffer(data.pkt,NULL,NULL) != NULL);
185                ts = trace_get_seconds(data.pkt) / packet_interval;
186                if (last_ts == 0)
187                        last_ts = ts;
188
189                while (packet_interval != UINT64_MAX && last_ts<ts) {
190                        libtrace_generic_t tmp = {.ptr = results};
191                        // Publish and make a new one new
192                        //fprintf(stderr, "Publishing result %"PRIu64"\n", last_ts);
193                        trace_publish_result(trace, t, (uint64_t) last_ts, tmp, RESULT_USER);
194                        trace_post_reporter(trace);
195                        results = calloc(1, sizeof(result_t) + sizeof(statistic_t) * filter_count);
196                        last_ts++;
197                }
198
199                for(i=0;i<filter_count;++i) {
200                        if(trace_apply_filter(filters[i].filter, data.pkt)) {
201                                results->filters[i].count++;
202                                results->filters[i].bytes+=trace_get_wire_length(data.pkt);
203                        }
204                }
205
206                results->total.count++;
207                results->total.bytes +=trace_get_wire_length(data.pkt);
208                /*if (count >= packet_count) {
209                        report_results(ts,count,bytes);
210                        count=0;
211                        bytes=0;
212                }*/ // TODO what was happening here doesn't match up with any of the documentations!!!
213                return data.pkt;
214
215        case MESSAGE_STARTING:
216                results = calloc(1, sizeof(result_t) + sizeof(statistic_t) * filter_count);
217                break;
218
219        case MESSAGE_STOPPING:
220                // Should we always post this?
221                if (results->total.count) {
222                        libtrace_generic_t tmp = {.ptr = results};
223                        trace_publish_result(trace, t, (uint64_t) last_ts, tmp, RESULT_USER);
224                        trace_post_reporter(trace);
225                        results = NULL;
226                }
227                break;
228
229        case MESSAGE_TICK_INTERVAL:
230        case MESSAGE_TICK_COUNT:
231                {
232                        int64_t offset;
233                        struct timeval *tv, tv_real;
234                        const libtrace_packet_t *first_packet = NULL;
235                        trace_get_first_packet(trace, NULL, &first_packet, &tv);
236                        if (first_packet != NULL) {
237                                // So figure out our running offset
238                                tv_real = trace_get_timeval(first_packet);
239                                offset = tv_to_usec(tv) - tv_to_usec(&tv_real);
240                                // Get time of day and do this stuff
241                                uint64_t next_update_time;
242                                next_update_time = (last_ts*packet_interval + packet_interval) * 1000000 + offset;
243                                if (next_update_time <= data.uint64) {
244                                        libtrace_generic_t tmp = {.ptr = results};
245                                        //fprintf(stderr, "Got a tick and publishing early!!\n");
246                                        trace_publish_result(trace, t, (uint64_t) last_ts, tmp, RESULT_USER);
247                                        trace_post_reporter(trace);
248                                        results = calloc(1, sizeof(result_t) + sizeof(statistic_t) * filter_count);
249                                        last_ts++;
250                                } else {
251                                        //fprintf(stderr, "Got a tick but no publish ...\n");
252                                }
253                        } else {
254                                //fprintf(stderr, "Got a tick but no packets seen yet!!!\n");
255                        }
256                }
257        }
258        return NULL;
259}
260
261static uint64_t bad_hash(const libtrace_packet_t * pkt UNUSED, void *data UNUSED) {
262        return 0;
263}
264
265/* Process a trace, counting packets that match filter(s) */
266static void run_trace(char *uri)
267{
268        int j;
269
270        if (!merge_inputs) 
271                create_output(uri);
272
273        if (output == NULL)
274                return;
275
276        trace = trace_create(uri);
277        if (trace_is_err(trace)) {
278                trace_perror(trace,"trace_create");
279                trace_destroy(trace);
280                if (!merge_inputs)
281                        output_destroy(output);
282                return;
283        }
284        /*
285        if (trace_start(trace)==-1) {
286                trace_perror(trace,"trace_start");
287                trace_destroy(trace);
288                if (!merge_inputs)
289                        output_destroy(output);
290                return;
291        }*/
292        trace_set_combiner(trace, &combiner_ordered, (libtrace_generic_t){0});
293        trace_set_tracetime(trace, true);
294
295        //trace_set_hasher(trace, HASHER_CUSTOM, &bad_hash, NULL);
296
297        if (trace_get_information(trace)->live) {
298                trace_set_tick_interval(trace, (int) (packet_interval * 1000));
299        }
300
301        if (trace_pstart(trace, NULL, &per_packet, process_result)==-1) {
302                trace_perror(trace,"Failed to start trace");
303                trace_destroy(trace);
304                if (!merge_inputs)
305                        output_destroy(output);
306                return;
307        }
308
309
310        // Wait for all threads to stop
311        trace_join(trace);
312       
313        // Flush the last one out
314        report_results((double) last_ts * (double) packet_interval, count, bytes);
315        //count = 0;
316        //bytes = 0;
317        for (j = 0; j < filter_count; j++)
318                filters[j].count = filters[j].bytes = 0;
319        (last_ts)++;
320       
321        if (trace_is_err(trace))
322                trace_perror(trace,"%s",uri);
323
324        trace_destroy(trace);
325
326        if (!merge_inputs)
327                output_destroy(output);
328       
329}
330// TODO Decide what to do with -c option
331static void usage(char *argv0)
332{
333        fprintf(stderr,"Usage:\n"
334        "%s flags libtraceuri [libtraceuri...]\n"
335        "-i --interval=seconds  Duration of reporting interval in seconds\n"
336        "-c --count=packets     Exit after count packets received\n"
337        "-o --output-format=txt|csv|html|png Reporting output format\n"
338        "-f --filter=bpf        Apply BPF filter. Can be specified multiple times\n"
339        "-m --merge-inputs      Do not create separate outputs for each input trace\n"
340        "-H --libtrace-help     Print libtrace runtime documentation\n"
341        ,argv0);
342}
343
344int main(int argc, char *argv[]) {
345
346        int i;
347       
348        while(1) {
349                int option_index;
350                struct option long_options[] = {
351                        { "filter",             1, 0, 'f' },
352                        { "interval",           1, 0, 'i' },
353                        { "count",              1, 0, 'c' },
354                        { "output-format",      1, 0, 'o' },
355                        { "libtrace-help",      0, 0, 'H' },
356                        { "merge-inputs",       0, 0, 'm' },
357                        { NULL,                 0, 0, 0   },
358                };
359
360                int c=getopt_long(argc, argv, "c:f:i:o:Hm",
361                                long_options, &option_index);
362
363                if (c==-1)
364                        break;
365
366                switch (c) {
367                        case 'f':
368                                ++filter_count;
369                                filters=realloc(filters,filter_count*sizeof(struct filter_t));
370                                filters[filter_count-1].expr=strdup(optarg);
371                                filters[filter_count-1].filter=trace_create_filter(optarg);
372                                filters[filter_count-1].count=0;
373                                filters[filter_count-1].bytes=0;
374                                break;
375                        case 'i':
376                                packet_interval=atof(optarg);
377                                break;
378                        case 'c':
379                                packet_count=atoi(optarg);
380                                break;
381                        case 'o':
382                                if (output_format) free(output_format);
383                                output_format=strdup(optarg);
384                                break;
385                        case 'm':
386                                merge_inputs = 1;
387                                break;
388                        case 'H':
389                                  trace_help(); 
390                                  exit(1); 
391                                  break;       
392                        default:
393                                fprintf(stderr,"Unknown option: %c\n",c);
394                                usage(argv[0]);
395                                return 1;
396                }
397        }
398
399        if (packet_count == UINT64_MAX && packet_interval == UINT32_MAX) {
400                packet_interval = 300; /* every 5 minutes */
401        }
402
403        if (optind >= argc)
404                return 0;
405
406        if (output_format)
407                fprintf(stderr,"output format: '%s'\n",output_format);
408        else
409                fprintf(stderr,"output format: '%s'\n", DEFAULT_OUTPUT_FMT);
410       
411       
412        if (merge_inputs) {
413                /* If we're merging the inputs, we only want to create all
414                 * the column headers etc. once rather than doing them once
415                 * per trace */
416
417                /* This is going to "name" the output based on the first
418                 * provided URI - admittedly not ideal */
419                create_output(argv[optind]);
420                if (output == NULL)
421                        return 0;
422        }
423               
424        for(i=optind;i<argc;++i) {
425                run_trace(argv[i]);
426        }
427
428        if (merge_inputs) {
429                /* Clean up after ourselves */
430                output_destroy(output);
431        }
432
433
434        return 0;
435}
Note: See TracBrowser for help on using the repository browser.