source: tools/tracertstats/tracertstats_parallel.c @ 9e48735

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 9e48735 was 9e48735, checked in by Shane Alcock <salcock@…>, 6 years ago

Add max threads option to parallel tracertstats

Default is 4 threads.

  • Property mode set to 100644
File size: 10.5 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31/* This program takes a series of traces and bpf filters and outputs how many
32 * bytes/packets every time interval
33 */
34
35#include <stdio.h>
36#include <stdlib.h>
37#include <assert.h>
38#include <string.h>
39#include <sys/time.h>
40#include <sys/types.h>
41#include <time.h>
42
43#include <netinet/in.h>
44#include <netinet/in_systm.h>
45#include <netinet/tcp.h>
46#include <netinet/ip.h>
47#include <netinet/ip_icmp.h>
48#include <arpa/inet.h>
49#include <sys/socket.h>
50#include <getopt.h>
51#include <inttypes.h>
52#include <lt_inttypes.h>
53
54#include "libtrace_parallel.h"
55#include "output.h"
56#include "rt_protocol.h"
57#include "dagformat.h"
58
59#ifndef UINT32_MAX
60        #define UINT32_MAX      0xffffffffU
61#endif
62
63#define DEFAULT_OUTPUT_FMT "txt"
64
65struct libtrace_t *trace;
66char *output_format=NULL;
67
68int merge_inputs = 0;
69int threadcount = 4;
70
71struct filter_t {
72        char *expr;
73        struct libtrace_filter_t *filter;
74        uint64_t count;
75        uint64_t bytes;
76} *filters = NULL;
77int filter_count=0;
78uint64_t totcount;
79uint64_t totbytes;
80
81uint64_t packet_count=UINT64_MAX;
82double packet_interval=UINT32_MAX;
83
84
85struct output_data_t *output = NULL;
86
87static void report_results(double ts,uint64_t count,uint64_t bytes)
88{
89        int i=0;
90        output_set_data_time(output,0,ts);
91        output_set_data_int(output,1,count);
92        output_set_data_int(output,2,bytes);
93        for(i=0;i<filter_count;++i) {
94                output_set_data_int(output,i*2+3,filters[i].count);
95                output_set_data_int(output,i*2+4,filters[i].bytes);
96                filters[i].count=filters[i].bytes=0;
97        }
98        output_flush_row(output);
99}
100
101static void create_output(char *title) {
102        int i;
103       
104        output=output_init(title,output_format?output_format:DEFAULT_OUTPUT_FMT);
105        if (!output) {
106                fprintf(stderr,"Failed to create output file\n");
107                return;
108        }
109        output_add_column(output,"ts");
110        output_add_column(output,"packets");
111        output_add_column(output,"bytes");
112        for(i=0;i<filter_count;++i) {
113                char buff[1024];
114                snprintf(buff,sizeof(buff),"%s packets",filters[i].expr);
115                output_add_column(output,buff);
116                snprintf(buff,sizeof(buff),"%s bytes",filters[i].expr);
117                output_add_column(output,buff);
118        }
119        output_flush_headings(output);
120
121}
122
123uint64_t count;
124uint64_t bytes;
125
126typedef struct statistic {
127        uint64_t count;
128        uint64_t bytes;
129} statistic_t;
130
131typedef struct result {
132        struct statistic total;
133        struct statistic filters[0];
134} result_t;
135
136static uint64_t glob_last_ts = 0;
137static void process_result(libtrace_t *trace UNUSED, int mesg,
138                           libtrace_generic_t data,
139                           libtrace_thread_t *sender UNUSED) {
140        static uint64_t ts = 0;
141        int j;
142        result_t *res;
143
144        switch (mesg) {
145                case MESSAGE_RESULT:
146                ts = data.res->key;
147                res = data.res->value.ptr;
148                if (glob_last_ts == 0)
149                        glob_last_ts = ts;
150                while ((glob_last_ts >> 32) < (ts >> 32)) {
151                        report_results(glob_last_ts >> 32, count, bytes);
152                        count = 0;
153                        bytes = 0;
154                        for (j = 0; j < filter_count; j++)
155                                filters[j].count = filters[j].bytes = 0;
156                        glob_last_ts = ts;
157                }
158                count += res->total.count;
159                bytes += res->total.bytes;
160                for (j = 0; j < filter_count; j++) {
161                        filters[j].count += res->filters[j].count;
162                        filters[j].bytes += res->filters[j].bytes;
163                }
164                free(res);
165        }
166}
167
168typedef struct timestamp_sync {
169        int64_t difference_usecs;
170        uint64_t first_interval_number;
171} timestamp_sync_t;
172
173static void* per_packet(libtrace_t *trace, libtrace_thread_t *t,
174                        int mesg, libtrace_generic_t data,
175                        libtrace_thread_t *sender UNUSED)
176{
177        int i;
178        static __thread result_t * results = NULL;
179        uint64_t key;
180        static __thread uint64_t last_key = 0;
181
182        switch(mesg) {
183        case MESSAGE_PACKET:
184                key = trace_get_erf_timestamp(data.pkt);
185                if ((key >> 32) > (last_key >> 32) + packet_interval) {
186                        libtrace_generic_t tmp = {.ptr = results};
187                        trace_publish_result(trace, t, key, 
188                                        tmp, RESULT_USER);
189                        trace_post_reporter(trace);
190                        last_key = key;
191                        results = calloc(1, sizeof(result_t) + sizeof(statistic_t) * filter_count);
192
193                }
194
195                for(i=0;i<filter_count;++i) {
196                        if(trace_apply_filter(filters[i].filter, data.pkt)) {
197                                results->filters[i].count++;
198                                results->filters[i].bytes+=trace_get_wire_length(data.pkt);
199                        }
200                }
201
202                results->total.count++;
203                results->total.bytes +=trace_get_wire_length(data.pkt);
204                return data.pkt;
205
206        case MESSAGE_STARTING:
207                results = calloc(1, sizeof(result_t) + sizeof(statistic_t) * filter_count);
208                break;
209
210        case MESSAGE_STOPPING:
211                // Should we always post this?
212                if (results->total.count) {
213                        libtrace_generic_t tmp = {.ptr = results};
214                        trace_publish_result(trace, t, last_key, tmp, RESULT_USER);
215                        trace_post_reporter(trace);
216                        free(results);
217                        results = NULL;
218                }
219                break;
220
221        case MESSAGE_TICK_INTERVAL:
222        case MESSAGE_TICK_COUNT:
223                {
224                        if (data.uint64 > last_key) {
225                                libtrace_generic_t tmp = {.ptr = results};
226                                trace_publish_result(trace, t, data.uint64, 
227                                                tmp, RESULT_USER);
228                                trace_post_reporter(trace);
229                                last_key = data.uint64;
230                                results = calloc(1, sizeof(result_t) + sizeof(statistic_t) * filter_count);
231                        }
232                        break;
233                }
234        }
235        return NULL;
236}
237
238/* Process a trace, counting packets that match filter(s) */
239static void run_trace(char *uri)
240{
241        if (!merge_inputs) 
242                create_output(uri);
243
244        if (output == NULL)
245                return;
246
247        trace = trace_create(uri);
248        if (trace_is_err(trace)) {
249                trace_perror(trace,"trace_create");
250                trace_destroy(trace);
251                if (!merge_inputs)
252                        output_destroy(output);
253                return;
254        }
255        /*
256        if (trace_start(trace)==-1) {
257                trace_perror(trace,"trace_start");
258                trace_destroy(trace);
259                if (!merge_inputs)
260                        output_destroy(output);
261                return;
262        }*/
263        trace_set_combiner(trace, &combiner_ordered, (libtrace_generic_t){0});
264        trace_set_tracetime(trace, true);
265        trace_set_perpkt_threads(trace, threadcount);
266
267        //trace_set_hasher(trace, HASHER_CUSTOM, &bad_hash, NULL);
268
269        if (trace_get_information(trace)->live) {
270                trace_set_tick_interval(trace, (int) (packet_interval * 1000));
271        }
272
273        if (trace_pstart(trace, NULL, &per_packet, process_result)==-1) {
274                trace_perror(trace,"Failed to start trace");
275                trace_destroy(trace);
276                if (!merge_inputs)
277                        output_destroy(output);
278                return;
279        }
280
281
282        // Wait for all threads to stop
283        trace_join(trace);
284       
285        // Flush the last one out
286        report_results((glob_last_ts >> 32), count, bytes);
287        if (trace_is_err(trace))
288                trace_perror(trace,"%s",uri);
289
290        trace_destroy(trace);
291
292        if (!merge_inputs)
293                output_destroy(output);
294       
295}
296// TODO Decide what to do with -c option
297static void usage(char *argv0)
298{
299        fprintf(stderr,"Usage:\n"
300        "%s flags libtraceuri [libtraceuri...]\n"
301        "-i --interval=seconds  Duration of reporting interval in seconds\n"
302        "-c --count=packets     Exit after count packets received\n"
303        "-t --threads=max       Create 'max' processing threads (default: 4)\n"
304        "-o --output-format=txt|csv|html|png Reporting output format\n"
305        "-f --filter=bpf        Apply BPF filter. Can be specified multiple times\n"
306        "-m --merge-inputs      Do not create separate outputs for each input trace\n"
307        "-H --libtrace-help     Print libtrace runtime documentation\n"
308        ,argv0);
309}
310
311int main(int argc, char *argv[]) {
312
313        int i;
314       
315        while(1) {
316                int option_index;
317                struct option long_options[] = {
318                        { "filter",             1, 0, 'f' },
319                        { "interval",           1, 0, 'i' },
320                        { "count",              1, 0, 'c' },
321                        { "output-format",      1, 0, 'o' },
322                        { "libtrace-help",      0, 0, 'H' },
323                        { "merge-inputs",       0, 0, 'm' },
324                        { "threads",            1, 0, 't' },
325                        { NULL,                 0, 0, 0   },
326                };
327
328                int c=getopt_long(argc, argv, "c:f:i:o:t:Hm",
329                                long_options, &option_index);
330
331                if (c==-1)
332                        break;
333
334                switch (c) {
335                        case 'f':
336                                ++filter_count;
337                                filters=realloc(filters,filter_count*sizeof(struct filter_t));
338                                filters[filter_count-1].expr=strdup(optarg);
339                                filters[filter_count-1].filter=trace_create_filter(optarg);
340                                filters[filter_count-1].count=0;
341                                filters[filter_count-1].bytes=0;
342                                break;
343                        case 't':
344                                threadcount = atoi(optarg);
345                                if (threadcount <= 0)
346                                        threadcount = 1;
347                                break;
348                        case 'i':
349                                packet_interval=atof(optarg);
350                                break;
351                        case 'c':
352                                packet_count=atoi(optarg);
353                                break;
354                        case 'o':
355                                if (output_format) free(output_format);
356                                output_format=strdup(optarg);
357                                break;
358                        case 'm':
359                                merge_inputs = 1;
360                                break;
361                        case 'H':
362                                  trace_help(); 
363                                  exit(1); 
364                                  break;       
365                        default:
366                                fprintf(stderr,"Unknown option: %c\n",c);
367                                usage(argv[0]);
368                                return 1;
369                }
370        }
371
372        if (packet_count == UINT64_MAX && packet_interval == UINT32_MAX) {
373                packet_interval = 300; /* every 5 minutes */
374        }
375
376        if (optind >= argc)
377                return 0;
378
379        if (output_format)
380                fprintf(stderr,"output format: '%s'\n",output_format);
381        else
382                fprintf(stderr,"output format: '%s'\n", DEFAULT_OUTPUT_FMT);
383       
384       
385        if (merge_inputs) {
386                /* If we're merging the inputs, we only want to create all
387                 * the column headers etc. once rather than doing them once
388                 * per trace */
389
390                /* This is going to "name" the output based on the first
391                 * provided URI - admittedly not ideal */
392                create_output(argv[optind]);
393                if (output == NULL)
394                        return 0;
395        }
396               
397        for(i=optind;i<argc;++i) {
398                run_trace(argv[i]);
399        }
400
401        if (merge_inputs) {
402                /* Clean up after ourselves */
403                output_destroy(output);
404        }
405
406
407        return 0;
408}
Note: See TracBrowser for help on using the repository browser.