source: tools/tracestats/tracestats_parallel.c @ d994324

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since d994324 was d994324, checked in by Richard Sanger <rsangerarj@…>, 7 years ago

Remove anything to do with the combiner from set configuration and removes any options/storage related to these such as the next expected packet.

Instead this is done using trace_set_combiner now, and the for the built-in combiners.h header. This is a lot more flexible and allows the users to specify there own combiner, and any number of options for it.

  • Property mode set to 100644
File size: 8.6 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31/*
32 * This program takes a series of traces and bpf filters and outputs how many
33 * bytes/packets
34 */
35
36#include <stdio.h>
37#include <stdlib.h>
38#include <assert.h>
39#include <string.h>
40#include <sys/time.h>
41#include <sys/types.h>
42#include <time.h>
43
44#include <netinet/in.h>
45#include <netinet/in_systm.h>
46#include <netinet/tcp.h>
47#include <netinet/ip.h>
48#include <netinet/ip_icmp.h>
49#include <arpa/inet.h>
50#include <sys/socket.h>
51#include <getopt.h>
52#include <inttypes.h>
53#include <signal.h>
54
55#include "libtrace.h"
56#include "lt_inttypes.h"
57#include "data-struct/vector.h"
58#include "data-struct/message_queue.h"
59#include "combiners.h"
60#include <pthread.h>
61
62struct libtrace_t *trace = NULL;
63
64static void cleanup_signal(int signal)
65{
66        static int s = 0;
67        (void)signal;
68        // trace_interrupt();
69        // trace_pstop isn't really signal safe because its got lots of locks in it
70    trace_pstop(trace);
71    /*if (s == 0) {
72                if (trace_ppause(trace) == -1)
73                        trace_perror(trace, "Pause failed");
74        }
75        else {
76                if (trace_pstart(trace, NULL, NULL, NULL) == -1)
77                        trace_perror(trace, "Start failed");
78    }*/
79        s = !s;
80}
81
82struct filter_t {
83        char *expr;
84        struct libtrace_filter_t *filter;
85        uint64_t count;
86        uint64_t bytes;
87} *filters = NULL;
88int filter_count=0;
89volatile uint64_t totcount = 0;
90volatile uint64_t totbytes = 0;
91
92
93typedef struct global_blob {
94        uint64_t * totcount;
95        uint64_t * totbytes;
96} global_blob_t;
97
98typedef struct statistics {
99        uint64_t count;
100        uint64_t bytes;
101} statistics_t;
102
103
104static void* per_packet(libtrace_t *trace, libtrace_packet_t *pkt, libtrace_message_t *mesg, libtrace_thread_t *t)
105{
106        // Using first entry as total and those after for filter counts
107        static __thread statistics_t * results = NULL;
108        int i;
109       
110        if (pkt) {
111                int wlen = trace_get_wire_length(pkt);
112                for(i=0;i<filter_count;++i) {
113                        if (filters[i].filter == NULL)
114                                continue;
115                        if(trace_apply_filter(filters[i].filter,pkt) > 0) {
116                                results[i+1].count++;
117                                results[i+1].bytes+=wlen;
118                        }
119                        if (trace_is_err(trace)) {
120                                trace_perror(trace, "trace_apply_filter");
121                                fprintf(stderr, "Removing filter from filterlist\n");
122                                // XXX might be a problem across threads below
123                                filters[i].filter = NULL;
124                        }
125                }
126                results[0].count++;
127                results[0].bytes +=wlen;
128        }
129        if (mesg) {
130                // printf ("%d.%06d READ #%"PRIu64"\n", tv.tv_sec, tv.tv_usec, trace_packet_get(packet));
131                switch (mesg->code) {
132                        case MESSAGE_STOPPING:
133                                trace_publish_result(trace, t, 0, (libtrace_generic_types_t){.ptr = results}, RESULT_NORMAL); // Only ever using a single key 0
134                                fprintf(stderr, "Thread published resuslts WOWW\n");
135                                break;
136                        case MESSAGE_STARTING:
137                                results = calloc(1, sizeof(statistics_t) * (filter_count + 1));
138                                break;
139                        case MESSAGE_DO_PAUSE:
140                                fprintf(stderr, "GOT Asked to pause ahh\n");
141                                break;
142                        case MESSAGE_PAUSING:
143                                fprintf(stderr, "Thread is pausing\n");
144                                break;
145                        case MESSAGE_RESUMING:
146                                fprintf(stderr, "Thread has paused\n");
147                                break;
148                }
149        }
150        return pkt;
151}
152
153static void report_result(libtrace_t *trace UNUSED, libtrace_result_t *result, libtrace_message_t *mesg) {
154        static uint64_t count=0, bytes=0;
155        uint64_t packets;
156        int i;
157        if (result) {
158                int j;
159                /* Get the results from each core and sum 'em up */
160                assert(libtrace_result_get_key(result) == 0);
161                statistics_t * res = libtrace_result_get_value(result).ptr;
162                count += res[0].count;
163                bytes += res[0].bytes;
164                for (j = 0; j < filter_count; j++) {
165                        filters[j].count += res[j+1].count;
166                        filters[j].bytes += res[j+1].bytes;
167                }
168                free(res);
169        } else switch (mesg->code) {
170                case MESSAGE_STOPPING:
171                        printf("%-30s\t%12s\t%12s\t%7s\n","filter","count","bytes","%");
172                        for(i=0;i<filter_count;++i) {
173                                printf("%30s:\t%12"PRIu64"\t%12"PRIu64"\t%7.03f\n",filters[i].expr,filters[i].count,filters[i].bytes,filters[i].count*100.0/count);
174                                filters[i].bytes=0;
175                                filters[i].count=0;
176                        }
177                        packets=trace_get_received_packets(trace);
178                        if (packets!=UINT64_MAX)
179                                fprintf(stderr,"%30s:\t%12" PRIu64"\n",
180                                                "Input packets", packets);
181                        packets=trace_get_filtered_packets(trace);
182                        if (packets!=UINT64_MAX)
183                                fprintf(stderr,"%30s:\t%12" PRIu64"\n",
184                                                "Filtered packets", packets);
185                        packets=trace_get_dropped_packets(trace);
186                        if (packets!=UINT64_MAX)
187                                fprintf(stderr,"%30s:\t%12" PRIu64"\n",
188                                                "Dropped packets",packets);
189                        packets=trace_get_accepted_packets(trace);
190                        if (packets!=UINT64_MAX)
191                                fprintf(stderr,"%30s:\t%12" PRIu64 "\n",
192                                                "Accepted Packets",packets);
193                        printf("%30s:\t%12"PRIu64"\t%12" PRIu64 "\n","Total",count,bytes);
194                        totcount+=count;
195                        totbytes+=bytes;
196        }
197}
198
199static uint64_t rand_hash(libtrace_packet_t * pkt, void *data) {
200        return rand();
201}
202
203static uint64_t bad_hash(libtrace_packet_t * pkt, void *data) {
204        return 0;
205}
206
207struct user_configuration uc;
208
209
210/* Process a trace, counting packets that match filter(s) */
211static void run_trace(char *uri) 
212{
213
214        fprintf(stderr,"%s:\n",uri);
215
216        trace = trace_create(uri);
217
218        if (trace_is_err(trace)) {
219                trace_perror(trace,"Failed to create trace");
220                return;
221        }
222       
223        int option = 2;
224        //option = 10000;
225    //trace_set_hasher(trace, HASHER_CUSTOM, &rand_hash, NULL);
226        //trace_parallel_config(trace, TRACE_OPTION_SET_PERPKT_THREAD_COUNT, &option);
227        trace_parallel_config(trace, TRACE_OPTION_SET_CONFIG, &uc);
228        trace_set_combiner(trace, &combiner_ordered, (libtrace_generic_types_t){0});
229
230        //trace_parallel_config(trace, TRACE_OPTION_SET_MAPPER_BUFFER_SIZE, &option);
231
232        /* OPTIONALLY SETUP CORES HERE BUT WE DON'T CARE ABOUT THAT YET XXX */
233
234        /*if (trace_start(trace)==-1) {
235        trace_perror(trace,"Failed to start trace");
236        return;
237        }*/
238        global_blob_t blob;
239
240
241        if (trace_pstart(trace, (void *)&blob, &per_packet, report_result)==-1) {
242                trace_perror(trace,"Failed to start trace");
243                return;
244        }
245
246        // Wait for all threads to stop
247        trace_join(trace);
248
249        //map_pair_iterator_t * results = NULL;
250        //trace_get_results(trace, &results);
251
252        //if (results != NULL) {
253        //      reduce(trace, global_blob, results);
254        //}
255        if (trace_is_err(trace))
256                trace_perror(trace,"%s",uri);
257
258        print_contention_stats(trace);
259        trace_destroy(trace);
260}
261
262static void usage(char *argv0)
263{
264        fprintf(stderr,"Usage: %s [-H|--libtrace-help] [--filter|-f bpf ]... libtraceuri...\n",argv0);
265}
266
267int main(int argc, char *argv[]) {
268
269        int i;
270        struct sigaction sigact;
271        ZERO_USER_CONFIG(uc);
272        while(1) {
273                int option_index;
274                struct option long_options[] = {
275                        { "filter",        1, 0, 'f' },
276                        { "libtrace-help", 0, 0, 'H' },
277                        { "config",             1, 0, 'u' },
278                        { "config-file",                1, 0, 'U' },
279                        { NULL,            0, 0, 0   },
280                };
281
282                int c=getopt_long(argc, argv, "f:Hu:U:",
283                                long_options, &option_index);
284
285                if (c==-1)
286                        break;
287
288                switch (c) {
289                        case 'f':
290                                ++filter_count;
291                                filters=realloc(filters,filter_count*sizeof(struct filter_t));
292                                filters[filter_count-1].expr=strdup(optarg);
293                                filters[filter_count-1].filter=trace_create_filter(optarg);
294                                filters[filter_count-1].count=0;
295                                filters[filter_count-1].bytes=0;
296                                break;
297                        case 'H':
298                                trace_help();
299                                exit(1);
300                                break;
301                        case 'u':
302                                  parse_user_config(&uc, optarg);
303                                  break;
304                        case 'U':;
305                                FILE * f = fopen(optarg, "r");
306                                if (f != NULL) {
307                                        parse_user_config_file(&uc, f);
308                                } else {
309                                        perror("Failed to open configuration file\n");
310                                        usage(argv[0]);
311                                }
312                                break;
313                        default:
314                                fprintf(stderr,"Unknown option: %c\n",c);
315                                usage(argv[0]);
316                                return 1;
317                }
318        }
319
320        sigact.sa_handler = cleanup_signal;
321        sigemptyset(&sigact.sa_mask);
322        sigact.sa_flags = SA_RESTART;
323
324        sigaction(SIGINT, &sigact, NULL);
325        sigaction(SIGTERM, &sigact, NULL);
326       
327        for(i=optind;i<argc;++i) {
328                run_trace(argv[i]);
329        }
330        if (optind+1<argc) {
331                printf("Grand total:\n");
332                printf("%30s:\t%12"PRIu64"\t%12" PRIu64 "\n","Total",totcount,totbytes);
333        }
334       
335        return 0;
336}
Note: See TracBrowser for help on using the repository browser.