source: tools/tracestats/tracestats_parallel.c @ 76291d1

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 76291d1 was 76291d1, checked in by Richard Sanger <rsangerarj@…>, 6 years ago

Add a quick mockup of shanes interface using functions for each message

I.e. set a function for MESSAGE_PACKET etc. which only receives packets.

Ported tracestats_parallel to use this interface.

Note it is not yet complete, however should give a feel of how it will work.
And provide a good work around to the thread issues on older machines.

  • Property mode set to 100644
File size: 7.9 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007 The University of Waikato, Hamilton, New Zealand.
5 * Authors: Daniel Lawson
6 *          Perry Lorier
7 *         
8 * All rights reserved.
9 *
10 * This code has been developed by the University of Waikato WAND
11 * research group. For further information please see http://www.wand.net.nz/
12 *
13 * libtrace is free software; you can redistribute it and/or modify
14 * it under the terms of the GNU General Public License as published by
15 * the Free Software Foundation; either version 2 of the License, or
16 * (at your option) any later version.
17 *
18 * libtrace is distributed in the hope that it will be useful,
19 * but WITHOUT ANY WARRANTY; without even the implied warranty of
20 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
21 * GNU General Public License for more details.
22 *
23 * You should have received a copy of the GNU General Public License
24 * along with libtrace; if not, write to the Free Software
25 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
26 *
27 * $Id$
28 *
29 */
30
31/*
32 * This program takes a series of traces and bpf filters and outputs how many
33 * bytes/packets
34 */
35
36#include <stdio.h>
37#include <stdlib.h>
38#include <assert.h>
39#include <string.h>
40#include <sys/time.h>
41#include <sys/types.h>
42#include <time.h>
43
44#include <netinet/in.h>
45#include <netinet/in_systm.h>
46#include <netinet/tcp.h>
47#include <netinet/ip.h>
48#include <netinet/ip_icmp.h>
49#include <arpa/inet.h>
50#include <sys/socket.h>
51#include <getopt.h>
52#include <inttypes.h>
53#include <signal.h>
54
55#include "libtrace_parallel.h"
56#include "lt_inttypes.h"
57#include <pthread.h>
58
59struct libtrace_t *trace = NULL;
60
61static void cleanup_signal(int signal UNUSED)
62{
63        if (trace)
64                trace_pstop(trace);
65}
66
67struct filter_t {
68        char *expr;
69        struct libtrace_filter_t *filter;
70        uint64_t count;
71        uint64_t bytes;
72} *filters = NULL;
73int filter_count=0;
74volatile uint64_t totcount = 0;
75volatile uint64_t totbytes = 0;
76
77
78typedef struct global_blob {
79        uint64_t * totcount;
80        uint64_t * totbytes;
81} global_blob_t;
82
83typedef struct statistics {
84        uint64_t count;
85        uint64_t bytes;
86} statistics_t;
87
88
89static void* per_packet(libtrace_t *trace UNUSED, libtrace_thread_t *t UNUSED,
90                        int mesg UNUSED, libtrace_generic_t data UNUSED,
91                        libtrace_thread_t *sender UNUSED)
92{
93        return NULL;
94}
95
96static void report_result(libtrace_t *trace, int mesg,
97                          libtrace_generic_t data,
98                          libtrace_thread_t *sender UNUSED) {
99        static uint64_t count=0, bytes=0;
100        int i;
101        libtrace_stat_t *stats;
102
103        switch (mesg) {
104        case MESSAGE_RESULT:
105                /* Get the results from each core and sum 'em up */
106                assert(data.res->key == 0);
107                statistics_t * res = data.res->value.ptr;
108                count += res[0].count;
109                bytes += res[0].bytes;
110                for (i = 0; i < filter_count; i++) {
111                        filters[i].count += res[i+1].count;
112                        filters[i].bytes += res[i+1].bytes;
113                }
114                free(res);
115                break;
116        case MESSAGE_STOPPING:
117                /* We are done, print out results */
118                stats = trace_get_statistics(trace, NULL);
119                printf("%-30s\t%12s\t%12s\t%7s\n","filter","count","bytes","%");
120                for(i=0;i<filter_count;++i) {
121                        printf("%30s:\t%12"PRIu64"\t%12"PRIu64"\t%7.03f\n",filters[i].expr,filters[i].count,filters[i].bytes,filters[i].count*100.0/count);
122                        filters[i].bytes=0;
123                        filters[i].count=0;
124                }
125                if (stats->received_valid)
126                        fprintf(stderr,"%30s:\t%12" PRIu64"\n",
127                                "Input packets", stats->received);
128                if (stats->filtered_valid)
129                        fprintf(stderr,"%30s:\t%12" PRIu64"\n",
130                                "Filtered packets", stats->filtered);
131                if (stats->dropped_valid)
132                        fprintf(stderr,"%30s:\t%12" PRIu64"\n",
133                                "Dropped packets",stats->dropped);
134                if (stats->accepted_valid)
135                        fprintf(stderr,"%30s:\t%12" PRIu64 "\n",
136                                "Accepted packets", stats->accepted);
137                if (stats->errors_valid)
138                        fprintf(stderr,"%30s:\t%12" PRIu64 "\n",
139                                "Erred packets", stats->errors);
140                printf("%30s:\t%12"PRIu64"\t%12" PRIu64 "\n","Total",count,bytes);
141                totcount+=count;
142                totbytes+=bytes;
143        }
144}
145
146
147static void* fn_starting(libtrace_t *trace UNUSED, libtrace_thread_t *t,
148                     libtrace_generic_t data UNUSED, void *global UNUSED, void*tls UNUSED) {
149        /* Allocate space to hold a total count and one for each filter */
150        statistics_t *results = calloc(1, sizeof(statistics_t) * (filter_count + 1));
151        trace_set_tls(t, results);
152        return NULL;
153}
154
155
156static void* fn_stopping(libtrace_t *trace, libtrace_thread_t *t UNUSED,
157                     libtrace_generic_t data UNUSED, void *global UNUSED, void*tls) {
158        statistics_t *results = tls;
159        libtrace_generic_t gen;
160        /* We only output one result per thread with the key 0 when the
161         * trace is over. */
162        gen.ptr = results;
163        trace_publish_result(trace, t, 0, gen, RESULT_USER);
164        return NULL;
165}
166
167static void* fn_packet(libtrace_t *trace, libtrace_thread_t *t UNUSED,
168                   libtrace_generic_t data, void *global UNUSED, void*tls) {
169        statistics_t *results = tls;
170        int i, wlen;
171
172        /* Apply filters to every packet note the result */
173        wlen = trace_get_wire_length(data.pkt);
174        for(i=0;i<filter_count;++i) {
175                if (filters[i].filter == NULL)
176                        continue;
177                if(trace_apply_filter(filters[i].filter,data.pkt) > 0) {
178                        results[i+1].count++;
179                        results[i+1].bytes+=wlen;
180                }
181                if (trace_is_err(trace)) {
182                        trace_perror(trace, "trace_apply_filter");
183                        fprintf(stderr, "Removing filter from filterlist\n");
184                        /* This is a race, but will be atomic */
185                        filters[i].filter = NULL;
186                }
187        }
188        results[0].count++;
189        results[0].bytes +=wlen;
190        return data.pkt;
191}
192
193/* Process a trace, counting packets that match filter(s) */
194static void run_trace(char *uri, char *config, char *config_file)
195{
196
197        fprintf(stderr,"%s:\n",uri);
198
199        trace = trace_create(uri);
200
201        if (trace_is_err(trace)) {
202                trace_perror(trace,"Failed to create trace");
203                return;
204        }
205
206        /* Apply config */
207        if (config) {
208                trace_set_configuration(trace, config);
209        }
210
211        if (config_file) {
212                FILE * f = fopen(optarg, "r");
213                if (f != NULL) {
214                        trace_set_configuration_file(trace, f);
215                        fclose(f);
216                } else {
217                        perror("Failed to open configuration file\n");
218                        exit(-1);
219                }
220        }
221
222        trace_set_handler(trace, MESSAGE_PACKET, fn_packet);
223        trace_set_handler(trace, MESSAGE_STARTING, fn_starting);
224        trace_set_handler(trace, MESSAGE_STOPPING, fn_stopping);
225
226        /* Start the trace as a parallel trace */
227        if (trace_pstart(trace, NULL, &per_packet, report_result)==-1) {
228                trace_perror(trace,"Failed to start trace");
229                return;
230        }
231
232        /* Wait for all threads to stop */
233        trace_join(trace);
234
235        if (trace_is_err(trace))
236                trace_perror(trace,"%s",uri);
237
238        trace_destroy(trace);
239}
240
241static void usage(char *argv0)
242{
243        fprintf(stderr,"Usage: %s [-H|--libtrace-help] [--filter|-f bpf ]... libtraceuri...\n",argv0);
244}
245
246int main(int argc, char *argv[]) {
247
248        int i;
249        struct sigaction sigact;
250        char *config = NULL;
251        char *config_file = NULL;
252
253        while(1) {
254                int option_index;
255                struct option long_options[] = {
256                        { "filter",        1, 0, 'f' },
257                        { "libtrace-help", 0, 0, 'H' },
258                        { "config",             1, 0, 'u' },
259                        { "config-file",                1, 0, 'U' },
260                        { NULL,            0, 0, 0   },
261                };
262
263                int c=getopt_long(argc, argv, "f:Hu:U:",
264                                long_options, &option_index);
265
266                if (c==-1)
267                        break;
268
269                switch (c) {
270                        case 'f':
271                                ++filter_count;
272                                filters=realloc(filters,filter_count*sizeof(struct filter_t));
273                                filters[filter_count-1].expr=strdup(optarg);
274                                filters[filter_count-1].filter=trace_create_filter(optarg);
275                                filters[filter_count-1].count=0;
276                                filters[filter_count-1].bytes=0;
277                                break;
278                        case 'H':
279                                trace_help();
280                                exit(1);
281                                break;
282                        case 'u':
283                                config = optarg;
284                                break;
285                        case 'U':
286                                config_file = optarg;
287                                break;
288                        default:
289                                fprintf(stderr,"Unknown option: %c\n",c);
290                                usage(argv[0]);
291                                return 1;
292                }
293        }
294
295        sigact.sa_handler = cleanup_signal;
296        sigemptyset(&sigact.sa_mask);
297        sigact.sa_flags = SA_RESTART;
298
299        sigaction(SIGINT, &sigact, NULL);
300        sigaction(SIGTERM, &sigact, NULL);
301
302        for(i=optind;i<argc;++i) {
303                run_trace(argv[i], config, config_file);
304        }
305        if (optind+1<argc) {
306                printf("Grand total:\n");
307                printf("%30s:\t%12"PRIu64"\t%12" PRIu64 "\n","Total",totcount,totbytes);
308        }
309       
310        return 0;
311}
Note: See TracBrowser for help on using the repository browser.