source: lib/trace.c @ 89e2ff7

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivendag_formatrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 89e2ff7 was 89e2ff7, checked in by Richard Sanger <rsanger@…>, 4 years ago

Fix trace_interrupt() with busy traces

Trace interrupt is now checked in the read loop, which also means
it works with trace files.

Fixes #36

  • Property mode set to 100644
File size: 68.2 KB
Line 
1/*
2 *
3 * Copyright (c) 2007-2016 The University of Waikato, Hamilton, New Zealand.
4 * All rights reserved.
5 *
6 * This file is part of libtrace.
7 *
8 * This code has been developed by the University of Waikato WAND
9 * research group. For further information please see http://www.wand.net.nz/
10 *
11 * libtrace is free software; you can redistribute it and/or modify
12 * it under the terms of the GNU Lesser General Public License as published by
13 * the Free Software Foundation; either version 3 of the License, or
14 * (at your option) any later version.
15 *
16 * libtrace is distributed in the hope that it will be useful,
17 * but WITHOUT ANY WARRANTY; without even the implied warranty of
18 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 * GNU Lesser General Public License for more details.
20 *
21 * You should have received a copy of the GNU Lesser General Public License
22 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 *
24 *
25 */
26
27#define _GNU_SOURCE
28#include "common.h"
29#include "config.h"
30#include <assert.h>
31#include <errno.h>
32#include <fcntl.h>
33#include <stdio.h>
34#include <stdlib.h>
35#include <string.h>
36#include <sys/stat.h>
37#include <sys/types.h>
38#ifndef WIN32
39#include <sys/socket.h>
40#endif
41#include <stdarg.h>
42#include <sys/param.h>
43
44#ifdef HAVE_LIMITS_H
45#  include <limits.h>
46#endif
47
48#ifdef HAVE_SYS_LIMITS_H
49#  include <sys/limits.h>
50#endif
51
52#ifdef HAVE_NET_IF_ARP_H
53#  include <net/if_arp.h>
54#endif
55
56#ifdef HAVE_NET_IF_H
57#  include <net/if.h>
58#endif
59
60#ifdef HAVE_NETINET_IN_H
61#  include <netinet/in.h>
62#endif
63
64#ifdef HAVE_NET_ETHERNET_H
65#  include <net/ethernet.h>
66#endif
67
68#ifdef HAVE_NETINET_IF_ETHER_H
69#  include <netinet/if_ether.h>
70#endif
71
72#include <time.h>
73#ifdef WIN32
74#include <sys/timeb.h>
75#endif
76
77#include "libtrace.h"
78#include "libtrace_int.h"
79
80#ifdef HAVE_PCAP_BPF_H
81#  include <pcap-bpf.h>
82#else
83#  ifdef HAVE_NET_BPF_H
84#    include <net/bpf.h>
85#  endif
86#endif
87
88
89#include "libtrace_int.h"
90#include "format_helper.h"
91#include "rt_protocol.h"
92
93#include <pthread.h>
94#include <signal.h>
95
96#define MAXOPTS 1024
97
98/* This file contains much of the implementation of the libtrace API itself. */
99
100static struct libtrace_format_t *formats_list = NULL;
101
102volatile int libtrace_halt = 0;
103/* Set once pstart is called used for backwards compatibility reasons */
104int libtrace_parallel = 0;
105
106/* strncpy is not assured to copy the final \0, so we
107 * will use our own one that does
108 */
109static void xstrncpy(char *dest, const char *src, size_t n)
110{
111        strncpy(dest,src,n);
112        dest[n]='\0';
113}
114
115static char *xstrndup(const char *src,size_t n)
116{
117        char *ret=(char*)malloc(n+1);
118        if (ret==NULL) {
119                fprintf(stderr,"Out of memory");
120                exit(EXIT_FAILURE);
121        }
122        xstrncpy(ret,src,n);
123        return ret;
124}
125
126
127/* call all the constructors if they haven't yet all been called */
128static void trace_init(void)
129{
130        struct timeval tv;
131        gettimeofday(&tv, NULL);
132        srand(tv.tv_sec);
133
134        if (!formats_list) {
135                duck_constructor();
136                erf_constructor();
137                tsh_constructor();
138                legacy_constructor();
139                atmhdr_constructor();
140                linuxring_constructor();
141                linuxnative_constructor();
142#ifdef HAVE_LIBPCAP
143                pcap_constructor();
144#endif
145                bpf_constructor();
146                pcapfile_constructor();
147                rt_constructor();
148#ifdef HAVE_DAG
149                dag_constructor();
150#endif
151#ifdef HAVE_DPDK
152        dpdk_constructor();
153#endif
154        }
155}
156
157/* Prints help information for libtrace
158 *
159 * Function prints out some basic help information regarding libtrace,
160 * and then prints out the help() function registered with each input module
161 */
162DLLEXPORT void trace_help(void) {
163        struct libtrace_format_t *tmp;
164        trace_init();
165        printf("libtrace %s\n\n",PACKAGE_VERSION);
166        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
167        for(tmp=formats_list;tmp;tmp=tmp->next) {
168                if (tmp->help)
169                        tmp->help();
170        }
171}
172
173#define URI_PROTO_LINE 16U
174
175/* Try to guess which format module is appropriate for a given trace file or
176 * device */
177static void guess_format(libtrace_t *libtrace, const char *filename)
178{
179        struct libtrace_format_t *tmp;
180
181        /* Try and guess based on filename */
182        for(tmp = formats_list; tmp; tmp=tmp->next) {
183                if (tmp->probe_filename && tmp->probe_filename(filename)) {
184                        libtrace->format = tmp;
185                        libtrace->uridata = strdup(filename);
186                        return;
187                }
188        }
189
190        libtrace->io = wandio_create(filename);
191        if (!libtrace->io)
192                return;
193
194        /* Try and guess based on file magic */
195        for(tmp = formats_list; tmp; tmp=tmp->next) {
196                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
197                        libtrace->format = tmp;
198                        libtrace->uridata = strdup(filename);
199                        return;
200                }
201        }
202
203        /* No formats matched -- make sure we clean up the IO object we
204         * used to probe the file magic */
205        wandio_destroy(libtrace->io);
206        return;
207}
208
209/* Creates an input trace from a URI
210 *
211 * @params char * containing a valid libtrace URI
212 * @returns opaque pointer to a libtrace_t
213 *
214 * Some valid URI's are:
215 *  erf:/path/to/erf/file
216 *  erf:/path/to/erf/file.gz
217 *  erf:-                       (stdin)
218 *  dag:/dev/dagcard
219 *  pcapint:pcapinterface               (eg: pcapint:eth0)
220 *  pcapfile:/path/to/pcap/file
221 *  pcapfile:-
222 *  int:interface                       (eg: int:eth0) only on Linux
223 *  rt:hostname
224 *  rt:hostname:port
225 *
226 * If an error occured when attempting to open a trace, NULL is returned
227 * and an error is output to stdout.
228 */
229DLLEXPORT libtrace_t *trace_create(const char *uri) {
230        libtrace_t *libtrace =
231                        (libtrace_t *)malloc(sizeof(libtrace_t));
232        char *scan = 0;
233        const char *uridata = 0;
234
235        trace_init();
236
237        assert(uri && "Passing NULL to trace_create makes me a very sad program");
238
239        if (!libtrace) {
240                /* Out of memory */
241                return NULL;
242        }
243
244        libtrace->err.err_num = TRACE_ERR_NOERROR;
245        libtrace->format=NULL;
246
247        libtrace->event.tdelta = 0.0;
248        libtrace->event.packet = NULL;
249        libtrace->event.psize = 0;
250        libtrace->event.trace_last_ts = 0.0;
251        libtrace->event.waiting = false;
252        libtrace->filter = NULL;
253        libtrace->snaplen = 0;
254        libtrace->started=false;
255        libtrace->uridata = NULL;
256        libtrace->io = NULL;
257        libtrace->filtered_packets = 0;
258        libtrace->accepted_packets = 0;
259        libtrace->last_packet = NULL;
260       
261        /* Parallel inits */
262        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
263        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
264        libtrace->state = STATE_NEW;
265        libtrace->perpkt_queue_full = false;
266        libtrace->global_blob = NULL;
267        libtrace->hasher = NULL;
268        libtrace->hasher_data = NULL;
269        libtrace_zero_ocache(&libtrace->packet_freelist);
270        libtrace_zero_thread(&libtrace->hasher_thread);
271        libtrace_zero_thread(&libtrace->reporter_thread);
272        libtrace_zero_thread(&libtrace->keepalive_thread);
273        libtrace->reporter_thread.type = THREAD_EMPTY;
274        libtrace->perpkt_thread_count = 0;
275        libtrace->perpkt_threads = NULL;
276        libtrace->tracetime = 0;
277        libtrace->first_packets.first = 0;
278        libtrace->first_packets.count = 0;
279        libtrace->first_packets.packets = NULL;
280        libtrace->stats = NULL;
281        libtrace->pread = NULL;
282        libtrace->sequence_number = 0;
283        ZERO_USER_CONFIG(libtrace->config);
284        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
285        libtrace->perpkt_cbs = NULL;
286        libtrace->reporter_cbs = NULL;
287
288        /* Parse the URI to determine what sort of trace we are dealing with */
289        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
290                /* Could not parse the URI nicely */
291                guess_format(libtrace,uri);
292                if (!libtrace->format) {
293                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
294                        return libtrace;
295                }
296        }
297        else {
298                struct libtrace_format_t *tmp;
299
300                /* Find a format that matches the first part of the URI */
301                for (tmp=formats_list;tmp;tmp=tmp->next) {
302                        if (strlen(scan) == strlen(tmp->name) &&
303                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
304                                        ) {
305                                libtrace->format=tmp;
306                                break;
307                        }
308                }
309
310                if (libtrace->format == 0) {
311                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
312                                        "Unknown format (%s)",scan);
313                        return libtrace;
314                }
315
316                libtrace->uridata = strdup(uridata);
317        }
318        /* libtrace->format now contains the type of uri
319         * libtrace->uridata contains the appropriate data for this
320         */
321
322        /* Call the init_input function for the matching capture format */
323        if (libtrace->format->init_input) {
324                int err=libtrace->format->init_input(libtrace);
325                assert (err==-1 || err==0);
326                if (err==-1) {
327                        /* init_input should call trace_set_err to set the
328                         * error message
329                         */
330                        return libtrace;
331                }
332        } else {
333                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
334                                "Format does not support input (%s)",scan);
335                return libtrace;
336        }
337
338        if (scan)
339                free(scan);
340        libtrace->err.err_num=TRACE_ERR_NOERROR;
341        libtrace->err.problem[0]='\0';
342        return libtrace;
343}
344
345/* Creates a "dummy" trace file that has only the format type set.
346 *
347 * @returns opaque pointer to a (sparsely initialised) libtrace_t
348 *
349 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
350 * with the dummy trace. Its intended purpose is to act as a packet->trace for
351 * libtrace_packet_t's that are not associated with a libtrace_t structure.
352 */
353DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
354        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
355        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
356        char *uridata;
357        struct libtrace_format_t *tmp;
358
359        trace_init();
360
361        libtrace->err.err_num = TRACE_ERR_NOERROR;
362
363        if((uridata = strchr(uri,':')) == NULL) {
364                xstrncpy(scan, uri, strlen(uri));
365        } else {
366                xstrncpy(scan,uri, (size_t)(uridata - uri));
367        }
368
369        libtrace->err.err_num = TRACE_ERR_NOERROR;
370        libtrace->format=NULL;
371
372        libtrace->event.tdelta = 0.0;
373        libtrace->event.packet = NULL;
374        libtrace->event.psize = 0;
375        libtrace->event.trace_last_ts = 0.0;
376        libtrace->filter = NULL;
377        libtrace->snaplen = 0;
378        libtrace->started=false;
379        libtrace->uridata = NULL;
380        libtrace->io = NULL;
381        libtrace->filtered_packets = 0;
382        libtrace->accepted_packets = 0;
383        libtrace->last_packet = NULL;
384       
385        /* Parallel inits */
386        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
387        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
388        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
389        libtrace->perpkt_queue_full = false;
390        libtrace->global_blob = NULL;
391        libtrace->hasher = NULL;
392        libtrace_zero_ocache(&libtrace->packet_freelist);
393        libtrace_zero_thread(&libtrace->hasher_thread);
394        libtrace_zero_thread(&libtrace->reporter_thread);
395        libtrace_zero_thread(&libtrace->keepalive_thread);
396        libtrace->reporter_thread.type = THREAD_EMPTY;
397        libtrace->perpkt_thread_count = 0;
398        libtrace->perpkt_threads = NULL;
399        libtrace->tracetime = 0;
400        libtrace->stats = NULL;
401        libtrace->pread = NULL;
402        libtrace->sequence_number = 0;
403        ZERO_USER_CONFIG(libtrace->config);
404        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
405        libtrace->perpkt_cbs = NULL;
406        libtrace->reporter_cbs = NULL;
407        for(tmp=formats_list;tmp;tmp=tmp->next) {
408                if (strlen(scan) == strlen(tmp->name) &&
409                                !strncasecmp(scan,
410                                        tmp->name,
411                                        strlen(scan))) {
412                                libtrace->format=tmp;
413                                break;
414                                }
415        }
416        if (libtrace->format == 0) {
417                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
418                                "Unknown format (%s)",scan);
419        }
420
421        libtrace->format_data = NULL;
422        free(scan);
423        return libtrace;
424
425}
426
427/* Creates an output trace from a URI.
428 *
429 * @param uri   the uri string describing the output format and destination
430 * @returns opaque pointer to a libtrace_output_t
431 *
432 *  If an error occured when attempting to open the output trace, NULL is
433 *  returned and trace_errno is set.
434 */
435
436DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
437        libtrace_out_t *libtrace =
438                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
439
440        char *scan = 0;
441        const char *uridata = 0;
442        struct libtrace_format_t *tmp;
443
444        trace_init();
445
446        libtrace->err.err_num = TRACE_ERR_NOERROR;
447        strcpy(libtrace->err.problem,"Error message set\n");
448        libtrace->format = NULL;
449        libtrace->uridata = NULL;
450
451        /* Parse the URI to determine what capture format we want to write */
452
453        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
454                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
455                                "Bad uri format (%s)",uri);
456                return libtrace;
457        }
458
459        /* Attempt to find the format in the list of supported formats */
460        for(tmp=formats_list;tmp;tmp=tmp->next) {
461                if (strlen(scan) == strlen(tmp->name) &&
462                                !strncasecmp(scan,
463                                        tmp->name,
464                                        strlen(scan))) {
465                                libtrace->format=tmp;
466                                break;
467                                }
468        }
469        free(scan);
470
471        if (libtrace->format == NULL) {
472                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
473                                "Unknown output format (%s)",scan);
474                return libtrace;
475        }
476        libtrace->uridata = strdup(uridata);
477
478        /* libtrace->format now contains the type of uri
479         * libtrace->uridata contains the appropriate data for this
480         */
481
482        if (libtrace->format->init_output) {
483                /* 0 on success, -1 on failure */
484                switch(libtrace->format->init_output(libtrace)) {
485                        case -1: /* failure */
486                                return libtrace;
487                        case 0: /* success */
488                                break;
489                        default:
490                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
491                }
492        } else {
493                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
494                                "Format does not support writing (%s)",scan);
495                return libtrace;
496        }
497
498
499        libtrace->started=false;
500        return libtrace;
501}
502
503/* Start an input trace
504 * @param libtrace      the input trace to start
505 * @returns 0 on success
506 *
507 * This does the work associated with actually starting up
508 * the trace.  it may fail.
509 */
510DLLEXPORT int trace_start(libtrace_t *libtrace)
511{
512        assert(libtrace);
513        if (trace_is_err(libtrace))
514                return -1;
515        if (libtrace->format->start_input) {
516                int ret=libtrace->format->start_input(libtrace);
517                if (ret < 0) {
518                        return ret;
519                }
520        }
521
522        libtrace->started=true;
523        return 0;
524}
525
526/* Start an output trace */
527DLLEXPORT int trace_start_output(libtrace_out_t *libtrace)
528{
529        assert(libtrace);
530        if (libtrace->format->start_output) {
531                int ret=libtrace->format->start_output(libtrace);
532                if (ret < 0) {
533                        return ret;
534                }
535        }
536
537        libtrace->started=true;
538        return 0;
539}
540
541DLLEXPORT int trace_pause(libtrace_t *libtrace)
542{
543        assert(libtrace);
544        if (!libtrace->started) {
545                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
546                return -1;
547        }
548
549        /* Finish the last packet we read - for backwards compatibility */
550        if (libtrace->last_packet)
551                trace_fin_packet(libtrace->last_packet);
552        assert(libtrace->last_packet == NULL);
553
554        if (libtrace->format->pause_input)
555                libtrace->format->pause_input(libtrace);
556
557        libtrace->started=false;
558        return 0;
559}
560
561DLLEXPORT int trace_config(libtrace_t *libtrace,
562                trace_option_t option,
563                void *value)
564{
565        int ret;
566
567        if (trace_is_err(libtrace)) {
568                return -1;
569        }
570
571        if (option == TRACE_OPTION_HASHER)
572                return trace_set_hasher(libtrace,
573                                        (enum hasher_types) *((int *) value),
574                                        NULL, NULL);
575
576        /* If the capture format supports configuration, try using their
577         * native configuration first */
578        if (libtrace->format->config_input) {
579                ret=libtrace->format->config_input(libtrace,option,value);
580                if (ret==0)
581                        return 0;
582        }
583
584        /* If we get here, either the native configuration failed or the
585         * format did not support configuration. However, libtrace can
586         * deal with some options itself, so give that a go */
587        switch(option) {
588                case TRACE_OPTION_SNAPLEN:
589                        /* Clear the error if there was one */
590                        if (trace_is_err(libtrace)) {
591                                trace_get_err(libtrace);
592                        }
593                        if (*(int*)value<0
594                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
595                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
596                                        "Invalid snap length");
597                        }
598                        libtrace->snaplen=*(int*)value;
599                        return 0;
600                case TRACE_OPTION_FILTER:
601                        /* Clear the error if there was one */
602                        if (trace_is_err(libtrace)) {
603                                trace_get_err(libtrace);
604                        }
605                        libtrace->filter=(libtrace_filter_t *)value;
606                        return 0;
607                case TRACE_OPTION_PROMISC:
608                        if (!trace_is_err(libtrace)) {
609                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
610                                                "Promisc mode is not supported by this format module");
611                        }
612                        return -1;
613                case TRACE_OPTION_META_FREQ:
614                        if (!trace_is_err(libtrace)) {
615                                trace_set_err(libtrace,
616                                                TRACE_ERR_OPTION_UNAVAIL,
617                                                "This format does not support meta-data gathering");
618                        }
619                        return -1;
620                case TRACE_OPTION_EVENT_REALTIME:
621                        if (!trace_is_err(libtrace)) {
622                                trace_set_err(libtrace,
623                                                TRACE_ERR_OPTION_UNAVAIL,
624                                                "This format does not support realtime events");
625                        }
626                        return -1;
627                case TRACE_OPTION_HASHER:
628                        /* Dealt with earlier */
629                        return -1;
630
631        }
632        if (!trace_is_err(libtrace)) {
633                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
634                        "Unknown option %i", option);
635        }
636        return -1;
637}
638
639DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
640        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
641}
642
643DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
644        int tmp = promisc;
645        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
646}
647
648DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
649        return trace_config(trace, TRACE_OPTION_FILTER, filter);
650}
651
652DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
653        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
654}
655
656DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
657        int tmp = realtime;
658        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
659}
660
661DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
662                trace_option_output_t option,
663                void *value) {
664
665        /* Unlike the input options, libtrace does not natively support any of
666         * the output options - the format module must be able to deal with
667         * them. */
668        if (libtrace->format->config_output) {
669                return libtrace->format->config_output(libtrace, option, value);
670        }
671        return -1;
672}
673
674/* Close an input trace file, freeing up any resources it may have been using
675 *
676 */
677DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
678        int i;
679        assert(libtrace);
680
681        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
682        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
683
684        /* destroy any packets that are still around */
685        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
686                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
687                        if(libtrace->first_packets.packets[i].packet) {
688                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
689                        }
690                }
691                free(libtrace->first_packets.packets);
692                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
693        }
694
695        /* Finish any the last packet we read - for backwards compatibility */
696        if (libtrace->last_packet) {
697                trace_fin_packet(libtrace->last_packet);
698        }
699        assert(libtrace->last_packet == NULL);
700
701        if (libtrace->format) {
702                if (libtrace->started && libtrace->format->pause_input)
703                        libtrace->format->pause_input(libtrace);
704                if (libtrace->format->fin_input)
705                        libtrace->format->fin_input(libtrace);
706        }
707        /* Need to free things! */
708        if (libtrace->uridata)
709                free(libtrace->uridata);
710
711        if (libtrace->stats)
712                free(libtrace->stats);
713       
714        /* Empty any packet memory */
715        if (libtrace->state != STATE_NEW) {
716                // This has all of our packets
717                libtrace_ocache_destroy(&libtrace->packet_freelist);
718                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
719                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
720                }
721                libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
722                libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
723                libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
724
725
726                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
727                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
728                free(libtrace->perpkt_threads);
729                libtrace->perpkt_threads = NULL;
730                libtrace->perpkt_thread_count = 0;
731
732        }
733
734        if (libtrace->perpkt_cbs)
735                trace_destroy_callback_set(libtrace->perpkt_cbs);
736        if (libtrace->reporter_cbs)
737                trace_destroy_callback_set(libtrace->reporter_cbs);
738
739        if (libtrace->event.packet) {
740                /* Don't use trace_destroy_packet here - there is almost
741                 * certainly going to be another libtrace_packet_t that is
742                 * pointing to the buffer for this packet, so we don't want
743                 * to free it. Rather, it will get freed when the user calls
744                 * trace_destroy_packet on the libtrace_packet_t that they
745                 * own.
746                 *
747                 * All we need to do then is free our packet structure itself.
748                 */
749                 free(libtrace->event.packet);
750        }
751
752        free(libtrace);
753}
754
755
756DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
757        assert(libtrace);
758
759        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
760        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
761
762        /* Don't call pause_input or fin_input, because we should never have
763         * used this trace to do any reading anyway. Do make sure we free
764         * any format_data that has been created, though. */
765        if (libtrace->format_data)
766                free(libtrace->format_data);
767        free(libtrace);
768}
769/* Close an output trace file, freeing up any resources it may have been using
770 *
771 * @param libtrace      the output trace file to be destroyed
772 */
773DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace)
774{
775        assert(libtrace);
776        if (libtrace->format && libtrace->format->fin_output)
777                libtrace->format->fin_output(libtrace);
778        if (libtrace->uridata)
779                free(libtrace->uridata);
780        free(libtrace);
781}
782
783DLLEXPORT libtrace_packet_t *trace_create_packet(void)
784{
785        libtrace_packet_t *packet =
786                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
787
788        if (packet == NULL)
789                return NULL;
790
791        packet->buf_control=TRACE_CTRL_PACKET;
792        trace_clear_cache(packet);
793        return packet;
794}
795
796DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
797        libtrace_packet_t *dest = 
798                (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
799        if (!dest) {
800                printf("Out of memory constructing packet\n");
801                abort();
802        }
803        dest->trace=packet->trace;
804        dest->buffer=malloc(65536);
805        if (!dest->buffer) {
806                printf("Out of memory allocating buffer memory\n");
807                abort();
808        }
809        dest->header=dest->buffer;
810        dest->payload=(void*)
811                ((char*)dest->buffer+trace_get_framing_length(packet));
812        dest->type=packet->type;
813        dest->buf_control=TRACE_CTRL_PACKET;
814        dest->order = packet->order;
815        dest->hash = packet->hash;
816        dest->error = packet->error;
817        /* Reset the cache - better to recalculate than try to convert
818         * the values over to the new packet */
819        trace_clear_cache(dest);
820        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
821         * as much as possible */
822        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
823        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
824
825        return dest;
826}
827
828/** Destroy a packet object
829 */
830DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
831        /* Free any resources possibly associated with the packet */
832        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
833                packet->trace->format->fin_packet(packet);
834        }
835        if (packet->trace && packet->trace->last_packet == packet)
836                packet->trace->last_packet = NULL;
837       
838        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
839                free(packet->buffer);
840        }
841        packet->buf_control=(buf_control_t)'\0';
842                                /* A "bad" value to force an assert
843                                 * if this packet is ever reused
844                                 */
845        free(packet);
846}
847
848/**
849 * Removes any possible data stored againt the trace and releases any data.
850 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
851 * use trace_destroy_packet() for those diabolical purposes.
852 */
853void trace_fin_packet(libtrace_packet_t *packet) {
854        if (packet)
855        {
856                if (packet->trace && packet->trace->format->fin_packet) {
857                        packet->trace->format->fin_packet(packet);
858                }
859
860                if (packet->srcbucket && packet->internalid != 0) {
861                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
862                        libtrace_release_bucket_id(b, packet->internalid);
863                }
864
865                if (packet->trace) {
866                        pthread_mutex_lock(&packet->trace->libtrace_lock);
867                        if (packet->trace->last_packet == packet)
868                                packet->trace->last_packet = NULL;
869                        pthread_mutex_unlock(&packet->trace->libtrace_lock);
870                }
871
872                // No matter what we remove the header and link pointers
873                packet->trace = NULL;
874                packet->header = NULL;
875                packet->payload = NULL;
876
877                if (packet->buf_control != TRACE_CTRL_PACKET)
878                {
879                        packet->buffer = NULL;
880                }
881
882                trace_clear_cache(packet);
883                packet->hash = 0;
884                packet->order = 0;
885                packet->srcbucket = NULL;
886        }
887}
888
889/* Read one packet from the trace into buffer. Note that this function will
890 * block until a packet is read (or EOF is reached).
891 *
892 * @param libtrace      the libtrace opaque pointer
893 * @param packet        the packet opaque pointer
894 * @returns 0 on EOF, negative value on error
895 *
896 */
897DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
898
899        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
900        if (trace_is_err(libtrace))
901                return -1;
902        if (!libtrace->started) {
903                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
904                return -1;
905        }
906        if (!(packet->buf_control==TRACE_CTRL_PACKET
907                    || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
908                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
909                return -1;
910        }
911        assert(packet);
912
913        if (libtrace->format->read_packet) {
914                /* Finalise the packet, freeing any resources the format module
915                 * may have allocated it and zeroing all data associated with it.
916                 */
917                if (packet->trace == libtrace) {
918                        trace_fin_packet(packet);
919                }
920                do {
921                        size_t ret;
922                        int filtret;
923                        if (libtrace_halt)
924                                return 0;
925                        /* Store the trace we are reading from into the packet opaque
926                         * structure */
927                        packet->trace = libtrace;
928                        ret=libtrace->format->read_packet(libtrace,packet);
929                        if (ret==(size_t)-1 || ret==0) {
930                                packet->trace = NULL;
931                                return ret;
932                        }
933                        if (libtrace->filter) {
934                                /* If the filter doesn't match, read another
935                                 * packet
936                                 */
937                                filtret = trace_apply_filter(libtrace->filter, packet);
938                                if (filtret == -1) {
939                                        /* Error compiling filter, probably */
940                                        return ~0U;
941                                }
942
943                                if (filtret == 0) {
944                                        ++libtrace->filtered_packets;
945                                        trace_fin_packet(packet);
946                                        continue;
947                                }
948                        }
949                        if (libtrace->snaplen>0) {
950                                /* Snap the packet */
951                                trace_set_capture_length(packet,
952                                                libtrace->snaplen);
953                        }
954                        trace_packet_set_order(packet, libtrace->sequence_number);
955                        ++libtrace->accepted_packets;
956                        ++libtrace->sequence_number;
957                        if (packet->trace == libtrace)
958                                libtrace->last_packet = packet;
959
960                        return ret;
961                } while(1);
962        }
963        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
964        return ~0U;
965}
966
967/* Converts the provided buffer into a libtrace packet of the given type.
968 *
969 * Unlike trace_construct_packet, the buffer is expected to begin with the
970 * appropriate capture format header for the format type that the packet is
971 * being converted to. This also allows for a packet to be converted into
972 * just about capture format that is supported by libtrace, provided the
973 * format header is present in the buffer.
974 *
975 * This function is primarily used to convert packets received via the RT
976 * protocol back into their original capture format. The RT header encapsulates
977 * the original capture format header, so after removing it the packet must
978 * have it's header and payload pointers updated and the packet format and type
979 * changed, amongst other things.
980 *
981 * Intended only for internal use at this point - this function is not
982 * available through the external libtrace API.
983 */
984int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
985                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
986
987        assert(packet);
988        assert(trace);
989
990        /* XXX Proper error handling?? */
991        if (buffer == NULL)
992                return -1;
993
994        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
995                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
996                return -1;
997        }
998
999        packet->trace = trace;
1000        pthread_mutex_lock(&trace->libtrace_lock);
1001        trace->last_packet = packet;
1002        pthread_mutex_unlock(&trace->libtrace_lock);
1003        /* Clear packet cache */
1004        trace_clear_cache(packet);
1005
1006        if (trace->format->prepare_packet) {
1007                return trace->format->prepare_packet(trace, packet,
1008                                buffer, rt_type, flags);
1009        }
1010        trace_set_err(trace, TRACE_ERR_UNSUPPORTED,
1011                        "This format does not support preparing packets\n");
1012        return -1;
1013
1014}
1015
1016/* Writes a packet to the specified output trace
1017 *
1018 * @param libtrace      describes the output format, destination, etc.
1019 * @param packet        the packet to be written out
1020 * @returns the number of bytes written, -1 if write failed
1021 */
1022DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1023        assert(libtrace);
1024        assert(packet);
1025        /* Verify the packet is valid */
1026        if (!libtrace->started) {
1027                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1028                        "Trace is not started before trace_write_packet");
1029                return -1;
1030        }
1031
1032        if (libtrace->format->write_packet) {
1033                return libtrace->format->write_packet(libtrace, packet);
1034        }
1035        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1036                "This format does not support writing packets");
1037        return -1;
1038}
1039
1040/* Get a pointer to the first byte of the packet payload */
1041DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1042                libtrace_linktype_t *linktype, uint32_t *remaining) {
1043        int cap_len;
1044        int wire_len;
1045
1046        assert(packet != NULL);
1047        if (linktype) *linktype = trace_get_link_type(packet);
1048        if (remaining) {
1049                /* I think we should choose the minimum of the capture and
1050                 * wire lengths to be the "remaining" value. If the packet has
1051                 * been padded to increase the capture length, we don't want
1052                 * to allow subsequent protocol decoders to consider the
1053                 * padding as part of the packet.
1054                 *
1055                 * For example, in Auck 4 there is a trace where the IP header
1056                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1057                 * header. Total IP length is 40 bytes. As a result, the
1058                 * legacyatm padding gets treated as the "missing" bytes of
1059                 * the TCP header, which isn't the greatest. We're probably
1060                 * better off returning an incomplete TCP header in that case.
1061                 */
1062
1063                cap_len = trace_get_capture_length(packet);
1064                wire_len = trace_get_wire_length(packet);
1065
1066                assert(cap_len >= 0);
1067
1068                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1069                 * massively negative wire lens. We could assert fail here on
1070                 * them, but we could at least try the capture length instead.
1071                 *
1072                 * You may still run into problems if you try to write that
1073                 * packet, but at least reading should work OK.
1074                 */
1075                if (wire_len < 0)
1076                        *remaining = cap_len;
1077                else if (wire_len < cap_len)
1078                        *remaining = wire_len;
1079                else
1080                        *remaining = cap_len;
1081                /* *remaining = trace_get_capture_length(packet); */
1082        }
1083        return (void *) packet->payload;
1084}
1085
1086
1087/* Get a pointer to the first byte of the packet payload
1088 *
1089 * DEPRECATED - use trace_get_packet_buffer() instead */
1090DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1091        return (void *)packet->payload;
1092}
1093
1094/* Get the current time in DAG time format
1095 * @param packet        a pointer to a libtrace_packet structure
1096 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1097 * past 1970-01-01, the lower 32bits are partial seconds)
1098 */
1099DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1100        if (packet->trace->format->get_erf_timestamp) {
1101                /* timestamp -> timestamp */
1102                return packet->trace->format->get_erf_timestamp(packet);
1103        } else if (packet->trace->format->get_timespec) {
1104                /* timespec -> timestamp */
1105                struct timespec ts;
1106                ts = packet->trace->format->get_timespec(packet);
1107                return ((((uint64_t)ts.tv_sec) << 32) +
1108                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1109        } else if (packet->trace->format->get_timeval) {
1110                /* timeval -> timestamp */
1111                struct timeval tv;
1112                tv = packet->trace->format->get_timeval(packet);
1113                return ((((uint64_t)tv.tv_sec) << 32) +
1114                                (((uint64_t)tv.tv_usec << 32)/1000000));
1115        } else if (packet->trace->format->get_seconds) {
1116                /* seconds -> timestamp */
1117                double seconds = packet->trace->format->get_seconds(packet);
1118                return (((uint64_t)seconds)<<32)
1119                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1120        }
1121        else {
1122                return (uint64_t)0;
1123        }
1124}
1125
1126/* Get the current time in struct timeval
1127 * @param packet        a pointer to a libtrace_packet structure
1128 *
1129 * @returns time that this packet was seen in a struct timeval
1130 * @author Daniel Lawson
1131 * @author Perry Lorier
1132 */
1133DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1134        struct timeval tv;
1135        uint64_t ts = 0;
1136        if (packet->trace->format->get_timeval) {
1137                /* timeval -> timeval */
1138                tv = packet->trace->format->get_timeval(packet);
1139        } else if (packet->trace->format->get_erf_timestamp) {
1140                /* timestamp -> timeval */
1141                ts = packet->trace->format->get_erf_timestamp(packet);
1142                tv.tv_sec = ts >> 32;
1143                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1144                if (tv.tv_usec >= 1000000) {
1145                        tv.tv_usec -= 1000000;
1146                        tv.tv_sec += 1;
1147                }
1148        } else if (packet->trace->format->get_timespec) {
1149                struct timespec ts = packet->trace->format->get_timespec(packet);
1150                tv.tv_sec = ts.tv_sec;
1151                tv.tv_usec = ts.tv_nsec/1000;
1152        } else if (packet->trace->format->get_seconds) {
1153                /* seconds -> timeval */
1154                double seconds = packet->trace->format->get_seconds(packet);
1155                tv.tv_sec = (uint32_t)seconds;
1156                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1157        }
1158        else {
1159                tv.tv_sec=-1;
1160                tv.tv_usec=-1;
1161        }
1162
1163    return tv;
1164}
1165
1166DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1167        struct timespec ts;
1168
1169        if (packet->trace->format->get_timespec) {
1170                return packet->trace->format->get_timespec(packet);
1171        } else if (packet->trace->format->get_erf_timestamp) {
1172                /* timestamp -> timeval */
1173                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1174                ts.tv_sec = erfts >> 32;
1175                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1176                if (ts.tv_nsec >= 1000000000) {
1177                        ts.tv_nsec -= 1000000000;
1178                        ts.tv_sec += 1;
1179                }
1180                return ts;
1181        } else if (packet->trace->format->get_timeval) {
1182                /* timeval -> timespec */
1183                struct timeval tv = packet->trace->format->get_timeval(packet);
1184                ts.tv_sec = tv.tv_sec;
1185                ts.tv_nsec = tv.tv_usec*1000;
1186                return ts;
1187        } else if (packet->trace->format->get_seconds) {
1188                /* seconds -> timespec */
1189                double seconds = packet->trace->format->get_seconds(packet);
1190                ts.tv_sec = (uint32_t)seconds;
1191                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1192                return ts;
1193        }
1194        else {
1195                ts.tv_sec=-1;
1196                ts.tv_nsec=-1;
1197                return ts;
1198        }
1199}
1200
1201
1202/* Get the current time in floating point seconds
1203 * @param packet        a pointer to a libtrace_packet structure
1204 * @returns time that this packet was seen in 64bit floating point seconds
1205 */
1206DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1207        double seconds = 0.0;
1208
1209        if (packet->trace->format->get_seconds) {
1210                /* seconds->seconds */
1211                seconds = packet->trace->format->get_seconds(packet);
1212        } else if (packet->trace->format->get_erf_timestamp) {
1213                /* timestamp -> seconds */
1214                uint64_t ts = 0;
1215                ts = packet->trace->format->get_erf_timestamp(packet);
1216                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1217        } else if (packet->trace->format->get_timespec) {
1218                /* timespec -> seconds */
1219                struct timespec ts;
1220                ts = packet->trace->format->get_timespec(packet);
1221                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1222        } else if (packet->trace->format->get_timeval) {
1223                /* timeval -> seconds */
1224                struct timeval tv;
1225                tv = packet->trace->format->get_timeval(packet);
1226                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1227        }
1228
1229        return seconds;
1230}
1231
1232DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet)
1233{
1234        /* Cache the capture length */
1235        if (packet->capture_length == -1) {
1236                if (!packet->trace->format->get_capture_length)
1237                        return ~0U;
1238                /* Cast away constness because this is "just" a cache */
1239                ((libtrace_packet_t*)packet)->capture_length =
1240                        packet->trace->format->get_capture_length(packet);
1241        }
1242
1243        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1244
1245        return packet->capture_length;
1246}
1247
1248/* Get the size of the packet as it was seen on the wire.
1249 * @param packet        a pointer to a libtrace_packet structure
1250 *
1251 * @returns the size of the packet as it was on the wire.
1252 * @note Due to the trace being a header capture, or anonymisation this may
1253 * not be the same as the Capture Len.
1254 */
1255DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1256
1257        if (packet->wire_length == -1) {
1258                if (!packet->trace->format->get_wire_length)
1259                        return ~0U;
1260                ((libtrace_packet_t *)packet)->wire_length =
1261                        packet->trace->format->get_wire_length(packet);
1262        }
1263
1264        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1265        return packet->wire_length;
1266
1267}
1268
1269/* Get the length of the capture framing headers.
1270 * @param packet        the packet opaque pointer
1271 * @returns the size of the packet as it was on the wire.
1272 * @note this length corresponds to the difference between the size of a
1273 * captured packet in memory, and the captured length of the packet
1274 */
1275DLLEXPORT SIMPLE_FUNCTION
1276size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1277        if (packet->trace->format->get_framing_length) {
1278                return packet->trace->format->get_framing_length(packet);
1279        }
1280        return ~0U;
1281}
1282
1283
1284/* Get the type of the link layer
1285 * @param packet        a pointer to a libtrace_packet structure
1286 * @returns libtrace_linktype_t
1287 */
1288DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1289
1290        if (packet->link_type == 0) {
1291                if (!packet->trace->format->get_link_type)
1292                        return TRACE_TYPE_UNKNOWN;
1293                ((libtrace_packet_t *)packet)->link_type =
1294                        packet->trace->format->get_link_type(packet);
1295        }
1296
1297        return packet->link_type;
1298}
1299
1300/* process a libtrace event
1301 * @param trace the libtrace opaque pointer
1302 * @param packet the libtrace_packet opaque pointer
1303 * @returns
1304 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1305 *  TRACE_EVENT_SLEEP   Next event in seconds
1306 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1307 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1308 * FIXME currently keeps a copy of the packet inside the trace pointer,
1309 * which in turn is stored inside the new packet object...
1310 */
1311DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace,
1312                libtrace_packet_t *packet) {
1313        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1314
1315        if (!trace) {
1316                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1317        }
1318        assert(trace);
1319        assert(packet);
1320
1321        /* Free the last packet */
1322        trace_fin_packet(packet);
1323        /* Store the trace we are reading from into the packet opaque
1324         * structure */
1325        packet->trace = trace;
1326
1327        if (packet->trace->format->trace_event) {
1328                /* Note: incrementing accepted, filtered etc. packet
1329                 * counters is handled by the format-specific
1330                 * function so don't increment them here.
1331                 */
1332                event=packet->trace->format->trace_event(trace,packet);
1333                }
1334        return event;
1335
1336}
1337
1338/** Setup a BPF filter based on pre-compiled byte-code.
1339 * @param bf_insns      A pointer to the start of the byte-code
1340 * @param bf_len        The number of BPF instructions
1341 * @returns             an opaque pointer to a libtrace_filter_t object
1342 * @note                The supplied byte-code is not checked for correctness.
1343 * @author              Scott Raynel
1344 */
1345DLLEXPORT libtrace_filter_t *
1346trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1347{
1348#ifndef HAVE_BPF_FILTER
1349        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1350        return NULL;
1351#else
1352        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1353                malloc(sizeof(struct libtrace_filter_t));
1354        filter->filter.bf_insns = (struct bpf_insn *)
1355                malloc(sizeof(struct bpf_insn) * bf_len);
1356
1357        memcpy(filter->filter.bf_insns, bf_insns,
1358                        bf_len * sizeof(struct bpf_insn));
1359
1360        filter->filter.bf_len = bf_len;
1361        filter->filterstring = NULL;
1362        filter->jitfilter = NULL;
1363        /* "flag" indicates that the filter member is valid */
1364        filter->flag = 1;
1365
1366        return filter;
1367#endif
1368}
1369
1370/* Create a BPF filter
1371 * @param filterstring a char * containing the bpf filter string
1372 * @returns opaque pointer pointer to a libtrace_filter_t object
1373 */
1374DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1375#ifdef HAVE_BPF_FILTER
1376        libtrace_filter_t *filter = (libtrace_filter_t*)
1377                                malloc(sizeof(libtrace_filter_t));
1378        filter->filterstring = strdup(filterstring);
1379        filter->jitfilter = NULL;
1380        filter->flag = 0;
1381        return filter;
1382#else
1383        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1384        return NULL;
1385#endif
1386}
1387
1388DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1389{
1390#ifdef HAVE_BPF_FILTER
1391        free(filter->filterstring);
1392        if (filter->flag)
1393                pcap_freecode(&filter->filter);
1394#ifdef HAVE_LLVM
1395        if (filter->jitfilter)
1396                destroy_program(filter->jitfilter);
1397#endif
1398        free(filter);
1399#else
1400
1401#endif
1402}
1403
1404/* Compile a bpf filter, now we know the link type for the trace that we're
1405 * applying it to.
1406 *
1407 * @internal
1408 *
1409 * @returns -1 on error, 0 on success
1410 */
1411static int trace_bpf_compile(libtrace_filter_t *filter,
1412                const libtrace_packet_t *packet,
1413                void *linkptr,
1414                libtrace_linktype_t linktype    ) {
1415#ifdef HAVE_BPF_FILTER
1416        /* It just so happens that the underlying libs used by pthread arn't
1417         * thread safe, namely lex/flex thingys, so single threaded compile
1418         * multi threaded running should be safe.
1419         */
1420        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1421        assert(filter);
1422
1423        /* If this isn't a real packet, then fail */
1424        if (!linkptr) {
1425                trace_set_err(packet->trace,
1426                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1427                return -1;
1428        }
1429
1430        if (filter->filterstring && ! filter->flag) {
1431                pcap_t *pcap = NULL;
1432                if (linktype==(libtrace_linktype_t)-1) {
1433                        trace_set_err(packet->trace,
1434                                        TRACE_ERR_BAD_FILTER,
1435                                        "Packet has an unknown linktype");
1436                        return -1;
1437                }
1438                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1439                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1440                                        "Unknown pcap equivalent linktype");
1441                        return -1;
1442                }
1443                assert (pthread_mutex_lock(&mutex) == 0);
1444                /* Make sure not one bet us to this */
1445                if (filter->flag) {
1446                        assert (pthread_mutex_unlock(&mutex) == 0);
1447                        return 1;
1448                }
1449                pcap=(pcap_t *)pcap_open_dead(
1450                                (int)libtrace_to_pcap_dlt(linktype),
1451                                1500U);
1452                /* build filter */
1453                assert(pcap);
1454                if (pcap_compile( pcap, &filter->filter, filter->filterstring,
1455                                        1, 0)) {
1456                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1457                                        "Unable to compile the filter \"%s\": %s",
1458                                        filter->filterstring,
1459                                        pcap_geterr(pcap));
1460                        pcap_close(pcap);
1461                        assert (pthread_mutex_unlock(&mutex) == 0);
1462                        return -1;
1463                }
1464                pcap_close(pcap);
1465                filter->flag=1;
1466                assert (pthread_mutex_unlock(&mutex) == 0);
1467        }
1468        return 0;
1469#else
1470        assert(!"Internal bug: This should never be called when BPF not enabled");
1471        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1472                                "Feature unavailable");
1473        return -1;
1474#endif
1475}
1476
1477DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1478                        const libtrace_packet_t *packet) {
1479#ifdef HAVE_BPF_FILTER
1480        void *linkptr = 0;
1481        uint32_t clen = 0;
1482        bool free_packet_needed = false;
1483        int ret;
1484        libtrace_linktype_t linktype;
1485        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1486#ifdef HAVE_LLVM
1487        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1488#endif
1489
1490        assert(filter);
1491        assert(packet);
1492
1493        /* Match all non-data packets as we probably want them to pass
1494         * through to the caller */
1495        linktype = trace_get_link_type(packet);
1496
1497        if (linktype == TRACE_TYPE_NONDATA)
1498                return 1;
1499
1500        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1501
1502                /* If we cannot get a suitable DLT for the packet, it may
1503                 * be because the packet is encapsulated in a link type that
1504                 * does not correspond to a DLT. Therefore, we should try
1505                 * popping off headers until we either can find a suitable
1506                 * link type or we can't do any more sensible decapsulation. */
1507
1508                /* Copy the packet, as we don't want to trash the one we
1509                 * were passed in */
1510                packet_copy=trace_copy_packet(packet);
1511                free_packet_needed=true;
1512
1513                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1514                        if (!demote_packet(packet_copy)) {
1515                                trace_set_err(packet->trace,
1516                                                TRACE_ERR_NO_CONVERSION,
1517                                                "pcap does not support this format");
1518                                if (free_packet_needed) {
1519                                        trace_destroy_packet(packet_copy);
1520                                }
1521                                return -1;
1522                        }
1523                        linktype = trace_get_link_type(packet_copy);
1524                }
1525
1526        }
1527
1528        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1529        if (!linkptr) {
1530                if (free_packet_needed) {
1531                        trace_destroy_packet(packet_copy);
1532                }
1533                return 0;
1534        }
1535
1536        /* We need to compile the filter now, because before we didn't know
1537         * what the link type was
1538         */
1539        // Note internal mutex locking used here
1540        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1541                if (free_packet_needed) {
1542                        trace_destroy_packet(packet_copy);
1543                }
1544                return -1;
1545        }
1546
1547        /* If we're jitting, we may need to JIT the BPF code now too */
1548#if HAVE_LLVM
1549        if (!filter->jitfilter) {
1550                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1551                /* Again double check here like the bpf filter */
1552                if(!filter->jitfilter)
1553                /* Looking at compile_program source this appears to be thread safe
1554                 * however if this gets called twice we will leak this memory :(
1555                 * as such lock here anyways */
1556                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1557                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1558        }
1559#endif
1560
1561        assert(filter->flag);
1562        /* Now execute the filter */
1563#if HAVE_LLVM
1564        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1565#else
1566        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1567#endif
1568
1569        /* If we copied the packet earlier, make sure that we free it */
1570        if (free_packet_needed) {
1571                trace_destroy_packet(packet_copy);
1572        }
1573        return ret;
1574#else
1575        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1576        return 0;
1577#endif
1578}
1579
1580/* Set the direction flag, if it has one
1581 * @param packet the packet opaque pointer
1582 * @param direction the new direction (0,1,2,3)
1583 * @returns a signed value containing the direction flag, or -1 if this is not supported
1584 */
1585DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet,
1586                libtrace_direction_t direction)
1587{
1588        assert(packet);
1589        if (packet->trace->format->set_direction) {
1590                return packet->trace->format->set_direction(packet,direction);
1591        }
1592        return (libtrace_direction_t)~0U;
1593}
1594
1595/* Get the direction flag, if it has one
1596 * @param packet a pointer to a libtrace_packet structure
1597 * @returns a signed value containing the direction flag, or -1 if this is not supported
1598 * The direction is defined as 0 for packets originating locally (ie, outbound)
1599 * and 1 for packets originating remotely (ie, inbound).
1600 * Other values are possible, which might be overloaded to mean special things
1601 * for a special trace.
1602 */
1603DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet)
1604{
1605        assert(packet);
1606        if (packet->trace->format->get_direction) {
1607                return packet->trace->format->get_direction(packet);
1608        }
1609        return (libtrace_direction_t)~0U;
1610}
1611
1612#define ROOT_SERVER(x) ((x) < 512)
1613#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1614#define NONROOT_SERVER(x) ((x) >= 5000)
1615#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1616#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1617#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1618#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1619
1620/* Attempt to deduce the 'server' port
1621 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1622 * @param source the TCP or UDP source port
1623 * @param dest the TCP or UDP destination port
1624 * @returns a hint as to which port is the server port
1625 */
1626DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol,
1627                uint16_t source, uint16_t dest)
1628{
1629        /*
1630         * * If the ports are equal, return DEST
1631         * * Check for well-known ports in the given protocol
1632         * * Root server ports: 0 - 511
1633         * * Root client ports: 512 - 1023
1634         * * non-root client ports: 1024 - 4999
1635         * * non-root server ports: 5000+
1636         * * Check for static ranges: 1024 - 49151
1637         * * Check for dynamic ranges: 49152 - 65535
1638         * * flip a coin.
1639         */
1640
1641        /* equal */
1642        if (source == dest)
1643                return USE_DEST;
1644
1645        /* root server port, 0 - 511 */
1646        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1647                if (source < dest)
1648                        return USE_SOURCE;
1649                return USE_DEST;
1650        }
1651
1652        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1653                return USE_SOURCE;
1654        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1655                return USE_DEST;
1656
1657        /* non-root server */
1658        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1659                if (source < dest)
1660                        return USE_SOURCE;
1661                return USE_DEST;
1662        }
1663        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1664                return USE_SOURCE;
1665        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1666                return USE_DEST;
1667
1668        /* root client */
1669        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1670                if (source < dest)
1671                        return USE_SOURCE;
1672                return USE_DEST;
1673        }
1674        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1675                /* prefer root-client over nonroot-client */
1676                if (NONROOT_CLIENT(dest))
1677                        return USE_SOURCE;
1678                return USE_DEST;
1679        }
1680        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1681                /* prefer root-client over nonroot-client */
1682                if (NONROOT_CLIENT(source))
1683                        return USE_DEST;
1684                return USE_SOURCE;
1685        }
1686
1687        /* nonroot client */
1688        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1689                if (source < dest)
1690                        return USE_SOURCE;
1691                return USE_DEST;
1692        }
1693        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1694                return USE_DEST;
1695        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1696                return USE_SOURCE;
1697
1698        /* dynamic range */
1699        if (DYNAMIC(source) && DYNAMIC(dest)) {
1700                if (source < dest)
1701                        return USE_SOURCE;
1702                return USE_DEST;
1703        }
1704        if (DYNAMIC(source) && !DYNAMIC(dest))
1705                return USE_DEST;
1706        if (!DYNAMIC(source) && DYNAMIC(dest))
1707                return USE_SOURCE;
1708        /*
1709        if (SERVER(source) && CLIENT(dest))
1710                return USE_SOURCE;
1711
1712        if (SERVER(dest) && CLIENT(source))
1713                return USE_DEST;
1714        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1715                return USE_SOURCE;
1716        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1717                return USE_DEST;
1718        */
1719        /* failing that test... */
1720        if (source < dest) {
1721                return USE_SOURCE;
1722        }
1723        return USE_DEST;
1724
1725}
1726
1727/* Truncate the packet at the suggested length
1728 * @param packet        the packet opaque pointer
1729 * @param size          the new length of the packet
1730 * @returns the new size of the packet
1731 * @note size and the return size refer to the network-level payload of the
1732 * packet, and do not include any capture headers. For example, to truncate a
1733 * packet after the IP header, set size to sizeof(ethernet_header) +
1734 * sizeof(ip_header)
1735 * @note If the original network-level payload is smaller than size, then the
1736 * original size is returned and the packet is left unchanged.
1737 */
1738DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1739        assert(packet);
1740
1741        if (packet->trace->format->set_capture_length) {
1742                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1743                return packet->capture_length;
1744        }
1745
1746        return ~0U;
1747}
1748
1749/* Splits a URI into two components - the format component which is seen before
1750 * the ':', and the uridata which follows the ':'.
1751 *
1752 * Returns a pointer to the URI data, but updates the format parameter to
1753 * point to a copy of the format component.
1754 */
1755
1756DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1757        const char *uridata = 0;
1758
1759        if((uridata = strchr(uri,':')) == NULL) {
1760                /* Badly formed URI - needs a : */
1761                return 0;
1762        }
1763
1764        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1765                /* Badly formed URI - uri type is too long */
1766                return 0;
1767        }
1768
1769        /* NOTE: this is allocated memory - it should be freed by the caller
1770         * once they are done with it */
1771        *format=xstrndup(uri, (size_t)(uridata - uri));
1772
1773        /* Push uridata past the delimiter */
1774        uridata++;
1775
1776        return uridata;
1777}
1778
1779enum base_format_t trace_get_format(libtrace_packet_t *packet)
1780{
1781        assert(packet);
1782
1783        return packet->trace->format->type;
1784}
1785
1786DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1787{
1788        libtrace_err_t err = trace->err;
1789        trace->err.err_num = 0; /* "OK" */
1790        trace->err.problem[0]='\0';
1791        return err;
1792}
1793
1794DLLEXPORT bool trace_is_err(libtrace_t *trace)
1795{
1796        return trace->err.err_num != 0;
1797}
1798
1799/* Prints the input error status to standard error and clears the error state */
1800DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1801{
1802        char buf[256];
1803        va_list va;
1804        va_start(va,msg);
1805        vsnprintf(buf,sizeof(buf),msg,va);
1806        va_end(va);
1807        if(trace->err.err_num) {
1808                if (trace->uridata) {
1809                        fprintf(stderr,"%s(%s): %s\n",
1810                                        buf,trace->uridata,trace->err.problem);
1811                } else {
1812                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1813                }
1814        } else {
1815                if (trace->uridata) {
1816                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1817                } else {
1818                        fprintf(stderr,"%s: No error\n", buf);
1819                }
1820        }
1821        trace->err.err_num = 0; /* "OK" */
1822        trace->err.problem[0]='\0';
1823}
1824
1825DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1826{
1827        libtrace_err_t err = trace->err;
1828        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1829        trace->err.problem[0]='\0';
1830        return err;
1831}
1832
1833DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1834{
1835        return trace->err.err_num != 0;
1836}
1837
1838/* Prints the output error status to standard error and clears the error state
1839 */
1840DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1841{
1842        char buf[256];
1843        va_list va;
1844        va_start(va,msg);
1845        vsnprintf(buf,sizeof(buf),msg,va);
1846        va_end(va);
1847        if(trace->err.err_num) {
1848                fprintf(stderr,"%s(%s): %s\n",
1849                                buf,
1850                                trace->uridata?trace->uridata:"no uri",
1851                                trace->err.problem);
1852        } else {
1853                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1854        }
1855        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1856        trace->err.problem[0]='\0';
1857}
1858
1859DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1860{
1861        if (trace->format->seek_erf) {
1862                return trace->format->seek_erf(trace,ts);
1863        }
1864        else {
1865                if (trace->format->seek_timeval) {
1866                        struct timeval tv;
1867#if __BYTE_ORDER == __BIG_ENDIAN
1868                        tv.tv_sec = ts & 0xFFFFFFFF;
1869                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1870#elif __BYTE_ORDER == __LITTLE_ENDIAN
1871                        tv.tv_sec = ts >> 32;
1872                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1873#else
1874#error "What on earth are you running this on?"
1875#endif
1876                        if (tv.tv_usec >= 1000000) {
1877                                tv.tv_usec -= 1000000;
1878                                tv.tv_sec += 1;
1879                        }
1880                        return trace->format->seek_timeval(trace,tv);
1881                }
1882                if (trace->format->seek_seconds) {
1883                        double seconds =
1884                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1885                        return trace->format->seek_seconds(trace,seconds);
1886                }
1887                trace_set_err(trace,
1888                                TRACE_ERR_OPTION_UNAVAIL,
1889                                "Feature unimplemented");
1890                return -1;
1891        }
1892}
1893
1894DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1895{
1896        if (trace->format->seek_seconds) {
1897                return trace->format->seek_seconds(trace,seconds);
1898        }
1899        else {
1900                if (trace->format->seek_timeval) {
1901                        struct timeval tv;
1902                        tv.tv_sec = (uint32_t)seconds;
1903                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1904                        return trace->format->seek_timeval(trace,tv);
1905                }
1906                if (trace->format->seek_erf) {
1907                        uint64_t timestamp =
1908                                ((uint64_t)((uint32_t)seconds) << 32) + \
1909                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1910                        return trace->format->seek_erf(trace,timestamp);
1911                }
1912                trace_set_err(trace,
1913                                TRACE_ERR_OPTION_UNAVAIL,
1914                                "Feature unimplemented");
1915                return -1;
1916        }
1917}
1918
1919DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1920{
1921        if (trace->format->seek_timeval) {
1922                return trace->format->seek_timeval(trace,tv);
1923        }
1924        else {
1925                if (trace->format->seek_erf) {
1926                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1927                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1928                        return trace->format->seek_erf(trace,timestamp);
1929                }
1930                if (trace->format->seek_seconds) {
1931                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1932                        return trace->format->seek_seconds(trace,seconds);
1933                }
1934                trace_set_err(trace,
1935                                TRACE_ERR_OPTION_UNAVAIL,
1936                                "Feature unimplemented");
1937                return -1;
1938        }
1939}
1940
1941/* Converts a binary ethernet MAC address into a printable string */
1942DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1943{
1944        static char staticbuf[18]={0,};
1945        if (!buf)
1946                buf=staticbuf;
1947        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1948                        addr[0],addr[1],addr[2],
1949                        addr[3],addr[4],addr[5]);
1950        return buf;
1951}
1952
1953/* Converts a printable ethernet MAC address into a binary format */
1954DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1955{
1956        uint8_t *buf2 = addr;
1957        unsigned int tmp[6];
1958        static uint8_t staticaddr[6];
1959        if (!buf2)
1960                buf2=staticaddr;
1961        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1962                        &tmp[0],&tmp[1],&tmp[2],
1963                        &tmp[3],&tmp[4],&tmp[5]);
1964        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1965        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1966        return buf2;
1967}
1968
1969
1970/* Creates a libtrace packet from scratch using the contents of the provided
1971 * buffer as the packet payload.
1972 *
1973 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1974 * format headers; instead this function will add the PCAP header to the
1975 * packet record. This also means only PCAP packets can be constructed using
1976 * this function.
1977 *
1978 */
1979DLLEXPORT
1980void trace_construct_packet(libtrace_packet_t *packet,
1981                libtrace_linktype_t linktype,
1982                const void *data,
1983                uint16_t len)
1984{
1985        size_t size;
1986        static libtrace_t *deadtrace=NULL;
1987        libtrace_pcapfile_pkt_hdr_t hdr;
1988#ifdef WIN32
1989        struct _timeb tstruct;
1990#else
1991        struct timeval tv;
1992#endif
1993
1994        /* We need a trace to attach the constructed packet to (and it needs
1995         * to be PCAP) */
1996        if (NULL == deadtrace)
1997                deadtrace=trace_create_dead("pcapfile");
1998
1999        /* Fill in the new PCAP header */
2000#ifdef WIN32
2001        _ftime(&tstruct);
2002        hdr.ts_sec=tstruct.time;
2003        hdr.ts_usec=tstruct.millitm * 1000;
2004#else
2005        gettimeofday(&tv,NULL);
2006        hdr.ts_sec=tv.tv_sec;
2007        hdr.ts_usec=tv.tv_usec;
2008#endif
2009
2010        hdr.caplen=len;
2011        hdr.wirelen=len;
2012
2013        /* Now fill in the libtrace packet itself */
2014        assert(deadtrace);
2015        packet->trace=deadtrace;
2016        size=len+sizeof(hdr);
2017        if (size < LIBTRACE_PACKET_BUFSIZE)
2018            size = LIBTRACE_PACKET_BUFSIZE;
2019        if (packet->buf_control==TRACE_CTRL_PACKET) {
2020            packet->buffer = realloc(packet->buffer, size);
2021        }
2022        else {
2023                packet->buffer = malloc(size);
2024        }
2025        packet->buf_control=TRACE_CTRL_PACKET;
2026        packet->header=packet->buffer;
2027        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2028
2029        /* Ugh, memmove - sadly necessary, also beware that we might be
2030         * moving data around within this packet, so ordering is important.
2031         */
2032        memmove(packet->payload, data, (size_t)len);
2033        memmove(packet->header, &hdr, sizeof(hdr));
2034        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2035
2036        trace_clear_cache(packet);
2037}
2038
2039
2040uint64_t trace_get_received_packets(libtrace_t *trace)
2041{
2042        assert(trace);
2043        uint64_t ret;
2044
2045        if (trace->format->get_received_packets) {
2046                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2047                        return ret;
2048        } else if (trace->format->get_statistics) {
2049                struct libtrace_stat_t stat;
2050                stat.magic = LIBTRACE_STAT_MAGIC;
2051                trace_get_statistics(trace, &stat);
2052                if (stat.received_valid)
2053                        return stat.received;
2054        }
2055
2056        // Read the cached value taken before the trace was paused/closed
2057        if(trace->stats && trace->stats->received_valid)
2058                return trace->stats->received;
2059        else
2060                return UINT64_MAX;
2061}
2062
2063uint64_t trace_get_filtered_packets(libtrace_t *trace)
2064{
2065        assert(trace);
2066        int i = 0;
2067        uint64_t lib_filtered = trace->filtered_packets;
2068        for (i = 0; i < trace->perpkt_thread_count; i++) {
2069                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2070        }
2071        if (trace->format->get_filtered_packets) {
2072                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2073                if (trace_filtered == UINT64_MAX)
2074                        return UINT64_MAX;
2075                else
2076                        return trace_filtered + lib_filtered;
2077        } else if (trace->format->get_statistics) {
2078                struct libtrace_stat_t stat;
2079                stat.magic = LIBTRACE_STAT_MAGIC;
2080                trace_get_statistics(trace, &stat);
2081                if (stat.filtered_valid)
2082                        return lib_filtered + stat.filtered;
2083                else
2084                        return UINT64_MAX;
2085        }
2086
2087        // Read the cached value taken before the trace was paused/closed
2088        if(trace->stats && trace->stats->filtered_valid)
2089                return trace->stats->filtered + lib_filtered;
2090        else
2091                return lib_filtered;
2092}
2093
2094uint64_t trace_get_dropped_packets(libtrace_t *trace)
2095{
2096        assert(trace);
2097        uint64_t ret;
2098
2099        if (trace->format->get_dropped_packets) {
2100                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2101                        return ret;
2102        } else if (trace->format->get_statistics) {
2103                struct libtrace_stat_t stat;
2104                stat.magic = LIBTRACE_STAT_MAGIC;
2105                trace_get_statistics(trace, &stat);
2106                if (stat.dropped_valid)
2107                        return stat.dropped;
2108        }
2109
2110        // Read the cached value taken before the trace was paused/closed
2111        if(trace->stats && trace->stats->dropped_valid)
2112                return trace->stats->dropped;
2113        else
2114                return UINT64_MAX;
2115}
2116
2117uint64_t trace_get_accepted_packets(libtrace_t *trace)
2118{
2119        assert(trace);
2120        int i = 0;
2121        uint64_t ret = 0;
2122        /* We always add to a thread's accepted count before dispatching the
2123         * packet to the user. However if the underlying trace is single
2124         * threaded it will also be increasing the global count. So if we
2125         * find perpkt ignore the global count.
2126         */
2127        for (i = 0; i < trace->perpkt_thread_count; i++) {
2128                ret += trace->perpkt_threads[i].accepted_packets;
2129        }
2130        return ret ? ret : trace->accepted_packets;
2131}
2132
2133libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2134{
2135        uint64_t ret = 0;
2136        int i;
2137        assert(trace);
2138        if (stat == NULL) {
2139                if (trace->stats == NULL)
2140                        trace->stats = trace_create_statistics();
2141                stat = trace->stats;
2142        }
2143        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2144               "trace_create_statistics() to allocate statistics");
2145
2146        /* If the trace has paused or finished get the cached results */
2147        if (trace->state == STATE_PAUSED ||
2148            trace->state == STATE_FINISHED ||
2149            trace->state == STATE_FINISHING ||
2150            trace->state == STATE_JOINED) {
2151                if (trace->stats && trace->stats != stat)
2152                        *stat = *trace->stats;
2153                return stat;
2154        }
2155
2156        stat->reserved1 = 0;
2157        stat->reserved2 = 0;
2158#define X(x) stat->x ##_valid = 0;
2159        LIBTRACE_STAT_FIELDS;
2160#undef X
2161        /* Both accepted and filtered are stored against in the library */
2162
2163        /* We always add to a thread's accepted count before dispatching the
2164         * packet to the user. However if the underlying trace is single
2165         * threaded it will also be increasing the global count. So if we
2166         * find perpkt ignore the global count.
2167         */
2168        for (i = 0; i < trace->perpkt_thread_count; i++) {
2169                ret += trace->perpkt_threads[i].accepted_packets;
2170        }
2171
2172        stat->accepted_valid = 1;
2173        stat->accepted = ret ? ret : trace->accepted_packets;
2174
2175        stat->filtered_valid = 1;
2176        stat->filtered = trace->filtered_packets;
2177        for (i = 0; i < trace->perpkt_thread_count; i++) {
2178                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2179        }
2180
2181        if (trace->format->get_statistics) {
2182                trace->format->get_statistics(trace, stat);
2183        }
2184        return stat;
2185}
2186
2187void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2188                                 libtrace_stat_t *stat)
2189{
2190        assert(trace && stat);
2191        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2192               "trace_create_statistics() to allocate statistics");
2193        stat->reserved1 = 0;
2194        stat->reserved2 = 0;
2195#define X(x) stat->x ##_valid= 0;
2196        LIBTRACE_STAT_FIELDS;
2197#undef X
2198        stat->accepted_valid = 1;
2199        stat->accepted = t->accepted_packets;
2200        stat->filtered_valid = 1;
2201        stat->filtered = t->filtered_packets;
2202        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2203                trace->format->get_thread_statistics(trace, t, stat);
2204        }
2205        return;
2206}
2207
2208libtrace_stat_t *trace_create_statistics(void) {
2209        libtrace_stat_t *ret;
2210        ret = malloc(sizeof(libtrace_stat_t));
2211        if (ret) {
2212                memset(ret, 0, sizeof(libtrace_stat_t));
2213                ret->magic = LIBTRACE_STAT_MAGIC;
2214        }
2215        return ret;
2216}
2217
2218void trace_clear_statistics(libtrace_stat_t *s) {
2219        memset(s, 0, sizeof(libtrace_stat_t));
2220        s->magic = LIBTRACE_STAT_MAGIC;
2221}
2222
2223void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2224                         libtrace_stat_t *c) {
2225        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2226               "trace_create_statistics() to allocate statistics");
2227        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2228               "trace_create_statistics() to allocate statistics");
2229        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2230               "trace_create_statistics() to allocate statistics");
2231
2232#define X(x) \
2233        if (a->x ##_valid && b->x ##_valid) { \
2234                c->x ##_valid = 1; \
2235                c->x = a->x - b->x; \
2236        } else {\
2237                c->x ##_valid = 0;\
2238        }
2239        LIBTRACE_STAT_FIELDS
2240#undef X
2241}
2242
2243void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2244                         libtrace_stat_t *c) {
2245        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2246               "trace_create_statistics() to allocate statistics");
2247        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2248               "trace_create_statistics() to allocate statistics");
2249        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2250               "trace_create_statistics() to allocate statistics");
2251
2252#define X(x) \
2253        if (a->x ##_valid&& b->x ##_valid) { \
2254                c->x ##_valid = 1; \
2255                c->x = a->x + b->x; \
2256        } else {\
2257                c->x ##_valid = 0;\
2258        }
2259        LIBTRACE_STAT_FIELDS
2260#undef X
2261}
2262
2263int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2264        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2265               "trace_create_statistics() to allocate statistics");
2266        if (format == NULL)
2267                format = "%s: %"PRIu64"\n";
2268#define xstr(s) str(s)
2269#define str(s) #s
2270#define X(x) \
2271        if (s->x ##_valid) { \
2272                if (fprintf(f, format, xstr(x), s->x) < 0) \
2273                        return -1; \
2274        }
2275        LIBTRACE_STAT_FIELDS
2276#undef X
2277        return 0;
2278}
2279
2280
2281void trace_clear_cache(libtrace_packet_t *packet) {
2282
2283        packet->l2_header = NULL;
2284        packet->l3_header = NULL;
2285        packet->l4_header = NULL;
2286        packet->link_type = 0;
2287        packet->l3_ethertype = 0;
2288        packet->transport_proto = 0;
2289        packet->capture_length = -1;
2290        packet->wire_length = -1;
2291        packet->payload_length = -1;
2292        packet->l2_remaining = 0;
2293        packet->l3_remaining = 0;
2294        packet->l4_remaining = 0;
2295
2296}
2297
2298void trace_interrupt(void) {
2299        libtrace_halt = 1;
2300}
2301
2302void register_format(struct libtrace_format_t *f) {
2303        assert(f->next==NULL); /* Can't register a format twice */
2304        f->next=formats_list;
2305        formats_list=f;
2306
2307        /* Now, verify that the format has at least the minimum functionality.
2308         *
2309         * This #if can be changed to a 1 to output warnings about inconsistent
2310         * functions being provided by format modules.  This generally is very
2311         * noisy, as almost all modules don't implement one or more functions
2312         * for various reasons.  This is very useful when checking a new
2313         * format module is sane.
2314         */
2315#if 0
2316        if (f->init_input) {
2317#define REQUIRE(x) \
2318                if (!f->x) \
2319                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2320                REQUIRE(read_packet);
2321                REQUIRE(start_input);
2322                REQUIRE(fin_input);
2323                REQUIRE(get_link_type);
2324                REQUIRE(get_capture_length);
2325                REQUIRE(get_wire_length);
2326                REQUIRE(get_framing_length);
2327                REQUIRE(trace_event);
2328                if (!f->get_erf_timestamp
2329                        && !f->get_seconds
2330                        && !f->get_timeval) {
2331                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2332"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2333                }
2334                if (f->trace_event!=trace_event_trace) {
2335                        /* Theres nothing that a trace file could optimise with
2336                         * config_input
2337                         */
2338                        REQUIRE(pause_input);
2339                        REQUIRE(config_input);
2340                        REQUIRE(get_fd);
2341                }
2342                else {
2343                        if (f->get_fd) {
2344                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2345                                                f->name);
2346                        }
2347                }
2348#undef REQUIRE
2349        }
2350        else {
2351#define REQUIRE(x) \
2352                if (f->x) \
2353                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2354                REQUIRE(read_packet);
2355                REQUIRE(start_input);
2356                REQUIRE(pause_input);
2357                REQUIRE(fin_input);
2358                REQUIRE(get_link_type);
2359                REQUIRE(get_capture_length);
2360                REQUIRE(get_wire_length);
2361                REQUIRE(get_framing_length);
2362                REQUIRE(trace_event);
2363                REQUIRE(get_seconds);
2364                REQUIRE(get_timeval);
2365                REQUIRE(get_erf_timestamp);
2366#undef REQUIRE
2367        }
2368        if (f->init_output) {
2369#define REQUIRE(x) \
2370                if (!f->x) \
2371                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2372                REQUIRE(write_packet);
2373                REQUIRE(start_output);
2374                REQUIRE(config_output);
2375                REQUIRE(fin_output);
2376#undef REQUIRE
2377        }
2378        else {
2379#define REQUIRE(x) \
2380                if (f->x) \
2381                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2382                REQUIRE(write_packet);
2383                REQUIRE(start_output);
2384                REQUIRE(config_output);
2385                REQUIRE(fin_output);
2386#undef REQUIRE
2387        }
2388#endif
2389}
2390
Note: See TracBrowser for help on using the repository browser.