source: lib/trace.c @ 9b9c279

pfring
Last change on this file since 9b9c279 was 9b9c279, checked in by Shane Alcock <salcock@…>, 7 years ago

Merge remote-tracking branch 'origin/libtrace4' into pfring

  • Property mode set to 100644
File size: 68.0 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007-2015 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        struct timeval tv;
139        gettimeofday(&tv, NULL);
140        srand(tv.tv_sec);
141
142        if (!formats_list) {
143                duck_constructor();
144                erf_constructor();
145                tsh_constructor();
146                legacy_constructor();
147                atmhdr_constructor();
148                linuxring_constructor();
149                linuxnative_constructor();
150#ifdef HAVE_LIBPCAP
151                pcap_constructor();
152#endif
153                bpf_constructor();
154                pcapfile_constructor();
155                rt_constructor();
156#ifdef HAVE_DAG
157                dag_constructor();
158#endif
159#ifdef HAVE_DPDK
160        dpdk_constructor();
161#endif
162#ifdef HAVE_PFRING
163        pfring_constructor();   
164#endif
165        }
166}
167
168/* Prints help information for libtrace
169 *
170 * Function prints out some basic help information regarding libtrace,
171 * and then prints out the help() function registered with each input module
172 */
173DLLEXPORT void trace_help(void) {
174        struct libtrace_format_t *tmp;
175        trace_init();
176        printf("libtrace %s\n\n",PACKAGE_VERSION);
177        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
178        for(tmp=formats_list;tmp;tmp=tmp->next) {
179                if (tmp->help)
180                        tmp->help();
181        }
182}
183
184#define URI_PROTO_LINE 16U
185
186/* Try to guess which format module is appropriate for a given trace file or
187 * device */
188static void guess_format(libtrace_t *libtrace, const char *filename)
189{
190        struct libtrace_format_t *tmp;
191       
192        /* Try and guess based on filename */
193        for(tmp = formats_list; tmp; tmp=tmp->next) {
194                if (tmp->probe_filename && tmp->probe_filename(filename)) {
195                        libtrace->format = tmp;
196                        libtrace->uridata = strdup(filename);
197                        return;
198                }
199        }
200
201        libtrace->io = wandio_create(filename);
202        if (!libtrace->io)
203                return;
204
205        /* Try and guess based on file magic */
206        for(tmp = formats_list; tmp; tmp=tmp->next) {
207                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
208                        libtrace->format = tmp;
209                        libtrace->uridata = strdup(filename);
210                        return;
211                }
212        }
213       
214        /* No formats matched -- make sure we clean up the IO object we
215         * used to probe the file magic */
216        wandio_destroy(libtrace->io);
217        return;
218}
219
220/* Creates an input trace from a URI
221 *
222 * @params char * containing a valid libtrace URI
223 * @returns opaque pointer to a libtrace_t
224 *
225 * Some valid URI's are:
226 *  erf:/path/to/erf/file
227 *  erf:/path/to/erf/file.gz
228 *  erf:-                       (stdin)
229 *  dag:/dev/dagcard
230 *  pcapint:pcapinterface               (eg: pcapint:eth0)
231 *  pcapfile:/path/to/pcap/file
232 *  pcapfile:-
233 *  int:interface                       (eg: int:eth0) only on Linux
234 *  rt:hostname
235 *  rt:hostname:port
236 *
237 * If an error occured when attempting to open a trace, NULL is returned
238 * and an error is output to stdout.
239 */
240DLLEXPORT libtrace_t *trace_create(const char *uri) {
241        libtrace_t *libtrace = 
242                        (libtrace_t *)malloc(sizeof(libtrace_t));
243        char *scan = 0;
244        const char *uridata = 0;                 
245
246        trace_init();
247
248        assert(uri && "Passing NULL to trace_create makes me a very sad program");
249
250        if (!libtrace) {
251                /* Out of memory */
252                return NULL;
253        }
254       
255        libtrace->err.err_num = TRACE_ERR_NOERROR;
256        libtrace->format=NULL;
257       
258        libtrace->event.tdelta = 0.0;
259        libtrace->event.packet = NULL;
260        libtrace->event.psize = 0;
261        libtrace->event.trace_last_ts = 0.0;
262        libtrace->event.waiting = false;
263        libtrace->filter = NULL;
264        libtrace->snaplen = 0;
265        libtrace->started=false;
266        libtrace->uridata = NULL;
267        libtrace->io = NULL;
268        libtrace->filtered_packets = 0;
269        libtrace->accepted_packets = 0;
270        libtrace->last_packet = NULL;
271       
272        /* Parallel inits */
273        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
274        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
275        libtrace->state = STATE_NEW;
276        libtrace->perpkt_queue_full = false;
277        libtrace->global_blob = NULL;
278        libtrace->hasher = NULL;
279        libtrace->hasher_data = NULL;
280        libtrace_zero_ocache(&libtrace->packet_freelist);
281        libtrace_zero_thread(&libtrace->hasher_thread);
282        libtrace_zero_thread(&libtrace->reporter_thread);
283        libtrace_zero_thread(&libtrace->keepalive_thread);
284        libtrace->reporter_thread.type = THREAD_EMPTY;
285        libtrace->perpkt_thread_count = 0;
286        libtrace->perpkt_threads = NULL;
287        libtrace->tracetime = 0;
288        libtrace->first_packets.first = 0;
289        libtrace->first_packets.count = 0;
290        libtrace->first_packets.packets = NULL;
291        libtrace->stats = NULL;
292        libtrace->pread = NULL;
293        libtrace->sequence_number = 0;
294        ZERO_USER_CONFIG(libtrace->config);
295        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
296        libtrace->perpkt_cbs = NULL;
297        libtrace->reporter_cbs = NULL;
298
299        /* Parse the URI to determine what sort of trace we are dealing with */
300        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
301                /* Could not parse the URI nicely */
302                guess_format(libtrace,uri);
303                if (!libtrace->format) {
304                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
305                        return libtrace;
306                }
307        }
308        else {
309                struct libtrace_format_t *tmp;
310
311                /* Find a format that matches the first part of the URI */
312                for (tmp=formats_list;tmp;tmp=tmp->next) {
313                        if (strlen(scan) == strlen(tmp->name) &&
314                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
315                                        ) {
316                                libtrace->format=tmp;
317                                break;
318                        }
319                }
320
321                if (libtrace->format == 0) {
322                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
323                                        "Unknown format (%s)",scan);
324                        return libtrace;
325                }
326
327                libtrace->uridata = strdup(uridata);
328        }
329        /* libtrace->format now contains the type of uri
330         * libtrace->uridata contains the appropriate data for this
331         */
332       
333        /* Call the init_input function for the matching capture format */ 
334        if (libtrace->format->init_input) {
335                int err=libtrace->format->init_input(libtrace);
336                assert (err==-1 || err==0);
337                if (err==-1) {
338                        /* init_input should call trace_set_err to set
339                         * the error message
340                         */
341                        return libtrace;
342                }
343        } else {
344                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
345                                "Format does not support input (%s)",scan);
346                return libtrace;
347        }
348       
349        if (scan)
350                free(scan);
351        libtrace->err.err_num=TRACE_ERR_NOERROR;
352        libtrace->err.problem[0]='\0';
353        return libtrace;
354}
355
356/* Creates a "dummy" trace file that has only the format type set.
357 *
358 * @returns opaque pointer to a (sparsely initialised) libtrace_t
359 *
360 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
361 * with the dummy trace. Its intended purpose is to act as a packet->trace for
362 * libtrace_packet_t's that are not associated with a libtrace_t structure.
363 */
364DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
365        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
366        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
367        char *uridata;
368        struct libtrace_format_t *tmp;
369
370        trace_init();
371       
372        libtrace->err.err_num = TRACE_ERR_NOERROR;
373
374        if((uridata = strchr(uri,':')) == NULL) {
375                xstrncpy(scan, uri, strlen(uri));
376        } else {
377                xstrncpy(scan,uri, (size_t)(uridata - uri));
378        }
379       
380        libtrace->err.err_num = TRACE_ERR_NOERROR;
381        libtrace->format=NULL;
382       
383        libtrace->event.tdelta = 0.0;
384        libtrace->event.packet = NULL;
385        libtrace->event.psize = 0;
386        libtrace->event.trace_last_ts = 0.0;
387        libtrace->filter = NULL;
388        libtrace->snaplen = 0;
389        libtrace->started=false;
390        libtrace->uridata = NULL;
391        libtrace->io = NULL;
392        libtrace->filtered_packets = 0;
393        libtrace->accepted_packets = 0;
394        libtrace->last_packet = NULL;
395       
396        /* Parallel inits */
397        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
398        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
399        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
400        libtrace->perpkt_queue_full = false;
401        libtrace->global_blob = NULL;
402        libtrace->hasher = NULL;
403        libtrace_zero_ocache(&libtrace->packet_freelist);
404        libtrace_zero_thread(&libtrace->hasher_thread);
405        libtrace_zero_thread(&libtrace->reporter_thread);
406        libtrace_zero_thread(&libtrace->keepalive_thread);
407        libtrace->reporter_thread.type = THREAD_EMPTY;
408        libtrace->perpkt_thread_count = 0;
409        libtrace->perpkt_threads = NULL;
410        libtrace->tracetime = 0;
411        libtrace->stats = NULL;
412        libtrace->pread = NULL;
413        libtrace->sequence_number = 0;
414        ZERO_USER_CONFIG(libtrace->config);
415        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
416        libtrace->perpkt_cbs = NULL;
417        libtrace->reporter_cbs = NULL;
418       
419        for(tmp=formats_list;tmp;tmp=tmp->next) {
420                if (strlen(scan) == strlen(tmp->name) &&
421                                !strncasecmp(scan,
422                                        tmp->name,
423                                        strlen(scan))) {
424                                libtrace->format=tmp;
425                                break;
426                                }
427        }
428        if (libtrace->format == 0) {
429                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
430                                "Unknown format (%s)",scan);
431        }
432
433        libtrace->format_data = NULL;
434        free(scan);
435        return libtrace;
436
437}
438
439/* Creates an output trace from a URI.
440 *
441 * @param uri   the uri string describing the output format and destination
442 * @returns opaque pointer to a libtrace_output_t
443 *
444 *  If an error occured when attempting to open the output trace, NULL is
445 *  returned and trace_errno is set.
446 */
447       
448DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
449        libtrace_out_t *libtrace = 
450                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
451       
452        char *scan = 0;
453        const char *uridata = 0;
454        struct libtrace_format_t *tmp;
455
456        trace_init();
457
458        libtrace->err.err_num = TRACE_ERR_NOERROR;
459        strcpy(libtrace->err.problem,"Error message set\n");
460        libtrace->format = NULL;
461        libtrace->uridata = NULL;
462       
463        /* Parse the URI to determine what capture format we want to write */
464
465        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
466                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
467                                "Bad uri format (%s)",uri);
468                return libtrace;
469        }
470       
471        /* Attempt to find the format in the list of supported formats */
472        for(tmp=formats_list;tmp;tmp=tmp->next) {
473                if (strlen(scan) == strlen(tmp->name) &&
474                                !strncasecmp(scan,
475                                        tmp->name,
476                                        strlen(scan))) {
477                                libtrace->format=tmp;
478                                break;
479                                }
480        }
481        free(scan);
482
483        if (libtrace->format == NULL) {
484                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
485                                "Unknown output format (%s)",scan);
486                return libtrace;
487        }
488        libtrace->uridata = strdup(uridata);
489
490        /* libtrace->format now contains the type of uri
491         * libtrace->uridata contains the appropriate data for this
492         */
493
494        if (libtrace->format->init_output) {
495                /* 0 on success, -1 on failure */
496                switch(libtrace->format->init_output(libtrace)) {
497                        case -1: /* failure */
498                                return libtrace;
499                        case 0: /* success */
500                                break;
501                        default:
502                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
503                }
504        } else {
505                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
506                                "Format does not support writing (%s)",scan);
507                return libtrace;
508        }
509
510
511        libtrace->started=false;
512        return libtrace;
513}
514
515/* Start an input trace
516 * @param libtrace      the input trace to start
517 * @returns 0 on success
518 *
519 * This does the work associated with actually starting up
520 * the trace.  it may fail.
521 */
522DLLEXPORT int trace_start(libtrace_t *libtrace)
523{
524        assert(libtrace);
525        if (trace_is_err(libtrace))
526                return -1;
527        if (libtrace->format->start_input) {
528                int ret=libtrace->format->start_input(libtrace);
529                if (ret < 0) {
530                        return ret;
531                }
532        }
533
534        libtrace->started=true;
535        return 0;
536}
537
538/* Start an output trace */
539DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
540{
541        assert(libtrace);
542        if (libtrace->format->start_output) {
543                int ret=libtrace->format->start_output(libtrace);
544                if (ret < 0) {
545                        return ret;
546                }
547        }
548
549        libtrace->started=true;
550        return 0;
551}
552
553DLLEXPORT int trace_pause(libtrace_t *libtrace)
554{
555        assert(libtrace);
556        if (!libtrace->started) {
557                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
558                return -1;
559        }
560
561        /* Finish the last packet we read - for backwards compatibility */
562        if (libtrace->last_packet)
563                trace_fin_packet(libtrace->last_packet, 1);
564        assert(libtrace->last_packet == NULL);
565
566        if (libtrace->format->pause_input)
567                libtrace->format->pause_input(libtrace);
568
569        libtrace->started=false;
570        return 0;
571}
572
573DLLEXPORT int trace_config(libtrace_t *libtrace,
574                trace_option_t option,
575                void *value)
576{
577        int ret;
578
579        if (trace_is_err(libtrace)) {
580                return -1;
581        }
582
583        if (option == TRACE_OPTION_HASHER)
584                return trace_set_hasher(libtrace,
585                                        (enum hasher_types) *((int *) value),
586                                        NULL, NULL);
587
588        /* If the capture format supports configuration, try using their
589         * native configuration first */
590        if (libtrace->format->config_input) {
591                ret=libtrace->format->config_input(libtrace,option,value);
592                if (ret==0)
593                        return 0;
594        }
595
596        /* If we get here, either the native configuration failed or the
597         * format did not support configuration. However, libtrace can
598         * deal with some options itself, so give that a go */
599        switch(option) {
600                case TRACE_OPTION_SNAPLEN:
601                        /* Clear the error if there was one */
602                        if (trace_is_err(libtrace)) {
603                                trace_get_err(libtrace);
604                        }
605                        if (*(int*)value<0 
606                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
607                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
608                                        "Invalid snap length");
609                        }
610                        libtrace->snaplen=*(int*)value;
611                        return 0;
612                case TRACE_OPTION_FILTER:
613                        /* Clear the error if there was one */
614                        if (trace_is_err(libtrace)) {
615                                trace_get_err(libtrace);
616                        }
617                        libtrace->filter=(libtrace_filter_t *)value;
618                        return 0;
619                case TRACE_OPTION_PROMISC:
620                        if (!trace_is_err(libtrace)) {
621                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
622                                                "Promisc mode is not supported by this format module");
623                        }
624                        return -1;
625                case TRACE_OPTION_META_FREQ:
626                        if (!trace_is_err(libtrace)) {
627                                trace_set_err(libtrace, 
628                                                TRACE_ERR_OPTION_UNAVAIL,
629                                                "This format does not support meta-data gathering");
630                        }
631                        return -1;
632                case TRACE_OPTION_EVENT_REALTIME:
633                        if (!trace_is_err(libtrace)) {
634                                trace_set_err(libtrace, 
635                                                TRACE_ERR_OPTION_UNAVAIL,
636                                                "This format does not support realtime events");
637                        }
638                        return -1;
639                case TRACE_OPTION_HASHER:
640                        /* Dealt with earlier */
641                        return -1;
642                       
643        }
644        if (!trace_is_err(libtrace)) {
645                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
646                        "Unknown option %i", option);
647        }
648        return -1;
649}
650
651DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
652        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
653}
654
655DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
656        int tmp = promisc;
657        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
658}
659
660DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
661        return trace_config(trace, TRACE_OPTION_FILTER, filter);
662}
663
664DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
665        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
666}
667
668DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
669        int tmp = realtime;
670        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
671}
672
673DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
674                trace_option_output_t option,
675                void *value) {
676       
677        /* Unlike the input options, libtrace does not natively support any of
678         * the output options - the format module must be able to deal with
679         * them. */
680        if (libtrace->format->config_output) {
681                return libtrace->format->config_output(libtrace, option, value);
682        }
683        return -1;
684}
685
686/* Close an input trace file, freeing up any resources it may have been using
687 *
688 */
689DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
690        int i;
691        assert(libtrace);
692
693        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
694        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
695
696        /* destroy any packets that are still around */
697        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
698                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
699                        if(libtrace->first_packets.packets[i].packet) {
700                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
701                        }
702                }
703                free(libtrace->first_packets.packets);
704                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
705        }
706
707        /* Finish any the last packet we read - for backwards compatibility */
708        if (libtrace->last_packet)
709                trace_fin_packet(libtrace->last_packet, 1);
710        assert(libtrace->last_packet == NULL);
711
712        if (libtrace->format) {
713                if (libtrace->started && libtrace->format->pause_input)
714                        libtrace->format->pause_input(libtrace);
715                if (libtrace->format->fin_input)
716                        libtrace->format->fin_input(libtrace);
717        }
718        /* Need to free things! */
719        if (libtrace->uridata)
720                free(libtrace->uridata);
721
722        if (libtrace->stats)
723                free(libtrace->stats);
724       
725        /* Empty any packet memory */
726        if (libtrace->state != STATE_NEW) {
727                // This has all of our packets
728                libtrace_ocache_destroy(&libtrace->packet_freelist);
729                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
730                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
731                }
732                libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
733                libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
734                libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
735
736
737                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
738                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
739                free(libtrace->perpkt_threads);
740                libtrace->perpkt_threads = NULL;
741                libtrace->perpkt_thread_count = 0;
742
743        }
744
745        if (libtrace->perpkt_cbs)
746                trace_destroy_callback_set(libtrace->perpkt_cbs);
747        if (libtrace->reporter_cbs)
748                trace_destroy_callback_set(libtrace->reporter_cbs);
749
750        if (libtrace->event.packet) {
751                /* Don't use trace_destroy_packet here - there is almost
752                 * certainly going to be another libtrace_packet_t that is
753                 * pointing to the buffer for this packet, so we don't want
754                 * to free it. Rather, it will get freed when the user calls
755                 * trace_destroy_packet on the libtrace_packet_t that they
756                 * own.
757                 *
758                 * All we need to do then is free our packet structure itself.
759                 */
760                 free(libtrace->event.packet);
761        }
762        free(libtrace);
763}
764
765
766DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
767        assert(libtrace);
768
769        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
770        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
771
772        /* Don't call pause_input or fin_input, because we should never have
773         * used this trace to do any reading anyway. Do make sure we free
774         * any format_data that has been created, though. */
775        if (libtrace->format_data)
776                free(libtrace->format_data);
777        free(libtrace);
778}
779/* Close an output trace file, freeing up any resources it may have been using
780 *
781 * @param libtrace      the output trace file to be destroyed
782 */
783DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
784{
785        assert(libtrace);
786        if (libtrace->format && libtrace->format->fin_output)
787                libtrace->format->fin_output(libtrace);
788        if (libtrace->uridata)
789                free(libtrace->uridata);
790        free(libtrace);
791}
792
793DLLEXPORT libtrace_packet_t *trace_create_packet(void)
794{
795        libtrace_packet_t *packet =
796                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
797
798        packet->buf_control=TRACE_CTRL_PACKET;
799        trace_clear_cache(packet);
800        return packet;
801}
802
803DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
804        libtrace_packet_t *dest = 
805                (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
806        if (!dest) {
807                printf("Out of memory constructing packet\n");
808                abort();
809        }
810        dest->trace=packet->trace;
811        dest->buffer=malloc(65536);
812        if (!dest->buffer) {
813                printf("Out of memory allocating buffer memory\n");
814                abort();
815        }
816        dest->header=dest->buffer;
817        dest->payload=(void*)
818                ((char*)dest->buffer+trace_get_framing_length(packet));
819        dest->type=packet->type;
820        dest->buf_control=TRACE_CTRL_PACKET;
821        dest->order = packet->order;
822        dest->hash = packet->hash;
823        dest->error = packet->error;
824        /* Reset the cache - better to recalculate than try to convert
825         * the values over to the new packet */
826        trace_clear_cache(dest);       
827        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
828         * as much as possible */
829        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
830        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
831
832        return dest;
833}
834
835/** Destroy a packet object
836 */
837DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
838        /* Free any resources possibly associated with the packet */
839        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
840                packet->trace->format->fin_packet(packet);
841        }
842        if (packet->trace && packet->trace->last_packet == packet)
843                packet->trace->last_packet = NULL;
844       
845        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
846                free(packet->buffer);
847        }
848        packet->buf_control=(buf_control_t)'\0'; 
849                                /* A "bad" value to force an assert
850                                 * if this packet is ever reused
851                                 */
852        free(packet);
853}
854
855/**
856 * Removes any possible data stored againt the trace and releases any data.
857 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
858 * use trace_destroy_packet() for those diabolical purposes.
859 */
860void trace_fin_packet(libtrace_packet_t *packet, int updatetrace) {
861        if (packet)
862        {
863                if (packet->trace && packet->trace->format->fin_packet) {
864                        packet->trace->format->fin_packet(packet);
865                }
866
867                if (packet->srcbucket && packet->internalid != 0) {
868                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
869                        libtrace_release_bucket_id(b, packet->internalid);
870                }
871
872                if (updatetrace && packet->trace) {
873                        pthread_mutex_lock(&packet->trace->libtrace_lock);
874                        if (packet->trace->last_packet == packet)
875                                packet->trace->last_packet = NULL;
876                        pthread_mutex_unlock(&packet->trace->libtrace_lock);
877                }
878
879                // No matter what we remove the header and link pointers
880                packet->trace = NULL;
881                packet->header = NULL;
882                packet->payload = NULL;
883
884                if (packet->buf_control != TRACE_CTRL_PACKET)
885                {
886                        packet->buffer = NULL;
887                }
888
889                trace_clear_cache(packet);
890                packet->hash = 0;
891                packet->order = 0;
892                packet->srcbucket = NULL;
893        }
894}
895
896/* Read one packet from the trace into buffer. Note that this function will
897 * block until a packet is read (or EOF is reached).
898 *
899 * @param libtrace      the libtrace opaque pointer
900 * @param packet        the packet opaque pointer
901 * @returns 0 on EOF, negative value on error
902 *
903 */
904DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
905
906        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
907        if (trace_is_err(libtrace))
908                return -1;
909        if (!libtrace->started) {
910                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
911                return -1;
912        }
913        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
914                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
915                return -1;
916        }
917        assert(packet);
918
919        if (libtrace->format->read_packet) {
920                /* Finalise the packet, freeing any resources the format module
921                 * may have allocated it and zeroing all data associated with it.
922                 */
923                if (packet->trace == libtrace)
924                        trace_fin_packet(packet, 0);
925                do {
926                        size_t ret;
927                        int filtret;
928                        /* Store the trace we are reading from into the packet opaque
929                         * structure */
930                        packet->trace = libtrace;
931                        ret=libtrace->format->read_packet(libtrace,packet);
932                        if (ret==(size_t)-1 || ret==0) {
933                                return ret;
934                        }
935                        if (libtrace->filter) {
936                                /* If the filter doesn't match, read another
937                                 * packet
938                                 */
939                                filtret = trace_apply_filter(libtrace->filter, packet);
940                                if (filtret == -1) {
941                                        /* Error compiling filter, probably */
942                                        return ~0U;
943                                }
944
945                                if (filtret == 0) {
946                                        ++libtrace->filtered_packets;
947                                        trace_fin_packet(packet, 0);
948                                        continue;
949                                }
950                        }
951                        if (libtrace->snaplen>0) {
952                                /* Snap the packet */
953                                trace_set_capture_length(packet,
954                                                libtrace->snaplen);
955                        }
956                        trace_packet_set_order(packet, libtrace->sequence_number);
957                        ++libtrace->accepted_packets;
958                        ++libtrace->sequence_number;
959                        if (packet->trace == libtrace)
960                                libtrace->last_packet = packet;
961
962                        return ret;
963                } while(1);
964        }
965        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
966        return ~0U;
967}
968
969/* Converts the provided buffer into a libtrace packet of the given type.
970 *
971 * Unlike trace_construct_packet, the buffer is expected to begin with the
972 * appropriate capture format header for the format type that the packet is
973 * being converted to. This also allows for a packet to be converted into
974 * just about capture format that is supported by libtrace, provided the
975 * format header is present in the buffer.
976 *
977 * This function is primarily used to convert packets received via the RT
978 * protocol back into their original capture format. The RT header encapsulates
979 * the original capture format header, so after removing it the packet must
980 * have it's header and payload pointers updated and the packet format and type
981 * changed, amongst other things.
982 *
983 * Intended only for internal use at this point - this function is not
984 * available through the external libtrace API.
985 */
986int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
987                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
988
989        assert(packet);
990        assert(trace);
991       
992        /* XXX Proper error handling?? */
993        if (buffer == NULL)
994                return -1;
995
996        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
997                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
998                return -1;
999        }
1000       
1001        packet->trace = trace;
1002        pthread_mutex_lock(&trace->libtrace_lock);
1003        trace->last_packet = packet;
1004        pthread_mutex_unlock(&trace->libtrace_lock);
1005       
1006        /* Clear packet cache */
1007        trace_clear_cache(packet);
1008
1009        if (trace->format->prepare_packet) {
1010                return trace->format->prepare_packet(trace, packet,
1011                                buffer, rt_type, flags);
1012        }
1013        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
1014                        "This format does not support preparing packets\n");
1015        return -1;
1016
1017}
1018
1019/* Writes a packet to the specified output trace
1020 *
1021 * @param libtrace      describes the output format, destination, etc.
1022 * @param packet        the packet to be written out
1023 * @returns the number of bytes written, -1 if write failed
1024 */
1025DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1026        assert(libtrace);
1027        assert(packet);
1028        /* Verify the packet is valid */
1029        if (!libtrace->started) {
1030                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1031                        "Trace is not started before trace_write_packet");
1032                return -1;
1033        }
1034
1035        if (libtrace->format->write_packet) {
1036                return libtrace->format->write_packet(libtrace, packet);
1037        }
1038        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1039                "This format does not support writing packets");
1040        return -1;
1041}
1042
1043/* Get a pointer to the first byte of the packet payload */
1044DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1045                libtrace_linktype_t *linktype, uint32_t *remaining) {
1046        int cap_len;
1047        int wire_len;
1048
1049        assert(packet != NULL);
1050        if (linktype) *linktype = trace_get_link_type(packet);
1051        if (remaining) {
1052                /* I think we should choose the minimum of the capture and
1053                 * wire lengths to be the "remaining" value. If the packet has
1054                 * been padded to increase the capture length, we don't want
1055                 * to allow subsequent protocol decoders to consider the
1056                 * padding as part of the packet.
1057                 *
1058                 * For example, in Auck 4 there is a trace where the IP header
1059                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1060                 * header. Total IP length is 40 bytes. As a result, the
1061                 * legacyatm padding gets treated as the "missing" bytes of
1062                 * the TCP header, which isn't the greatest. We're probably
1063                 * better off returning an incomplete TCP header in that case.
1064                 */
1065               
1066                cap_len = trace_get_capture_length(packet);
1067                wire_len = trace_get_wire_length(packet);
1068
1069                assert(cap_len >= 0);
1070
1071                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1072                 * massively negative wire lens. We could assert fail here on
1073                 * them, but we could at least try the capture length instead.
1074                 *
1075                 * You may still run into problems if you try to write that
1076                 * packet, but at least reading should work OK.
1077                 */
1078                if (wire_len < 0)
1079                        *remaining = cap_len;
1080                else if (wire_len < cap_len)
1081                        *remaining = wire_len;
1082                else
1083                        *remaining = cap_len;
1084                /* *remaining = trace_get_capture_length(packet); */
1085        }
1086        return (void *) packet->payload;
1087}
1088
1089
1090/* Get a pointer to the first byte of the packet payload
1091 *
1092 * DEPRECATED - use trace_get_packet_buffer() instead */
1093DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1094        return (void *)packet->payload;
1095}
1096
1097/* Get the current time in DAG time format
1098 * @param packet        a pointer to a libtrace_packet structure
1099 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1100 * past 1970-01-01, the lower 32bits are partial seconds)
1101 */ 
1102DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1103        if (packet->trace->format->get_erf_timestamp) {
1104                /* timestamp -> timestamp */
1105                return packet->trace->format->get_erf_timestamp(packet);
1106        } else if (packet->trace->format->get_timespec) {
1107                /* timespec -> timestamp */
1108                struct timespec ts;
1109                ts = packet->trace->format->get_timespec(packet);
1110                return ((((uint64_t)ts.tv_sec) << 32) +
1111                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1112        } else if (packet->trace->format->get_timeval) {
1113                /* timeval -> timestamp */
1114                struct timeval tv;
1115                tv = packet->trace->format->get_timeval(packet);
1116                return ((((uint64_t)tv.tv_sec) << 32) +
1117                                (((uint64_t)tv.tv_usec << 32)/1000000));
1118        } else if (packet->trace->format->get_seconds) {
1119                /* seconds -> timestamp */
1120                double seconds = packet->trace->format->get_seconds(packet);
1121                return (((uint64_t)seconds)<<32)
1122                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1123        }
1124        else {
1125                return (uint64_t)0;
1126        }
1127                     
1128}
1129
1130/* Get the current time in struct timeval
1131 * @param packet        a pointer to a libtrace_packet structure
1132 *
1133 * @returns time that this packet was seen in a struct timeval
1134 * @author Daniel Lawson
1135 * @author Perry Lorier
1136 */ 
1137DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1138        struct timeval tv;
1139        uint64_t ts = 0;
1140        if (packet->trace->format->get_timeval) {
1141                /* timeval -> timeval */
1142                tv = packet->trace->format->get_timeval(packet);
1143        } else if (packet->trace->format->get_erf_timestamp) {
1144                /* timestamp -> timeval */
1145                ts = packet->trace->format->get_erf_timestamp(packet);
1146                tv.tv_sec = ts >> 32;
1147                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1148                if (tv.tv_usec >= 1000000) {
1149                        tv.tv_usec -= 1000000;
1150                        tv.tv_sec += 1;
1151                }
1152        } else if (packet->trace->format->get_timespec) {
1153                struct timespec ts = packet->trace->format->get_timespec(packet);
1154                tv.tv_sec = ts.tv_sec;
1155                tv.tv_usec = ts.tv_nsec/1000;
1156        } else if (packet->trace->format->get_seconds) {
1157                /* seconds -> timeval */
1158                double seconds = packet->trace->format->get_seconds(packet);
1159                tv.tv_sec = (uint32_t)seconds;
1160                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1161        }
1162        else {
1163                tv.tv_sec=-1;
1164                tv.tv_usec=-1;
1165        }
1166
1167    return tv;
1168}
1169
1170DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1171        struct timespec ts;
1172
1173        if (packet->trace->format->get_timespec) {
1174                return packet->trace->format->get_timespec(packet);
1175        } else if (packet->trace->format->get_erf_timestamp) {
1176                /* timestamp -> timeval */
1177                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1178                ts.tv_sec = erfts >> 32;
1179                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1180                if (ts.tv_nsec >= 1000000000) {
1181                        ts.tv_nsec -= 1000000000;
1182                        ts.tv_sec += 1;
1183                }
1184                return ts;
1185        } else if (packet->trace->format->get_timeval) {
1186                /* timeval -> timespec */
1187                struct timeval tv = packet->trace->format->get_timeval(packet);
1188                ts.tv_sec = tv.tv_sec;
1189                ts.tv_nsec = tv.tv_usec*1000;
1190                return ts;
1191        } else if (packet->trace->format->get_seconds) {
1192                /* seconds -> timespec */
1193                double seconds = packet->trace->format->get_seconds(packet);
1194                ts.tv_sec = (uint32_t)seconds;
1195                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1196                return ts;
1197        }
1198        else {
1199                ts.tv_sec=-1;
1200                ts.tv_nsec=-1;
1201                return ts;
1202        }
1203}
1204
1205
1206/* Get the current time in floating point seconds
1207 * @param packet        a pointer to a libtrace_packet structure
1208 * @returns time that this packet was seen in 64bit floating point seconds
1209 */ 
1210DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1211        double seconds = 0.0;
1212
1213        if (packet->trace->format->get_seconds) {
1214                /* seconds->seconds */
1215                seconds = packet->trace->format->get_seconds(packet);
1216        } else if (packet->trace->format->get_erf_timestamp) {
1217                /* timestamp -> seconds */
1218                uint64_t ts = 0;
1219                ts = packet->trace->format->get_erf_timestamp(packet);
1220                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1221        } else if (packet->trace->format->get_timespec) {
1222                /* timespec -> seconds */
1223                struct timespec ts;
1224                ts = packet->trace->format->get_timespec(packet);
1225                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1226        } else if (packet->trace->format->get_timeval) {
1227                /* timeval -> seconds */
1228                struct timeval tv;
1229                tv = packet->trace->format->get_timeval(packet);
1230                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1231        }
1232
1233        return seconds;
1234}
1235
1236DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1237{
1238        /* Cache the capture length */
1239        if (packet->capture_length == -1) {
1240                if (!packet->trace->format->get_capture_length)
1241                        return ~0U;
1242                /* Cast away constness because this is "just" a cache */
1243                ((libtrace_packet_t*)packet)->capture_length = 
1244                        packet->trace->format->get_capture_length(packet);
1245        }
1246
1247        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1248
1249        return packet->capture_length;
1250}
1251       
1252/* Get the size of the packet as it was seen on the wire.
1253 * @param packet        a pointer to a libtrace_packet structure
1254 *
1255 * @returns the size of the packet as it was on the wire.
1256 * @note Due to the trace being a header capture, or anonymisation this may
1257 * not be the same as the Capture Len.
1258 */ 
1259DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1260       
1261        if (packet->wire_length == -1) {
1262                if (!packet->trace->format->get_wire_length) 
1263                        return ~0U;
1264                ((libtrace_packet_t *)packet)->wire_length = 
1265                        packet->trace->format->get_wire_length(packet);
1266        }
1267
1268        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1269        return packet->wire_length;
1270
1271}
1272
1273/* Get the length of the capture framing headers.
1274 * @param packet        the packet opaque pointer
1275 * @returns the size of the packet as it was on the wire.
1276 * @note this length corresponds to the difference between the size of a
1277 * captured packet in memory, and the captured length of the packet
1278 */ 
1279DLLEXPORT SIMPLE_FUNCTION
1280size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1281        if (packet->trace->format->get_framing_length) {
1282                return packet->trace->format->get_framing_length(packet);
1283        }
1284        return ~0U;
1285}
1286
1287
1288/* Get the type of the link layer
1289 * @param packet        a pointer to a libtrace_packet structure
1290 * @returns libtrace_linktype_t
1291 */
1292DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1293
1294        if (packet->link_type == 0) {
1295                if (!packet->trace->format->get_link_type)
1296                        return TRACE_TYPE_UNKNOWN;
1297                ((libtrace_packet_t *)packet)->link_type =
1298                        packet->trace->format->get_link_type(packet);
1299        }
1300
1301        return packet->link_type;
1302}
1303
1304/* process a libtrace event
1305 * @param trace the libtrace opaque pointer
1306 * @param packet the libtrace_packet opaque pointer
1307 * @returns
1308 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1309 *  TRACE_EVENT_SLEEP   Next event in seconds
1310 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1311 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1312 * FIXME currently keeps a copy of the packet inside the trace pointer,
1313 * which in turn is stored inside the new packet object...
1314 */
1315DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1316                libtrace_packet_t *packet) {
1317        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1318
1319        if (!trace) {
1320                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1321        }
1322        assert(trace);
1323        assert(packet);
1324
1325        /* Free the last packet */
1326        trace_fin_packet(packet, 0);
1327       
1328        /* Store the trace we are reading from into the packet opaque
1329         * structure */
1330        packet->trace = trace;
1331
1332        if (packet->trace->format->trace_event) {
1333                /* Note: incrementing accepted, filtered etc. packet
1334                 * counters is handled by the format-specific
1335                 * function so don't increment them here.
1336                 */
1337                event=packet->trace->format->trace_event(trace,packet);
1338                }
1339        return event;
1340
1341}
1342
1343/** Setup a BPF filter based on pre-compiled byte-code.
1344 * @param bf_insns      A pointer to the start of the byte-code
1345 * @param bf_len        The number of BPF instructions
1346 * @returns             an opaque pointer to a libtrace_filter_t object
1347 * @note                The supplied byte-code is not checked for correctness.
1348 * @author              Scott Raynel
1349 */
1350DLLEXPORT libtrace_filter_t *
1351trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1352{
1353#ifndef HAVE_BPF_FILTER
1354        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1355        return NULL;
1356#else
1357        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1358                malloc(sizeof(struct libtrace_filter_t));
1359        filter->filter.bf_insns = (struct bpf_insn *)
1360                malloc(sizeof(struct bpf_insn) * bf_len);
1361       
1362        memcpy(filter->filter.bf_insns, bf_insns,
1363                        bf_len * sizeof(struct bpf_insn));
1364       
1365        filter->filter.bf_len = bf_len;
1366        filter->filterstring = NULL;
1367        filter->jitfilter = NULL;
1368        /* "flag" indicates that the filter member is valid */
1369        filter->flag = 1; 
1370       
1371        return filter;
1372#endif
1373}
1374
1375/* Create a BPF filter
1376 * @param filterstring a char * containing the bpf filter string
1377 * @returns opaque pointer pointer to a libtrace_filter_t object
1378 */
1379DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1380#ifdef HAVE_BPF_FILTER
1381        libtrace_filter_t *filter = (libtrace_filter_t*)
1382                                malloc(sizeof(libtrace_filter_t));
1383        filter->filterstring = strdup(filterstring);
1384        filter->jitfilter = NULL;
1385        filter->flag = 0;
1386        return filter;
1387#else
1388        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1389        return NULL;
1390#endif
1391}
1392
1393DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1394{
1395#ifdef HAVE_BPF_FILTER
1396        free(filter->filterstring);
1397        if (filter->flag)
1398                pcap_freecode(&filter->filter);
1399#ifdef HAVE_LLVM
1400        if (filter->jitfilter) 
1401                destroy_program(filter->jitfilter);
1402#endif
1403        free(filter);
1404#else
1405
1406#endif
1407}
1408
1409/* Compile a bpf filter, now we know the link type for the trace that we're
1410 * applying it to.
1411 *
1412 * @internal
1413 *
1414 * @returns -1 on error, 0 on success
1415 */
1416static int trace_bpf_compile(libtrace_filter_t *filter,
1417                const libtrace_packet_t *packet,
1418                void *linkptr, 
1419                libtrace_linktype_t linktype    ) {
1420#ifdef HAVE_BPF_FILTER
1421        /* It just so happens that the underlying libs used by pthread arn't
1422         * thread safe, namely lex/flex thingys, so single threaded compile
1423         * multi threaded running should be safe.
1424         */
1425        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1426        assert(filter);
1427
1428        /* If this isn't a real packet, then fail */
1429        if (!linkptr) {
1430                trace_set_err(packet->trace,
1431                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1432                return -1;
1433        }
1434       
1435        if (filter->filterstring && ! filter->flag) {
1436                pcap_t *pcap = NULL;
1437                if (linktype==(libtrace_linktype_t)-1) {
1438                        trace_set_err(packet->trace,
1439                                        TRACE_ERR_BAD_FILTER,
1440                                        "Packet has an unknown linktype");
1441                        return -1;
1442                }
1443                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1444                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1445                                        "Unknown pcap equivalent linktype");
1446                        return -1;
1447                }
1448                assert (pthread_mutex_lock(&mutex) == 0);
1449                /* Make sure not one bet us to this */
1450                if (filter->flag) {
1451                        assert (pthread_mutex_unlock(&mutex) == 0);
1452                        return 1;
1453                }
1454                pcap=(pcap_t *)pcap_open_dead(
1455                                (int)libtrace_to_pcap_dlt(linktype),
1456                                1500U);
1457                /* build filter */
1458                assert(pcap);
1459                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1460                                        1, 0)) {
1461                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1462                                        "Unable to compile the filter \"%s\": %s", 
1463                                        filter->filterstring,
1464                                        pcap_geterr(pcap));
1465                        pcap_close(pcap);
1466                        assert (pthread_mutex_unlock(&mutex) == 0);
1467                        return -1;
1468                }
1469                pcap_close(pcap);
1470                filter->flag=1;
1471                assert (pthread_mutex_unlock(&mutex) == 0);
1472        }
1473        return 0;
1474#else
1475        assert(!"Internal bug: This should never be called when BPF not enabled");
1476        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1477                                "Feature unavailable");
1478        return -1;
1479#endif
1480}
1481
1482DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1483                        const libtrace_packet_t *packet) {
1484#ifdef HAVE_BPF_FILTER
1485        void *linkptr = 0;
1486        uint32_t clen = 0;
1487        bool free_packet_needed = false;
1488        int ret;
1489        libtrace_linktype_t linktype;
1490        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1491#ifdef HAVE_LLVM
1492        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1493#endif
1494
1495        assert(filter);
1496        assert(packet);
1497
1498        /* Match all non-data packets as we probably want them to pass
1499         * through to the caller */
1500        linktype = trace_get_link_type(packet);
1501
1502        if (linktype == TRACE_TYPE_NONDATA)
1503                return 1;       
1504
1505        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1506               
1507                /* If we cannot get a suitable DLT for the packet, it may
1508                 * be because the packet is encapsulated in a link type that
1509                 * does not correspond to a DLT. Therefore, we should try
1510                 * popping off headers until we either can find a suitable
1511                 * link type or we can't do any more sensible decapsulation. */
1512               
1513                /* Copy the packet, as we don't want to trash the one we
1514                 * were passed in */
1515                packet_copy=trace_copy_packet(packet);
1516                free_packet_needed=true;
1517
1518                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1519                        if (!demote_packet(packet_copy)) {
1520                                trace_set_err(packet->trace, 
1521                                                TRACE_ERR_NO_CONVERSION,
1522                                                "pcap does not support this format");
1523                                if (free_packet_needed) {
1524                                        trace_destroy_packet(packet_copy);
1525                                }
1526                                return -1;
1527                        }
1528                        linktype = trace_get_link_type(packet_copy);
1529                }
1530
1531        }
1532       
1533        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1534        if (!linkptr) {
1535                if (free_packet_needed) {
1536                        trace_destroy_packet(packet_copy);
1537                }
1538                return 0;
1539        }
1540
1541        /* We need to compile the filter now, because before we didn't know
1542         * what the link type was
1543         */
1544        // Note internal mutex locking used here
1545        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1546                if (free_packet_needed) {
1547                        trace_destroy_packet(packet_copy);
1548                }
1549                return -1;
1550        }
1551
1552        /* If we're jitting, we may need to JIT the BPF code now too */
1553#if HAVE_LLVM
1554        if (!filter->jitfilter) {
1555                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1556                /* Again double check here like the bpf filter */
1557                if(!filter->jitfilter)
1558                /* Looking at compile_program source this appears to be thread safe
1559                 * however if this gets called twice we will leak this memory :(
1560                 * as such lock here anyways */
1561                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1562                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1563        }
1564#endif
1565
1566        assert(filter->flag);
1567        /* Now execute the filter */
1568#if HAVE_LLVM
1569        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1570#else
1571        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1572#endif
1573
1574        /* If we copied the packet earlier, make sure that we free it */
1575        if (free_packet_needed) {
1576                trace_destroy_packet(packet_copy);
1577        }
1578        return ret;
1579#else
1580        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1581        return 0;
1582#endif
1583}
1584
1585/* Set the direction flag, if it has one
1586 * @param packet the packet opaque pointer
1587 * @param direction the new direction (0,1,2,3)
1588 * @returns a signed value containing the direction flag, or -1 if this is not supported
1589 */
1590DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1591                libtrace_direction_t direction) 
1592{
1593        assert(packet);
1594        if (packet->trace->format->set_direction) {
1595                return packet->trace->format->set_direction(packet,direction);
1596        }
1597        return (libtrace_direction_t)~0U;
1598}
1599
1600/* Get the direction flag, if it has one
1601 * @param packet a pointer to a libtrace_packet structure
1602 * @returns a signed value containing the direction flag, or -1 if this is not supported
1603 * The direction is defined as 0 for packets originating locally (ie, outbound)
1604 * and 1 for packets originating remotely (ie, inbound).
1605 * Other values are possible, which might be overloaded to mean special things
1606 * for a special trace.
1607 */
1608DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1609{
1610        assert(packet);
1611        if (packet->trace->format->get_direction) {
1612                return packet->trace->format->get_direction(packet);
1613        }
1614        return (libtrace_direction_t)~0U;
1615}
1616
1617#define ROOT_SERVER(x) ((x) < 512)
1618#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1619#define NONROOT_SERVER(x) ((x) >= 5000)
1620#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1621#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1622#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1623#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1624
1625/* Attempt to deduce the 'server' port
1626 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1627 * @param source the TCP or UDP source port
1628 * @param dest the TCP or UDP destination port
1629 * @returns a hint as to which port is the server port
1630 */
1631DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1632                uint16_t source, uint16_t dest) 
1633{
1634        /*
1635         * * If the ports are equal, return DEST
1636         * * Check for well-known ports in the given protocol
1637         * * Root server ports: 0 - 511
1638         * * Root client ports: 512 - 1023
1639         * * non-root client ports: 1024 - 4999
1640         * * non-root server ports: 5000+
1641         * * Check for static ranges: 1024 - 49151
1642         * * Check for dynamic ranges: 49152 - 65535
1643         * * flip a coin.
1644         */
1645       
1646        /* equal */
1647        if (source == dest)
1648                return USE_DEST;
1649
1650        /* root server port, 0 - 511 */
1651        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1652                if (source < dest)
1653                        return USE_SOURCE;
1654                return USE_DEST;
1655        }
1656
1657        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1658                return USE_SOURCE;
1659        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1660                return USE_DEST;
1661
1662        /* non-root server */
1663        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1664                if (source < dest)
1665                        return USE_SOURCE;
1666                return USE_DEST;
1667        }
1668        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1669                return USE_SOURCE;
1670        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1671                return USE_DEST;
1672
1673        /* root client */
1674        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1675                if (source < dest)
1676                        return USE_SOURCE;
1677                return USE_DEST;
1678        }
1679        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1680                /* prefer root-client over nonroot-client */
1681                if (NONROOT_CLIENT(dest))
1682                        return USE_SOURCE;
1683                return USE_DEST;
1684        }
1685        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1686                /* prefer root-client over nonroot-client */
1687                if (NONROOT_CLIENT(source))
1688                        return USE_DEST;
1689                return USE_SOURCE;
1690        }
1691       
1692        /* nonroot client */
1693        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1694                if (source < dest) 
1695                        return USE_SOURCE;
1696                return USE_DEST;
1697        }
1698        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1699                return USE_DEST;
1700        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1701                return USE_SOURCE;
1702
1703        /* dynamic range */
1704        if (DYNAMIC(source) && DYNAMIC(dest)) {
1705                if (source < dest)
1706                        return USE_SOURCE;
1707                return USE_DEST;
1708        }
1709        if (DYNAMIC(source) && !DYNAMIC(dest))
1710                return USE_DEST;
1711        if (!DYNAMIC(source) && DYNAMIC(dest))
1712                return USE_SOURCE;
1713        /*
1714        if (SERVER(source) && CLIENT(dest))
1715                return USE_SOURCE;
1716       
1717        if (SERVER(dest) && CLIENT(source))
1718                return USE_DEST;
1719        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1720                return USE_SOURCE;
1721        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1722                return USE_DEST;
1723        */
1724        /* failing that test... */
1725        if (source < dest) {
1726                return USE_SOURCE;
1727        } 
1728        return USE_DEST;
1729       
1730}
1731
1732/* Truncate the packet at the suggested length
1733 * @param packet        the packet opaque pointer
1734 * @param size          the new length of the packet
1735 * @returns the new size of the packet
1736 * @note size and the return size refer to the network-level payload of the
1737 * packet, and do not include any capture headers. For example, to truncate a
1738 * packet after the IP header, set size to sizeof(ethernet_header) +
1739 * sizeof(ip_header)
1740 * @note If the original network-level payload is smaller than size, then the
1741 * original size is returned and the packet is left unchanged.
1742 */
1743DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1744        assert(packet);
1745
1746        if (packet->trace->format->set_capture_length) {
1747                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1748                return packet->capture_length;
1749        }
1750
1751        return ~0U;
1752}
1753
1754/* Splits a URI into two components - the format component which is seen before
1755 * the ':', and the uridata which follows the ':'.
1756 *
1757 * Returns a pointer to the URI data, but updates the format parameter to
1758 * point to a copy of the format component.
1759 */
1760
1761DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1762        const char *uridata = 0;
1763       
1764        if((uridata = strchr(uri,':')) == NULL) {
1765                /* Badly formed URI - needs a : */
1766                return 0;
1767        }
1768
1769        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1770                /* Badly formed URI - uri type is too long */
1771                return 0;
1772        }
1773
1774        /* NOTE: this is allocated memory - it should be freed by the caller
1775         * once they are done with it */
1776        *format=xstrndup(uri, (size_t)(uridata - uri));
1777
1778        /* Push uridata past the delimiter */
1779        uridata++;
1780       
1781        return uridata;
1782}
1783
1784enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1785{
1786        assert(packet);
1787
1788        return packet->trace->format->type;
1789}
1790       
1791DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1792{
1793        libtrace_err_t err = trace->err;
1794        trace->err.err_num = 0; /* "OK" */
1795        trace->err.problem[0]='\0';
1796        return err;
1797}
1798
1799DLLEXPORT bool trace_is_err(libtrace_t *trace)
1800{
1801        return trace->err.err_num != 0;
1802}
1803
1804/* Prints the input error status to standard error and clears the error state */
1805DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1806{
1807        char buf[256];
1808        va_list va;
1809        va_start(va,msg);
1810        vsnprintf(buf,sizeof(buf),msg,va);
1811        va_end(va);
1812        if(trace->err.err_num) {
1813                if (trace->uridata) {
1814                        fprintf(stderr,"%s(%s): %s\n",
1815                                        buf,trace->uridata,trace->err.problem);
1816                } else {
1817                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1818                }
1819        } else {
1820                if (trace->uridata) {
1821                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1822                } else {
1823                        fprintf(stderr,"%s: No error\n", buf);
1824                }
1825        }
1826        trace->err.err_num = 0; /* "OK" */
1827        trace->err.problem[0]='\0';
1828}
1829
1830DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1831{
1832        libtrace_err_t err = trace->err;
1833        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1834        trace->err.problem[0]='\0';
1835        return err;
1836}
1837
1838DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1839{
1840        return trace->err.err_num != 0;
1841}
1842
1843/* Prints the output error status to standard error and clears the error state
1844 */
1845DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1846{
1847        char buf[256];
1848        va_list va;
1849        va_start(va,msg);
1850        vsnprintf(buf,sizeof(buf),msg,va);
1851        va_end(va);
1852        if(trace->err.err_num) {
1853                fprintf(stderr,"%s(%s): %s\n",
1854                                buf,
1855                                trace->uridata?trace->uridata:"no uri",
1856                                trace->err.problem);
1857        } else {
1858                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1859        }
1860        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1861        trace->err.problem[0]='\0';
1862}
1863
1864DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1865{
1866        if (trace->format->seek_erf) {
1867                return trace->format->seek_erf(trace,ts);
1868        }
1869        else {
1870                if (trace->format->seek_timeval) {
1871                        struct timeval tv;
1872#if __BYTE_ORDER == __BIG_ENDIAN
1873                        tv.tv_sec = ts & 0xFFFFFFFF;
1874                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1875#elif __BYTE_ORDER == __LITTLE_ENDIAN
1876                        tv.tv_sec = ts >> 32;
1877                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1878#else
1879#error "What on earth are you running this on?"
1880#endif
1881                        if (tv.tv_usec >= 1000000) {
1882                                tv.tv_usec -= 1000000;
1883                                tv.tv_sec += 1;
1884                        }
1885                        return trace->format->seek_timeval(trace,tv);
1886                }
1887                if (trace->format->seek_seconds) {
1888                        double seconds = 
1889                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1890                        return trace->format->seek_seconds(trace,seconds);
1891                }
1892                trace_set_err(trace,
1893                                TRACE_ERR_OPTION_UNAVAIL,
1894                                "Feature unimplemented");
1895                return -1;
1896        }
1897}
1898
1899DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1900{
1901        if (trace->format->seek_seconds) {
1902                return trace->format->seek_seconds(trace,seconds);
1903        }
1904        else {
1905                if (trace->format->seek_timeval) {
1906                        struct timeval tv;
1907                        tv.tv_sec = (uint32_t)seconds;
1908                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1909                        return trace->format->seek_timeval(trace,tv);
1910                }
1911                if (trace->format->seek_erf) {
1912                        uint64_t timestamp = 
1913                                ((uint64_t)((uint32_t)seconds) << 32) + \
1914                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1915                        return trace->format->seek_erf(trace,timestamp);
1916                }
1917                trace_set_err(trace,
1918                                TRACE_ERR_OPTION_UNAVAIL,
1919                                "Feature unimplemented");
1920                return -1;
1921        }
1922}
1923
1924DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1925{
1926        if (trace->format->seek_timeval) {
1927                return trace->format->seek_timeval(trace,tv);
1928        }
1929        else {
1930                if (trace->format->seek_erf) {
1931                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1932                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1933                        return trace->format->seek_erf(trace,timestamp);
1934                }
1935                if (trace->format->seek_seconds) {
1936                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1937                        return trace->format->seek_seconds(trace,seconds);
1938                }
1939                trace_set_err(trace,
1940                                TRACE_ERR_OPTION_UNAVAIL,
1941                                "Feature unimplemented");
1942                return -1;
1943        }
1944}
1945
1946/* Converts a binary ethernet MAC address into a printable string */
1947DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1948{
1949        static char staticbuf[18]={0,};
1950        if (!buf)
1951                buf=staticbuf;
1952        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1953                        addr[0],addr[1],addr[2],
1954                        addr[3],addr[4],addr[5]);
1955        return buf;
1956}
1957
1958/* Converts a printable ethernet MAC address into a binary format */
1959DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1960{
1961        uint8_t *buf2 = addr;
1962        unsigned int tmp[6];
1963        static uint8_t staticaddr[6];
1964        if (!buf2)
1965                buf2=staticaddr;
1966        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1967                        &tmp[0],&tmp[1],&tmp[2],
1968                        &tmp[3],&tmp[4],&tmp[5]);
1969        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1970        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1971        return buf2;
1972}
1973
1974
1975/* Creates a libtrace packet from scratch using the contents of the provided
1976 * buffer as the packet payload.
1977 *
1978 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1979 * format headers; instead this function will add the PCAP header to the
1980 * packet record. This also means only PCAP packets can be constructed using
1981 * this function.
1982 *
1983 */
1984DLLEXPORT
1985void trace_construct_packet(libtrace_packet_t *packet,
1986                libtrace_linktype_t linktype,
1987                const void *data,
1988                uint16_t len)
1989{
1990        size_t size;
1991        static libtrace_t *deadtrace=NULL;
1992        libtrace_pcapfile_pkt_hdr_t hdr;
1993#ifdef WIN32
1994        struct _timeb tstruct;
1995#else
1996        struct timeval tv;
1997#endif
1998
1999        /* We need a trace to attach the constructed packet to (and it needs
2000         * to be PCAP) */
2001        if (NULL == deadtrace) 
2002                deadtrace=trace_create_dead("pcapfile");
2003
2004        /* Fill in the new PCAP header */
2005#ifdef WIN32
2006        _ftime(&tstruct);
2007        hdr.ts_sec=tstruct.time;
2008        hdr.ts_usec=tstruct.millitm * 1000;
2009#else
2010        gettimeofday(&tv,NULL);
2011        hdr.ts_sec=tv.tv_sec;
2012        hdr.ts_usec=tv.tv_usec;
2013#endif
2014
2015        hdr.caplen=len;
2016        hdr.wirelen=len;
2017
2018        /* Now fill in the libtrace packet itself */
2019        packet->trace=deadtrace;
2020        size=len+sizeof(hdr);
2021        if (packet->buf_control==TRACE_CTRL_PACKET) {
2022                packet->buffer=realloc(packet->buffer,size);
2023        }
2024        else {
2025                packet->buffer=malloc(size);
2026        }
2027        packet->buf_control=TRACE_CTRL_PACKET;
2028        packet->header=packet->buffer;
2029        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2030       
2031        /* Ugh, memcpy - sadly necessary */
2032        memcpy(packet->header,&hdr,sizeof(hdr));
2033        memcpy(packet->payload,data,(size_t)len);
2034        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2035
2036        trace_clear_cache(packet);
2037}
2038
2039
2040uint64_t trace_get_received_packets(libtrace_t *trace)
2041{
2042        assert(trace);
2043        uint64_t ret;
2044
2045        if (trace->format->get_received_packets) {
2046                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2047                        return ret;
2048        } else if (trace->format->get_statistics) {
2049                struct libtrace_stat_t stat;
2050                stat.magic = LIBTRACE_STAT_MAGIC;
2051                trace_get_statistics(trace, &stat);
2052                if (stat.received_valid)
2053                        return stat.received;
2054        }
2055
2056        // Read the cached value taken before the trace was paused/closed
2057        if(trace->stats && trace->stats->received_valid)
2058                return trace->stats->received;
2059        else
2060                return UINT64_MAX;
2061}
2062
2063uint64_t trace_get_filtered_packets(libtrace_t *trace)
2064{
2065        assert(trace);
2066        int i = 0;
2067        uint64_t lib_filtered = trace->filtered_packets;
2068        for (i = 0; i < trace->perpkt_thread_count; i++) {
2069                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2070        }
2071        if (trace->format->get_filtered_packets) {
2072                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2073                if (trace_filtered == UINT64_MAX)
2074                        return UINT64_MAX;
2075                else
2076                        return trace_filtered + lib_filtered;
2077        } else if (trace->format->get_statistics) {
2078                struct libtrace_stat_t stat;
2079                stat.magic = LIBTRACE_STAT_MAGIC;
2080                trace_get_statistics(trace, &stat);
2081                if (stat.filtered_valid)
2082                        return lib_filtered + stat.filtered;
2083                else
2084                        return UINT64_MAX;
2085        }
2086
2087        // Read the cached value taken before the trace was paused/closed
2088        if(trace->stats && trace->stats->filtered_valid)
2089                return trace->stats->filtered + lib_filtered;
2090        else
2091                return lib_filtered;
2092}
2093
2094uint64_t trace_get_dropped_packets(libtrace_t *trace)
2095{
2096        assert(trace);
2097        uint64_t ret;
2098
2099        if (trace->format->get_dropped_packets) {
2100                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2101                        return ret;
2102        } else if (trace->format->get_statistics) {
2103                struct libtrace_stat_t stat;
2104                stat.magic = LIBTRACE_STAT_MAGIC;
2105                trace_get_statistics(trace, &stat);
2106                if (stat.dropped_valid)
2107                        return stat.dropped;
2108        }
2109
2110        // Read the cached value taken before the trace was paused/closed
2111        if(trace->stats && trace->stats->dropped_valid)
2112                return trace->stats->dropped;
2113        else
2114                return UINT64_MAX;
2115}
2116
2117uint64_t trace_get_accepted_packets(libtrace_t *trace)
2118{
2119        assert(trace);
2120        int i = 0;
2121        uint64_t ret = 0;
2122        /* We always add to a thread's accepted count before dispatching the
2123         * packet to the user. However if the underlying trace is single
2124         * threaded it will also be increasing the global count. So if we
2125         * find perpkt ignore the global count.
2126         */
2127        for (i = 0; i < trace->perpkt_thread_count; i++) {
2128                ret += trace->perpkt_threads[i].accepted_packets;
2129        }
2130        return ret ? ret : trace->accepted_packets;
2131}
2132
2133libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2134{
2135        uint64_t ret = 0;
2136        int i;
2137        assert(trace);
2138        if (stat == NULL) {
2139                if (trace->stats == NULL)
2140                        trace->stats = trace_create_statistics();
2141                stat = trace->stats;
2142        }
2143        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2144               "trace_create_statistics() to allocate statistics");
2145
2146        /* If the trace has paused or finished get the cached results */
2147        if (trace->state == STATE_PAUSED ||
2148            trace->state == STATE_FINISHED ||
2149            trace->state == STATE_FINISHING ||
2150            trace->state == STATE_JOINED) {
2151                if (trace->stats && trace->stats != stat)
2152                        *stat = *trace->stats;
2153                return stat;
2154        }
2155
2156        stat->reserved1 = 0;
2157        stat->reserved2 = 0;
2158#define X(x) stat->x ##_valid = 0;
2159        LIBTRACE_STAT_FIELDS;
2160#undef X
2161        /* Both accepted and filtered are stored against in the library */
2162
2163        /* We always add to a thread's accepted count before dispatching the
2164         * packet to the user. However if the underlying trace is single
2165         * threaded it will also be increasing the global count. So if we
2166         * find perpkt ignore the global count.
2167         */
2168        for (i = 0; i < trace->perpkt_thread_count; i++) {
2169                ret += trace->perpkt_threads[i].accepted_packets;
2170        }
2171
2172        stat->accepted_valid = 1;
2173        stat->accepted = ret ? ret : trace->accepted_packets;
2174
2175        stat->filtered_valid = 1;
2176        stat->filtered = trace->filtered_packets;
2177        for (i = 0; i < trace->perpkt_thread_count; i++) {
2178                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2179        }
2180
2181        if (trace->format->get_statistics) {
2182                trace->format->get_statistics(trace, stat);
2183        }
2184        return stat;
2185}
2186
2187void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2188                                 libtrace_stat_t *stat)
2189{
2190        assert(trace && stat);
2191        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2192               "trace_create_statistics() to allocate statistics");
2193        stat->reserved1 = 0;
2194        stat->reserved2 = 0;
2195#define X(x) stat->x ##_valid= 0;
2196        LIBTRACE_STAT_FIELDS;
2197#undef X
2198        stat->accepted_valid = 1;
2199        stat->accepted = t->accepted_packets;
2200        stat->filtered_valid = 1;
2201        stat->filtered = t->filtered_packets;
2202        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2203                trace->format->get_thread_statistics(trace, t, stat);
2204        }
2205        return;
2206}
2207
2208libtrace_stat_t *trace_create_statistics(void) {
2209        libtrace_stat_t *ret;
2210        ret = malloc(sizeof(libtrace_stat_t));
2211        if (ret) {
2212                memset(ret, 0, sizeof(libtrace_stat_t));
2213                ret->magic = LIBTRACE_STAT_MAGIC;
2214        }
2215        return ret;
2216}
2217
2218void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2219                         libtrace_stat_t *c) {
2220        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2221               "trace_create_statistics() to allocate statistics");
2222        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2223               "trace_create_statistics() to allocate statistics");
2224        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2225               "trace_create_statistics() to allocate statistics");
2226
2227#define X(x) \
2228        if (a->x ##_valid && b->x ##_valid) { \
2229                c->x ##_valid = 1; \
2230                c->x = a->x - b->x; \
2231        } else {\
2232                c->x ##_valid = 0;\
2233        }
2234        LIBTRACE_STAT_FIELDS
2235#undef X
2236}
2237
2238void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2239                         libtrace_stat_t *c) {
2240        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2241               "trace_create_statistics() to allocate statistics");
2242        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2243               "trace_create_statistics() to allocate statistics");
2244        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2245               "trace_create_statistics() to allocate statistics");
2246
2247#define X(x) \
2248        if (a->x ##_valid&& b->x ##_valid) { \
2249                c->x ##_valid = 1; \
2250                c->x = a->x + b->x; \
2251        } else {\
2252                c->x ##_valid = 0;\
2253        }
2254        LIBTRACE_STAT_FIELDS
2255#undef X
2256}
2257
2258int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2259        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2260               "trace_create_statistics() to allocate statistics");
2261        if (format == NULL)
2262                format = "%s: %"PRIu64"\n";
2263#define xstr(s) str(s)
2264#define str(s) #s
2265#define X(x) \
2266        if (s->x ##_valid) { \
2267                if (fprintf(f, format, xstr(x), s->x) < 0) \
2268                        return -1; \
2269        }
2270        LIBTRACE_STAT_FIELDS
2271#undef X
2272        return 0;
2273}
2274
2275
2276void trace_clear_cache(libtrace_packet_t *packet) {
2277
2278        packet->l2_header = NULL;
2279        packet->l3_header = NULL;
2280        packet->l4_header = NULL;
2281        packet->link_type = 0;
2282        packet->l3_ethertype = 0;
2283        packet->transport_proto = 0;
2284        packet->capture_length = -1;
2285        packet->wire_length = -1;
2286        packet->payload_length = -1;
2287        packet->l2_remaining = 0;
2288        packet->l3_remaining = 0;
2289        packet->l4_remaining = 0;
2290
2291}
2292
2293void trace_interrupt(void) {
2294        libtrace_halt = 1;
2295}
2296
2297void register_format(struct libtrace_format_t *f) {
2298        assert(f->next==NULL); /* Can't register a format twice */
2299        f->next=formats_list;
2300        formats_list=f;
2301
2302        /* Now, verify that the format has at least the minimum functionality.
2303         *
2304         * This #if can be changed to a 1 to output warnings about inconsistent
2305         * functions being provided by format modules.  This generally is very
2306         * noisy, as almost all modules don't implement one or more functions
2307         * for various reasons.  This is very useful when checking a new
2308         * format module is sane.
2309         */ 
2310#if 0
2311        if (f->init_input) {
2312#define REQUIRE(x) \
2313                if (!f->x) \
2314                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2315                REQUIRE(read_packet);
2316                REQUIRE(start_input);
2317                REQUIRE(fin_input);
2318                REQUIRE(get_link_type);
2319                REQUIRE(get_capture_length);
2320                REQUIRE(get_wire_length);
2321                REQUIRE(get_framing_length);
2322                REQUIRE(trace_event);
2323                if (!f->get_erf_timestamp
2324                        && !f->get_seconds
2325                        && !f->get_timeval) {
2326                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2327"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2328                }
2329                if (f->trace_event!=trace_event_trace) {
2330                        /* Theres nothing that a trace file could optimise with
2331                         * config_input
2332                         */
2333                        REQUIRE(pause_input);
2334                        REQUIRE(config_input);
2335                        REQUIRE(get_fd);
2336                }
2337                else {
2338                        if (f->get_fd) {
2339                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2340                                                f->name);
2341                        }
2342                }
2343#undef REQUIRE
2344        }
2345        else {
2346#define REQUIRE(x) \
2347                if (f->x) \
2348                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2349                REQUIRE(read_packet);
2350                REQUIRE(start_input);
2351                REQUIRE(pause_input);
2352                REQUIRE(fin_input);
2353                REQUIRE(get_link_type);
2354                REQUIRE(get_capture_length);
2355                REQUIRE(get_wire_length);
2356                REQUIRE(get_framing_length);
2357                REQUIRE(trace_event);
2358                REQUIRE(get_seconds);
2359                REQUIRE(get_timeval);
2360                REQUIRE(get_erf_timestamp);
2361#undef REQUIRE
2362        }
2363        if (f->init_output) {
2364#define REQUIRE(x) \
2365                if (!f->x) \
2366                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2367                REQUIRE(write_packet);
2368                REQUIRE(start_output);
2369                REQUIRE(config_output);
2370                REQUIRE(fin_output);
2371#undef REQUIRE
2372        }
2373        else {
2374#define REQUIRE(x) \
2375                if (f->x) \
2376                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2377                REQUIRE(write_packet);
2378                REQUIRE(start_output);
2379                REQUIRE(config_output);
2380                REQUIRE(fin_output);
2381#undef REQUIRE
2382        }
2383#endif
2384}
2385
Note: See TracBrowser for help on using the repository browser.