source: lib/trace.c @ 733c8b4

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 733c8b4 was f0cb0d4, checked in by Shane Alcock <salcock@…>, 6 years ago

Seed the RNG when calling trace_init

If we don't do this, we can't have more than one ring/int parallel input
at a time on a host. This is because the fanout group id is chosen using
rand() and so was previously always the same value, leading to conflicts
that would cause trace_pstart() to fail.

  • Property mode set to 100644
File size: 67.9 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007-2015 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        struct timeval tv;
139        gettimeofday(&tv, NULL);
140        srand(tv.tv_sec);
141
142        if (!formats_list) {
143                duck_constructor();
144                erf_constructor();
145                tsh_constructor();
146                legacy_constructor();
147                atmhdr_constructor();
148                linuxring_constructor();
149                linuxnative_constructor();
150#ifdef HAVE_LIBPCAP
151                pcap_constructor();
152#endif
153                bpf_constructor();
154                pcapfile_constructor();
155                rt_constructor();
156#ifdef HAVE_DAG
157                dag_constructor();
158#endif
159#ifdef HAVE_DPDK
160        dpdk_constructor();
161#endif
162        }
163}
164
165/* Prints help information for libtrace
166 *
167 * Function prints out some basic help information regarding libtrace,
168 * and then prints out the help() function registered with each input module
169 */
170DLLEXPORT void trace_help(void) {
171        struct libtrace_format_t *tmp;
172        trace_init();
173        printf("libtrace %s\n\n",PACKAGE_VERSION);
174        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
175        for(tmp=formats_list;tmp;tmp=tmp->next) {
176                if (tmp->help)
177                        tmp->help();
178        }
179}
180
181#define URI_PROTO_LINE 16U
182
183/* Try to guess which format module is appropriate for a given trace file or
184 * device */
185static void guess_format(libtrace_t *libtrace, const char *filename)
186{
187        struct libtrace_format_t *tmp;
188       
189        /* Try and guess based on filename */
190        for(tmp = formats_list; tmp; tmp=tmp->next) {
191                if (tmp->probe_filename && tmp->probe_filename(filename)) {
192                        libtrace->format = tmp;
193                        libtrace->uridata = strdup(filename);
194                        return;
195                }
196        }
197
198        libtrace->io = wandio_create(filename);
199        if (!libtrace->io)
200                return;
201
202        /* Try and guess based on file magic */
203        for(tmp = formats_list; tmp; tmp=tmp->next) {
204                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
205                        libtrace->format = tmp;
206                        libtrace->uridata = strdup(filename);
207                        return;
208                }
209        }
210       
211        /* No formats matched -- make sure we clean up the IO object we
212         * used to probe the file magic */
213        wandio_destroy(libtrace->io);
214        return;
215}
216
217/* Creates an input trace from a URI
218 *
219 * @params char * containing a valid libtrace URI
220 * @returns opaque pointer to a libtrace_t
221 *
222 * Some valid URI's are:
223 *  erf:/path/to/erf/file
224 *  erf:/path/to/erf/file.gz
225 *  erf:-                       (stdin)
226 *  dag:/dev/dagcard
227 *  pcapint:pcapinterface               (eg: pcapint:eth0)
228 *  pcapfile:/path/to/pcap/file
229 *  pcapfile:-
230 *  int:interface                       (eg: int:eth0) only on Linux
231 *  rt:hostname
232 *  rt:hostname:port
233 *
234 * If an error occured when attempting to open a trace, NULL is returned
235 * and an error is output to stdout.
236 */
237DLLEXPORT libtrace_t *trace_create(const char *uri) {
238        libtrace_t *libtrace = 
239                        (libtrace_t *)malloc(sizeof(libtrace_t));
240        char *scan = 0;
241        const char *uridata = 0;                 
242
243        trace_init();
244
245        assert(uri && "Passing NULL to trace_create makes me a very sad program");
246
247        if (!libtrace) {
248                /* Out of memory */
249                return NULL;
250        }
251       
252        libtrace->err.err_num = TRACE_ERR_NOERROR;
253        libtrace->format=NULL;
254       
255        libtrace->event.tdelta = 0.0;
256        libtrace->event.packet = NULL;
257        libtrace->event.psize = 0;
258        libtrace->event.trace_last_ts = 0.0;
259        libtrace->event.waiting = false;
260        libtrace->filter = NULL;
261        libtrace->snaplen = 0;
262        libtrace->started=false;
263        libtrace->uridata = NULL;
264        libtrace->io = NULL;
265        libtrace->filtered_packets = 0;
266        libtrace->accepted_packets = 0;
267        libtrace->last_packet = NULL;
268       
269        /* Parallel inits */
270        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
271        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
272        libtrace->state = STATE_NEW;
273        libtrace->perpkt_queue_full = false;
274        libtrace->global_blob = NULL;
275        libtrace->hasher = NULL;
276        libtrace->hasher_data = NULL;
277        libtrace_zero_ocache(&libtrace->packet_freelist);
278        libtrace_zero_thread(&libtrace->hasher_thread);
279        libtrace_zero_thread(&libtrace->reporter_thread);
280        libtrace_zero_thread(&libtrace->keepalive_thread);
281        libtrace->reporter_thread.type = THREAD_EMPTY;
282        libtrace->perpkt_thread_count = 0;
283        libtrace->perpkt_threads = NULL;
284        libtrace->tracetime = 0;
285        libtrace->first_packets.first = 0;
286        libtrace->first_packets.count = 0;
287        libtrace->first_packets.packets = NULL;
288        libtrace->stats = NULL;
289        libtrace->pread = NULL;
290        libtrace->sequence_number = 0;
291        ZERO_USER_CONFIG(libtrace->config);
292        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
293        libtrace->perpkt_cbs = NULL;
294        libtrace->reporter_cbs = NULL;
295
296        /* Parse the URI to determine what sort of trace we are dealing with */
297        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
298                /* Could not parse the URI nicely */
299                guess_format(libtrace,uri);
300                if (!libtrace->format) {
301                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
302                        return libtrace;
303                }
304        }
305        else {
306                struct libtrace_format_t *tmp;
307
308                /* Find a format that matches the first part of the URI */
309                for (tmp=formats_list;tmp;tmp=tmp->next) {
310                        if (strlen(scan) == strlen(tmp->name) &&
311                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
312                                        ) {
313                                libtrace->format=tmp;
314                                break;
315                        }
316                }
317
318                if (libtrace->format == 0) {
319                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
320                                        "Unknown format (%s)",scan);
321                        return libtrace;
322                }
323
324                libtrace->uridata = strdup(uridata);
325        }
326        /* libtrace->format now contains the type of uri
327         * libtrace->uridata contains the appropriate data for this
328         */
329       
330        /* Call the init_input function for the matching capture format */ 
331        if (libtrace->format->init_input) {
332                int err=libtrace->format->init_input(libtrace);
333                assert (err==-1 || err==0);
334                if (err==-1) {
335                        /* init_input should call trace_set_err to set
336                         * the error message
337                         */
338                        return libtrace;
339                }
340        } else {
341                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
342                                "Format does not support input (%s)",scan);
343                return libtrace;
344        }
345       
346        if (scan)
347                free(scan);
348        libtrace->err.err_num=TRACE_ERR_NOERROR;
349        libtrace->err.problem[0]='\0';
350        return libtrace;
351}
352
353/* Creates a "dummy" trace file that has only the format type set.
354 *
355 * @returns opaque pointer to a (sparsely initialised) libtrace_t
356 *
357 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
358 * with the dummy trace. Its intended purpose is to act as a packet->trace for
359 * libtrace_packet_t's that are not associated with a libtrace_t structure.
360 */
361DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
362        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
363        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
364        char *uridata;
365        struct libtrace_format_t *tmp;
366
367        trace_init();
368       
369        libtrace->err.err_num = TRACE_ERR_NOERROR;
370
371        if((uridata = strchr(uri,':')) == NULL) {
372                xstrncpy(scan, uri, strlen(uri));
373        } else {
374                xstrncpy(scan,uri, (size_t)(uridata - uri));
375        }
376       
377        libtrace->err.err_num = TRACE_ERR_NOERROR;
378        libtrace->format=NULL;
379       
380        libtrace->event.tdelta = 0.0;
381        libtrace->event.packet = NULL;
382        libtrace->event.psize = 0;
383        libtrace->event.trace_last_ts = 0.0;
384        libtrace->filter = NULL;
385        libtrace->snaplen = 0;
386        libtrace->started=false;
387        libtrace->uridata = NULL;
388        libtrace->io = NULL;
389        libtrace->filtered_packets = 0;
390        libtrace->accepted_packets = 0;
391        libtrace->last_packet = NULL;
392       
393        /* Parallel inits */
394        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
395        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
396        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
397        libtrace->perpkt_queue_full = false;
398        libtrace->global_blob = NULL;
399        libtrace->hasher = NULL;
400        libtrace_zero_ocache(&libtrace->packet_freelist);
401        libtrace_zero_thread(&libtrace->hasher_thread);
402        libtrace_zero_thread(&libtrace->reporter_thread);
403        libtrace_zero_thread(&libtrace->keepalive_thread);
404        libtrace->reporter_thread.type = THREAD_EMPTY;
405        libtrace->perpkt_thread_count = 0;
406        libtrace->perpkt_threads = NULL;
407        libtrace->tracetime = 0;
408        libtrace->stats = NULL;
409        libtrace->pread = NULL;
410        libtrace->sequence_number = 0;
411        ZERO_USER_CONFIG(libtrace->config);
412        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
413        libtrace->perpkt_cbs = NULL;
414        libtrace->reporter_cbs = NULL;
415       
416        for(tmp=formats_list;tmp;tmp=tmp->next) {
417                if (strlen(scan) == strlen(tmp->name) &&
418                                !strncasecmp(scan,
419                                        tmp->name,
420                                        strlen(scan))) {
421                                libtrace->format=tmp;
422                                break;
423                                }
424        }
425        if (libtrace->format == 0) {
426                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
427                                "Unknown format (%s)",scan);
428        }
429
430        libtrace->format_data = NULL;
431        free(scan);
432        return libtrace;
433
434}
435
436/* Creates an output trace from a URI.
437 *
438 * @param uri   the uri string describing the output format and destination
439 * @returns opaque pointer to a libtrace_output_t
440 *
441 *  If an error occured when attempting to open the output trace, NULL is
442 *  returned and trace_errno is set.
443 */
444       
445DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
446        libtrace_out_t *libtrace = 
447                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
448       
449        char *scan = 0;
450        const char *uridata = 0;
451        struct libtrace_format_t *tmp;
452
453        trace_init();
454
455        libtrace->err.err_num = TRACE_ERR_NOERROR;
456        strcpy(libtrace->err.problem,"Error message set\n");
457        libtrace->format = NULL;
458        libtrace->uridata = NULL;
459       
460        /* Parse the URI to determine what capture format we want to write */
461
462        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
463                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
464                                "Bad uri format (%s)",uri);
465                return libtrace;
466        }
467       
468        /* Attempt to find the format in the list of supported formats */
469        for(tmp=formats_list;tmp;tmp=tmp->next) {
470                if (strlen(scan) == strlen(tmp->name) &&
471                                !strncasecmp(scan,
472                                        tmp->name,
473                                        strlen(scan))) {
474                                libtrace->format=tmp;
475                                break;
476                                }
477        }
478        free(scan);
479
480        if (libtrace->format == NULL) {
481                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
482                                "Unknown output format (%s)",scan);
483                return libtrace;
484        }
485        libtrace->uridata = strdup(uridata);
486
487        /* libtrace->format now contains the type of uri
488         * libtrace->uridata contains the appropriate data for this
489         */
490
491        if (libtrace->format->init_output) {
492                /* 0 on success, -1 on failure */
493                switch(libtrace->format->init_output(libtrace)) {
494                        case -1: /* failure */
495                                return libtrace;
496                        case 0: /* success */
497                                break;
498                        default:
499                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
500                }
501        } else {
502                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
503                                "Format does not support writing (%s)",scan);
504                return libtrace;
505        }
506
507
508        libtrace->started=false;
509        return libtrace;
510}
511
512/* Start an input trace
513 * @param libtrace      the input trace to start
514 * @returns 0 on success
515 *
516 * This does the work associated with actually starting up
517 * the trace.  it may fail.
518 */
519DLLEXPORT int trace_start(libtrace_t *libtrace)
520{
521        assert(libtrace);
522        if (trace_is_err(libtrace))
523                return -1;
524        if (libtrace->format->start_input) {
525                int ret=libtrace->format->start_input(libtrace);
526                if (ret < 0) {
527                        return ret;
528                }
529        }
530
531        libtrace->started=true;
532        return 0;
533}
534
535/* Start an output trace */
536DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
537{
538        assert(libtrace);
539        if (libtrace->format->start_output) {
540                int ret=libtrace->format->start_output(libtrace);
541                if (ret < 0) {
542                        return ret;
543                }
544        }
545
546        libtrace->started=true;
547        return 0;
548}
549
550DLLEXPORT int trace_pause(libtrace_t *libtrace)
551{
552        assert(libtrace);
553        if (!libtrace->started) {
554                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
555                return -1;
556        }
557
558        /* Finish the last packet we read - for backwards compatibility */
559        if (libtrace->last_packet)
560                trace_fin_packet(libtrace->last_packet);
561        assert(libtrace->last_packet == NULL);
562
563        if (libtrace->format->pause_input)
564                libtrace->format->pause_input(libtrace);
565
566        libtrace->started=false;
567        return 0;
568}
569
570DLLEXPORT int trace_config(libtrace_t *libtrace,
571                trace_option_t option,
572                void *value)
573{
574        int ret;
575
576        if (trace_is_err(libtrace)) {
577                return -1;
578        }
579
580        if (option == TRACE_OPTION_HASHER)
581                return trace_set_hasher(libtrace,
582                                        (enum hasher_types) *((int *) value),
583                                        NULL, NULL);
584
585        /* If the capture format supports configuration, try using their
586         * native configuration first */
587        if (libtrace->format->config_input) {
588                ret=libtrace->format->config_input(libtrace,option,value);
589                if (ret==0)
590                        return 0;
591        }
592
593        /* If we get here, either the native configuration failed or the
594         * format did not support configuration. However, libtrace can
595         * deal with some options itself, so give that a go */
596        switch(option) {
597                case TRACE_OPTION_SNAPLEN:
598                        /* Clear the error if there was one */
599                        if (trace_is_err(libtrace)) {
600                                trace_get_err(libtrace);
601                        }
602                        if (*(int*)value<0 
603                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
604                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
605                                        "Invalid snap length");
606                        }
607                        libtrace->snaplen=*(int*)value;
608                        return 0;
609                case TRACE_OPTION_FILTER:
610                        /* Clear the error if there was one */
611                        if (trace_is_err(libtrace)) {
612                                trace_get_err(libtrace);
613                        }
614                        libtrace->filter=(libtrace_filter_t *)value;
615                        return 0;
616                case TRACE_OPTION_PROMISC:
617                        if (!trace_is_err(libtrace)) {
618                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
619                                                "Promisc mode is not supported by this format module");
620                        }
621                        return -1;
622                case TRACE_OPTION_META_FREQ:
623                        if (!trace_is_err(libtrace)) {
624                                trace_set_err(libtrace, 
625                                                TRACE_ERR_OPTION_UNAVAIL,
626                                                "This format does not support meta-data gathering");
627                        }
628                        return -1;
629                case TRACE_OPTION_EVENT_REALTIME:
630                        if (!trace_is_err(libtrace)) {
631                                trace_set_err(libtrace, 
632                                                TRACE_ERR_OPTION_UNAVAIL,
633                                                "This format does not support realtime events");
634                        }
635                        return -1;
636                case TRACE_OPTION_HASHER:
637                        /* Dealt with earlier */
638                        return -1;
639                       
640        }
641        if (!trace_is_err(libtrace)) {
642                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
643                        "Unknown option %i", option);
644        }
645        return -1;
646}
647
648DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
649        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
650}
651
652DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
653        int tmp = promisc;
654        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
655}
656
657DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
658        return trace_config(trace, TRACE_OPTION_FILTER, filter);
659}
660
661DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
662        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
663}
664
665DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
666        int tmp = realtime;
667        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
668}
669
670DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
671                trace_option_output_t option,
672                void *value) {
673       
674        /* Unlike the input options, libtrace does not natively support any of
675         * the output options - the format module must be able to deal with
676         * them. */
677        if (libtrace->format->config_output) {
678                return libtrace->format->config_output(libtrace, option, value);
679        }
680        return -1;
681}
682
683/* Close an input trace file, freeing up any resources it may have been using
684 *
685 */
686DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
687        int i;
688        assert(libtrace);
689
690        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
691        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
692
693        /* destroy any packets that are still around */
694        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
695                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
696                        if(libtrace->first_packets.packets[i].packet) {
697                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
698                        }
699                }
700                free(libtrace->first_packets.packets);
701                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
702        }
703
704        /* Finish any the last packet we read - for backwards compatibility */
705        if (libtrace->last_packet)
706                trace_fin_packet(libtrace->last_packet);
707        assert(libtrace->last_packet == NULL);
708
709        if (libtrace->format) {
710                if (libtrace->started && libtrace->format->pause_input)
711                        libtrace->format->pause_input(libtrace);
712                if (libtrace->format->fin_input)
713                        libtrace->format->fin_input(libtrace);
714        }
715        /* Need to free things! */
716        if (libtrace->uridata)
717                free(libtrace->uridata);
718
719        if (libtrace->stats)
720                free(libtrace->stats);
721       
722        /* Empty any packet memory */
723        if (libtrace->state != STATE_NEW) {
724                // This has all of our packets
725                libtrace_ocache_destroy(&libtrace->packet_freelist);
726                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
727                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
728                }
729                libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
730                libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
731                libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
732
733
734                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
735                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
736                free(libtrace->perpkt_threads);
737                libtrace->perpkt_threads = NULL;
738                libtrace->perpkt_thread_count = 0;
739
740        }
741
742        if (libtrace->perpkt_cbs)
743                trace_destroy_callback_set(libtrace->perpkt_cbs);
744        if (libtrace->reporter_cbs)
745                trace_destroy_callback_set(libtrace->reporter_cbs);
746
747        if (libtrace->event.packet) {
748                /* Don't use trace_destroy_packet here - there is almost
749                 * certainly going to be another libtrace_packet_t that is
750                 * pointing to the buffer for this packet, so we don't want
751                 * to free it. Rather, it will get freed when the user calls
752                 * trace_destroy_packet on the libtrace_packet_t that they
753                 * own.
754                 *
755                 * All we need to do then is free our packet structure itself.
756                 */
757                 free(libtrace->event.packet);
758        }
759        free(libtrace);
760}
761
762
763DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
764        assert(libtrace);
765
766        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
767        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
768
769        /* Don't call pause_input or fin_input, because we should never have
770         * used this trace to do any reading anyway. Do make sure we free
771         * any format_data that has been created, though. */
772        if (libtrace->format_data)
773                free(libtrace->format_data);
774        free(libtrace);
775}
776/* Close an output trace file, freeing up any resources it may have been using
777 *
778 * @param libtrace      the output trace file to be destroyed
779 */
780DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
781{
782        assert(libtrace);
783        if (libtrace->format && libtrace->format->fin_output)
784                libtrace->format->fin_output(libtrace);
785        if (libtrace->uridata)
786                free(libtrace->uridata);
787        free(libtrace);
788}
789
790DLLEXPORT libtrace_packet_t *trace_create_packet(void)
791{
792        libtrace_packet_t *packet =
793                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
794
795        packet->buf_control=TRACE_CTRL_PACKET;
796        trace_clear_cache(packet);
797        return packet;
798}
799
800DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
801        libtrace_packet_t *dest = 
802                (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
803        if (!dest) {
804                printf("Out of memory constructing packet\n");
805                abort();
806        }
807        dest->trace=packet->trace;
808        dest->buffer=malloc(65536);
809        if (!dest->buffer) {
810                printf("Out of memory allocating buffer memory\n");
811                abort();
812        }
813        dest->header=dest->buffer;
814        dest->payload=(void*)
815                ((char*)dest->buffer+trace_get_framing_length(packet));
816        dest->type=packet->type;
817        dest->buf_control=TRACE_CTRL_PACKET;
818        dest->order = packet->order;
819        dest->hash = packet->hash;
820        dest->error = packet->error;
821        /* Reset the cache - better to recalculate than try to convert
822         * the values over to the new packet */
823        trace_clear_cache(dest);       
824        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
825         * as much as possible */
826        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
827        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
828
829        return dest;
830}
831
832/** Destroy a packet object
833 */
834DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
835        /* Free any resources possibly associated with the packet */
836        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
837                packet->trace->format->fin_packet(packet);
838        }
839        if (packet->trace && packet->trace->last_packet == packet)
840                packet->trace->last_packet = NULL;
841       
842        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
843                free(packet->buffer);
844        }
845        packet->buf_control=(buf_control_t)'\0'; 
846                                /* A "bad" value to force an assert
847                                 * if this packet is ever reused
848                                 */
849        free(packet);
850}
851
852/**
853 * Removes any possible data stored againt the trace and releases any data.
854 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
855 * use trace_destroy_packet() for those diabolical purposes.
856 */
857void trace_fin_packet(libtrace_packet_t *packet) {
858        if (packet)
859        {
860                if (packet->trace && packet->trace->format->fin_packet) {
861                        packet->trace->format->fin_packet(packet);
862                }
863
864                if (packet->srcbucket && packet->internalid != 0) {
865                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
866                        libtrace_release_bucket_id(b, packet->internalid);
867                }
868
869                if (packet->trace) {
870                        pthread_mutex_lock(&packet->trace->libtrace_lock);
871                        if (packet->trace->last_packet == packet)
872                                packet->trace->last_packet = NULL;
873                        pthread_mutex_unlock(&packet->trace->libtrace_lock);
874                }
875
876                // No matter what we remove the header and link pointers
877                packet->trace = NULL;
878                packet->header = NULL;
879                packet->payload = NULL;
880
881                if (packet->buf_control != TRACE_CTRL_PACKET)
882                {
883                        packet->buffer = NULL;
884                }
885
886                trace_clear_cache(packet);
887                packet->hash = 0;
888                packet->order = 0;
889                packet->srcbucket = NULL;
890        }
891}
892
893/* Read one packet from the trace into buffer. Note that this function will
894 * block until a packet is read (or EOF is reached).
895 *
896 * @param libtrace      the libtrace opaque pointer
897 * @param packet        the packet opaque pointer
898 * @returns 0 on EOF, negative value on error
899 *
900 */
901DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
902
903        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
904        if (trace_is_err(libtrace))
905                return -1;
906        if (!libtrace->started) {
907                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
908                return -1;
909        }
910        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
911                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
912                return -1;
913        }
914        assert(packet);
915
916        if (libtrace->format->read_packet) {
917                /* Finalise the packet, freeing any resources the format module
918                 * may have allocated it and zeroing all data associated with it.
919                 */
920                if (packet->trace == libtrace)
921                        trace_fin_packet(packet);
922                do {
923                        size_t ret;
924                        int filtret;
925                        /* Store the trace we are reading from into the packet opaque
926                         * structure */
927                        packet->trace = libtrace;
928                        ret=libtrace->format->read_packet(libtrace,packet);
929                        if (ret==(size_t)-1 || ret==0) {
930                                return ret;
931                        }
932                        if (libtrace->filter) {
933                                /* If the filter doesn't match, read another
934                                 * packet
935                                 */
936                                filtret = trace_apply_filter(libtrace->filter, packet);
937                                if (filtret == -1) {
938                                        /* Error compiling filter, probably */
939                                        return ~0U;
940                                }
941
942                                if (filtret == 0) {
943                                        ++libtrace->filtered_packets;
944                                        trace_fin_packet(packet);
945                                        continue;
946                                }
947                        }
948                        if (libtrace->snaplen>0) {
949                                /* Snap the packet */
950                                trace_set_capture_length(packet,
951                                                libtrace->snaplen);
952                        }
953                        trace_packet_set_order(packet, libtrace->sequence_number);
954                        ++libtrace->accepted_packets;
955                        ++libtrace->sequence_number;
956                        if (packet->trace == libtrace)
957                                libtrace->last_packet = packet;
958
959                        return ret;
960                } while(1);
961        }
962        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
963        return ~0U;
964}
965
966/* Converts the provided buffer into a libtrace packet of the given type.
967 *
968 * Unlike trace_construct_packet, the buffer is expected to begin with the
969 * appropriate capture format header for the format type that the packet is
970 * being converted to. This also allows for a packet to be converted into
971 * just about capture format that is supported by libtrace, provided the
972 * format header is present in the buffer.
973 *
974 * This function is primarily used to convert packets received via the RT
975 * protocol back into their original capture format. The RT header encapsulates
976 * the original capture format header, so after removing it the packet must
977 * have it's header and payload pointers updated and the packet format and type
978 * changed, amongst other things.
979 *
980 * Intended only for internal use at this point - this function is not
981 * available through the external libtrace API.
982 */
983int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
984                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
985
986        assert(packet);
987        assert(trace);
988       
989        /* XXX Proper error handling?? */
990        if (buffer == NULL)
991                return -1;
992
993        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
994                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
995                return -1;
996        }
997       
998        packet->trace = trace;
999        pthread_mutex_lock(&trace->libtrace_lock);
1000        trace->last_packet = packet;
1001        pthread_mutex_unlock(&trace->libtrace_lock);
1002       
1003        /* Clear packet cache */
1004        trace_clear_cache(packet);
1005
1006        if (trace->format->prepare_packet) {
1007                return trace->format->prepare_packet(trace, packet,
1008                                buffer, rt_type, flags);
1009        }
1010        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
1011                        "This format does not support preparing packets\n");
1012        return -1;
1013
1014}
1015
1016/* Writes a packet to the specified output trace
1017 *
1018 * @param libtrace      describes the output format, destination, etc.
1019 * @param packet        the packet to be written out
1020 * @returns the number of bytes written, -1 if write failed
1021 */
1022DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1023        assert(libtrace);
1024        assert(packet);
1025        /* Verify the packet is valid */
1026        if (!libtrace->started) {
1027                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1028                        "Trace is not started before trace_write_packet");
1029                return -1;
1030        }
1031
1032        if (libtrace->format->write_packet) {
1033                return libtrace->format->write_packet(libtrace, packet);
1034        }
1035        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1036                "This format does not support writing packets");
1037        return -1;
1038}
1039
1040/* Get a pointer to the first byte of the packet payload */
1041DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1042                libtrace_linktype_t *linktype, uint32_t *remaining) {
1043        int cap_len;
1044        int wire_len;
1045
1046        assert(packet != NULL);
1047        if (linktype) *linktype = trace_get_link_type(packet);
1048        if (remaining) {
1049                /* I think we should choose the minimum of the capture and
1050                 * wire lengths to be the "remaining" value. If the packet has
1051                 * been padded to increase the capture length, we don't want
1052                 * to allow subsequent protocol decoders to consider the
1053                 * padding as part of the packet.
1054                 *
1055                 * For example, in Auck 4 there is a trace where the IP header
1056                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1057                 * header. Total IP length is 40 bytes. As a result, the
1058                 * legacyatm padding gets treated as the "missing" bytes of
1059                 * the TCP header, which isn't the greatest. We're probably
1060                 * better off returning an incomplete TCP header in that case.
1061                 */
1062               
1063                cap_len = trace_get_capture_length(packet);
1064                wire_len = trace_get_wire_length(packet);
1065
1066                assert(cap_len >= 0);
1067
1068                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1069                 * massively negative wire lens. We could assert fail here on
1070                 * them, but we could at least try the capture length instead.
1071                 *
1072                 * You may still run into problems if you try to write that
1073                 * packet, but at least reading should work OK.
1074                 */
1075                if (wire_len < 0)
1076                        *remaining = cap_len;
1077                else if (wire_len < cap_len)
1078                        *remaining = wire_len;
1079                else
1080                        *remaining = cap_len;
1081                /* *remaining = trace_get_capture_length(packet); */
1082        }
1083        return (void *) packet->payload;
1084}
1085
1086
1087/* Get a pointer to the first byte of the packet payload
1088 *
1089 * DEPRECATED - use trace_get_packet_buffer() instead */
1090DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1091        return (void *)packet->payload;
1092}
1093
1094/* Get the current time in DAG time format
1095 * @param packet        a pointer to a libtrace_packet structure
1096 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1097 * past 1970-01-01, the lower 32bits are partial seconds)
1098 */ 
1099DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1100        if (packet->trace->format->get_erf_timestamp) {
1101                /* timestamp -> timestamp */
1102                return packet->trace->format->get_erf_timestamp(packet);
1103        } else if (packet->trace->format->get_timespec) {
1104                /* timespec -> timestamp */
1105                struct timespec ts;
1106                ts = packet->trace->format->get_timespec(packet);
1107                return ((((uint64_t)ts.tv_sec) << 32) +
1108                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1109        } else if (packet->trace->format->get_timeval) {
1110                /* timeval -> timestamp */
1111                struct timeval tv;
1112                tv = packet->trace->format->get_timeval(packet);
1113                return ((((uint64_t)tv.tv_sec) << 32) +
1114                                (((uint64_t)tv.tv_usec << 32)/1000000));
1115        } else if (packet->trace->format->get_seconds) {
1116                /* seconds -> timestamp */
1117                double seconds = packet->trace->format->get_seconds(packet);
1118                return (((uint64_t)seconds)<<32)
1119                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1120        }
1121        else {
1122                return (uint64_t)0;
1123        }
1124                     
1125}
1126
1127/* Get the current time in struct timeval
1128 * @param packet        a pointer to a libtrace_packet structure
1129 *
1130 * @returns time that this packet was seen in a struct timeval
1131 * @author Daniel Lawson
1132 * @author Perry Lorier
1133 */ 
1134DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1135        struct timeval tv;
1136        uint64_t ts = 0;
1137        if (packet->trace->format->get_timeval) {
1138                /* timeval -> timeval */
1139                tv = packet->trace->format->get_timeval(packet);
1140        } else if (packet->trace->format->get_erf_timestamp) {
1141                /* timestamp -> timeval */
1142                ts = packet->trace->format->get_erf_timestamp(packet);
1143                tv.tv_sec = ts >> 32;
1144                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1145                if (tv.tv_usec >= 1000000) {
1146                        tv.tv_usec -= 1000000;
1147                        tv.tv_sec += 1;
1148                }
1149        } else if (packet->trace->format->get_timespec) {
1150                struct timespec ts = packet->trace->format->get_timespec(packet);
1151                tv.tv_sec = ts.tv_sec;
1152                tv.tv_usec = ts.tv_nsec/1000;
1153        } else if (packet->trace->format->get_seconds) {
1154                /* seconds -> timeval */
1155                double seconds = packet->trace->format->get_seconds(packet);
1156                tv.tv_sec = (uint32_t)seconds;
1157                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1158        }
1159        else {
1160                tv.tv_sec=-1;
1161                tv.tv_usec=-1;
1162        }
1163
1164    return tv;
1165}
1166
1167DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1168        struct timespec ts;
1169
1170        if (packet->trace->format->get_timespec) {
1171                return packet->trace->format->get_timespec(packet);
1172        } else if (packet->trace->format->get_erf_timestamp) {
1173                /* timestamp -> timeval */
1174                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1175                ts.tv_sec = erfts >> 32;
1176                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1177                if (ts.tv_nsec >= 1000000000) {
1178                        ts.tv_nsec -= 1000000000;
1179                        ts.tv_sec += 1;
1180                }
1181                return ts;
1182        } else if (packet->trace->format->get_timeval) {
1183                /* timeval -> timespec */
1184                struct timeval tv = packet->trace->format->get_timeval(packet);
1185                ts.tv_sec = tv.tv_sec;
1186                ts.tv_nsec = tv.tv_usec*1000;
1187                return ts;
1188        } else if (packet->trace->format->get_seconds) {
1189                /* seconds -> timespec */
1190                double seconds = packet->trace->format->get_seconds(packet);
1191                ts.tv_sec = (uint32_t)seconds;
1192                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1193                return ts;
1194        }
1195        else {
1196                ts.tv_sec=-1;
1197                ts.tv_nsec=-1;
1198                return ts;
1199        }
1200}
1201
1202
1203/* Get the current time in floating point seconds
1204 * @param packet        a pointer to a libtrace_packet structure
1205 * @returns time that this packet was seen in 64bit floating point seconds
1206 */ 
1207DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1208        double seconds = 0.0;
1209
1210        if (packet->trace->format->get_seconds) {
1211                /* seconds->seconds */
1212                seconds = packet->trace->format->get_seconds(packet);
1213        } else if (packet->trace->format->get_erf_timestamp) {
1214                /* timestamp -> seconds */
1215                uint64_t ts = 0;
1216                ts = packet->trace->format->get_erf_timestamp(packet);
1217                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1218        } else if (packet->trace->format->get_timespec) {
1219                /* timespec -> seconds */
1220                struct timespec ts;
1221                ts = packet->trace->format->get_timespec(packet);
1222                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1223        } else if (packet->trace->format->get_timeval) {
1224                /* timeval -> seconds */
1225                struct timeval tv;
1226                tv = packet->trace->format->get_timeval(packet);
1227                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1228        }
1229
1230        return seconds;
1231}
1232
1233DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1234{
1235        /* Cache the capture length */
1236        if (packet->capture_length == -1) {
1237                if (!packet->trace->format->get_capture_length)
1238                        return ~0U;
1239                /* Cast away constness because this is "just" a cache */
1240                ((libtrace_packet_t*)packet)->capture_length = 
1241                        packet->trace->format->get_capture_length(packet);
1242        }
1243
1244        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1245
1246        return packet->capture_length;
1247}
1248       
1249/* Get the size of the packet as it was seen on the wire.
1250 * @param packet        a pointer to a libtrace_packet structure
1251 *
1252 * @returns the size of the packet as it was on the wire.
1253 * @note Due to the trace being a header capture, or anonymisation this may
1254 * not be the same as the Capture Len.
1255 */ 
1256DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1257       
1258        if (packet->wire_length == -1) {
1259                if (!packet->trace->format->get_wire_length) 
1260                        return ~0U;
1261                ((libtrace_packet_t *)packet)->wire_length = 
1262                        packet->trace->format->get_wire_length(packet);
1263        }
1264
1265        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1266        return packet->wire_length;
1267
1268}
1269
1270/* Get the length of the capture framing headers.
1271 * @param packet        the packet opaque pointer
1272 * @returns the size of the packet as it was on the wire.
1273 * @note this length corresponds to the difference between the size of a
1274 * captured packet in memory, and the captured length of the packet
1275 */ 
1276DLLEXPORT SIMPLE_FUNCTION
1277size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1278        if (packet->trace->format->get_framing_length) {
1279                return packet->trace->format->get_framing_length(packet);
1280        }
1281        return ~0U;
1282}
1283
1284
1285/* Get the type of the link layer
1286 * @param packet        a pointer to a libtrace_packet structure
1287 * @returns libtrace_linktype_t
1288 */
1289DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1290
1291        if (packet->link_type == 0) {
1292                if (!packet->trace->format->get_link_type)
1293                        return TRACE_TYPE_UNKNOWN;
1294                ((libtrace_packet_t *)packet)->link_type =
1295                        packet->trace->format->get_link_type(packet);
1296        }
1297
1298        return packet->link_type;
1299}
1300
1301/* process a libtrace event
1302 * @param trace the libtrace opaque pointer
1303 * @param packet the libtrace_packet opaque pointer
1304 * @returns
1305 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1306 *  TRACE_EVENT_SLEEP   Next event in seconds
1307 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1308 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1309 * FIXME currently keeps a copy of the packet inside the trace pointer,
1310 * which in turn is stored inside the new packet object...
1311 */
1312DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1313                libtrace_packet_t *packet) {
1314        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1315
1316        if (!trace) {
1317                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1318        }
1319        assert(trace);
1320        assert(packet);
1321
1322        /* Free the last packet */
1323        trace_fin_packet(packet);
1324       
1325        /* Store the trace we are reading from into the packet opaque
1326         * structure */
1327        packet->trace = trace;
1328
1329        if (packet->trace->format->trace_event) {
1330                /* Note: incrementing accepted, filtered etc. packet
1331                 * counters is handled by the format-specific
1332                 * function so don't increment them here.
1333                 */
1334                event=packet->trace->format->trace_event(trace,packet);
1335                }
1336        return event;
1337
1338}
1339
1340/** Setup a BPF filter based on pre-compiled byte-code.
1341 * @param bf_insns      A pointer to the start of the byte-code
1342 * @param bf_len        The number of BPF instructions
1343 * @returns             an opaque pointer to a libtrace_filter_t object
1344 * @note                The supplied byte-code is not checked for correctness.
1345 * @author              Scott Raynel
1346 */
1347DLLEXPORT libtrace_filter_t *
1348trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1349{
1350#ifndef HAVE_BPF_FILTER
1351        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1352        return NULL;
1353#else
1354        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1355                malloc(sizeof(struct libtrace_filter_t));
1356        filter->filter.bf_insns = (struct bpf_insn *)
1357                malloc(sizeof(struct bpf_insn) * bf_len);
1358       
1359        memcpy(filter->filter.bf_insns, bf_insns,
1360                        bf_len * sizeof(struct bpf_insn));
1361       
1362        filter->filter.bf_len = bf_len;
1363        filter->filterstring = NULL;
1364        filter->jitfilter = NULL;
1365        /* "flag" indicates that the filter member is valid */
1366        filter->flag = 1; 
1367       
1368        return filter;
1369#endif
1370}
1371
1372/* Create a BPF filter
1373 * @param filterstring a char * containing the bpf filter string
1374 * @returns opaque pointer pointer to a libtrace_filter_t object
1375 */
1376DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1377#ifdef HAVE_BPF_FILTER
1378        libtrace_filter_t *filter = (libtrace_filter_t*)
1379                                malloc(sizeof(libtrace_filter_t));
1380        filter->filterstring = strdup(filterstring);
1381        filter->jitfilter = NULL;
1382        filter->flag = 0;
1383        return filter;
1384#else
1385        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1386        return NULL;
1387#endif
1388}
1389
1390DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1391{
1392#ifdef HAVE_BPF_FILTER
1393        free(filter->filterstring);
1394        if (filter->flag)
1395                pcap_freecode(&filter->filter);
1396#ifdef HAVE_LLVM
1397        if (filter->jitfilter) 
1398                destroy_program(filter->jitfilter);
1399#endif
1400        free(filter);
1401#else
1402
1403#endif
1404}
1405
1406/* Compile a bpf filter, now we know the link type for the trace that we're
1407 * applying it to.
1408 *
1409 * @internal
1410 *
1411 * @returns -1 on error, 0 on success
1412 */
1413static int trace_bpf_compile(libtrace_filter_t *filter,
1414                const libtrace_packet_t *packet,
1415                void *linkptr, 
1416                libtrace_linktype_t linktype    ) {
1417#ifdef HAVE_BPF_FILTER
1418        /* It just so happens that the underlying libs used by pthread arn't
1419         * thread safe, namely lex/flex thingys, so single threaded compile
1420         * multi threaded running should be safe.
1421         */
1422        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1423        assert(filter);
1424
1425        /* If this isn't a real packet, then fail */
1426        if (!linkptr) {
1427                trace_set_err(packet->trace,
1428                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1429                return -1;
1430        }
1431       
1432        if (filter->filterstring && ! filter->flag) {
1433                pcap_t *pcap = NULL;
1434                if (linktype==(libtrace_linktype_t)-1) {
1435                        trace_set_err(packet->trace,
1436                                        TRACE_ERR_BAD_FILTER,
1437                                        "Packet has an unknown linktype");
1438                        return -1;
1439                }
1440                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1441                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1442                                        "Unknown pcap equivalent linktype");
1443                        return -1;
1444                }
1445                assert (pthread_mutex_lock(&mutex) == 0);
1446                /* Make sure not one bet us to this */
1447                if (filter->flag) {
1448                        assert (pthread_mutex_unlock(&mutex) == 0);
1449                        return 1;
1450                }
1451                pcap=(pcap_t *)pcap_open_dead(
1452                                (int)libtrace_to_pcap_dlt(linktype),
1453                                1500U);
1454                /* build filter */
1455                assert(pcap);
1456                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1457                                        1, 0)) {
1458                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1459                                        "Unable to compile the filter \"%s\": %s", 
1460                                        filter->filterstring,
1461                                        pcap_geterr(pcap));
1462                        pcap_close(pcap);
1463                        assert (pthread_mutex_unlock(&mutex) == 0);
1464                        return -1;
1465                }
1466                pcap_close(pcap);
1467                filter->flag=1;
1468                assert (pthread_mutex_unlock(&mutex) == 0);
1469        }
1470        return 0;
1471#else
1472        assert(!"Internal bug: This should never be called when BPF not enabled");
1473        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1474                                "Feature unavailable");
1475        return -1;
1476#endif
1477}
1478
1479DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1480                        const libtrace_packet_t *packet) {
1481#ifdef HAVE_BPF_FILTER
1482        void *linkptr = 0;
1483        uint32_t clen = 0;
1484        bool free_packet_needed = false;
1485        int ret;
1486        libtrace_linktype_t linktype;
1487        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1488#ifdef HAVE_LLVM
1489        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1490#endif
1491
1492        assert(filter);
1493        assert(packet);
1494
1495        /* Match all non-data packets as we probably want them to pass
1496         * through to the caller */
1497        linktype = trace_get_link_type(packet);
1498
1499        if (linktype == TRACE_TYPE_NONDATA)
1500                return 1;       
1501
1502        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1503               
1504                /* If we cannot get a suitable DLT for the packet, it may
1505                 * be because the packet is encapsulated in a link type that
1506                 * does not correspond to a DLT. Therefore, we should try
1507                 * popping off headers until we either can find a suitable
1508                 * link type or we can't do any more sensible decapsulation. */
1509               
1510                /* Copy the packet, as we don't want to trash the one we
1511                 * were passed in */
1512                packet_copy=trace_copy_packet(packet);
1513                free_packet_needed=true;
1514
1515                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1516                        if (!demote_packet(packet_copy)) {
1517                                trace_set_err(packet->trace, 
1518                                                TRACE_ERR_NO_CONVERSION,
1519                                                "pcap does not support this format");
1520                                if (free_packet_needed) {
1521                                        trace_destroy_packet(packet_copy);
1522                                }
1523                                return -1;
1524                        }
1525                        linktype = trace_get_link_type(packet_copy);
1526                }
1527
1528        }
1529       
1530        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1531        if (!linkptr) {
1532                if (free_packet_needed) {
1533                        trace_destroy_packet(packet_copy);
1534                }
1535                return 0;
1536        }
1537
1538        /* We need to compile the filter now, because before we didn't know
1539         * what the link type was
1540         */
1541        // Note internal mutex locking used here
1542        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1543                if (free_packet_needed) {
1544                        trace_destroy_packet(packet_copy);
1545                }
1546                return -1;
1547        }
1548
1549        /* If we're jitting, we may need to JIT the BPF code now too */
1550#if HAVE_LLVM
1551        if (!filter->jitfilter) {
1552                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1553                /* Again double check here like the bpf filter */
1554                if(!filter->jitfilter)
1555                /* Looking at compile_program source this appears to be thread safe
1556                 * however if this gets called twice we will leak this memory :(
1557                 * as such lock here anyways */
1558                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1559                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1560        }
1561#endif
1562
1563        assert(filter->flag);
1564        /* Now execute the filter */
1565#if HAVE_LLVM
1566        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1567#else
1568        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1569#endif
1570
1571        /* If we copied the packet earlier, make sure that we free it */
1572        if (free_packet_needed) {
1573                trace_destroy_packet(packet_copy);
1574        }
1575        return ret;
1576#else
1577        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1578        return 0;
1579#endif
1580}
1581
1582/* Set the direction flag, if it has one
1583 * @param packet the packet opaque pointer
1584 * @param direction the new direction (0,1,2,3)
1585 * @returns a signed value containing the direction flag, or -1 if this is not supported
1586 */
1587DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1588                libtrace_direction_t direction) 
1589{
1590        assert(packet);
1591        if (packet->trace->format->set_direction) {
1592                return packet->trace->format->set_direction(packet,direction);
1593        }
1594        return (libtrace_direction_t)~0U;
1595}
1596
1597/* Get the direction flag, if it has one
1598 * @param packet a pointer to a libtrace_packet structure
1599 * @returns a signed value containing the direction flag, or -1 if this is not supported
1600 * The direction is defined as 0 for packets originating locally (ie, outbound)
1601 * and 1 for packets originating remotely (ie, inbound).
1602 * Other values are possible, which might be overloaded to mean special things
1603 * for a special trace.
1604 */
1605DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1606{
1607        assert(packet);
1608        if (packet->trace->format->get_direction) {
1609                return packet->trace->format->get_direction(packet);
1610        }
1611        return (libtrace_direction_t)~0U;
1612}
1613
1614#define ROOT_SERVER(x) ((x) < 512)
1615#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1616#define NONROOT_SERVER(x) ((x) >= 5000)
1617#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1618#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1619#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1620#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1621
1622/* Attempt to deduce the 'server' port
1623 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1624 * @param source the TCP or UDP source port
1625 * @param dest the TCP or UDP destination port
1626 * @returns a hint as to which port is the server port
1627 */
1628DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1629                uint16_t source, uint16_t dest) 
1630{
1631        /*
1632         * * If the ports are equal, return DEST
1633         * * Check for well-known ports in the given protocol
1634         * * Root server ports: 0 - 511
1635         * * Root client ports: 512 - 1023
1636         * * non-root client ports: 1024 - 4999
1637         * * non-root server ports: 5000+
1638         * * Check for static ranges: 1024 - 49151
1639         * * Check for dynamic ranges: 49152 - 65535
1640         * * flip a coin.
1641         */
1642       
1643        /* equal */
1644        if (source == dest)
1645                return USE_DEST;
1646
1647        /* root server port, 0 - 511 */
1648        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1649                if (source < dest)
1650                        return USE_SOURCE;
1651                return USE_DEST;
1652        }
1653
1654        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1655                return USE_SOURCE;
1656        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1657                return USE_DEST;
1658
1659        /* non-root server */
1660        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1661                if (source < dest)
1662                        return USE_SOURCE;
1663                return USE_DEST;
1664        }
1665        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1666                return USE_SOURCE;
1667        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1668                return USE_DEST;
1669
1670        /* root client */
1671        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1672                if (source < dest)
1673                        return USE_SOURCE;
1674                return USE_DEST;
1675        }
1676        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1677                /* prefer root-client over nonroot-client */
1678                if (NONROOT_CLIENT(dest))
1679                        return USE_SOURCE;
1680                return USE_DEST;
1681        }
1682        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1683                /* prefer root-client over nonroot-client */
1684                if (NONROOT_CLIENT(source))
1685                        return USE_DEST;
1686                return USE_SOURCE;
1687        }
1688       
1689        /* nonroot client */
1690        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1691                if (source < dest) 
1692                        return USE_SOURCE;
1693                return USE_DEST;
1694        }
1695        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1696                return USE_DEST;
1697        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1698                return USE_SOURCE;
1699
1700        /* dynamic range */
1701        if (DYNAMIC(source) && DYNAMIC(dest)) {
1702                if (source < dest)
1703                        return USE_SOURCE;
1704                return USE_DEST;
1705        }
1706        if (DYNAMIC(source) && !DYNAMIC(dest))
1707                return USE_DEST;
1708        if (!DYNAMIC(source) && DYNAMIC(dest))
1709                return USE_SOURCE;
1710        /*
1711        if (SERVER(source) && CLIENT(dest))
1712                return USE_SOURCE;
1713       
1714        if (SERVER(dest) && CLIENT(source))
1715                return USE_DEST;
1716        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1717                return USE_SOURCE;
1718        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1719                return USE_DEST;
1720        */
1721        /* failing that test... */
1722        if (source < dest) {
1723                return USE_SOURCE;
1724        } 
1725        return USE_DEST;
1726       
1727}
1728
1729/* Truncate the packet at the suggested length
1730 * @param packet        the packet opaque pointer
1731 * @param size          the new length of the packet
1732 * @returns the new size of the packet
1733 * @note size and the return size refer to the network-level payload of the
1734 * packet, and do not include any capture headers. For example, to truncate a
1735 * packet after the IP header, set size to sizeof(ethernet_header) +
1736 * sizeof(ip_header)
1737 * @note If the original network-level payload is smaller than size, then the
1738 * original size is returned and the packet is left unchanged.
1739 */
1740DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1741        assert(packet);
1742
1743        if (packet->trace->format->set_capture_length) {
1744                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1745                return packet->capture_length;
1746        }
1747
1748        return ~0U;
1749}
1750
1751/* Splits a URI into two components - the format component which is seen before
1752 * the ':', and the uridata which follows the ':'.
1753 *
1754 * Returns a pointer to the URI data, but updates the format parameter to
1755 * point to a copy of the format component.
1756 */
1757
1758DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1759        const char *uridata = 0;
1760       
1761        if((uridata = strchr(uri,':')) == NULL) {
1762                /* Badly formed URI - needs a : */
1763                return 0;
1764        }
1765
1766        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1767                /* Badly formed URI - uri type is too long */
1768                return 0;
1769        }
1770
1771        /* NOTE: this is allocated memory - it should be freed by the caller
1772         * once they are done with it */
1773        *format=xstrndup(uri, (size_t)(uridata - uri));
1774
1775        /* Push uridata past the delimiter */
1776        uridata++;
1777       
1778        return uridata;
1779}
1780
1781enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1782{
1783        assert(packet);
1784
1785        return packet->trace->format->type;
1786}
1787       
1788DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1789{
1790        libtrace_err_t err = trace->err;
1791        trace->err.err_num = 0; /* "OK" */
1792        trace->err.problem[0]='\0';
1793        return err;
1794}
1795
1796DLLEXPORT bool trace_is_err(libtrace_t *trace)
1797{
1798        return trace->err.err_num != 0;
1799}
1800
1801/* Prints the input error status to standard error and clears the error state */
1802DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1803{
1804        char buf[256];
1805        va_list va;
1806        va_start(va,msg);
1807        vsnprintf(buf,sizeof(buf),msg,va);
1808        va_end(va);
1809        if(trace->err.err_num) {
1810                if (trace->uridata) {
1811                        fprintf(stderr,"%s(%s): %s\n",
1812                                        buf,trace->uridata,trace->err.problem);
1813                } else {
1814                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1815                }
1816        } else {
1817                if (trace->uridata) {
1818                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1819                } else {
1820                        fprintf(stderr,"%s: No error\n", buf);
1821                }
1822        }
1823        trace->err.err_num = 0; /* "OK" */
1824        trace->err.problem[0]='\0';
1825}
1826
1827DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1828{
1829        libtrace_err_t err = trace->err;
1830        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1831        trace->err.problem[0]='\0';
1832        return err;
1833}
1834
1835DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1836{
1837        return trace->err.err_num != 0;
1838}
1839
1840/* Prints the output error status to standard error and clears the error state
1841 */
1842DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1843{
1844        char buf[256];
1845        va_list va;
1846        va_start(va,msg);
1847        vsnprintf(buf,sizeof(buf),msg,va);
1848        va_end(va);
1849        if(trace->err.err_num) {
1850                fprintf(stderr,"%s(%s): %s\n",
1851                                buf,
1852                                trace->uridata?trace->uridata:"no uri",
1853                                trace->err.problem);
1854        } else {
1855                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1856        }
1857        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1858        trace->err.problem[0]='\0';
1859}
1860
1861DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1862{
1863        if (trace->format->seek_erf) {
1864                return trace->format->seek_erf(trace,ts);
1865        }
1866        else {
1867                if (trace->format->seek_timeval) {
1868                        struct timeval tv;
1869#if __BYTE_ORDER == __BIG_ENDIAN
1870                        tv.tv_sec = ts & 0xFFFFFFFF;
1871                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1872#elif __BYTE_ORDER == __LITTLE_ENDIAN
1873                        tv.tv_sec = ts >> 32;
1874                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1875#else
1876#error "What on earth are you running this on?"
1877#endif
1878                        if (tv.tv_usec >= 1000000) {
1879                                tv.tv_usec -= 1000000;
1880                                tv.tv_sec += 1;
1881                        }
1882                        return trace->format->seek_timeval(trace,tv);
1883                }
1884                if (trace->format->seek_seconds) {
1885                        double seconds = 
1886                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1887                        return trace->format->seek_seconds(trace,seconds);
1888                }
1889                trace_set_err(trace,
1890                                TRACE_ERR_OPTION_UNAVAIL,
1891                                "Feature unimplemented");
1892                return -1;
1893        }
1894}
1895
1896DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1897{
1898        if (trace->format->seek_seconds) {
1899                return trace->format->seek_seconds(trace,seconds);
1900        }
1901        else {
1902                if (trace->format->seek_timeval) {
1903                        struct timeval tv;
1904                        tv.tv_sec = (uint32_t)seconds;
1905                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1906                        return trace->format->seek_timeval(trace,tv);
1907                }
1908                if (trace->format->seek_erf) {
1909                        uint64_t timestamp = 
1910                                ((uint64_t)((uint32_t)seconds) << 32) + \
1911                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1912                        return trace->format->seek_erf(trace,timestamp);
1913                }
1914                trace_set_err(trace,
1915                                TRACE_ERR_OPTION_UNAVAIL,
1916                                "Feature unimplemented");
1917                return -1;
1918        }
1919}
1920
1921DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1922{
1923        if (trace->format->seek_timeval) {
1924                return trace->format->seek_timeval(trace,tv);
1925        }
1926        else {
1927                if (trace->format->seek_erf) {
1928                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1929                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1930                        return trace->format->seek_erf(trace,timestamp);
1931                }
1932                if (trace->format->seek_seconds) {
1933                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1934                        return trace->format->seek_seconds(trace,seconds);
1935                }
1936                trace_set_err(trace,
1937                                TRACE_ERR_OPTION_UNAVAIL,
1938                                "Feature unimplemented");
1939                return -1;
1940        }
1941}
1942
1943/* Converts a binary ethernet MAC address into a printable string */
1944DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1945{
1946        static char staticbuf[18]={0,};
1947        if (!buf)
1948                buf=staticbuf;
1949        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1950                        addr[0],addr[1],addr[2],
1951                        addr[3],addr[4],addr[5]);
1952        return buf;
1953}
1954
1955/* Converts a printable ethernet MAC address into a binary format */
1956DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1957{
1958        uint8_t *buf2 = addr;
1959        unsigned int tmp[6];
1960        static uint8_t staticaddr[6];
1961        if (!buf2)
1962                buf2=staticaddr;
1963        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1964                        &tmp[0],&tmp[1],&tmp[2],
1965                        &tmp[3],&tmp[4],&tmp[5]);
1966        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1967        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1968        return buf2;
1969}
1970
1971
1972/* Creates a libtrace packet from scratch using the contents of the provided
1973 * buffer as the packet payload.
1974 *
1975 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1976 * format headers; instead this function will add the PCAP header to the
1977 * packet record. This also means only PCAP packets can be constructed using
1978 * this function.
1979 *
1980 */
1981DLLEXPORT
1982void trace_construct_packet(libtrace_packet_t *packet,
1983                libtrace_linktype_t linktype,
1984                const void *data,
1985                uint16_t len)
1986{
1987        size_t size;
1988        static libtrace_t *deadtrace=NULL;
1989        libtrace_pcapfile_pkt_hdr_t hdr;
1990#ifdef WIN32
1991        struct _timeb tstruct;
1992#else
1993        struct timeval tv;
1994#endif
1995
1996        /* We need a trace to attach the constructed packet to (and it needs
1997         * to be PCAP) */
1998        if (NULL == deadtrace) 
1999                deadtrace=trace_create_dead("pcapfile");
2000
2001        /* Fill in the new PCAP header */
2002#ifdef WIN32
2003        _ftime(&tstruct);
2004        hdr.ts_sec=tstruct.time;
2005        hdr.ts_usec=tstruct.millitm * 1000;
2006#else
2007        gettimeofday(&tv,NULL);
2008        hdr.ts_sec=tv.tv_sec;
2009        hdr.ts_usec=tv.tv_usec;
2010#endif
2011
2012        hdr.caplen=len;
2013        hdr.wirelen=len;
2014
2015        /* Now fill in the libtrace packet itself */
2016        packet->trace=deadtrace;
2017        size=len+sizeof(hdr);
2018        if (packet->buf_control==TRACE_CTRL_PACKET) {
2019                packet->buffer=realloc(packet->buffer,size);
2020        }
2021        else {
2022                packet->buffer=malloc(size);
2023        }
2024        packet->buf_control=TRACE_CTRL_PACKET;
2025        packet->header=packet->buffer;
2026        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2027       
2028        /* Ugh, memcpy - sadly necessary */
2029        memcpy(packet->header,&hdr,sizeof(hdr));
2030        memcpy(packet->payload,data,(size_t)len);
2031        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2032
2033        trace_clear_cache(packet);
2034}
2035
2036
2037uint64_t trace_get_received_packets(libtrace_t *trace)
2038{
2039        assert(trace);
2040        uint64_t ret;
2041
2042        if (trace->format->get_received_packets) {
2043                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2044                        return ret;
2045        } else if (trace->format->get_statistics) {
2046                struct libtrace_stat_t stat;
2047                stat.magic = LIBTRACE_STAT_MAGIC;
2048                trace_get_statistics(trace, &stat);
2049                if (stat.received_valid)
2050                        return stat.received;
2051        }
2052
2053        // Read the cached value taken before the trace was paused/closed
2054        if(trace->stats && trace->stats->received_valid)
2055                return trace->stats->received;
2056        else
2057                return UINT64_MAX;
2058}
2059
2060uint64_t trace_get_filtered_packets(libtrace_t *trace)
2061{
2062        assert(trace);
2063        int i = 0;
2064        uint64_t lib_filtered = trace->filtered_packets;
2065        for (i = 0; i < trace->perpkt_thread_count; i++) {
2066                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2067        }
2068        if (trace->format->get_filtered_packets) {
2069                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2070                if (trace_filtered == UINT64_MAX)
2071                        return UINT64_MAX;
2072                else
2073                        return trace_filtered + lib_filtered;
2074        } else if (trace->format->get_statistics) {
2075                struct libtrace_stat_t stat;
2076                stat.magic = LIBTRACE_STAT_MAGIC;
2077                trace_get_statistics(trace, &stat);
2078                if (stat.filtered_valid)
2079                        return lib_filtered + stat.filtered;
2080                else
2081                        return UINT64_MAX;
2082        }
2083
2084        // Read the cached value taken before the trace was paused/closed
2085        if(trace->stats && trace->stats->filtered_valid)
2086                return trace->stats->filtered + lib_filtered;
2087        else
2088                return lib_filtered;
2089}
2090
2091uint64_t trace_get_dropped_packets(libtrace_t *trace)
2092{
2093        assert(trace);
2094        uint64_t ret;
2095
2096        if (trace->format->get_dropped_packets) {
2097                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2098                        return ret;
2099        } else if (trace->format->get_statistics) {
2100                struct libtrace_stat_t stat;
2101                stat.magic = LIBTRACE_STAT_MAGIC;
2102                trace_get_statistics(trace, &stat);
2103                if (stat.dropped_valid)
2104                        return stat.dropped;
2105        }
2106
2107        // Read the cached value taken before the trace was paused/closed
2108        if(trace->stats && trace->stats->dropped_valid)
2109                return trace->stats->dropped;
2110        else
2111                return UINT64_MAX;
2112}
2113
2114uint64_t trace_get_accepted_packets(libtrace_t *trace)
2115{
2116        assert(trace);
2117        int i = 0;
2118        uint64_t ret = 0;
2119        /* We always add to a thread's accepted count before dispatching the
2120         * packet to the user. However if the underlying trace is single
2121         * threaded it will also be increasing the global count. So if we
2122         * find perpkt ignore the global count.
2123         */
2124        for (i = 0; i < trace->perpkt_thread_count; i++) {
2125                ret += trace->perpkt_threads[i].accepted_packets;
2126        }
2127        return ret ? ret : trace->accepted_packets;
2128}
2129
2130libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2131{
2132        uint64_t ret = 0;
2133        int i;
2134        assert(trace);
2135        if (stat == NULL) {
2136                if (trace->stats == NULL)
2137                        trace->stats = trace_create_statistics();
2138                stat = trace->stats;
2139        }
2140        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2141               "trace_create_statistics() to allocate statistics");
2142
2143        /* If the trace has paused or finished get the cached results */
2144        if (trace->state == STATE_PAUSED ||
2145            trace->state == STATE_FINISHED ||
2146            trace->state == STATE_FINISHING ||
2147            trace->state == STATE_JOINED) {
2148                if (trace->stats && trace->stats != stat)
2149                        *stat = *trace->stats;
2150                return stat;
2151        }
2152
2153        stat->reserved1 = 0;
2154        stat->reserved2 = 0;
2155#define X(x) stat->x ##_valid = 0;
2156        LIBTRACE_STAT_FIELDS;
2157#undef X
2158        /* Both accepted and filtered are stored against in the library */
2159
2160        /* We always add to a thread's accepted count before dispatching the
2161         * packet to the user. However if the underlying trace is single
2162         * threaded it will also be increasing the global count. So if we
2163         * find perpkt ignore the global count.
2164         */
2165        for (i = 0; i < trace->perpkt_thread_count; i++) {
2166                ret += trace->perpkt_threads[i].accepted_packets;
2167        }
2168
2169        stat->accepted_valid = 1;
2170        stat->accepted = ret ? ret : trace->accepted_packets;
2171
2172        stat->filtered_valid = 1;
2173        stat->filtered = trace->filtered_packets;
2174        for (i = 0; i < trace->perpkt_thread_count; i++) {
2175                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2176        }
2177
2178        if (trace->format->get_statistics) {
2179                trace->format->get_statistics(trace, stat);
2180        }
2181        return stat;
2182}
2183
2184void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2185                                 libtrace_stat_t *stat)
2186{
2187        assert(trace && stat);
2188        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2189               "trace_create_statistics() to allocate statistics");
2190        stat->reserved1 = 0;
2191        stat->reserved2 = 0;
2192#define X(x) stat->x ##_valid= 0;
2193        LIBTRACE_STAT_FIELDS;
2194#undef X
2195        stat->accepted_valid = 1;
2196        stat->accepted = t->accepted_packets;
2197        stat->filtered_valid = 1;
2198        stat->filtered = t->filtered_packets;
2199        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2200                trace->format->get_thread_statistics(trace, t, stat);
2201        }
2202        return;
2203}
2204
2205libtrace_stat_t *trace_create_statistics(void) {
2206        libtrace_stat_t *ret;
2207        ret = malloc(sizeof(libtrace_stat_t));
2208        if (ret) {
2209                memset(ret, 0, sizeof(libtrace_stat_t));
2210                ret->magic = LIBTRACE_STAT_MAGIC;
2211        }
2212        return ret;
2213}
2214
2215void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2216                         libtrace_stat_t *c) {
2217        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2218               "trace_create_statistics() to allocate statistics");
2219        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2220               "trace_create_statistics() to allocate statistics");
2221        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2222               "trace_create_statistics() to allocate statistics");
2223
2224#define X(x) \
2225        if (a->x ##_valid && b->x ##_valid) { \
2226                c->x ##_valid = 1; \
2227                c->x = a->x - b->x; \
2228        } else {\
2229                c->x ##_valid = 0;\
2230        }
2231        LIBTRACE_STAT_FIELDS
2232#undef X
2233}
2234
2235void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2236                         libtrace_stat_t *c) {
2237        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2238               "trace_create_statistics() to allocate statistics");
2239        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2240               "trace_create_statistics() to allocate statistics");
2241        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2242               "trace_create_statistics() to allocate statistics");
2243
2244#define X(x) \
2245        if (a->x ##_valid&& b->x ##_valid) { \
2246                c->x ##_valid = 1; \
2247                c->x = a->x + b->x; \
2248        } else {\
2249                c->x ##_valid = 0;\
2250        }
2251        LIBTRACE_STAT_FIELDS
2252#undef X
2253}
2254
2255int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2256        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2257               "trace_create_statistics() to allocate statistics");
2258        if (format == NULL)
2259                format = "%s: %"PRIu64"\n";
2260#define xstr(s) str(s)
2261#define str(s) #s
2262#define X(x) \
2263        if (s->x ##_valid) { \
2264                if (fprintf(f, format, xstr(x), s->x) < 0) \
2265                        return -1; \
2266        }
2267        LIBTRACE_STAT_FIELDS
2268#undef X
2269        return 0;
2270}
2271
2272
2273void trace_clear_cache(libtrace_packet_t *packet) {
2274
2275        packet->l2_header = NULL;
2276        packet->l3_header = NULL;
2277        packet->l4_header = NULL;
2278        packet->link_type = 0;
2279        packet->l3_ethertype = 0;
2280        packet->transport_proto = 0;
2281        packet->capture_length = -1;
2282        packet->wire_length = -1;
2283        packet->payload_length = -1;
2284        packet->l2_remaining = 0;
2285        packet->l3_remaining = 0;
2286        packet->l4_remaining = 0;
2287
2288}
2289
2290void trace_interrupt(void) {
2291        libtrace_halt = 1;
2292}
2293
2294void register_format(struct libtrace_format_t *f) {
2295        assert(f->next==NULL); /* Can't register a format twice */
2296        f->next=formats_list;
2297        formats_list=f;
2298
2299        /* Now, verify that the format has at least the minimum functionality.
2300         *
2301         * This #if can be changed to a 1 to output warnings about inconsistent
2302         * functions being provided by format modules.  This generally is very
2303         * noisy, as almost all modules don't implement one or more functions
2304         * for various reasons.  This is very useful when checking a new
2305         * format module is sane.
2306         */ 
2307#if 0
2308        if (f->init_input) {
2309#define REQUIRE(x) \
2310                if (!f->x) \
2311                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2312                REQUIRE(read_packet);
2313                REQUIRE(start_input);
2314                REQUIRE(fin_input);
2315                REQUIRE(get_link_type);
2316                REQUIRE(get_capture_length);
2317                REQUIRE(get_wire_length);
2318                REQUIRE(get_framing_length);
2319                REQUIRE(trace_event);
2320                if (!f->get_erf_timestamp
2321                        && !f->get_seconds
2322                        && !f->get_timeval) {
2323                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2324"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2325                }
2326                if (f->trace_event!=trace_event_trace) {
2327                        /* Theres nothing that a trace file could optimise with
2328                         * config_input
2329                         */
2330                        REQUIRE(pause_input);
2331                        REQUIRE(config_input);
2332                        REQUIRE(get_fd);
2333                }
2334                else {
2335                        if (f->get_fd) {
2336                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2337                                                f->name);
2338                        }
2339                }
2340#undef REQUIRE
2341        }
2342        else {
2343#define REQUIRE(x) \
2344                if (f->x) \
2345                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2346                REQUIRE(read_packet);
2347                REQUIRE(start_input);
2348                REQUIRE(pause_input);
2349                REQUIRE(fin_input);
2350                REQUIRE(get_link_type);
2351                REQUIRE(get_capture_length);
2352                REQUIRE(get_wire_length);
2353                REQUIRE(get_framing_length);
2354                REQUIRE(trace_event);
2355                REQUIRE(get_seconds);
2356                REQUIRE(get_timeval);
2357                REQUIRE(get_erf_timestamp);
2358#undef REQUIRE
2359        }
2360        if (f->init_output) {
2361#define REQUIRE(x) \
2362                if (!f->x) \
2363                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2364                REQUIRE(write_packet);
2365                REQUIRE(start_output);
2366                REQUIRE(config_output);
2367                REQUIRE(fin_output);
2368#undef REQUIRE
2369        }
2370        else {
2371#define REQUIRE(x) \
2372                if (f->x) \
2373                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2374                REQUIRE(write_packet);
2375                REQUIRE(start_output);
2376                REQUIRE(config_output);
2377                REQUIRE(fin_output);
2378#undef REQUIRE
2379        }
2380#endif
2381}
2382
Note: See TracBrowser for help on using the repository browser.