source: lib/trace.c @ ff12906

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since ff12906 was ff12906, checked in by Shane Alcock <salcock@…>, 6 years ago

Fix segfaults when destroying a non-parallel trace

  • Property mode set to 100644
File size: 66.8 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008,2009,2010 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        if (!formats_list) {
139                duck_constructor();
140                erf_constructor();
141                tsh_constructor();
142                legacy_constructor();
143                atmhdr_constructor();
144                linuxring_constructor();
145                linuxnative_constructor();
146#ifdef HAVE_LIBPCAP
147                pcap_constructor();
148#endif
149                bpf_constructor();
150                pcapfile_constructor();
151                rt_constructor();
152#ifdef HAVE_DAG
153                dag_constructor();
154#endif
155#ifdef HAVE_DPDK
156        dpdk_constructor();
157#endif
158        }
159}
160
161/* Prints help information for libtrace
162 *
163 * Function prints out some basic help information regarding libtrace,
164 * and then prints out the help() function registered with each input module
165 */
166DLLEXPORT void trace_help(void) {
167        struct libtrace_format_t *tmp;
168        trace_init();
169        printf("libtrace %s\n\n",PACKAGE_VERSION);
170        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
171        for(tmp=formats_list;tmp;tmp=tmp->next) {
172                if (tmp->help)
173                        tmp->help();
174        }
175}
176
177#define URI_PROTO_LINE 16U
178
179/* Try to guess which format module is appropriate for a given trace file or
180 * device */
181static void guess_format(libtrace_t *libtrace, const char *filename)
182{
183        struct libtrace_format_t *tmp;
184       
185        /* Try and guess based on filename */
186        for(tmp = formats_list; tmp; tmp=tmp->next) {
187                if (tmp->probe_filename && tmp->probe_filename(filename)) {
188                        libtrace->format = tmp;
189                        libtrace->uridata = strdup(filename);
190                        return;
191                }
192        }
193
194        libtrace->io = wandio_create(filename);
195        if (!libtrace->io)
196                return;
197
198        /* Try and guess based on file magic */
199        for(tmp = formats_list; tmp; tmp=tmp->next) {
200                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
201                        libtrace->format = tmp;
202                        libtrace->uridata = strdup(filename);
203                        return;
204                }
205        }
206       
207        /* No formats matched -- make sure we clean up the IO object we
208         * used to probe the file magic */
209        wandio_destroy(libtrace->io);
210        return;
211}
212
213/* Creates an input trace from a URI
214 *
215 * @params char * containing a valid libtrace URI
216 * @returns opaque pointer to a libtrace_t
217 *
218 * Some valid URI's are:
219 *  erf:/path/to/erf/file
220 *  erf:/path/to/erf/file.gz
221 *  erf:-                       (stdin)
222 *  dag:/dev/dagcard
223 *  pcapint:pcapinterface               (eg: pcapint:eth0)
224 *  pcapfile:/path/to/pcap/file
225 *  pcapfile:-
226 *  int:interface                       (eg: int:eth0) only on Linux
227 *  rt:hostname
228 *  rt:hostname:port
229 *
230 * If an error occured when attempting to open a trace, NULL is returned
231 * and an error is output to stdout.
232 */
233DLLEXPORT libtrace_t *trace_create(const char *uri) {
234        libtrace_t *libtrace = 
235                        (libtrace_t *)malloc(sizeof(libtrace_t));
236        char *scan = 0;
237        const char *uridata = 0;                 
238
239        trace_init();
240
241        assert(uri && "Passing NULL to trace_create makes me a very sad program");
242
243        if (!libtrace) {
244                /* Out of memory */
245                return NULL;
246        }
247       
248        libtrace->err.err_num = TRACE_ERR_NOERROR;
249        libtrace->format=NULL;
250       
251        libtrace->event.tdelta = 0.0;
252        libtrace->event.packet = NULL;
253        libtrace->event.psize = 0;
254        libtrace->event.trace_last_ts = 0.0;
255        libtrace->event.waiting = false;
256        libtrace->filter = NULL;
257        libtrace->snaplen = 0;
258        libtrace->started=false;
259        libtrace->uridata = NULL;
260        libtrace->io = NULL;
261        libtrace->filtered_packets = 0;
262        libtrace->accepted_packets = 0;
263        libtrace->last_packet = NULL;
264       
265        /* Parallel inits */
266        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
267        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
268        libtrace->state = STATE_NEW;
269        libtrace->perpkt_queue_full = false;
270        libtrace->global_blob = NULL;
271        libtrace->hasher = NULL;
272        libtrace->hasher_data = NULL;
273        libtrace_zero_ocache(&libtrace->packet_freelist);
274        libtrace_zero_thread(&libtrace->hasher_thread);
275        libtrace_zero_thread(&libtrace->reporter_thread);
276        libtrace_zero_thread(&libtrace->keepalive_thread);
277        libtrace->reporter_thread.type = THREAD_EMPTY;
278        libtrace->perpkt_thread_count = 0;
279        libtrace->perpkt_threads = NULL;
280        libtrace->tracetime = 0;
281        libtrace->first_packets.first = 0;
282        libtrace->first_packets.count = 0;
283        libtrace->first_packets.packets = NULL;
284        libtrace->stats = NULL;
285        libtrace->pread = NULL;
286        libtrace->sequence_number = 0;
287        ZERO_USER_CONFIG(libtrace->config);
288        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
289        libtrace->perpkt_cbs = NULL;
290        libtrace->reporter_cbs = NULL;
291
292        /* Parse the URI to determine what sort of trace we are dealing with */
293        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
294                /* Could not parse the URI nicely */
295                guess_format(libtrace,uri);
296                if (!libtrace->format) {
297                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
298                        return libtrace;
299                }
300        }
301        else {
302                struct libtrace_format_t *tmp;
303
304                /* Find a format that matches the first part of the URI */
305                for (tmp=formats_list;tmp;tmp=tmp->next) {
306                        if (strlen(scan) == strlen(tmp->name) &&
307                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
308                                        ) {
309                                libtrace->format=tmp;
310                                break;
311                        }
312                }
313
314                if (libtrace->format == 0) {
315                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
316                                        "Unknown format (%s)",scan);
317                        return libtrace;
318                }
319
320                libtrace->uridata = strdup(uridata);
321        }
322        /* libtrace->format now contains the type of uri
323         * libtrace->uridata contains the appropriate data for this
324         */
325       
326        /* Call the init_input function for the matching capture format */ 
327        if (libtrace->format->init_input) {
328                int err=libtrace->format->init_input(libtrace);
329                assert (err==-1 || err==0);
330                if (err==-1) {
331                        /* init_input should call trace_set_err to set
332                         * the error message
333                         */
334                        return libtrace;
335                }
336        } else {
337                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
338                                "Format does not support input (%s)",scan);
339                return libtrace;
340        }
341       
342        if (scan)
343                free(scan);
344        libtrace->err.err_num=TRACE_ERR_NOERROR;
345        libtrace->err.problem[0]='\0';
346        return libtrace;
347}
348
349/* Creates a "dummy" trace file that has only the format type set.
350 *
351 * @returns opaque pointer to a (sparsely initialised) libtrace_t
352 *
353 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
354 * with the dummy trace. Its intended purpose is to act as a packet->trace for
355 * libtrace_packet_t's that are not associated with a libtrace_t structure.
356 */
357DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
358        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
359        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
360        char *uridata;
361        struct libtrace_format_t *tmp;
362
363        trace_init();
364       
365        libtrace->err.err_num = TRACE_ERR_NOERROR;
366
367        if((uridata = strchr(uri,':')) == NULL) {
368                xstrncpy(scan, uri, strlen(uri));
369        } else {
370                xstrncpy(scan,uri, (size_t)(uridata - uri));
371        }
372       
373        libtrace->err.err_num = TRACE_ERR_NOERROR;
374        libtrace->format=NULL;
375       
376        libtrace->event.tdelta = 0.0;
377        libtrace->event.packet = NULL;
378        libtrace->event.psize = 0;
379        libtrace->event.trace_last_ts = 0.0;
380        libtrace->filter = NULL;
381        libtrace->snaplen = 0;
382        libtrace->started=false;
383        libtrace->uridata = NULL;
384        libtrace->io = NULL;
385        libtrace->filtered_packets = 0;
386        libtrace->accepted_packets = 0;
387        libtrace->last_packet = NULL;
388       
389        /* Parallel inits */
390        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
391        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
392        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
393        libtrace->perpkt_queue_full = false;
394        libtrace->global_blob = NULL;
395        libtrace->hasher = NULL;
396        libtrace_zero_ocache(&libtrace->packet_freelist);
397        libtrace_zero_thread(&libtrace->hasher_thread);
398        libtrace_zero_thread(&libtrace->reporter_thread);
399        libtrace_zero_thread(&libtrace->keepalive_thread);
400        libtrace->reporter_thread.type = THREAD_EMPTY;
401        libtrace->perpkt_thread_count = 0;
402        libtrace->perpkt_threads = NULL;
403        libtrace->tracetime = 0;
404        libtrace->stats = NULL;
405        libtrace->pread = NULL;
406        libtrace->sequence_number = 0;
407        ZERO_USER_CONFIG(libtrace->config);
408        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
409        libtrace->perpkt_cbs = NULL;
410        libtrace->reporter_cbs = NULL;
411       
412        for(tmp=formats_list;tmp;tmp=tmp->next) {
413                if (strlen(scan) == strlen(tmp->name) &&
414                                !strncasecmp(scan,
415                                        tmp->name,
416                                        strlen(scan))) {
417                                libtrace->format=tmp;
418                                break;
419                                }
420        }
421        if (libtrace->format == 0) {
422                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
423                                "Unknown format (%s)",scan);
424        }
425
426        libtrace->format_data = NULL;
427        free(scan);
428        return libtrace;
429
430}
431
432/* Creates an output trace from a URI.
433 *
434 * @param uri   the uri string describing the output format and destination
435 * @returns opaque pointer to a libtrace_output_t
436 *
437 *  If an error occured when attempting to open the output trace, NULL is
438 *  returned and trace_errno is set.
439 */
440       
441DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
442        libtrace_out_t *libtrace = 
443                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
444       
445        char *scan = 0;
446        const char *uridata = 0;
447        struct libtrace_format_t *tmp;
448
449        trace_init();
450
451        libtrace->err.err_num = TRACE_ERR_NOERROR;
452        strcpy(libtrace->err.problem,"Error message set\n");
453        libtrace->format = NULL;
454        libtrace->uridata = NULL;
455       
456        /* Parse the URI to determine what capture format we want to write */
457
458        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
459                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
460                                "Bad uri format (%s)",uri);
461                return libtrace;
462        }
463       
464        /* Attempt to find the format in the list of supported formats */
465        for(tmp=formats_list;tmp;tmp=tmp->next) {
466                if (strlen(scan) == strlen(tmp->name) &&
467                                !strncasecmp(scan,
468                                        tmp->name,
469                                        strlen(scan))) {
470                                libtrace->format=tmp;
471                                break;
472                                }
473        }
474        free(scan);
475
476        if (libtrace->format == NULL) {
477                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
478                                "Unknown output format (%s)",scan);
479                return libtrace;
480        }
481        libtrace->uridata = strdup(uridata);
482
483        /* libtrace->format now contains the type of uri
484         * libtrace->uridata contains the appropriate data for this
485         */
486
487        if (libtrace->format->init_output) {
488                /* 0 on success, -1 on failure */
489                switch(libtrace->format->init_output(libtrace)) {
490                        case -1: /* failure */
491                                return libtrace;
492                        case 0: /* success */
493                                break;
494                        default:
495                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
496                }
497        } else {
498                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
499                                "Format does not support writing (%s)",scan);
500                return libtrace;
501        }
502
503
504        libtrace->started=false;
505        return libtrace;
506}
507
508/* Start an input trace
509 * @param libtrace      the input trace to start
510 * @returns 0 on success
511 *
512 * This does the work associated with actually starting up
513 * the trace.  it may fail.
514 */
515DLLEXPORT int trace_start(libtrace_t *libtrace)
516{
517        assert(libtrace);
518        if (trace_is_err(libtrace))
519                return -1;
520        if (libtrace->format->start_input) {
521                int ret=libtrace->format->start_input(libtrace);
522                if (ret < 0) {
523                        return ret;
524                }
525        }
526
527        libtrace->started=true;
528        return 0;
529}
530
531/* Start an output trace */
532DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
533{
534        assert(libtrace);
535        if (libtrace->format->start_output) {
536                int ret=libtrace->format->start_output(libtrace);
537                if (ret < 0) {
538                        return ret;
539                }
540        }
541
542        libtrace->started=true;
543        return 0;
544}
545
546DLLEXPORT int trace_pause(libtrace_t *libtrace)
547{
548        assert(libtrace);
549        if (!libtrace->started) {
550                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
551                return -1;
552        }
553
554        /* Finish the last packet we read - for backwards compatibility */
555        if (libtrace->last_packet)
556                trace_fin_packet(libtrace->last_packet);
557        assert(libtrace->last_packet == NULL);
558
559        if (libtrace->format->pause_input)
560                libtrace->format->pause_input(libtrace);
561
562        libtrace->started=false;
563        return 0;
564}
565
566DLLEXPORT int trace_config(libtrace_t *libtrace,
567                trace_option_t option,
568                void *value)
569{
570        int ret;
571
572        if (trace_is_err(libtrace)) {
573                return -1;
574        }
575
576        if (option == TRACE_OPTION_HASHER)
577                return trace_set_hasher(libtrace,
578                                        (enum hasher_types) *((int *) value),
579                                        NULL, NULL);
580
581        /* If the capture format supports configuration, try using their
582         * native configuration first */
583        if (libtrace->format->config_input) {
584                ret=libtrace->format->config_input(libtrace,option,value);
585                if (ret==0)
586                        return 0;
587        }
588
589        /* If we get here, either the native configuration failed or the
590         * format did not support configuration. However, libtrace can
591         * deal with some options itself, so give that a go */
592        switch(option) {
593                case TRACE_OPTION_SNAPLEN:
594                        /* Clear the error if there was one */
595                        if (trace_is_err(libtrace)) {
596                                trace_get_err(libtrace);
597                        }
598                        if (*(int*)value<0 
599                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
600                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
601                                        "Invalid snap length");
602                        }
603                        libtrace->snaplen=*(int*)value;
604                        return 0;
605                case TRACE_OPTION_FILTER:
606                        /* Clear the error if there was one */
607                        if (trace_is_err(libtrace)) {
608                                trace_get_err(libtrace);
609                        }
610                        libtrace->filter=(libtrace_filter_t *)value;
611                        return 0;
612                case TRACE_OPTION_PROMISC:
613                        if (!trace_is_err(libtrace)) {
614                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
615                                                "Promisc mode is not supported by this format module");
616                        }
617                        return -1;
618                case TRACE_OPTION_META_FREQ:
619                        if (!trace_is_err(libtrace)) {
620                                trace_set_err(libtrace, 
621                                                TRACE_ERR_OPTION_UNAVAIL,
622                                                "This format does not support meta-data gathering");
623                        }
624                        return -1;
625                case TRACE_OPTION_EVENT_REALTIME:
626                        if (!trace_is_err(libtrace)) {
627                                trace_set_err(libtrace, 
628                                                TRACE_ERR_OPTION_UNAVAIL,
629                                                "This format does not support realtime events");
630                        }
631                        return -1;
632                case TRACE_OPTION_HASHER:
633                        /* Dealt with earlier */
634                        return -1;
635                       
636        }
637        if (!trace_is_err(libtrace)) {
638                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
639                        "Unknown option %i", option);
640        }
641        return -1;
642}
643
644DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
645        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
646}
647
648DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
649        int tmp = promisc;
650        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
651}
652
653DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
654        return trace_config(trace, TRACE_OPTION_FILTER, filter);
655}
656
657DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
658        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
659}
660
661DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
662        int tmp = realtime;
663        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
664}
665
666DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
667                trace_option_output_t option,
668                void *value) {
669       
670        /* Unlike the input options, libtrace does not natively support any of
671         * the output options - the format module must be able to deal with
672         * them. */
673        if (libtrace->format->config_output) {
674                return libtrace->format->config_output(libtrace, option, value);
675        }
676        return -1;
677}
678
679/* Close an input trace file, freeing up any resources it may have been using
680 *
681 */
682DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
683        int i;
684        assert(libtrace);
685
686        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
687        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
688
689        /* destroy any packets that are still around */
690        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
691                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
692                        if(libtrace->first_packets.packets[i].packet) {
693                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
694                        }
695                }
696                free(libtrace->first_packets.packets);
697                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
698        }
699
700        /* Finish any the last packet we read - for backwards compatibility */
701        if (libtrace->last_packet)
702                trace_fin_packet(libtrace->last_packet);
703        assert(libtrace->last_packet == NULL);
704
705        if (libtrace->format) {
706                if (libtrace->started && libtrace->format->pause_input)
707                        libtrace->format->pause_input(libtrace);
708                if (libtrace->format->fin_input)
709                        libtrace->format->fin_input(libtrace);
710        }
711        /* Need to free things! */
712        if (libtrace->uridata)
713                free(libtrace->uridata);
714
715        if (libtrace->stats)
716                free(libtrace->stats);
717       
718        /* Empty any packet memory */
719        if (libtrace->state != STATE_NEW) {
720                // This has all of our packets
721                libtrace_ocache_destroy(&libtrace->packet_freelist);
722                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
723                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
724                free(libtrace->perpkt_threads);
725                libtrace->perpkt_threads = NULL;
726                libtrace->perpkt_thread_count = 0;
727
728        }
729
730        if (libtrace->perpkt_cbs)
731                trace_destroy_callback_set(libtrace->perpkt_cbs);
732        if (libtrace->reporter_cbs)
733                trace_destroy_callback_set(libtrace->reporter_cbs);
734
735        if (libtrace->hasher_data)
736                free(libtrace->hasher_data);
737       
738        if (libtrace->event.packet) {
739                /* Don't use trace_destroy_packet here - there is almost
740                 * certainly going to be another libtrace_packet_t that is
741                 * pointing to the buffer for this packet, so we don't want
742                 * to free it. Rather, it will get freed when the user calls
743                 * trace_destroy_packet on the libtrace_packet_t that they
744                 * own.
745                 *
746                 * All we need to do then is free our packet structure itself.
747                 */
748                 free(libtrace->event.packet);
749        }
750        free(libtrace);
751}
752
753
754DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
755        assert(libtrace);
756
757        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
758        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
759
760        /* Don't call pause_input or fin_input, because we should never have
761         * used this trace to do any reading anyway. Do make sure we free
762         * any format_data that has been created, though. */
763        if (libtrace->format_data)
764                free(libtrace->format_data);
765        free(libtrace);
766}
767/* Close an output trace file, freeing up any resources it may have been using
768 *
769 * @param libtrace      the output trace file to be destroyed
770 */
771DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
772{
773        assert(libtrace);
774        if (libtrace->format && libtrace->format->fin_output)
775                libtrace->format->fin_output(libtrace);
776        if (libtrace->uridata)
777                free(libtrace->uridata);
778        free(libtrace);
779}
780
781DLLEXPORT libtrace_packet_t *trace_create_packet(void)
782{
783        libtrace_packet_t *packet =
784                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
785
786        packet->buf_control=TRACE_CTRL_PACKET;
787        trace_clear_cache(packet);
788        return packet;
789}
790
791DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
792        libtrace_packet_t *dest = 
793                (libtrace_packet_t *)malloc(sizeof(libtrace_packet_t));
794        if (!dest) {
795                printf("Out of memory constructing packet\n");
796                abort();
797        }
798        dest->trace=packet->trace;
799        dest->buffer=malloc(65536);
800        if (!dest->buffer) {
801                printf("Out of memory allocating buffer memory\n");
802                abort();
803        }
804        dest->header=dest->buffer;
805        dest->payload=(void*)
806                ((char*)dest->buffer+trace_get_framing_length(packet));
807        dest->type=packet->type;
808        dest->buf_control=TRACE_CTRL_PACKET;
809        dest->order = packet->order;
810        dest->hash = packet->hash;
811        dest->error = packet->error;
812        /* Reset the cache - better to recalculate than try to convert
813         * the values over to the new packet */
814        trace_clear_cache(dest);       
815        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
816         * as much as possible */
817        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
818        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
819
820        return dest;
821}
822
823/** Destroy a packet object
824 */
825DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
826        /* Free any resources possibly associated with the packet */
827        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
828                packet->trace->format->fin_packet(packet);
829        }
830        if (packet->trace && packet->trace->last_packet == packet)
831                packet->trace->last_packet = NULL;
832       
833        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
834                free(packet->buffer);
835        }
836        packet->buf_control=(buf_control_t)'\0'; 
837                                /* A "bad" value to force an assert
838                                 * if this packet is ever reused
839                                 */
840        free(packet);
841}
842
843/**
844 * Removes any possible data stored againt the trace and releases any data.
845 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
846 * use trace_destroy_packet() for those diabolical purposes.
847 */
848void trace_fin_packet(libtrace_packet_t *packet) {
849        if (packet)
850        {
851                if (packet->trace && packet->trace->format->fin_packet) {
852                        packet->trace->format->fin_packet(packet);
853                }
854                if (packet->trace && packet->trace->last_packet == packet)
855                        packet->trace->last_packet = NULL;
856
857                // No matter what we remove the header and link pointers
858                packet->trace = NULL;
859                packet->header = NULL;
860                packet->payload = NULL;
861
862                if (packet->buf_control != TRACE_CTRL_PACKET)
863                {
864                        packet->buffer = NULL;
865                }
866
867                trace_clear_cache(packet);
868                packet->hash = 0;
869                packet->order = 0;
870        }
871}
872
873/* Read one packet from the trace into buffer. Note that this function will
874 * block until a packet is read (or EOF is reached).
875 *
876 * @param libtrace      the libtrace opaque pointer
877 * @param packet        the packet opaque pointer
878 * @returns 0 on EOF, negative value on error
879 *
880 */
881DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
882
883        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
884        if (trace_is_err(libtrace))
885                return -1;
886        if (!libtrace->started) {
887                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
888                return -1;
889        }
890        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
891                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
892                return -1;
893        }
894        assert(packet);
895
896        if (libtrace->format->read_packet) {
897                do {
898                        size_t ret;
899                        int filtret;
900                        /* Finalise the packet, freeing any resources the format module
901                         * may have allocated it and zeroing all data associated with it.
902                         */
903                        if (packet->trace == libtrace)
904                                trace_fin_packet(packet);
905                        /* Store the trace we are reading from into the packet opaque
906                         * structure */
907                        packet->trace = libtrace;
908                        ret=libtrace->format->read_packet(libtrace,packet);
909                        if (ret==(size_t)-1 || ret==0) {
910                                return ret;
911                        }
912                        if (libtrace->filter) {
913                                /* If the filter doesn't match, read another
914                                 * packet
915                                 */
916                                filtret = trace_apply_filter(libtrace->filter, packet);
917                                if (filtret == -1) {
918                                        /* Error compiling filter, probably */
919                                        return ~0U;
920                                }
921                               
922                                if (filtret == 0) {
923                                        ++libtrace->filtered_packets;
924                                        continue;
925                                }
926                        }
927                        if (libtrace->snaplen>0) {
928                                /* Snap the packet */
929                                trace_set_capture_length(packet,
930                                                libtrace->snaplen);
931                        }
932                        trace_packet_set_order(packet, libtrace->sequence_number);
933                        ++libtrace->accepted_packets;
934                        ++libtrace->sequence_number;
935                        if (packet->trace == libtrace)
936                                libtrace->last_packet = packet;
937                        return ret;
938                } while(1);
939        }
940        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
941        return ~0U;
942}
943
944/* Converts the provided buffer into a libtrace packet of the given type.
945 *
946 * Unlike trace_construct_packet, the buffer is expected to begin with the
947 * appropriate capture format header for the format type that the packet is
948 * being converted to. This also allows for a packet to be converted into
949 * just about capture format that is supported by libtrace, provided the
950 * format header is present in the buffer.
951 *
952 * This function is primarily used to convert packets received via the RT
953 * protocol back into their original capture format. The RT header encapsulates
954 * the original capture format header, so after removing it the packet must
955 * have it's header and payload pointers updated and the packet format and type
956 * changed, amongst other things.
957 *
958 * Intended only for internal use at this point - this function is not
959 * available through the external libtrace API.
960 */
961int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
962                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
963
964        assert(packet);
965        assert(trace);
966       
967        /* XXX Proper error handling?? */
968        if (buffer == NULL)
969                return -1;
970
971        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
972                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
973                return -1;
974        }
975       
976        packet->trace = trace;
977        trace->last_packet = packet;
978       
979        /* Clear packet cache */
980        trace_clear_cache(packet);
981
982        if (trace->format->prepare_packet) {
983                return trace->format->prepare_packet(trace, packet,
984                                buffer, rt_type, flags);
985        }
986        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
987                        "This format does not support preparing packets\n");
988        return -1;
989
990}
991
992/* Writes a packet to the specified output trace
993 *
994 * @param libtrace      describes the output format, destination, etc.
995 * @param packet        the packet to be written out
996 * @returns the number of bytes written, -1 if write failed
997 */
998DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
999        assert(libtrace);
1000        assert(packet);
1001        /* Verify the packet is valid */
1002        if (!libtrace->started) {
1003                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1004                        "Trace is not started before trace_write_packet");
1005                return -1;
1006        }
1007
1008        if (libtrace->format->write_packet) {
1009                return libtrace->format->write_packet(libtrace, packet);
1010        }
1011        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1012                "This format does not support writing packets");
1013        return -1;
1014}
1015
1016/* Get a pointer to the first byte of the packet payload */
1017DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1018                libtrace_linktype_t *linktype, uint32_t *remaining) {
1019        int cap_len;
1020        int wire_len;
1021
1022        assert(packet != NULL);
1023        if (linktype) *linktype = trace_get_link_type(packet);
1024        if (remaining) {
1025                /* I think we should choose the minimum of the capture and
1026                 * wire lengths to be the "remaining" value. If the packet has
1027                 * been padded to increase the capture length, we don't want
1028                 * to allow subsequent protocol decoders to consider the
1029                 * padding as part of the packet.
1030                 *
1031                 * For example, in Auck 4 there is a trace where the IP header
1032                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1033                 * header. Total IP length is 40 bytes. As a result, the
1034                 * legacyatm padding gets treated as the "missing" bytes of
1035                 * the TCP header, which isn't the greatest. We're probably
1036                 * better off returning an incomplete TCP header in that case.
1037                 */
1038               
1039                cap_len = trace_get_capture_length(packet);
1040                wire_len = trace_get_wire_length(packet);
1041
1042                assert(cap_len >= 0);
1043
1044                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1045                 * massively negative wire lens. We could assert fail here on
1046                 * them, but we could at least try the capture length instead.
1047                 *
1048                 * You may still run into problems if you try to write that
1049                 * packet, but at least reading should work OK.
1050                 */
1051                if (wire_len < 0)
1052                        *remaining = cap_len;
1053                else if (wire_len < cap_len)
1054                        *remaining = wire_len;
1055                else
1056                        *remaining = cap_len;
1057                /* *remaining = trace_get_capture_length(packet); */
1058        }
1059        return (void *) packet->payload;
1060}
1061
1062
1063/* Get a pointer to the first byte of the packet payload
1064 *
1065 * DEPRECATED - use trace_get_packet_buffer() instead */
1066DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1067        return (void *)packet->payload;
1068}
1069
1070/* Get the current time in DAG time format
1071 * @param packet        a pointer to a libtrace_packet structure
1072 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1073 * past 1970-01-01, the lower 32bits are partial seconds)
1074 */ 
1075DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1076        if (packet->trace->format->get_erf_timestamp) {
1077                /* timestamp -> timestamp */
1078                return packet->trace->format->get_erf_timestamp(packet);
1079        } else if (packet->trace->format->get_timespec) {
1080                /* timespec -> timestamp */
1081                struct timespec ts;
1082                ts = packet->trace->format->get_timespec(packet);
1083                return ((((uint64_t)ts.tv_sec) << 32) +
1084                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1085        } else if (packet->trace->format->get_timeval) {
1086                /* timeval -> timestamp */
1087                struct timeval tv;
1088                tv = packet->trace->format->get_timeval(packet);
1089                return ((((uint64_t)tv.tv_sec) << 32) +
1090                                (((uint64_t)tv.tv_usec << 32)/1000000));
1091        } else if (packet->trace->format->get_seconds) {
1092                /* seconds -> timestamp */
1093                double seconds = packet->trace->format->get_seconds(packet);
1094                return (((uint64_t)seconds)<<32)
1095                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1096        }
1097        else {
1098                return (uint64_t)0;
1099        }
1100                     
1101}
1102
1103/* Get the current time in struct timeval
1104 * @param packet        a pointer to a libtrace_packet structure
1105 *
1106 * @returns time that this packet was seen in a struct timeval
1107 * @author Daniel Lawson
1108 * @author Perry Lorier
1109 */ 
1110DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1111        struct timeval tv;
1112        uint64_t ts = 0;
1113        if (packet->trace->format->get_timeval) {
1114                /* timeval -> timeval */
1115                tv = packet->trace->format->get_timeval(packet);
1116        } else if (packet->trace->format->get_erf_timestamp) {
1117                /* timestamp -> timeval */
1118                ts = packet->trace->format->get_erf_timestamp(packet);
1119                tv.tv_sec = ts >> 32;
1120                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1121                if (tv.tv_usec >= 1000000) {
1122                        tv.tv_usec -= 1000000;
1123                        tv.tv_sec += 1;
1124                }
1125        } else if (packet->trace->format->get_timespec) {
1126                struct timespec ts = packet->trace->format->get_timespec(packet);
1127                tv.tv_sec = ts.tv_sec;
1128                tv.tv_usec = ts.tv_nsec/1000;
1129        } else if (packet->trace->format->get_seconds) {
1130                /* seconds -> timeval */
1131                double seconds = packet->trace->format->get_seconds(packet);
1132                tv.tv_sec = (uint32_t)seconds;
1133                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1134        }
1135        else {
1136                tv.tv_sec=-1;
1137                tv.tv_usec=-1;
1138        }
1139
1140    return tv;
1141}
1142
1143DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1144        struct timespec ts;
1145
1146        if (packet->trace->format->get_timespec) {
1147                return packet->trace->format->get_timespec(packet);
1148        } else if (packet->trace->format->get_erf_timestamp) {
1149                /* timestamp -> timeval */
1150                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1151                ts.tv_sec = erfts >> 32;
1152                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1153                if (ts.tv_nsec >= 1000000000) {
1154                        ts.tv_nsec -= 1000000000;
1155                        ts.tv_sec += 1;
1156                }
1157                return ts;
1158        } else if (packet->trace->format->get_timeval) {
1159                /* timeval -> timespec */
1160                struct timeval tv = packet->trace->format->get_timeval(packet);
1161                ts.tv_sec = tv.tv_sec;
1162                ts.tv_nsec = tv.tv_usec*1000;
1163                return ts;
1164        } else if (packet->trace->format->get_seconds) {
1165                /* seconds -> timespec */
1166                double seconds = packet->trace->format->get_seconds(packet);
1167                ts.tv_sec = (uint32_t)seconds;
1168                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1169                return ts;
1170        }
1171        else {
1172                ts.tv_sec=-1;
1173                ts.tv_nsec=-1;
1174                return ts;
1175        }
1176}
1177
1178
1179/* Get the current time in floating point seconds
1180 * @param packet        a pointer to a libtrace_packet structure
1181 * @returns time that this packet was seen in 64bit floating point seconds
1182 */ 
1183DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1184        double seconds = 0.0;
1185
1186        if (packet->trace->format->get_seconds) {
1187                /* seconds->seconds */
1188                seconds = packet->trace->format->get_seconds(packet);
1189        } else if (packet->trace->format->get_erf_timestamp) {
1190                /* timestamp -> seconds */
1191                uint64_t ts = 0;
1192                ts = packet->trace->format->get_erf_timestamp(packet);
1193                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1194        } else if (packet->trace->format->get_timespec) {
1195                /* timespec -> seconds */
1196                struct timespec ts;
1197                ts = packet->trace->format->get_timespec(packet);
1198                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1199        } else if (packet->trace->format->get_timeval) {
1200                /* timeval -> seconds */
1201                struct timeval tv;
1202                tv = packet->trace->format->get_timeval(packet);
1203                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1204        }
1205
1206        return seconds;
1207}
1208
1209DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1210{
1211        /* Cache the capture length */
1212        if (packet->capture_length == -1) {
1213                if (!packet->trace->format->get_capture_length)
1214                        return ~0U;
1215                /* Cast away constness because this is "just" a cache */
1216                ((libtrace_packet_t*)packet)->capture_length = 
1217                        packet->trace->format->get_capture_length(packet);
1218        }
1219
1220        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1221
1222        return packet->capture_length;
1223}
1224       
1225/* Get the size of the packet as it was seen on the wire.
1226 * @param packet        a pointer to a libtrace_packet structure
1227 *
1228 * @returns the size of the packet as it was on the wire.
1229 * @note Due to the trace being a header capture, or anonymisation this may
1230 * not be the same as the Capture Len.
1231 */ 
1232DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1233       
1234        if (packet->wire_length == -1) {
1235                if (!packet->trace->format->get_wire_length) 
1236                        return ~0U;
1237                ((libtrace_packet_t *)packet)->wire_length = 
1238                        packet->trace->format->get_wire_length(packet);
1239        }
1240
1241        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1242        return packet->wire_length;
1243
1244}
1245
1246/* Get the length of the capture framing headers.
1247 * @param packet        the packet opaque pointer
1248 * @returns the size of the packet as it was on the wire.
1249 * @note this length corresponds to the difference between the size of a
1250 * captured packet in memory, and the captured length of the packet
1251 */ 
1252DLLEXPORT SIMPLE_FUNCTION
1253size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1254        if (packet->trace->format->get_framing_length) {
1255                return packet->trace->format->get_framing_length(packet);
1256        }
1257        return ~0U;
1258}
1259
1260
1261/* Get the type of the link layer
1262 * @param packet        a pointer to a libtrace_packet structure
1263 * @returns libtrace_linktype_t
1264 */
1265DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1266
1267        if (packet->link_type == 0) {
1268                if (!packet->trace->format->get_link_type)
1269                        return TRACE_TYPE_UNKNOWN;
1270                ((libtrace_packet_t *)packet)->link_type =
1271                        packet->trace->format->get_link_type(packet);
1272        }
1273
1274        return packet->link_type;
1275}
1276
1277/* process a libtrace event
1278 * @param trace the libtrace opaque pointer
1279 * @param packet the libtrace_packet opaque pointer
1280 * @returns
1281 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1282 *  TRACE_EVENT_SLEEP   Next event in seconds
1283 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1284 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1285 * FIXME currently keeps a copy of the packet inside the trace pointer,
1286 * which in turn is stored inside the new packet object...
1287 */
1288DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1289                libtrace_packet_t *packet) {
1290        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1291
1292        if (!trace) {
1293                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1294        }
1295        assert(trace);
1296        assert(packet);
1297
1298        /* Free the last packet */
1299        trace_fin_packet(packet);
1300       
1301        /* Store the trace we are reading from into the packet opaque
1302         * structure */
1303        packet->trace = trace;
1304
1305        if (packet->trace->format->trace_event) {
1306                /* Note: incrementing accepted, filtered etc. packet
1307                 * counters is handled by the format-specific
1308                 * function so don't increment them here.
1309                 */
1310                event=packet->trace->format->trace_event(trace,packet);
1311                }
1312        return event;
1313
1314}
1315
1316/** Setup a BPF filter based on pre-compiled byte-code.
1317 * @param bf_insns      A pointer to the start of the byte-code
1318 * @param bf_len        The number of BPF instructions
1319 * @returns             an opaque pointer to a libtrace_filter_t object
1320 * @note                The supplied byte-code is not checked for correctness.
1321 * @author              Scott Raynel
1322 */
1323DLLEXPORT libtrace_filter_t *
1324trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1325{
1326#ifndef HAVE_BPF_FILTER
1327        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1328        return NULL;
1329#else
1330        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1331                malloc(sizeof(struct libtrace_filter_t));
1332        filter->filter.bf_insns = (struct bpf_insn *)
1333                malloc(sizeof(struct bpf_insn) * bf_len);
1334       
1335        memcpy(filter->filter.bf_insns, bf_insns,
1336                        bf_len * sizeof(struct bpf_insn));
1337       
1338        filter->filter.bf_len = bf_len;
1339        filter->filterstring = NULL;
1340        filter->jitfilter = NULL;
1341        /* "flag" indicates that the filter member is valid */
1342        filter->flag = 1; 
1343       
1344        return filter;
1345#endif
1346}
1347
1348/* Create a BPF filter
1349 * @param filterstring a char * containing the bpf filter string
1350 * @returns opaque pointer pointer to a libtrace_filter_t object
1351 */
1352DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1353#ifdef HAVE_BPF_FILTER
1354        libtrace_filter_t *filter = (libtrace_filter_t*)
1355                                malloc(sizeof(libtrace_filter_t));
1356        filter->filterstring = strdup(filterstring);
1357        filter->jitfilter = NULL;
1358        filter->flag = 0;
1359        return filter;
1360#else
1361        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1362        return NULL;
1363#endif
1364}
1365
1366DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1367{
1368#ifdef HAVE_BPF_FILTER
1369        free(filter->filterstring);
1370        if (filter->flag)
1371                pcap_freecode(&filter->filter);
1372#ifdef HAVE_LLVM
1373        if (filter->jitfilter) 
1374                destroy_program(filter->jitfilter);
1375#endif
1376        free(filter);
1377#else
1378
1379#endif
1380}
1381
1382/* Compile a bpf filter, now we know the link type for the trace that we're
1383 * applying it to.
1384 *
1385 * @internal
1386 *
1387 * @returns -1 on error, 0 on success
1388 */
1389static int trace_bpf_compile(libtrace_filter_t *filter,
1390                const libtrace_packet_t *packet,
1391                void *linkptr, 
1392                libtrace_linktype_t linktype    ) {
1393#ifdef HAVE_BPF_FILTER
1394        /* It just so happens that the underlying libs used by pthread arn't
1395         * thread safe, namely lex/flex thingys, so single threaded compile
1396         * multi threaded running should be safe.
1397         */
1398        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1399        assert(filter);
1400
1401        /* If this isn't a real packet, then fail */
1402        if (!linkptr) {
1403                trace_set_err(packet->trace,
1404                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1405                return -1;
1406        }
1407       
1408        if (filter->filterstring && ! filter->flag) {
1409                pcap_t *pcap = NULL;
1410                if (linktype==(libtrace_linktype_t)-1) {
1411                        trace_set_err(packet->trace,
1412                                        TRACE_ERR_BAD_FILTER,
1413                                        "Packet has an unknown linktype");
1414                        return -1;
1415                }
1416                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1417                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1418                                        "Unknown pcap equivalent linktype");
1419                        return -1;
1420                }
1421                assert (pthread_mutex_lock(&mutex) == 0);
1422                /* Make sure not one bet us to this */
1423                if (filter->flag) {
1424                        assert (pthread_mutex_unlock(&mutex) == 0);
1425                        return 1;
1426                }
1427                pcap=(pcap_t *)pcap_open_dead(
1428                                (int)libtrace_to_pcap_dlt(linktype),
1429                                1500U);
1430                /* build filter */
1431                assert(pcap);
1432                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1433                                        1, 0)) {
1434                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1435                                        "Unable to compile the filter \"%s\": %s", 
1436                                        filter->filterstring,
1437                                        pcap_geterr(pcap));
1438                        pcap_close(pcap);
1439                        assert (pthread_mutex_unlock(&mutex) == 0);
1440                        return -1;
1441                }
1442                pcap_close(pcap);
1443                filter->flag=1;
1444                assert (pthread_mutex_unlock(&mutex) == 0);
1445        }
1446        return 0;
1447#else
1448        assert(!"Internal bug: This should never be called when BPF not enabled");
1449        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1450                                "Feature unavailable");
1451        return -1;
1452#endif
1453}
1454
1455DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1456                        const libtrace_packet_t *packet) {
1457#ifdef HAVE_BPF_FILTER
1458        void *linkptr = 0;
1459        uint32_t clen = 0;
1460        bool free_packet_needed = false;
1461        int ret;
1462        libtrace_linktype_t linktype;
1463        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1464#ifdef HAVE_LLVM
1465        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1466#endif
1467
1468        assert(filter);
1469        assert(packet);
1470
1471        /* Match all non-data packets as we probably want them to pass
1472         * through to the caller */
1473        linktype = trace_get_link_type(packet);
1474
1475        if (linktype == TRACE_TYPE_NONDATA)
1476                return 1;       
1477
1478        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1479               
1480                /* If we cannot get a suitable DLT for the packet, it may
1481                 * be because the packet is encapsulated in a link type that
1482                 * does not correspond to a DLT. Therefore, we should try
1483                 * popping off headers until we either can find a suitable
1484                 * link type or we can't do any more sensible decapsulation. */
1485               
1486                /* Copy the packet, as we don't want to trash the one we
1487                 * were passed in */
1488                packet_copy=trace_copy_packet(packet);
1489                free_packet_needed=true;
1490
1491                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1492                        if (!demote_packet(packet_copy)) {
1493                                trace_set_err(packet->trace, 
1494                                                TRACE_ERR_NO_CONVERSION,
1495                                                "pcap does not support this format");
1496                                if (free_packet_needed) {
1497                                        trace_destroy_packet(packet_copy);
1498                                }
1499                                return -1;
1500                        }
1501                        linktype = trace_get_link_type(packet_copy);
1502                }
1503
1504        }
1505       
1506        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1507        if (!linkptr) {
1508                if (free_packet_needed) {
1509                        trace_destroy_packet(packet_copy);
1510                }
1511                return 0;
1512        }
1513
1514        /* We need to compile the filter now, because before we didn't know
1515         * what the link type was
1516         */
1517        // Note internal mutex locking used here
1518        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1519                if (free_packet_needed) {
1520                        trace_destroy_packet(packet_copy);
1521                }
1522                return -1;
1523        }
1524
1525        /* If we're jitting, we may need to JIT the BPF code now too */
1526#if HAVE_LLVM
1527        if (!filter->jitfilter) {
1528                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1529                /* Again double check here like the bpf filter */
1530                if(!filter->jitfilter)
1531                /* Looking at compile_program source this appears to be thread safe
1532                 * however if this gets called twice we will leak this memory :(
1533                 * as such lock here anyways */
1534                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1535                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1536        }
1537#endif
1538
1539        assert(filter->flag);
1540        /* Now execute the filter */
1541#if HAVE_LLVM
1542        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1543#else
1544        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1545#endif
1546
1547        /* If we copied the packet earlier, make sure that we free it */
1548        if (free_packet_needed) {
1549                trace_destroy_packet(packet_copy);
1550        }
1551        return ret;
1552#else
1553        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1554        return 0;
1555#endif
1556}
1557
1558/* Set the direction flag, if it has one
1559 * @param packet the packet opaque pointer
1560 * @param direction the new direction (0,1,2,3)
1561 * @returns a signed value containing the direction flag, or -1 if this is not supported
1562 */
1563DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1564                libtrace_direction_t direction) 
1565{
1566        assert(packet);
1567        if (packet->trace->format->set_direction) {
1568                return packet->trace->format->set_direction(packet,direction);
1569        }
1570        return (libtrace_direction_t)~0U;
1571}
1572
1573/* Get the direction flag, if it has one
1574 * @param packet a pointer to a libtrace_packet structure
1575 * @returns a signed value containing the direction flag, or -1 if this is not supported
1576 * The direction is defined as 0 for packets originating locally (ie, outbound)
1577 * and 1 for packets originating remotely (ie, inbound).
1578 * Other values are possible, which might be overloaded to mean special things
1579 * for a special trace.
1580 */
1581DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1582{
1583        assert(packet);
1584        if (packet->trace->format->get_direction) {
1585                return packet->trace->format->get_direction(packet);
1586        }
1587        return (libtrace_direction_t)~0U;
1588}
1589
1590#define ROOT_SERVER(x) ((x) < 512)
1591#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1592#define NONROOT_SERVER(x) ((x) >= 5000)
1593#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1594#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1595#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1596#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1597
1598/* Attempt to deduce the 'server' port
1599 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1600 * @param source the TCP or UDP source port
1601 * @param dest the TCP or UDP destination port
1602 * @returns a hint as to which port is the server port
1603 */
1604DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1605                uint16_t source, uint16_t dest) 
1606{
1607        /*
1608         * * If the ports are equal, return DEST
1609         * * Check for well-known ports in the given protocol
1610         * * Root server ports: 0 - 511
1611         * * Root client ports: 512 - 1023
1612         * * non-root client ports: 1024 - 4999
1613         * * non-root server ports: 5000+
1614         * * Check for static ranges: 1024 - 49151
1615         * * Check for dynamic ranges: 49152 - 65535
1616         * * flip a coin.
1617         */
1618       
1619        /* equal */
1620        if (source == dest)
1621                return USE_DEST;
1622
1623        /* root server port, 0 - 511 */
1624        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1625                if (source < dest)
1626                        return USE_SOURCE;
1627                return USE_DEST;
1628        }
1629
1630        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1631                return USE_SOURCE;
1632        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1633                return USE_DEST;
1634
1635        /* non-root server */
1636        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1637                if (source < dest)
1638                        return USE_SOURCE;
1639                return USE_DEST;
1640        }
1641        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1642                return USE_SOURCE;
1643        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1644                return USE_DEST;
1645
1646        /* root client */
1647        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1648                if (source < dest)
1649                        return USE_SOURCE;
1650                return USE_DEST;
1651        }
1652        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1653                /* prefer root-client over nonroot-client */
1654                if (NONROOT_CLIENT(dest))
1655                        return USE_SOURCE;
1656                return USE_DEST;
1657        }
1658        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1659                /* prefer root-client over nonroot-client */
1660                if (NONROOT_CLIENT(source))
1661                        return USE_DEST;
1662                return USE_SOURCE;
1663        }
1664       
1665        /* nonroot client */
1666        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1667                if (source < dest) 
1668                        return USE_SOURCE;
1669                return USE_DEST;
1670        }
1671        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1672                return USE_DEST;
1673        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1674                return USE_SOURCE;
1675
1676        /* dynamic range */
1677        if (DYNAMIC(source) && DYNAMIC(dest)) {
1678                if (source < dest)
1679                        return USE_SOURCE;
1680                return USE_DEST;
1681        }
1682        if (DYNAMIC(source) && !DYNAMIC(dest))
1683                return USE_DEST;
1684        if (!DYNAMIC(source) && DYNAMIC(dest))
1685                return USE_SOURCE;
1686        /*
1687        if (SERVER(source) && CLIENT(dest))
1688                return USE_SOURCE;
1689       
1690        if (SERVER(dest) && CLIENT(source))
1691                return USE_DEST;
1692        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1693                return USE_SOURCE;
1694        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1695                return USE_DEST;
1696        */
1697        /* failing that test... */
1698        if (source < dest) {
1699                return USE_SOURCE;
1700        } 
1701        return USE_DEST;
1702       
1703}
1704
1705/* Truncate the packet at the suggested length
1706 * @param packet        the packet opaque pointer
1707 * @param size          the new length of the packet
1708 * @returns the new size of the packet
1709 * @note size and the return size refer to the network-level payload of the
1710 * packet, and do not include any capture headers. For example, to truncate a
1711 * packet after the IP header, set size to sizeof(ethernet_header) +
1712 * sizeof(ip_header)
1713 * @note If the original network-level payload is smaller than size, then the
1714 * original size is returned and the packet is left unchanged.
1715 */
1716DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1717        assert(packet);
1718
1719        if (packet->trace->format->set_capture_length) {
1720                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1721                return packet->capture_length;
1722        }
1723
1724        return ~0U;
1725}
1726
1727/* Splits a URI into two components - the format component which is seen before
1728 * the ':', and the uridata which follows the ':'.
1729 *
1730 * Returns a pointer to the URI data, but updates the format parameter to
1731 * point to a copy of the format component.
1732 */
1733
1734DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1735        const char *uridata = 0;
1736       
1737        if((uridata = strchr(uri,':')) == NULL) {
1738                /* Badly formed URI - needs a : */
1739                return 0;
1740        }
1741
1742        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1743                /* Badly formed URI - uri type is too long */
1744                return 0;
1745        }
1746
1747        /* NOTE: this is allocated memory - it should be freed by the caller
1748         * once they are done with it */
1749        *format=xstrndup(uri, (size_t)(uridata - uri));
1750
1751        /* Push uridata past the delimiter */
1752        uridata++;
1753       
1754        return uridata;
1755}
1756
1757enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1758{
1759        assert(packet);
1760
1761        return packet->trace->format->type;
1762}
1763       
1764DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1765{
1766        libtrace_err_t err = trace->err;
1767        trace->err.err_num = 0; /* "OK" */
1768        trace->err.problem[0]='\0';
1769        return err;
1770}
1771
1772DLLEXPORT bool trace_is_err(libtrace_t *trace)
1773{
1774        return trace->err.err_num != 0;
1775}
1776
1777/* Prints the input error status to standard error and clears the error state */
1778DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1779{
1780        char buf[256];
1781        va_list va;
1782        va_start(va,msg);
1783        vsnprintf(buf,sizeof(buf),msg,va);
1784        va_end(va);
1785        if(trace->err.err_num) {
1786                if (trace->uridata) {
1787                        fprintf(stderr,"%s(%s): %s\n",
1788                                        buf,trace->uridata,trace->err.problem);
1789                } else {
1790                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1791                }
1792        } else {
1793                if (trace->uridata) {
1794                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1795                } else {
1796                        fprintf(stderr,"%s: No error\n", buf);
1797                }
1798        }
1799        trace->err.err_num = 0; /* "OK" */
1800        trace->err.problem[0]='\0';
1801}
1802
1803DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1804{
1805        libtrace_err_t err = trace->err;
1806        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1807        trace->err.problem[0]='\0';
1808        return err;
1809}
1810
1811DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1812{
1813        return trace->err.err_num != 0;
1814}
1815
1816/* Prints the output error status to standard error and clears the error state
1817 */
1818DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1819{
1820        char buf[256];
1821        va_list va;
1822        va_start(va,msg);
1823        vsnprintf(buf,sizeof(buf),msg,va);
1824        va_end(va);
1825        if(trace->err.err_num) {
1826                fprintf(stderr,"%s(%s): %s\n",
1827                                buf,
1828                                trace->uridata?trace->uridata:"no uri",
1829                                trace->err.problem);
1830        } else {
1831                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1832        }
1833        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1834        trace->err.problem[0]='\0';
1835}
1836
1837DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1838{
1839        if (trace->format->seek_erf) {
1840                return trace->format->seek_erf(trace,ts);
1841        }
1842        else {
1843                if (trace->format->seek_timeval) {
1844                        struct timeval tv;
1845#if __BYTE_ORDER == __BIG_ENDIAN
1846                        tv.tv_sec = ts & 0xFFFFFFFF;
1847                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1848#elif __BYTE_ORDER == __LITTLE_ENDIAN
1849                        tv.tv_sec = ts >> 32;
1850                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1851#else
1852#error "What on earth are you running this on?"
1853#endif
1854                        if (tv.tv_usec >= 1000000) {
1855                                tv.tv_usec -= 1000000;
1856                                tv.tv_sec += 1;
1857                        }
1858                        return trace->format->seek_timeval(trace,tv);
1859                }
1860                if (trace->format->seek_seconds) {
1861                        double seconds = 
1862                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1863                        return trace->format->seek_seconds(trace,seconds);
1864                }
1865                trace_set_err(trace,
1866                                TRACE_ERR_OPTION_UNAVAIL,
1867                                "Feature unimplemented");
1868                return -1;
1869        }
1870}
1871
1872DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1873{
1874        if (trace->format->seek_seconds) {
1875                return trace->format->seek_seconds(trace,seconds);
1876        }
1877        else {
1878                if (trace->format->seek_timeval) {
1879                        struct timeval tv;
1880                        tv.tv_sec = (uint32_t)seconds;
1881                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1882                        return trace->format->seek_timeval(trace,tv);
1883                }
1884                if (trace->format->seek_erf) {
1885                        uint64_t timestamp = 
1886                                ((uint64_t)((uint32_t)seconds) << 32) + \
1887                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1888                        return trace->format->seek_erf(trace,timestamp);
1889                }
1890                trace_set_err(trace,
1891                                TRACE_ERR_OPTION_UNAVAIL,
1892                                "Feature unimplemented");
1893                return -1;
1894        }
1895}
1896
1897DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1898{
1899        if (trace->format->seek_timeval) {
1900                return trace->format->seek_timeval(trace,tv);
1901        }
1902        else {
1903                if (trace->format->seek_erf) {
1904                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1905                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1906                        return trace->format->seek_erf(trace,timestamp);
1907                }
1908                if (trace->format->seek_seconds) {
1909                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1910                        return trace->format->seek_seconds(trace,seconds);
1911                }
1912                trace_set_err(trace,
1913                                TRACE_ERR_OPTION_UNAVAIL,
1914                                "Feature unimplemented");
1915                return -1;
1916        }
1917}
1918
1919/* Converts a binary ethernet MAC address into a printable string */
1920DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1921{
1922        static char staticbuf[18]={0,};
1923        if (!buf)
1924                buf=staticbuf;
1925        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1926                        addr[0],addr[1],addr[2],
1927                        addr[3],addr[4],addr[5]);
1928        return buf;
1929}
1930
1931/* Converts a printable ethernet MAC address into a binary format */
1932DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1933{
1934        uint8_t *buf2 = addr;
1935        unsigned int tmp[6];
1936        static uint8_t staticaddr[6];
1937        if (!buf2)
1938                buf2=staticaddr;
1939        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1940                        &tmp[0],&tmp[1],&tmp[2],
1941                        &tmp[3],&tmp[4],&tmp[5]);
1942        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1943        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1944        return buf2;
1945}
1946
1947
1948/* Creates a libtrace packet from scratch using the contents of the provided
1949 * buffer as the packet payload.
1950 *
1951 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1952 * format headers; instead this function will add the PCAP header to the
1953 * packet record. This also means only PCAP packets can be constructed using
1954 * this function.
1955 *
1956 */
1957DLLEXPORT
1958void trace_construct_packet(libtrace_packet_t *packet,
1959                libtrace_linktype_t linktype,
1960                const void *data,
1961                uint16_t len)
1962{
1963        size_t size;
1964        static libtrace_t *deadtrace=NULL;
1965        libtrace_pcapfile_pkt_hdr_t hdr;
1966#ifdef WIN32
1967        struct _timeb tstruct;
1968#else
1969        struct timeval tv;
1970#endif
1971
1972        /* We need a trace to attach the constructed packet to (and it needs
1973         * to be PCAP) */
1974        if (NULL == deadtrace) 
1975                deadtrace=trace_create_dead("pcapfile");
1976
1977        /* Fill in the new PCAP header */
1978#ifdef WIN32
1979        _ftime(&tstruct);
1980        hdr.ts_sec=tstruct.time;
1981        hdr.ts_usec=tstruct.millitm * 1000;
1982#else
1983        gettimeofday(&tv,NULL);
1984        hdr.ts_sec=tv.tv_sec;
1985        hdr.ts_usec=tv.tv_usec;
1986#endif
1987
1988        hdr.caplen=len;
1989        hdr.wirelen=len;
1990
1991        /* Now fill in the libtrace packet itself */
1992        packet->trace=deadtrace;
1993        size=len+sizeof(hdr);
1994        if (packet->buf_control==TRACE_CTRL_PACKET) {
1995                packet->buffer=realloc(packet->buffer,size);
1996        }
1997        else {
1998                packet->buffer=malloc(size);
1999        }
2000        packet->buf_control=TRACE_CTRL_PACKET;
2001        packet->header=packet->buffer;
2002        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2003       
2004        /* Ugh, memcpy - sadly necessary */
2005        memcpy(packet->header,&hdr,sizeof(hdr));
2006        memcpy(packet->payload,data,(size_t)len);
2007        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2008
2009        trace_clear_cache(packet);
2010}
2011
2012
2013uint64_t trace_get_received_packets(libtrace_t *trace)
2014{
2015        assert(trace);
2016        uint64_t ret;
2017
2018        if (trace->format->get_received_packets) {
2019                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2020                        return ret;
2021        } else if (trace->format->get_statistics) {
2022                struct libtrace_stat_t stat;
2023                stat.magic = LIBTRACE_STAT_MAGIC;
2024                trace_get_statistics(trace, &stat);
2025                if (stat.received_valid)
2026                        return stat.received;
2027        }
2028
2029        // Read the cached value taken before the trace was paused/closed
2030        if(trace->stats && trace->stats->received_valid)
2031                return trace->stats->received;
2032        else
2033                return UINT64_MAX;
2034}
2035
2036uint64_t trace_get_filtered_packets(libtrace_t *trace)
2037{
2038        assert(trace);
2039        int i = 0;
2040        uint64_t lib_filtered = trace->filtered_packets;
2041        for (i = 0; i < trace->perpkt_thread_count; i++) {
2042                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2043        }
2044        if (trace->format->get_filtered_packets) {
2045                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2046                if (trace_filtered == UINT64_MAX)
2047                        return UINT64_MAX;
2048                else
2049                        return trace_filtered + lib_filtered;
2050        } else if (trace->format->get_statistics) {
2051                struct libtrace_stat_t stat;
2052                stat.magic = LIBTRACE_STAT_MAGIC;
2053                trace_get_statistics(trace, &stat);
2054                if (stat.filtered_valid)
2055                        return lib_filtered + stat.filtered;
2056                else
2057                        return UINT64_MAX;
2058        }
2059
2060        // Read the cached value taken before the trace was paused/closed
2061        if(trace->stats && trace->stats->filtered_valid)
2062                return trace->stats->filtered + lib_filtered;
2063        else
2064                return lib_filtered;
2065}
2066
2067uint64_t trace_get_dropped_packets(libtrace_t *trace)
2068{
2069        assert(trace);
2070        uint64_t ret;
2071
2072        if (trace->format->get_dropped_packets) {
2073                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2074                        return ret;
2075        } else if (trace->format->get_statistics) {
2076                struct libtrace_stat_t stat;
2077                stat.magic = LIBTRACE_STAT_MAGIC;
2078                trace_get_statistics(trace, &stat);
2079                if (stat.dropped_valid)
2080                        return stat.dropped;
2081        }
2082
2083        // Read the cached value taken before the trace was paused/closed
2084        if(trace->stats && trace->stats->dropped_valid)
2085                return trace->stats->dropped;
2086        else
2087                return UINT64_MAX;
2088}
2089
2090uint64_t trace_get_accepted_packets(libtrace_t *trace)
2091{
2092        assert(trace);
2093        int i = 0;
2094        uint64_t ret = 0;
2095        /* We always add to a thread's accepted count before dispatching the
2096         * packet to the user. However if the underlying trace is single
2097         * threaded it will also be increasing the global count. So if we
2098         * find perpkt ignore the global count.
2099         */
2100        for (i = 0; i < trace->perpkt_thread_count; i++) {
2101                ret += trace->perpkt_threads[i].accepted_packets;
2102        }
2103        return ret ? ret : trace->accepted_packets;
2104}
2105
2106libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2107{
2108        uint64_t ret = 0;
2109        int i;
2110        assert(trace);
2111        if (stat == NULL) {
2112                if (trace->stats == NULL)
2113                        trace->stats = trace_create_statistics();
2114                stat = trace->stats;
2115        }
2116        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2117               "trace_create_statistics() to allocate statistics");
2118
2119        /* If the trace has paused or finished get the cached results */
2120        if (trace->state == STATE_PAUSED ||
2121            trace->state == STATE_FINISHED ||
2122            trace->state == STATE_FINISHING ||
2123            trace->state == STATE_JOINED) {
2124                if (trace->stats && trace->stats != stat)
2125                        *stat = *trace->stats;
2126                return stat;
2127        }
2128
2129        stat->reserved1 = 0;
2130        stat->reserved2 = 0;
2131#define X(x) stat->x ##_valid = 0;
2132        LIBTRACE_STAT_FIELDS;
2133#undef X
2134        /* Both accepted and filtered are stored against in the library */
2135
2136        /* We always add to a thread's accepted count before dispatching the
2137         * packet to the user. However if the underlying trace is single
2138         * threaded it will also be increasing the global count. So if we
2139         * find perpkt ignore the global count.
2140         */
2141        for (i = 0; i < trace->perpkt_thread_count; i++) {
2142                ret += trace->perpkt_threads[i].accepted_packets;
2143        }
2144
2145        stat->accepted_valid = 1;
2146        stat->accepted = ret ? ret : trace->accepted_packets;
2147
2148        stat->filtered_valid = 1;
2149        stat->filtered = trace->filtered_packets;
2150        for (i = 0; i < trace->perpkt_thread_count; i++) {
2151                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2152        }
2153
2154        if (trace->format->get_statistics) {
2155                trace->format->get_statistics(trace, stat);
2156        }
2157        return stat;
2158}
2159
2160void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2161                                 libtrace_stat_t *stat)
2162{
2163        assert(trace && stat);
2164        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2165               "trace_create_statistics() to allocate statistics");
2166        stat->reserved1 = 0;
2167        stat->reserved2 = 0;
2168#define X(x) stat->x ##_valid= 0;
2169        LIBTRACE_STAT_FIELDS;
2170#undef X
2171        stat->accepted_valid = 1;
2172        stat->accepted = t->accepted_packets;
2173        stat->filtered_valid = 1;
2174        stat->filtered = t->filtered_packets;
2175        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2176                trace->format->get_thread_statistics(trace, t, stat);
2177        }
2178        return;
2179}
2180
2181libtrace_stat_t *trace_create_statistics(void) {
2182        libtrace_stat_t *ret;
2183        ret = malloc(sizeof(libtrace_stat_t));
2184        if (ret) {
2185                memset(ret, 0, sizeof(libtrace_stat_t));
2186                ret->magic = LIBTRACE_STAT_MAGIC;
2187        }
2188        return ret;
2189}
2190
2191void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2192                         libtrace_stat_t *c) {
2193        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2194               "trace_create_statistics() to allocate statistics");
2195        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2196               "trace_create_statistics() to allocate statistics");
2197        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2198               "trace_create_statistics() to allocate statistics");
2199
2200#define X(x) \
2201        if (a->x ##_valid && b->x ##_valid) { \
2202                c->x ##_valid = 1; \
2203                c->x = a->x - b->x; \
2204        } else {\
2205                c->x ##_valid = 0;\
2206        }
2207        LIBTRACE_STAT_FIELDS
2208#undef X
2209}
2210
2211void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2212                         libtrace_stat_t *c) {
2213        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2214               "trace_create_statistics() to allocate statistics");
2215        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2216               "trace_create_statistics() to allocate statistics");
2217        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2218               "trace_create_statistics() to allocate statistics");
2219
2220#define X(x) \
2221        if (a->x ##_valid&& b->x ##_valid) { \
2222                c->x ##_valid = 1; \
2223                c->x = a->x + b->x; \
2224        } else {\
2225                c->x ##_valid = 0;\
2226        }
2227        LIBTRACE_STAT_FIELDS
2228#undef X
2229}
2230
2231int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2232        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2233               "trace_create_statistics() to allocate statistics");
2234        if (format == NULL)
2235                format = "%s: %"PRIu64"\n";
2236#define xstr(s) str(s)
2237#define str(s) #s
2238#define X(x) \
2239        if (s->x ##_valid) { \
2240                if (fprintf(f, format, xstr(x), s->x) < 0) \
2241                        return -1; \
2242        }
2243        LIBTRACE_STAT_FIELDS
2244#undef X
2245        return 0;
2246}
2247
2248
2249void trace_clear_cache(libtrace_packet_t *packet) {
2250
2251        packet->l2_header = NULL;
2252        packet->l3_header = NULL;
2253        packet->l4_header = NULL;
2254        packet->link_type = 0;
2255        packet->l3_ethertype = 0;
2256        packet->transport_proto = 0;
2257        packet->capture_length = -1;
2258        packet->wire_length = -1;
2259        packet->payload_length = -1;
2260        packet->l2_remaining = 0;
2261        packet->l3_remaining = 0;
2262        packet->l4_remaining = 0;
2263
2264}
2265
2266void trace_interrupt(void) {
2267        libtrace_halt = 1;
2268}
2269
2270void register_format(struct libtrace_format_t *f) {
2271        assert(f->next==NULL); /* Can't register a format twice */
2272        f->next=formats_list;
2273        formats_list=f;
2274
2275        /* Now, verify that the format has at least the minimum functionality.
2276         *
2277         * This #if can be changed to a 1 to output warnings about inconsistent
2278         * functions being provided by format modules.  This generally is very
2279         * noisy, as almost all modules don't implement one or more functions
2280         * for various reasons.  This is very useful when checking a new
2281         * format module is sane.
2282         */ 
2283#if 0
2284        if (f->init_input) {
2285#define REQUIRE(x) \
2286                if (!f->x) \
2287                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2288                REQUIRE(read_packet);
2289                REQUIRE(start_input);
2290                REQUIRE(fin_input);
2291                REQUIRE(get_link_type);
2292                REQUIRE(get_capture_length);
2293                REQUIRE(get_wire_length);
2294                REQUIRE(get_framing_length);
2295                REQUIRE(trace_event);
2296                if (!f->get_erf_timestamp
2297                        && !f->get_seconds
2298                        && !f->get_timeval) {
2299                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2300"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2301                }
2302                if (f->trace_event!=trace_event_trace) {
2303                        /* Theres nothing that a trace file could optimise with
2304                         * config_input
2305                         */
2306                        REQUIRE(pause_input);
2307                        REQUIRE(config_input);
2308                        REQUIRE(get_fd);
2309                }
2310                else {
2311                        if (f->get_fd) {
2312                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2313                                                f->name);
2314                        }
2315                }
2316#undef REQUIRE
2317        }
2318        else {
2319#define REQUIRE(x) \
2320                if (f->x) \
2321                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2322                REQUIRE(read_packet);
2323                REQUIRE(start_input);
2324                REQUIRE(pause_input);
2325                REQUIRE(fin_input);
2326                REQUIRE(get_link_type);
2327                REQUIRE(get_capture_length);
2328                REQUIRE(get_wire_length);
2329                REQUIRE(get_framing_length);
2330                REQUIRE(trace_event);
2331                REQUIRE(get_seconds);
2332                REQUIRE(get_timeval);
2333                REQUIRE(get_erf_timestamp);
2334#undef REQUIRE
2335        }
2336        if (f->init_output) {
2337#define REQUIRE(x) \
2338                if (!f->x) \
2339                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2340                REQUIRE(write_packet);
2341                REQUIRE(start_output);
2342                REQUIRE(config_output);
2343                REQUIRE(fin_output);
2344#undef REQUIRE
2345        }
2346        else {
2347#define REQUIRE(x) \
2348                if (f->x) \
2349                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2350                REQUIRE(write_packet);
2351                REQUIRE(start_output);
2352                REQUIRE(config_output);
2353                REQUIRE(fin_output);
2354#undef REQUIRE
2355        }
2356#endif
2357}
2358
Note: See TracBrowser for help on using the repository browser.