source: lib/trace.c @ 76c86fb

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 76c86fb was 76c86fb, checked in by Shane Alcock <salcock@…>, 6 years ago

Make sure we free any hasher data associated with a trace

  • Property mode set to 100644
File size: 66.7 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008,2009,2010 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        if (!formats_list) {
139                duck_constructor();
140                erf_constructor();
141                tsh_constructor();
142                legacy_constructor();
143                atmhdr_constructor();
144                linuxring_constructor();
145                linuxnative_constructor();
146#ifdef HAVE_LIBPCAP
147                pcap_constructor();
148#endif
149                bpf_constructor();
150                pcapfile_constructor();
151                rt_constructor();
152#ifdef HAVE_DAG
153                dag_constructor();
154#endif
155#ifdef HAVE_DPDK
156        dpdk_constructor();
157#endif
158        }
159}
160
161/* Prints help information for libtrace
162 *
163 * Function prints out some basic help information regarding libtrace,
164 * and then prints out the help() function registered with each input module
165 */
166DLLEXPORT void trace_help(void) {
167        struct libtrace_format_t *tmp;
168        trace_init();
169        printf("libtrace %s\n\n",PACKAGE_VERSION);
170        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
171        for(tmp=formats_list;tmp;tmp=tmp->next) {
172                if (tmp->help)
173                        tmp->help();
174        }
175}
176
177#define URI_PROTO_LINE 16U
178
179/* Try to guess which format module is appropriate for a given trace file or
180 * device */
181static void guess_format(libtrace_t *libtrace, const char *filename)
182{
183        struct libtrace_format_t *tmp;
184       
185        /* Try and guess based on filename */
186        for(tmp = formats_list; tmp; tmp=tmp->next) {
187                if (tmp->probe_filename && tmp->probe_filename(filename)) {
188                        libtrace->format = tmp;
189                        libtrace->uridata = strdup(filename);
190                        return;
191                }
192        }
193
194        libtrace->io = wandio_create(filename);
195        if (!libtrace->io)
196                return;
197
198        /* Try and guess based on file magic */
199        for(tmp = formats_list; tmp; tmp=tmp->next) {
200                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
201                        libtrace->format = tmp;
202                        libtrace->uridata = strdup(filename);
203                        return;
204                }
205        }
206       
207        /* No formats matched -- make sure we clean up the IO object we
208         * used to probe the file magic */
209        wandio_destroy(libtrace->io);
210        return;
211}
212
213/* Creates an input trace from a URI
214 *
215 * @params char * containing a valid libtrace URI
216 * @returns opaque pointer to a libtrace_t
217 *
218 * Some valid URI's are:
219 *  erf:/path/to/erf/file
220 *  erf:/path/to/erf/file.gz
221 *  erf:-                       (stdin)
222 *  dag:/dev/dagcard
223 *  pcapint:pcapinterface               (eg: pcapint:eth0)
224 *  pcapfile:/path/to/pcap/file
225 *  pcapfile:-
226 *  int:interface                       (eg: int:eth0) only on Linux
227 *  rt:hostname
228 *  rt:hostname:port
229 *
230 * If an error occured when attempting to open a trace, NULL is returned
231 * and an error is output to stdout.
232 */
233DLLEXPORT libtrace_t *trace_create(const char *uri) {
234        libtrace_t *libtrace = 
235                        (libtrace_t *)malloc(sizeof(libtrace_t));
236        char *scan = 0;
237        const char *uridata = 0;                 
238
239        trace_init();
240
241        assert(uri && "Passing NULL to trace_create makes me a very sad program");
242
243        if (!libtrace) {
244                /* Out of memory */
245                return NULL;
246        }
247       
248        libtrace->err.err_num = TRACE_ERR_NOERROR;
249        libtrace->format=NULL;
250       
251        libtrace->event.tdelta = 0.0;
252        libtrace->event.packet = NULL;
253        libtrace->event.psize = 0;
254        libtrace->event.trace_last_ts = 0.0;
255        libtrace->event.waiting = false;
256        libtrace->filter = NULL;
257        libtrace->snaplen = 0;
258        libtrace->started=false;
259        libtrace->uridata = NULL;
260        libtrace->io = NULL;
261        libtrace->filtered_packets = 0;
262        libtrace->accepted_packets = 0;
263        libtrace->last_packet = NULL;
264       
265        /* Parallel inits */
266        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
267        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
268        libtrace->state = STATE_NEW;
269        libtrace->perpkt_queue_full = false;
270        libtrace->global_blob = NULL;
271        libtrace->hasher = NULL;
272        libtrace_zero_ocache(&libtrace->packet_freelist);
273        libtrace_zero_thread(&libtrace->hasher_thread);
274        libtrace_zero_thread(&libtrace->reporter_thread);
275        libtrace_zero_thread(&libtrace->keepalive_thread);
276        libtrace->reporter_thread.type = THREAD_EMPTY;
277        libtrace->perpkt_thread_count = 0;
278        libtrace->perpkt_threads = NULL;
279        libtrace->tracetime = 0;
280        libtrace->first_packets.first = 0;
281        libtrace->first_packets.count = 0;
282        libtrace->first_packets.packets = NULL;
283        libtrace->stats = NULL;
284        libtrace->pread = NULL;
285        libtrace->sequence_number = 0;
286        ZERO_USER_CONFIG(libtrace->config);
287        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
288        libtrace->perpkt_cbs = NULL;
289        libtrace->reporter_cbs = NULL;
290
291        /* Parse the URI to determine what sort of trace we are dealing with */
292        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
293                /* Could not parse the URI nicely */
294                guess_format(libtrace,uri);
295                if (!libtrace->format) {
296                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
297                        return libtrace;
298                }
299        }
300        else {
301                struct libtrace_format_t *tmp;
302
303                /* Find a format that matches the first part of the URI */
304                for (tmp=formats_list;tmp;tmp=tmp->next) {
305                        if (strlen(scan) == strlen(tmp->name) &&
306                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
307                                        ) {
308                                libtrace->format=tmp;
309                                break;
310                        }
311                }
312
313                if (libtrace->format == 0) {
314                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
315                                        "Unknown format (%s)",scan);
316                        return libtrace;
317                }
318
319                libtrace->uridata = strdup(uridata);
320        }
321        /* libtrace->format now contains the type of uri
322         * libtrace->uridata contains the appropriate data for this
323         */
324       
325        /* Call the init_input function for the matching capture format */ 
326        if (libtrace->format->init_input) {
327                int err=libtrace->format->init_input(libtrace);
328                assert (err==-1 || err==0);
329                if (err==-1) {
330                        /* init_input should call trace_set_err to set
331                         * the error message
332                         */
333                        return libtrace;
334                }
335        } else {
336                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
337                                "Format does not support input (%s)",scan);
338                return libtrace;
339        }
340       
341        if (scan)
342                free(scan);
343        libtrace->err.err_num=TRACE_ERR_NOERROR;
344        libtrace->err.problem[0]='\0';
345        return libtrace;
346}
347
348/* Creates a "dummy" trace file that has only the format type set.
349 *
350 * @returns opaque pointer to a (sparsely initialised) libtrace_t
351 *
352 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
353 * with the dummy trace. Its intended purpose is to act as a packet->trace for
354 * libtrace_packet_t's that are not associated with a libtrace_t structure.
355 */
356DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
357        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
358        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
359        char *uridata;
360        struct libtrace_format_t *tmp;
361
362        trace_init();
363       
364        libtrace->err.err_num = TRACE_ERR_NOERROR;
365
366        if((uridata = strchr(uri,':')) == NULL) {
367                xstrncpy(scan, uri, strlen(uri));
368        } else {
369                xstrncpy(scan,uri, (size_t)(uridata - uri));
370        }
371       
372        libtrace->err.err_num = TRACE_ERR_NOERROR;
373        libtrace->format=NULL;
374       
375        libtrace->event.tdelta = 0.0;
376        libtrace->event.packet = NULL;
377        libtrace->event.psize = 0;
378        libtrace->event.trace_last_ts = 0.0;
379        libtrace->filter = NULL;
380        libtrace->snaplen = 0;
381        libtrace->started=false;
382        libtrace->uridata = NULL;
383        libtrace->io = NULL;
384        libtrace->filtered_packets = 0;
385        libtrace->accepted_packets = 0;
386        libtrace->last_packet = NULL;
387       
388        /* Parallel inits */
389        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
390        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
391        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
392        libtrace->perpkt_queue_full = false;
393        libtrace->global_blob = NULL;
394        libtrace->hasher = NULL;
395        libtrace_zero_ocache(&libtrace->packet_freelist);
396        libtrace_zero_thread(&libtrace->hasher_thread);
397        libtrace_zero_thread(&libtrace->reporter_thread);
398        libtrace_zero_thread(&libtrace->keepalive_thread);
399        libtrace->reporter_thread.type = THREAD_EMPTY;
400        libtrace->perpkt_thread_count = 0;
401        libtrace->perpkt_threads = NULL;
402        libtrace->tracetime = 0;
403        libtrace->stats = NULL;
404        libtrace->pread = NULL;
405        libtrace->sequence_number = 0;
406        ZERO_USER_CONFIG(libtrace->config);
407        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
408        libtrace->perpkt_cbs = NULL;
409        libtrace->reporter_cbs = NULL;
410       
411        for(tmp=formats_list;tmp;tmp=tmp->next) {
412                if (strlen(scan) == strlen(tmp->name) &&
413                                !strncasecmp(scan,
414                                        tmp->name,
415                                        strlen(scan))) {
416                                libtrace->format=tmp;
417                                break;
418                                }
419        }
420        if (libtrace->format == 0) {
421                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
422                                "Unknown format (%s)",scan);
423        }
424
425        libtrace->format_data = NULL;
426        free(scan);
427        return libtrace;
428
429}
430
431/* Creates an output trace from a URI.
432 *
433 * @param uri   the uri string describing the output format and destination
434 * @returns opaque pointer to a libtrace_output_t
435 *
436 *  If an error occured when attempting to open the output trace, NULL is
437 *  returned and trace_errno is set.
438 */
439       
440DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
441        libtrace_out_t *libtrace = 
442                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
443       
444        char *scan = 0;
445        const char *uridata = 0;
446        struct libtrace_format_t *tmp;
447
448        trace_init();
449
450        libtrace->err.err_num = TRACE_ERR_NOERROR;
451        strcpy(libtrace->err.problem,"Error message set\n");
452        libtrace->format = NULL;
453        libtrace->uridata = NULL;
454       
455        /* Parse the URI to determine what capture format we want to write */
456
457        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
458                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
459                                "Bad uri format (%s)",uri);
460                return libtrace;
461        }
462       
463        /* Attempt to find the format in the list of supported formats */
464        for(tmp=formats_list;tmp;tmp=tmp->next) {
465                if (strlen(scan) == strlen(tmp->name) &&
466                                !strncasecmp(scan,
467                                        tmp->name,
468                                        strlen(scan))) {
469                                libtrace->format=tmp;
470                                break;
471                                }
472        }
473        free(scan);
474
475        if (libtrace->format == NULL) {
476                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
477                                "Unknown output format (%s)",scan);
478                return libtrace;
479        }
480        libtrace->uridata = strdup(uridata);
481
482        /* libtrace->format now contains the type of uri
483         * libtrace->uridata contains the appropriate data for this
484         */
485
486        if (libtrace->format->init_output) {
487                /* 0 on success, -1 on failure */
488                switch(libtrace->format->init_output(libtrace)) {
489                        case -1: /* failure */
490                                return libtrace;
491                        case 0: /* success */
492                                break;
493                        default:
494                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
495                }
496        } else {
497                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
498                                "Format does not support writing (%s)",scan);
499                return libtrace;
500        }
501
502
503        libtrace->started=false;
504        return libtrace;
505}
506
507/* Start an input trace
508 * @param libtrace      the input trace to start
509 * @returns 0 on success
510 *
511 * This does the work associated with actually starting up
512 * the trace.  it may fail.
513 */
514DLLEXPORT int trace_start(libtrace_t *libtrace)
515{
516        assert(libtrace);
517        if (trace_is_err(libtrace))
518                return -1;
519        if (libtrace->format->start_input) {
520                int ret=libtrace->format->start_input(libtrace);
521                if (ret < 0) {
522                        return ret;
523                }
524        }
525
526        libtrace->started=true;
527        return 0;
528}
529
530/* Start an output trace */
531DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
532{
533        assert(libtrace);
534        if (libtrace->format->start_output) {
535                int ret=libtrace->format->start_output(libtrace);
536                if (ret < 0) {
537                        return ret;
538                }
539        }
540
541        libtrace->started=true;
542        return 0;
543}
544
545DLLEXPORT int trace_pause(libtrace_t *libtrace)
546{
547        assert(libtrace);
548        if (!libtrace->started) {
549                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
550                return -1;
551        }
552
553        /* Finish the last packet we read - for backwards compatibility */
554        if (libtrace->last_packet)
555                trace_fin_packet(libtrace->last_packet);
556        assert(libtrace->last_packet == NULL);
557
558        if (libtrace->format->pause_input)
559                libtrace->format->pause_input(libtrace);
560
561        libtrace->started=false;
562        return 0;
563}
564
565DLLEXPORT int trace_config(libtrace_t *libtrace,
566                trace_option_t option,
567                void *value)
568{
569        int ret;
570
571        if (trace_is_err(libtrace)) {
572                return -1;
573        }
574
575        if (option == TRACE_OPTION_HASHER)
576                return trace_set_hasher(libtrace,
577                                        (enum hasher_types) *((int *) value),
578                                        NULL, NULL);
579
580        /* If the capture format supports configuration, try using their
581         * native configuration first */
582        if (libtrace->format->config_input) {
583                ret=libtrace->format->config_input(libtrace,option,value);
584                if (ret==0)
585                        return 0;
586        }
587
588        /* If we get here, either the native configuration failed or the
589         * format did not support configuration. However, libtrace can
590         * deal with some options itself, so give that a go */
591        switch(option) {
592                case TRACE_OPTION_SNAPLEN:
593                        /* Clear the error if there was one */
594                        if (trace_is_err(libtrace)) {
595                                trace_get_err(libtrace);
596                        }
597                        if (*(int*)value<0 
598                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
599                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
600                                        "Invalid snap length");
601                        }
602                        libtrace->snaplen=*(int*)value;
603                        return 0;
604                case TRACE_OPTION_FILTER:
605                        /* Clear the error if there was one */
606                        if (trace_is_err(libtrace)) {
607                                trace_get_err(libtrace);
608                        }
609                        libtrace->filter=(libtrace_filter_t *)value;
610                        return 0;
611                case TRACE_OPTION_PROMISC:
612                        if (!trace_is_err(libtrace)) {
613                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
614                                                "Promisc mode is not supported by this format module");
615                        }
616                        return -1;
617                case TRACE_OPTION_META_FREQ:
618                        if (!trace_is_err(libtrace)) {
619                                trace_set_err(libtrace, 
620                                                TRACE_ERR_OPTION_UNAVAIL,
621                                                "This format does not support meta-data gathering");
622                        }
623                        return -1;
624                case TRACE_OPTION_EVENT_REALTIME:
625                        if (!trace_is_err(libtrace)) {
626                                trace_set_err(libtrace, 
627                                                TRACE_ERR_OPTION_UNAVAIL,
628                                                "This format does not support realtime events");
629                        }
630                        return -1;
631                case TRACE_OPTION_HASHER:
632                        /* Dealt with earlier */
633                        return -1;
634                       
635        }
636        if (!trace_is_err(libtrace)) {
637                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
638                        "Unknown option %i", option);
639        }
640        return -1;
641}
642
643DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
644        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
645}
646
647DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
648        int tmp = promisc;
649        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
650}
651
652DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
653        return trace_config(trace, TRACE_OPTION_FILTER, filter);
654}
655
656DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
657        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
658}
659
660DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
661        int tmp = realtime;
662        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
663}
664
665DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
666                trace_option_output_t option,
667                void *value) {
668       
669        /* Unlike the input options, libtrace does not natively support any of
670         * the output options - the format module must be able to deal with
671         * them. */
672        if (libtrace->format->config_output) {
673                return libtrace->format->config_output(libtrace, option, value);
674        }
675        return -1;
676}
677
678/* Close an input trace file, freeing up any resources it may have been using
679 *
680 */
681DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
682        int i;
683        assert(libtrace);
684
685        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
686        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
687
688        /* destroy any packets that are still around */
689        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
690                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
691                        if(libtrace->first_packets.packets[i].packet) {
692                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
693                        }
694                }
695                free(libtrace->first_packets.packets);
696                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
697        }
698
699        /* Finish any the last packet we read - for backwards compatibility */
700        if (libtrace->last_packet)
701                trace_fin_packet(libtrace->last_packet);
702        assert(libtrace->last_packet == NULL);
703
704        if (libtrace->format) {
705                if (libtrace->started && libtrace->format->pause_input)
706                        libtrace->format->pause_input(libtrace);
707                if (libtrace->format->fin_input)
708                        libtrace->format->fin_input(libtrace);
709        }
710        /* Need to free things! */
711        if (libtrace->uridata)
712                free(libtrace->uridata);
713
714        if (libtrace->stats)
715                free(libtrace->stats);
716       
717        /* Empty any packet memory */
718        if (libtrace->state != STATE_NEW) {
719                // This has all of our packets
720                libtrace_ocache_destroy(&libtrace->packet_freelist);
721                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
722                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
723                free(libtrace->perpkt_threads);
724                libtrace->perpkt_threads = NULL;
725                libtrace->perpkt_thread_count = 0;
726
727        }
728
729        if (libtrace->perpkt_cbs)
730                trace_destroy_callback_set(libtrace->perpkt_cbs);
731        if (libtrace->reporter_cbs)
732                trace_destroy_callback_set(libtrace->reporter_cbs);
733
734        if (libtrace->hasher_data)
735                free(libtrace->hasher_data);
736       
737        if (libtrace->event.packet) {
738                /* Don't use trace_destroy_packet here - there is almost
739                 * certainly going to be another libtrace_packet_t that is
740                 * pointing to the buffer for this packet, so we don't want
741                 * to free it. Rather, it will get freed when the user calls
742                 * trace_destroy_packet on the libtrace_packet_t that they
743                 * own.
744                 *
745                 * All we need to do then is free our packet structure itself.
746                 */
747                 free(libtrace->event.packet);
748        }
749        free(libtrace);
750}
751
752
753DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
754        assert(libtrace);
755
756        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
757        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
758
759        /* Don't call pause_input or fin_input, because we should never have
760         * used this trace to do any reading anyway. Do make sure we free
761         * any format_data that has been created, though. */
762        if (libtrace->format_data)
763                free(libtrace->format_data);
764        free(libtrace);
765}
766/* Close an output trace file, freeing up any resources it may have been using
767 *
768 * @param libtrace      the output trace file to be destroyed
769 */
770DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
771{
772        assert(libtrace);
773        if (libtrace->format && libtrace->format->fin_output)
774                libtrace->format->fin_output(libtrace);
775        if (libtrace->uridata)
776                free(libtrace->uridata);
777        free(libtrace);
778}
779
780DLLEXPORT libtrace_packet_t *trace_create_packet(void)
781{
782        libtrace_packet_t *packet =
783                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
784
785        packet->buf_control=TRACE_CTRL_PACKET;
786        trace_clear_cache(packet);
787        return packet;
788}
789
790DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
791        libtrace_packet_t *dest = 
792                (libtrace_packet_t *)malloc(sizeof(libtrace_packet_t));
793        if (!dest) {
794                printf("Out of memory constructing packet\n");
795                abort();
796        }
797        dest->trace=packet->trace;
798        dest->buffer=malloc(65536);
799        if (!dest->buffer) {
800                printf("Out of memory allocating buffer memory\n");
801                abort();
802        }
803        dest->header=dest->buffer;
804        dest->payload=(void*)
805                ((char*)dest->buffer+trace_get_framing_length(packet));
806        dest->type=packet->type;
807        dest->buf_control=TRACE_CTRL_PACKET;
808        dest->order = packet->order;
809        dest->hash = packet->hash;
810        dest->error = packet->error;
811        /* Reset the cache - better to recalculate than try to convert
812         * the values over to the new packet */
813        trace_clear_cache(dest);       
814        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
815         * as much as possible */
816        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
817        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
818
819        return dest;
820}
821
822/** Destroy a packet object
823 */
824DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
825        /* Free any resources possibly associated with the packet */
826        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
827                packet->trace->format->fin_packet(packet);
828        }
829        if (packet->trace && packet->trace->last_packet == packet)
830                packet->trace->last_packet = NULL;
831       
832        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
833                free(packet->buffer);
834        }
835        packet->buf_control=(buf_control_t)'\0'; 
836                                /* A "bad" value to force an assert
837                                 * if this packet is ever reused
838                                 */
839        free(packet);
840}
841
842/**
843 * Removes any possible data stored againt the trace and releases any data.
844 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
845 * use trace_destroy_packet() for those diabolical purposes.
846 */
847void trace_fin_packet(libtrace_packet_t *packet) {
848        if (packet)
849        {
850                if (packet->trace && packet->trace->format->fin_packet) {
851                        packet->trace->format->fin_packet(packet);
852                }
853                if (packet->trace && packet->trace->last_packet == packet)
854                        packet->trace->last_packet = NULL;
855
856                // No matter what we remove the header and link pointers
857                packet->trace = NULL;
858                packet->header = NULL;
859                packet->payload = NULL;
860
861                if (packet->buf_control != TRACE_CTRL_PACKET)
862                {
863                        packet->buffer = NULL;
864                }
865
866                trace_clear_cache(packet);
867                packet->hash = 0;
868                packet->order = 0;
869        }
870}
871
872/* Read one packet from the trace into buffer. Note that this function will
873 * block until a packet is read (or EOF is reached).
874 *
875 * @param libtrace      the libtrace opaque pointer
876 * @param packet        the packet opaque pointer
877 * @returns 0 on EOF, negative value on error
878 *
879 */
880DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
881
882        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
883        if (trace_is_err(libtrace))
884                return -1;
885        if (!libtrace->started) {
886                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
887                return -1;
888        }
889        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
890                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
891                return -1;
892        }
893        assert(packet);
894
895        if (libtrace->format->read_packet) {
896                do {
897                        size_t ret;
898                        int filtret;
899                        /* Finalise the packet, freeing any resources the format module
900                         * may have allocated it and zeroing all data associated with it.
901                         */
902                        trace_fin_packet(packet);
903                        /* Store the trace we are reading from into the packet opaque
904                         * structure */
905                        packet->trace = libtrace;
906                        ret=libtrace->format->read_packet(libtrace,packet);
907                        if (ret==(size_t)-1 || ret==0) {
908                                return ret;
909                        }
910                        if (libtrace->filter) {
911                                /* If the filter doesn't match, read another
912                                 * packet
913                                 */
914                                filtret = trace_apply_filter(libtrace->filter, packet);
915                                if (filtret == -1) {
916                                        /* Error compiling filter, probably */
917                                        return ~0U;
918                                }
919                               
920                                if (filtret == 0) {
921                                        ++libtrace->filtered_packets;
922                                        continue;
923                                }
924                        }
925                        if (libtrace->snaplen>0) {
926                                /* Snap the packet */
927                                trace_set_capture_length(packet,
928                                                libtrace->snaplen);
929                        }
930                        trace_packet_set_order(packet, libtrace->sequence_number);
931                        ++libtrace->accepted_packets;
932                        ++libtrace->sequence_number;
933                        if (packet->trace == libtrace)
934                                libtrace->last_packet = packet;
935                        return ret;
936                } while(1);
937        }
938        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
939        return ~0U;
940}
941
942/* Converts the provided buffer into a libtrace packet of the given type.
943 *
944 * Unlike trace_construct_packet, the buffer is expected to begin with the
945 * appropriate capture format header for the format type that the packet is
946 * being converted to. This also allows for a packet to be converted into
947 * just about capture format that is supported by libtrace, provided the
948 * format header is present in the buffer.
949 *
950 * This function is primarily used to convert packets received via the RT
951 * protocol back into their original capture format. The RT header encapsulates
952 * the original capture format header, so after removing it the packet must
953 * have it's header and payload pointers updated and the packet format and type
954 * changed, amongst other things.
955 *
956 * Intended only for internal use at this point - this function is not
957 * available through the external libtrace API.
958 */
959int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
960                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
961
962        assert(packet);
963        assert(trace);
964       
965        /* XXX Proper error handling?? */
966        if (buffer == NULL)
967                return -1;
968
969        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
970                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
971                return -1;
972        }
973       
974        packet->trace = trace;
975        trace->last_packet = packet;
976       
977        /* Clear packet cache */
978        trace_clear_cache(packet);
979
980        if (trace->format->prepare_packet) {
981                return trace->format->prepare_packet(trace, packet,
982                                buffer, rt_type, flags);
983        }
984        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
985                        "This format does not support preparing packets\n");
986        return -1;
987
988}
989
990/* Writes a packet to the specified output trace
991 *
992 * @param libtrace      describes the output format, destination, etc.
993 * @param packet        the packet to be written out
994 * @returns the number of bytes written, -1 if write failed
995 */
996DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
997        assert(libtrace);
998        assert(packet);
999        /* Verify the packet is valid */
1000        if (!libtrace->started) {
1001                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1002                        "Trace is not started before trace_write_packet");
1003                return -1;
1004        }
1005
1006        if (libtrace->format->write_packet) {
1007                return libtrace->format->write_packet(libtrace, packet);
1008        }
1009        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1010                "This format does not support writing packets");
1011        return -1;
1012}
1013
1014/* Get a pointer to the first byte of the packet payload */
1015DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1016                libtrace_linktype_t *linktype, uint32_t *remaining) {
1017        int cap_len;
1018        int wire_len;
1019
1020        assert(packet != NULL);
1021        if (linktype) *linktype = trace_get_link_type(packet);
1022        if (remaining) {
1023                /* I think we should choose the minimum of the capture and
1024                 * wire lengths to be the "remaining" value. If the packet has
1025                 * been padded to increase the capture length, we don't want
1026                 * to allow subsequent protocol decoders to consider the
1027                 * padding as part of the packet.
1028                 *
1029                 * For example, in Auck 4 there is a trace where the IP header
1030                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1031                 * header. Total IP length is 40 bytes. As a result, the
1032                 * legacyatm padding gets treated as the "missing" bytes of
1033                 * the TCP header, which isn't the greatest. We're probably
1034                 * better off returning an incomplete TCP header in that case.
1035                 */
1036               
1037                cap_len = trace_get_capture_length(packet);
1038                wire_len = trace_get_wire_length(packet);
1039
1040                assert(cap_len >= 0);
1041
1042                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1043                 * massively negative wire lens. We could assert fail here on
1044                 * them, but we could at least try the capture length instead.
1045                 *
1046                 * You may still run into problems if you try to write that
1047                 * packet, but at least reading should work OK.
1048                 */
1049                if (wire_len < 0)
1050                        *remaining = cap_len;
1051                else if (wire_len < cap_len)
1052                        *remaining = wire_len;
1053                else
1054                        *remaining = cap_len;
1055                /* *remaining = trace_get_capture_length(packet); */
1056        }
1057        return (void *) packet->payload;
1058}
1059
1060
1061/* Get a pointer to the first byte of the packet payload
1062 *
1063 * DEPRECATED - use trace_get_packet_buffer() instead */
1064DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1065        return (void *)packet->payload;
1066}
1067
1068/* Get the current time in DAG time format
1069 * @param packet        a pointer to a libtrace_packet structure
1070 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1071 * past 1970-01-01, the lower 32bits are partial seconds)
1072 */ 
1073DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1074        if (packet->trace->format->get_erf_timestamp) {
1075                /* timestamp -> timestamp */
1076                return packet->trace->format->get_erf_timestamp(packet);
1077        } else if (packet->trace->format->get_timespec) {
1078                /* timespec -> timestamp */
1079                struct timespec ts;
1080                ts = packet->trace->format->get_timespec(packet);
1081                return ((((uint64_t)ts.tv_sec) << 32) +
1082                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1083        } else if (packet->trace->format->get_timeval) {
1084                /* timeval -> timestamp */
1085                struct timeval tv;
1086                tv = packet->trace->format->get_timeval(packet);
1087                return ((((uint64_t)tv.tv_sec) << 32) +
1088                                (((uint64_t)tv.tv_usec << 32)/1000000));
1089        } else if (packet->trace->format->get_seconds) {
1090                /* seconds -> timestamp */
1091                double seconds = packet->trace->format->get_seconds(packet);
1092                return (((uint64_t)seconds)<<32)
1093                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1094        }
1095        else {
1096                return (uint64_t)0;
1097        }
1098                     
1099}
1100
1101/* Get the current time in struct timeval
1102 * @param packet        a pointer to a libtrace_packet structure
1103 *
1104 * @returns time that this packet was seen in a struct timeval
1105 * @author Daniel Lawson
1106 * @author Perry Lorier
1107 */ 
1108DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1109        struct timeval tv;
1110        uint64_t ts = 0;
1111        if (packet->trace->format->get_timeval) {
1112                /* timeval -> timeval */
1113                tv = packet->trace->format->get_timeval(packet);
1114        } else if (packet->trace->format->get_erf_timestamp) {
1115                /* timestamp -> timeval */
1116                ts = packet->trace->format->get_erf_timestamp(packet);
1117                tv.tv_sec = ts >> 32;
1118                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1119                if (tv.tv_usec >= 1000000) {
1120                        tv.tv_usec -= 1000000;
1121                        tv.tv_sec += 1;
1122                }
1123        } else if (packet->trace->format->get_timespec) {
1124                struct timespec ts = packet->trace->format->get_timespec(packet);
1125                tv.tv_sec = ts.tv_sec;
1126                tv.tv_usec = ts.tv_nsec/1000;
1127        } else if (packet->trace->format->get_seconds) {
1128                /* seconds -> timeval */
1129                double seconds = packet->trace->format->get_seconds(packet);
1130                tv.tv_sec = (uint32_t)seconds;
1131                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1132        }
1133        else {
1134                tv.tv_sec=-1;
1135                tv.tv_usec=-1;
1136        }
1137
1138    return tv;
1139}
1140
1141DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1142        struct timespec ts;
1143
1144        if (packet->trace->format->get_timespec) {
1145                return packet->trace->format->get_timespec(packet);
1146        } else if (packet->trace->format->get_erf_timestamp) {
1147                /* timestamp -> timeval */
1148                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1149                ts.tv_sec = erfts >> 32;
1150                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1151                if (ts.tv_nsec >= 1000000000) {
1152                        ts.tv_nsec -= 1000000000;
1153                        ts.tv_sec += 1;
1154                }
1155                return ts;
1156        } else if (packet->trace->format->get_timeval) {
1157                /* timeval -> timespec */
1158                struct timeval tv = packet->trace->format->get_timeval(packet);
1159                ts.tv_sec = tv.tv_sec;
1160                ts.tv_nsec = tv.tv_usec*1000;
1161                return ts;
1162        } else if (packet->trace->format->get_seconds) {
1163                /* seconds -> timespec */
1164                double seconds = packet->trace->format->get_seconds(packet);
1165                ts.tv_sec = (uint32_t)seconds;
1166                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1167                return ts;
1168        }
1169        else {
1170                ts.tv_sec=-1;
1171                ts.tv_nsec=-1;
1172                return ts;
1173        }
1174}
1175
1176
1177/* Get the current time in floating point seconds
1178 * @param packet        a pointer to a libtrace_packet structure
1179 * @returns time that this packet was seen in 64bit floating point seconds
1180 */ 
1181DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1182        double seconds = 0.0;
1183
1184        if (packet->trace->format->get_seconds) {
1185                /* seconds->seconds */
1186                seconds = packet->trace->format->get_seconds(packet);
1187        } else if (packet->trace->format->get_erf_timestamp) {
1188                /* timestamp -> seconds */
1189                uint64_t ts = 0;
1190                ts = packet->trace->format->get_erf_timestamp(packet);
1191                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1192        } else if (packet->trace->format->get_timespec) {
1193                /* timespec -> seconds */
1194                struct timespec ts;
1195                ts = packet->trace->format->get_timespec(packet);
1196                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1197        } else if (packet->trace->format->get_timeval) {
1198                /* timeval -> seconds */
1199                struct timeval tv;
1200                tv = packet->trace->format->get_timeval(packet);
1201                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1202        }
1203
1204        return seconds;
1205}
1206
1207DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1208{
1209        /* Cache the capture length */
1210        if (packet->capture_length == -1) {
1211                if (!packet->trace->format->get_capture_length)
1212                        return ~0U;
1213                /* Cast away constness because this is "just" a cache */
1214                ((libtrace_packet_t*)packet)->capture_length = 
1215                        packet->trace->format->get_capture_length(packet);
1216        }
1217
1218        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1219
1220        return packet->capture_length;
1221}
1222       
1223/* Get the size of the packet as it was seen on the wire.
1224 * @param packet        a pointer to a libtrace_packet structure
1225 *
1226 * @returns the size of the packet as it was on the wire.
1227 * @note Due to the trace being a header capture, or anonymisation this may
1228 * not be the same as the Capture Len.
1229 */ 
1230DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1231       
1232        if (packet->wire_length == -1) {
1233                if (!packet->trace->format->get_wire_length) 
1234                        return ~0U;
1235                ((libtrace_packet_t *)packet)->wire_length = 
1236                        packet->trace->format->get_wire_length(packet);
1237        }
1238
1239        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1240        return packet->wire_length;
1241
1242}
1243
1244/* Get the length of the capture framing headers.
1245 * @param packet        the packet opaque pointer
1246 * @returns the size of the packet as it was on the wire.
1247 * @note this length corresponds to the difference between the size of a
1248 * captured packet in memory, and the captured length of the packet
1249 */ 
1250DLLEXPORT SIMPLE_FUNCTION
1251size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1252        if (packet->trace->format->get_framing_length) {
1253                return packet->trace->format->get_framing_length(packet);
1254        }
1255        return ~0U;
1256}
1257
1258
1259/* Get the type of the link layer
1260 * @param packet        a pointer to a libtrace_packet structure
1261 * @returns libtrace_linktype_t
1262 */
1263DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1264
1265        if (packet->link_type == 0) {
1266                if (!packet->trace->format->get_link_type)
1267                        return TRACE_TYPE_UNKNOWN;
1268                ((libtrace_packet_t *)packet)->link_type =
1269                        packet->trace->format->get_link_type(packet);
1270        }
1271
1272        return packet->link_type;
1273}
1274
1275/* process a libtrace event
1276 * @param trace the libtrace opaque pointer
1277 * @param packet the libtrace_packet opaque pointer
1278 * @returns
1279 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1280 *  TRACE_EVENT_SLEEP   Next event in seconds
1281 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1282 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1283 * FIXME currently keeps a copy of the packet inside the trace pointer,
1284 * which in turn is stored inside the new packet object...
1285 */
1286DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1287                libtrace_packet_t *packet) {
1288        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1289
1290        if (!trace) {
1291                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1292        }
1293        assert(trace);
1294        assert(packet);
1295
1296        /* Free the last packet */
1297        trace_fin_packet(packet);
1298       
1299        /* Store the trace we are reading from into the packet opaque
1300         * structure */
1301        packet->trace = trace;
1302
1303        if (packet->trace->format->trace_event) {
1304                /* Note: incrementing accepted, filtered etc. packet
1305                 * counters is handled by the format-specific
1306                 * function so don't increment them here.
1307                 */
1308                event=packet->trace->format->trace_event(trace,packet);
1309                }
1310        return event;
1311
1312}
1313
1314/** Setup a BPF filter based on pre-compiled byte-code.
1315 * @param bf_insns      A pointer to the start of the byte-code
1316 * @param bf_len        The number of BPF instructions
1317 * @returns             an opaque pointer to a libtrace_filter_t object
1318 * @note                The supplied byte-code is not checked for correctness.
1319 * @author              Scott Raynel
1320 */
1321DLLEXPORT libtrace_filter_t *
1322trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1323{
1324#ifndef HAVE_BPF_FILTER
1325        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1326        return NULL;
1327#else
1328        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1329                malloc(sizeof(struct libtrace_filter_t));
1330        filter->filter.bf_insns = (struct bpf_insn *)
1331                malloc(sizeof(struct bpf_insn) * bf_len);
1332       
1333        memcpy(filter->filter.bf_insns, bf_insns,
1334                        bf_len * sizeof(struct bpf_insn));
1335       
1336        filter->filter.bf_len = bf_len;
1337        filter->filterstring = NULL;
1338        filter->jitfilter = NULL;
1339        /* "flag" indicates that the filter member is valid */
1340        filter->flag = 1; 
1341       
1342        return filter;
1343#endif
1344}
1345
1346/* Create a BPF filter
1347 * @param filterstring a char * containing the bpf filter string
1348 * @returns opaque pointer pointer to a libtrace_filter_t object
1349 */
1350DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1351#ifdef HAVE_BPF_FILTER
1352        libtrace_filter_t *filter = (libtrace_filter_t*)
1353                                malloc(sizeof(libtrace_filter_t));
1354        filter->filterstring = strdup(filterstring);
1355        filter->jitfilter = NULL;
1356        filter->flag = 0;
1357        return filter;
1358#else
1359        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1360        return NULL;
1361#endif
1362}
1363
1364DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1365{
1366#ifdef HAVE_BPF_FILTER
1367        free(filter->filterstring);
1368        if (filter->flag)
1369                pcap_freecode(&filter->filter);
1370#ifdef HAVE_LLVM
1371        if (filter->jitfilter) 
1372                destroy_program(filter->jitfilter);
1373#endif
1374        free(filter);
1375#else
1376
1377#endif
1378}
1379
1380/* Compile a bpf filter, now we know the link type for the trace that we're
1381 * applying it to.
1382 *
1383 * @internal
1384 *
1385 * @returns -1 on error, 0 on success
1386 */
1387static int trace_bpf_compile(libtrace_filter_t *filter,
1388                const libtrace_packet_t *packet,
1389                void *linkptr, 
1390                libtrace_linktype_t linktype    ) {
1391#ifdef HAVE_BPF_FILTER
1392        /* It just so happens that the underlying libs used by pthread arn't
1393         * thread safe, namely lex/flex thingys, so single threaded compile
1394         * multi threaded running should be safe.
1395         */
1396        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1397        assert(filter);
1398
1399        /* If this isn't a real packet, then fail */
1400        if (!linkptr) {
1401                trace_set_err(packet->trace,
1402                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1403                return -1;
1404        }
1405       
1406        if (filter->filterstring && ! filter->flag) {
1407                pcap_t *pcap = NULL;
1408                if (linktype==(libtrace_linktype_t)-1) {
1409                        trace_set_err(packet->trace,
1410                                        TRACE_ERR_BAD_FILTER,
1411                                        "Packet has an unknown linktype");
1412                        return -1;
1413                }
1414                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1415                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1416                                        "Unknown pcap equivalent linktype");
1417                        return -1;
1418                }
1419                assert (pthread_mutex_lock(&mutex) == 0);
1420                /* Make sure not one bet us to this */
1421                if (filter->flag) {
1422                        assert (pthread_mutex_unlock(&mutex) == 0);
1423                        return 1;
1424                }
1425                pcap=(pcap_t *)pcap_open_dead(
1426                                (int)libtrace_to_pcap_dlt(linktype),
1427                                1500U);
1428                /* build filter */
1429                assert(pcap);
1430                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1431                                        1, 0)) {
1432                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1433                                        "Unable to compile the filter \"%s\": %s", 
1434                                        filter->filterstring,
1435                                        pcap_geterr(pcap));
1436                        pcap_close(pcap);
1437                        assert (pthread_mutex_unlock(&mutex) == 0);
1438                        return -1;
1439                }
1440                pcap_close(pcap);
1441                filter->flag=1;
1442                assert (pthread_mutex_unlock(&mutex) == 0);
1443        }
1444        return 0;
1445#else
1446        assert(!"Internal bug: This should never be called when BPF not enabled");
1447        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1448                                "Feature unavailable");
1449        return -1;
1450#endif
1451}
1452
1453DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1454                        const libtrace_packet_t *packet) {
1455#ifdef HAVE_BPF_FILTER
1456        void *linkptr = 0;
1457        uint32_t clen = 0;
1458        bool free_packet_needed = false;
1459        int ret;
1460        libtrace_linktype_t linktype;
1461        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1462#ifdef HAVE_LLVM
1463        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1464#endif
1465
1466        assert(filter);
1467        assert(packet);
1468
1469        /* Match all non-data packets as we probably want them to pass
1470         * through to the caller */
1471        linktype = trace_get_link_type(packet);
1472
1473        if (linktype == TRACE_TYPE_NONDATA)
1474                return 1;       
1475
1476        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1477               
1478                /* If we cannot get a suitable DLT for the packet, it may
1479                 * be because the packet is encapsulated in a link type that
1480                 * does not correspond to a DLT. Therefore, we should try
1481                 * popping off headers until we either can find a suitable
1482                 * link type or we can't do any more sensible decapsulation. */
1483               
1484                /* Copy the packet, as we don't want to trash the one we
1485                 * were passed in */
1486                packet_copy=trace_copy_packet(packet);
1487                free_packet_needed=true;
1488
1489                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1490                        if (!demote_packet(packet_copy)) {
1491                                trace_set_err(packet->trace, 
1492                                                TRACE_ERR_NO_CONVERSION,
1493                                                "pcap does not support this format");
1494                                if (free_packet_needed) {
1495                                        trace_destroy_packet(packet_copy);
1496                                }
1497                                return -1;
1498                        }
1499                        linktype = trace_get_link_type(packet_copy);
1500                }
1501
1502        }
1503       
1504        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1505        if (!linkptr) {
1506                if (free_packet_needed) {
1507                        trace_destroy_packet(packet_copy);
1508                }
1509                return 0;
1510        }
1511
1512        /* We need to compile the filter now, because before we didn't know
1513         * what the link type was
1514         */
1515        // Note internal mutex locking used here
1516        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1517                if (free_packet_needed) {
1518                        trace_destroy_packet(packet_copy);
1519                }
1520                return -1;
1521        }
1522
1523        /* If we're jitting, we may need to JIT the BPF code now too */
1524#if HAVE_LLVM
1525        if (!filter->jitfilter) {
1526                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1527                /* Again double check here like the bpf filter */
1528                if(!filter->jitfilter)
1529                /* Looking at compile_program source this appears to be thread safe
1530                 * however if this gets called twice we will leak this memory :(
1531                 * as such lock here anyways */
1532                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1533                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1534        }
1535#endif
1536
1537        assert(filter->flag);
1538        /* Now execute the filter */
1539#if HAVE_LLVM
1540        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1541#else
1542        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1543#endif
1544
1545        /* If we copied the packet earlier, make sure that we free it */
1546        if (free_packet_needed) {
1547                trace_destroy_packet(packet_copy);
1548        }
1549        return ret;
1550#else
1551        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1552        return 0;
1553#endif
1554}
1555
1556/* Set the direction flag, if it has one
1557 * @param packet the packet opaque pointer
1558 * @param direction the new direction (0,1,2,3)
1559 * @returns a signed value containing the direction flag, or -1 if this is not supported
1560 */
1561DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1562                libtrace_direction_t direction) 
1563{
1564        assert(packet);
1565        if (packet->trace->format->set_direction) {
1566                return packet->trace->format->set_direction(packet,direction);
1567        }
1568        return (libtrace_direction_t)~0U;
1569}
1570
1571/* Get the direction flag, if it has one
1572 * @param packet a pointer to a libtrace_packet structure
1573 * @returns a signed value containing the direction flag, or -1 if this is not supported
1574 * The direction is defined as 0 for packets originating locally (ie, outbound)
1575 * and 1 for packets originating remotely (ie, inbound).
1576 * Other values are possible, which might be overloaded to mean special things
1577 * for a special trace.
1578 */
1579DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1580{
1581        assert(packet);
1582        if (packet->trace->format->get_direction) {
1583                return packet->trace->format->get_direction(packet);
1584        }
1585        return (libtrace_direction_t)~0U;
1586}
1587
1588#define ROOT_SERVER(x) ((x) < 512)
1589#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1590#define NONROOT_SERVER(x) ((x) >= 5000)
1591#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1592#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1593#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1594#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1595
1596/* Attempt to deduce the 'server' port
1597 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1598 * @param source the TCP or UDP source port
1599 * @param dest the TCP or UDP destination port
1600 * @returns a hint as to which port is the server port
1601 */
1602DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1603                uint16_t source, uint16_t dest) 
1604{
1605        /*
1606         * * If the ports are equal, return DEST
1607         * * Check for well-known ports in the given protocol
1608         * * Root server ports: 0 - 511
1609         * * Root client ports: 512 - 1023
1610         * * non-root client ports: 1024 - 4999
1611         * * non-root server ports: 5000+
1612         * * Check for static ranges: 1024 - 49151
1613         * * Check for dynamic ranges: 49152 - 65535
1614         * * flip a coin.
1615         */
1616       
1617        /* equal */
1618        if (source == dest)
1619                return USE_DEST;
1620
1621        /* root server port, 0 - 511 */
1622        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1623                if (source < dest)
1624                        return USE_SOURCE;
1625                return USE_DEST;
1626        }
1627
1628        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1629                return USE_SOURCE;
1630        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1631                return USE_DEST;
1632
1633        /* non-root server */
1634        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1635                if (source < dest)
1636                        return USE_SOURCE;
1637                return USE_DEST;
1638        }
1639        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1640                return USE_SOURCE;
1641        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1642                return USE_DEST;
1643
1644        /* root client */
1645        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1646                if (source < dest)
1647                        return USE_SOURCE;
1648                return USE_DEST;
1649        }
1650        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1651                /* prefer root-client over nonroot-client */
1652                if (NONROOT_CLIENT(dest))
1653                        return USE_SOURCE;
1654                return USE_DEST;
1655        }
1656        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1657                /* prefer root-client over nonroot-client */
1658                if (NONROOT_CLIENT(source))
1659                        return USE_DEST;
1660                return USE_SOURCE;
1661        }
1662       
1663        /* nonroot client */
1664        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1665                if (source < dest) 
1666                        return USE_SOURCE;
1667                return USE_DEST;
1668        }
1669        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1670                return USE_DEST;
1671        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1672                return USE_SOURCE;
1673
1674        /* dynamic range */
1675        if (DYNAMIC(source) && DYNAMIC(dest)) {
1676                if (source < dest)
1677                        return USE_SOURCE;
1678                return USE_DEST;
1679        }
1680        if (DYNAMIC(source) && !DYNAMIC(dest))
1681                return USE_DEST;
1682        if (!DYNAMIC(source) && DYNAMIC(dest))
1683                return USE_SOURCE;
1684        /*
1685        if (SERVER(source) && CLIENT(dest))
1686                return USE_SOURCE;
1687       
1688        if (SERVER(dest) && CLIENT(source))
1689                return USE_DEST;
1690        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1691                return USE_SOURCE;
1692        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1693                return USE_DEST;
1694        */
1695        /* failing that test... */
1696        if (source < dest) {
1697                return USE_SOURCE;
1698        } 
1699        return USE_DEST;
1700       
1701}
1702
1703/* Truncate the packet at the suggested length
1704 * @param packet        the packet opaque pointer
1705 * @param size          the new length of the packet
1706 * @returns the new size of the packet
1707 * @note size and the return size refer to the network-level payload of the
1708 * packet, and do not include any capture headers. For example, to truncate a
1709 * packet after the IP header, set size to sizeof(ethernet_header) +
1710 * sizeof(ip_header)
1711 * @note If the original network-level payload is smaller than size, then the
1712 * original size is returned and the packet is left unchanged.
1713 */
1714DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1715        assert(packet);
1716
1717        if (packet->trace->format->set_capture_length) {
1718                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1719                return packet->capture_length;
1720        }
1721
1722        return ~0U;
1723}
1724
1725/* Splits a URI into two components - the format component which is seen before
1726 * the ':', and the uridata which follows the ':'.
1727 *
1728 * Returns a pointer to the URI data, but updates the format parameter to
1729 * point to a copy of the format component.
1730 */
1731
1732DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1733        const char *uridata = 0;
1734       
1735        if((uridata = strchr(uri,':')) == NULL) {
1736                /* Badly formed URI - needs a : */
1737                return 0;
1738        }
1739
1740        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1741                /* Badly formed URI - uri type is too long */
1742                return 0;
1743        }
1744
1745        /* NOTE: this is allocated memory - it should be freed by the caller
1746         * once they are done with it */
1747        *format=xstrndup(uri, (size_t)(uridata - uri));
1748
1749        /* Push uridata past the delimiter */
1750        uridata++;
1751       
1752        return uridata;
1753}
1754
1755enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1756{
1757        assert(packet);
1758
1759        return packet->trace->format->type;
1760}
1761       
1762DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1763{
1764        libtrace_err_t err = trace->err;
1765        trace->err.err_num = 0; /* "OK" */
1766        trace->err.problem[0]='\0';
1767        return err;
1768}
1769
1770DLLEXPORT bool trace_is_err(libtrace_t *trace)
1771{
1772        return trace->err.err_num != 0;
1773}
1774
1775/* Prints the input error status to standard error and clears the error state */
1776DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1777{
1778        char buf[256];
1779        va_list va;
1780        va_start(va,msg);
1781        vsnprintf(buf,sizeof(buf),msg,va);
1782        va_end(va);
1783        if(trace->err.err_num) {
1784                if (trace->uridata) {
1785                        fprintf(stderr,"%s(%s): %s\n",
1786                                        buf,trace->uridata,trace->err.problem);
1787                } else {
1788                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1789                }
1790        } else {
1791                if (trace->uridata) {
1792                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1793                } else {
1794                        fprintf(stderr,"%s: No error\n", buf);
1795                }
1796        }
1797        trace->err.err_num = 0; /* "OK" */
1798        trace->err.problem[0]='\0';
1799}
1800
1801DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1802{
1803        libtrace_err_t err = trace->err;
1804        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1805        trace->err.problem[0]='\0';
1806        return err;
1807}
1808
1809DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1810{
1811        return trace->err.err_num != 0;
1812}
1813
1814/* Prints the output error status to standard error and clears the error state
1815 */
1816DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1817{
1818        char buf[256];
1819        va_list va;
1820        va_start(va,msg);
1821        vsnprintf(buf,sizeof(buf),msg,va);
1822        va_end(va);
1823        if(trace->err.err_num) {
1824                fprintf(stderr,"%s(%s): %s\n",
1825                                buf,
1826                                trace->uridata?trace->uridata:"no uri",
1827                                trace->err.problem);
1828        } else {
1829                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1830        }
1831        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1832        trace->err.problem[0]='\0';
1833}
1834
1835DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1836{
1837        if (trace->format->seek_erf) {
1838                return trace->format->seek_erf(trace,ts);
1839        }
1840        else {
1841                if (trace->format->seek_timeval) {
1842                        struct timeval tv;
1843#if __BYTE_ORDER == __BIG_ENDIAN
1844                        tv.tv_sec = ts & 0xFFFFFFFF;
1845                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1846#elif __BYTE_ORDER == __LITTLE_ENDIAN
1847                        tv.tv_sec = ts >> 32;
1848                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1849#else
1850#error "What on earth are you running this on?"
1851#endif
1852                        if (tv.tv_usec >= 1000000) {
1853                                tv.tv_usec -= 1000000;
1854                                tv.tv_sec += 1;
1855                        }
1856                        return trace->format->seek_timeval(trace,tv);
1857                }
1858                if (trace->format->seek_seconds) {
1859                        double seconds = 
1860                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1861                        return trace->format->seek_seconds(trace,seconds);
1862                }
1863                trace_set_err(trace,
1864                                TRACE_ERR_OPTION_UNAVAIL,
1865                                "Feature unimplemented");
1866                return -1;
1867        }
1868}
1869
1870DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1871{
1872        if (trace->format->seek_seconds) {
1873                return trace->format->seek_seconds(trace,seconds);
1874        }
1875        else {
1876                if (trace->format->seek_timeval) {
1877                        struct timeval tv;
1878                        tv.tv_sec = (uint32_t)seconds;
1879                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1880                        return trace->format->seek_timeval(trace,tv);
1881                }
1882                if (trace->format->seek_erf) {
1883                        uint64_t timestamp = 
1884                                ((uint64_t)((uint32_t)seconds) << 32) + \
1885                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1886                        return trace->format->seek_erf(trace,timestamp);
1887                }
1888                trace_set_err(trace,
1889                                TRACE_ERR_OPTION_UNAVAIL,
1890                                "Feature unimplemented");
1891                return -1;
1892        }
1893}
1894
1895DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1896{
1897        if (trace->format->seek_timeval) {
1898                return trace->format->seek_timeval(trace,tv);
1899        }
1900        else {
1901                if (trace->format->seek_erf) {
1902                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1903                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1904                        return trace->format->seek_erf(trace,timestamp);
1905                }
1906                if (trace->format->seek_seconds) {
1907                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1908                        return trace->format->seek_seconds(trace,seconds);
1909                }
1910                trace_set_err(trace,
1911                                TRACE_ERR_OPTION_UNAVAIL,
1912                                "Feature unimplemented");
1913                return -1;
1914        }
1915}
1916
1917/* Converts a binary ethernet MAC address into a printable string */
1918DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1919{
1920        static char staticbuf[18]={0,};
1921        if (!buf)
1922                buf=staticbuf;
1923        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1924                        addr[0],addr[1],addr[2],
1925                        addr[3],addr[4],addr[5]);
1926        return buf;
1927}
1928
1929/* Converts a printable ethernet MAC address into a binary format */
1930DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1931{
1932        uint8_t *buf2 = addr;
1933        unsigned int tmp[6];
1934        static uint8_t staticaddr[6];
1935        if (!buf2)
1936                buf2=staticaddr;
1937        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1938                        &tmp[0],&tmp[1],&tmp[2],
1939                        &tmp[3],&tmp[4],&tmp[5]);
1940        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1941        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1942        return buf2;
1943}
1944
1945
1946/* Creates a libtrace packet from scratch using the contents of the provided
1947 * buffer as the packet payload.
1948 *
1949 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1950 * format headers; instead this function will add the PCAP header to the
1951 * packet record. This also means only PCAP packets can be constructed using
1952 * this function.
1953 *
1954 */
1955DLLEXPORT
1956void trace_construct_packet(libtrace_packet_t *packet,
1957                libtrace_linktype_t linktype,
1958                const void *data,
1959                uint16_t len)
1960{
1961        size_t size;
1962        static libtrace_t *deadtrace=NULL;
1963        libtrace_pcapfile_pkt_hdr_t hdr;
1964#ifdef WIN32
1965        struct _timeb tstruct;
1966#else
1967        struct timeval tv;
1968#endif
1969
1970        /* We need a trace to attach the constructed packet to (and it needs
1971         * to be PCAP) */
1972        if (NULL == deadtrace) 
1973                deadtrace=trace_create_dead("pcapfile");
1974
1975        /* Fill in the new PCAP header */
1976#ifdef WIN32
1977        _ftime(&tstruct);
1978        hdr.ts_sec=tstruct.time;
1979        hdr.ts_usec=tstruct.millitm * 1000;
1980#else
1981        gettimeofday(&tv,NULL);
1982        hdr.ts_sec=tv.tv_sec;
1983        hdr.ts_usec=tv.tv_usec;
1984#endif
1985
1986        hdr.caplen=len;
1987        hdr.wirelen=len;
1988
1989        /* Now fill in the libtrace packet itself */
1990        packet->trace=deadtrace;
1991        size=len+sizeof(hdr);
1992        if (packet->buf_control==TRACE_CTRL_PACKET) {
1993                packet->buffer=realloc(packet->buffer,size);
1994        }
1995        else {
1996                packet->buffer=malloc(size);
1997        }
1998        packet->buf_control=TRACE_CTRL_PACKET;
1999        packet->header=packet->buffer;
2000        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2001       
2002        /* Ugh, memcpy - sadly necessary */
2003        memcpy(packet->header,&hdr,sizeof(hdr));
2004        memcpy(packet->payload,data,(size_t)len);
2005        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2006
2007        trace_clear_cache(packet);
2008}
2009
2010
2011uint64_t trace_get_received_packets(libtrace_t *trace)
2012{
2013        assert(trace);
2014        uint64_t ret;
2015
2016        if (trace->format->get_received_packets) {
2017                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2018                        return ret;
2019        } else if (trace->format->get_statistics) {
2020                struct libtrace_stat_t stat;
2021                stat.magic = LIBTRACE_STAT_MAGIC;
2022                trace_get_statistics(trace, &stat);
2023                if (stat.received_valid)
2024                        return stat.received;
2025        }
2026
2027        // Read the cached value taken before the trace was paused/closed
2028        if(trace->stats && trace->stats->received_valid)
2029                return trace->stats->received;
2030        else
2031                return UINT64_MAX;
2032}
2033
2034uint64_t trace_get_filtered_packets(libtrace_t *trace)
2035{
2036        assert(trace);
2037        int i = 0;
2038        uint64_t lib_filtered = trace->filtered_packets;
2039        for (i = 0; i < trace->perpkt_thread_count; i++) {
2040                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2041        }
2042        if (trace->format->get_filtered_packets) {
2043                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2044                if (trace_filtered == UINT64_MAX)
2045                        return UINT64_MAX;
2046                else
2047                        return trace_filtered + lib_filtered;
2048        } else if (trace->format->get_statistics) {
2049                struct libtrace_stat_t stat;
2050                stat.magic = LIBTRACE_STAT_MAGIC;
2051                trace_get_statistics(trace, &stat);
2052                if (stat.filtered_valid)
2053                        return lib_filtered + stat.filtered;
2054                else
2055                        return UINT64_MAX;
2056        }
2057
2058        // Read the cached value taken before the trace was paused/closed
2059        if(trace->stats && trace->stats->filtered_valid)
2060                return trace->stats->filtered + lib_filtered;
2061        else
2062                return lib_filtered;
2063}
2064
2065uint64_t trace_get_dropped_packets(libtrace_t *trace)
2066{
2067        assert(trace);
2068        uint64_t ret;
2069
2070        if (trace->format->get_dropped_packets) {
2071                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2072                        return ret;
2073        } else if (trace->format->get_statistics) {
2074                struct libtrace_stat_t stat;
2075                stat.magic = LIBTRACE_STAT_MAGIC;
2076                trace_get_statistics(trace, &stat);
2077                if (stat.dropped_valid)
2078                        return stat.dropped;
2079        }
2080
2081        // Read the cached value taken before the trace was paused/closed
2082        if(trace->stats && trace->stats->dropped_valid)
2083                return trace->stats->dropped;
2084        else
2085                return UINT64_MAX;
2086}
2087
2088uint64_t trace_get_accepted_packets(libtrace_t *trace)
2089{
2090        assert(trace);
2091        int i = 0;
2092        uint64_t ret = 0;
2093        /* We always add to a thread's accepted count before dispatching the
2094         * packet to the user. However if the underlying trace is single
2095         * threaded it will also be increasing the global count. So if we
2096         * find perpkt ignore the global count.
2097         */
2098        for (i = 0; i < trace->perpkt_thread_count; i++) {
2099                ret += trace->perpkt_threads[i].accepted_packets;
2100        }
2101        return ret ? ret : trace->accepted_packets;
2102}
2103
2104libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2105{
2106        uint64_t ret = 0;
2107        int i;
2108        assert(trace);
2109        if (stat == NULL) {
2110                if (trace->stats == NULL)
2111                        trace->stats = trace_create_statistics();
2112                stat = trace->stats;
2113        }
2114        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2115               "trace_create_statistics() to allocate statistics");
2116
2117        /* If the trace has paused or finished get the cached results */
2118        if (trace->state == STATE_PAUSED ||
2119            trace->state == STATE_FINISHED ||
2120            trace->state == STATE_FINISHING ||
2121            trace->state == STATE_JOINED) {
2122                if (trace->stats && trace->stats != stat)
2123                        *stat = *trace->stats;
2124                return stat;
2125        }
2126
2127        stat->reserved1 = 0;
2128        stat->reserved2 = 0;
2129#define X(x) stat->x ##_valid = 0;
2130        LIBTRACE_STAT_FIELDS;
2131#undef X
2132        /* Both accepted and filtered are stored against in the library */
2133
2134        /* We always add to a thread's accepted count before dispatching the
2135         * packet to the user. However if the underlying trace is single
2136         * threaded it will also be increasing the global count. So if we
2137         * find perpkt ignore the global count.
2138         */
2139        for (i = 0; i < trace->perpkt_thread_count; i++) {
2140                ret += trace->perpkt_threads[i].accepted_packets;
2141        }
2142
2143        stat->accepted_valid = 1;
2144        stat->accepted = ret ? ret : trace->accepted_packets;
2145
2146        stat->filtered_valid = 1;
2147        stat->filtered = trace->filtered_packets;
2148        for (i = 0; i < trace->perpkt_thread_count; i++) {
2149                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2150        }
2151
2152        if (trace->format->get_statistics) {
2153                trace->format->get_statistics(trace, stat);
2154        }
2155        return stat;
2156}
2157
2158void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2159                                 libtrace_stat_t *stat)
2160{
2161        assert(trace && stat);
2162        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2163               "trace_create_statistics() to allocate statistics");
2164        stat->reserved1 = 0;
2165        stat->reserved2 = 0;
2166#define X(x) stat->x ##_valid= 0;
2167        LIBTRACE_STAT_FIELDS;
2168#undef X
2169        stat->accepted_valid = 1;
2170        stat->accepted = t->accepted_packets;
2171        stat->filtered_valid = 1;
2172        stat->filtered = t->filtered_packets;
2173        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2174                trace->format->get_thread_statistics(trace, t, stat);
2175        }
2176        return;
2177}
2178
2179libtrace_stat_t *trace_create_statistics(void) {
2180        libtrace_stat_t *ret;
2181        ret = malloc(sizeof(libtrace_stat_t));
2182        if (ret) {
2183                memset(ret, 0, sizeof(libtrace_stat_t));
2184                ret->magic = LIBTRACE_STAT_MAGIC;
2185        }
2186        return ret;
2187}
2188
2189void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2190                         libtrace_stat_t *c) {
2191        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2192               "trace_create_statistics() to allocate statistics");
2193        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2194               "trace_create_statistics() to allocate statistics");
2195        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2196               "trace_create_statistics() to allocate statistics");
2197
2198#define X(x) \
2199        if (a->x ##_valid && b->x ##_valid) { \
2200                c->x ##_valid = 1; \
2201                c->x = a->x - b->x; \
2202        } else {\
2203                c->x ##_valid = 0;\
2204        }
2205        LIBTRACE_STAT_FIELDS
2206#undef X
2207}
2208
2209void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2210                         libtrace_stat_t *c) {
2211        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2212               "trace_create_statistics() to allocate statistics");
2213        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2214               "trace_create_statistics() to allocate statistics");
2215        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2216               "trace_create_statistics() to allocate statistics");
2217
2218#define X(x) \
2219        if (a->x ##_valid&& b->x ##_valid) { \
2220                c->x ##_valid = 1; \
2221                c->x = a->x + b->x; \
2222        } else {\
2223                c->x ##_valid = 0;\
2224        }
2225        LIBTRACE_STAT_FIELDS
2226#undef X
2227}
2228
2229int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2230        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2231               "trace_create_statistics() to allocate statistics");
2232        if (format == NULL)
2233                format = "%s: %"PRIu64"\n";
2234#define xstr(s) str(s)
2235#define str(s) #s
2236#define X(x) \
2237        if (s->x ##_valid) { \
2238                if (fprintf(f, format, xstr(x), s->x) < 0) \
2239                        return -1; \
2240        }
2241        LIBTRACE_STAT_FIELDS
2242#undef X
2243        return 0;
2244}
2245
2246
2247void trace_clear_cache(libtrace_packet_t *packet) {
2248
2249        packet->l2_header = NULL;
2250        packet->l3_header = NULL;
2251        packet->l4_header = NULL;
2252        packet->link_type = 0;
2253        packet->l3_ethertype = 0;
2254        packet->transport_proto = 0;
2255        packet->capture_length = -1;
2256        packet->wire_length = -1;
2257        packet->payload_length = -1;
2258        packet->l2_remaining = 0;
2259        packet->l3_remaining = 0;
2260        packet->l4_remaining = 0;
2261
2262}
2263
2264void trace_interrupt(void) {
2265        libtrace_halt = 1;
2266}
2267
2268void register_format(struct libtrace_format_t *f) {
2269        assert(f->next==NULL); /* Can't register a format twice */
2270        f->next=formats_list;
2271        formats_list=f;
2272
2273        /* Now, verify that the format has at least the minimum functionality.
2274         *
2275         * This #if can be changed to a 1 to output warnings about inconsistent
2276         * functions being provided by format modules.  This generally is very
2277         * noisy, as almost all modules don't implement one or more functions
2278         * for various reasons.  This is very useful when checking a new
2279         * format module is sane.
2280         */ 
2281#if 0
2282        if (f->init_input) {
2283#define REQUIRE(x) \
2284                if (!f->x) \
2285                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2286                REQUIRE(read_packet);
2287                REQUIRE(start_input);
2288                REQUIRE(fin_input);
2289                REQUIRE(get_link_type);
2290                REQUIRE(get_capture_length);
2291                REQUIRE(get_wire_length);
2292                REQUIRE(get_framing_length);
2293                REQUIRE(trace_event);
2294                if (!f->get_erf_timestamp
2295                        && !f->get_seconds
2296                        && !f->get_timeval) {
2297                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2298"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2299                }
2300                if (f->trace_event!=trace_event_trace) {
2301                        /* Theres nothing that a trace file could optimise with
2302                         * config_input
2303                         */
2304                        REQUIRE(pause_input);
2305                        REQUIRE(config_input);
2306                        REQUIRE(get_fd);
2307                }
2308                else {
2309                        if (f->get_fd) {
2310                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2311                                                f->name);
2312                        }
2313                }
2314#undef REQUIRE
2315        }
2316        else {
2317#define REQUIRE(x) \
2318                if (f->x) \
2319                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2320                REQUIRE(read_packet);
2321                REQUIRE(start_input);
2322                REQUIRE(pause_input);
2323                REQUIRE(fin_input);
2324                REQUIRE(get_link_type);
2325                REQUIRE(get_capture_length);
2326                REQUIRE(get_wire_length);
2327                REQUIRE(get_framing_length);
2328                REQUIRE(trace_event);
2329                REQUIRE(get_seconds);
2330                REQUIRE(get_timeval);
2331                REQUIRE(get_erf_timestamp);
2332#undef REQUIRE
2333        }
2334        if (f->init_output) {
2335#define REQUIRE(x) \
2336                if (!f->x) \
2337                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2338                REQUIRE(write_packet);
2339                REQUIRE(start_output);
2340                REQUIRE(config_output);
2341                REQUIRE(fin_output);
2342#undef REQUIRE
2343        }
2344        else {
2345#define REQUIRE(x) \
2346                if (f->x) \
2347                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2348                REQUIRE(write_packet);
2349                REQUIRE(start_output);
2350                REQUIRE(config_output);
2351                REQUIRE(fin_output);
2352#undef REQUIRE
2353        }
2354#endif
2355}
2356
Note: See TracBrowser for help on using the repository browser.