source: lib/trace.c @ ac6ac7f

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since ac6ac7f was f50515e, checked in by Richard Sanger <rsangerarj@…>, 6 years ago

Zero out combiner when trace is created

  • Property mode set to 100644
File size: 65.6 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008,2009,2010 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        if (!formats_list) {
139                duck_constructor();
140                erf_constructor();
141                tsh_constructor();
142                legacy_constructor();
143                atmhdr_constructor();
144                linuxring_constructor();
145                linuxnative_constructor();
146#ifdef HAVE_LIBPCAP
147                pcap_constructor();
148#endif
149                bpf_constructor();
150                pcapfile_constructor();
151                rt_constructor();
152#ifdef HAVE_DAG
153                dag_constructor();
154#endif
155#ifdef HAVE_DPDK
156        dpdk_constructor();
157#endif
158        }
159}
160
161/* Prints help information for libtrace
162 *
163 * Function prints out some basic help information regarding libtrace,
164 * and then prints out the help() function registered with each input module
165 */
166DLLEXPORT void trace_help(void) {
167        struct libtrace_format_t *tmp;
168        trace_init();
169        printf("libtrace %s\n\n",PACKAGE_VERSION);
170        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
171        for(tmp=formats_list;tmp;tmp=tmp->next) {
172                if (tmp->help)
173                        tmp->help();
174        }
175}
176
177#define URI_PROTO_LINE 16U
178
179/* Try to guess which format module is appropriate for a given trace file or
180 * device */
181static void guess_format(libtrace_t *libtrace, const char *filename)
182{
183        struct libtrace_format_t *tmp;
184       
185        /* Try and guess based on filename */
186        for(tmp = formats_list; tmp; tmp=tmp->next) {
187                if (tmp->probe_filename && tmp->probe_filename(filename)) {
188                        libtrace->format = tmp;
189                        libtrace->uridata = strdup(filename);
190                        return;
191                }
192        }
193
194        libtrace->io = wandio_create(filename);
195        if (!libtrace->io)
196                return;
197
198        /* Try and guess based on file magic */
199        for(tmp = formats_list; tmp; tmp=tmp->next) {
200                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
201                        libtrace->format = tmp;
202                        libtrace->uridata = strdup(filename);
203                        return;
204                }
205        }
206       
207        /* No formats matched -- make sure we clean up the IO object we
208         * used to probe the file magic */
209        wandio_destroy(libtrace->io);
210        return;
211}
212
213/* Creates an input trace from a URI
214 *
215 * @params char * containing a valid libtrace URI
216 * @returns opaque pointer to a libtrace_t
217 *
218 * Some valid URI's are:
219 *  erf:/path/to/erf/file
220 *  erf:/path/to/erf/file.gz
221 *  erf:-                       (stdin)
222 *  dag:/dev/dagcard
223 *  pcapint:pcapinterface               (eg: pcapint:eth0)
224 *  pcapfile:/path/to/pcap/file
225 *  pcapfile:-
226 *  int:interface                       (eg: int:eth0) only on Linux
227 *  rt:hostname
228 *  rt:hostname:port
229 *
230 * If an error occured when attempting to open a trace, NULL is returned
231 * and an error is output to stdout.
232 */
233DLLEXPORT libtrace_t *trace_create(const char *uri) {
234        libtrace_t *libtrace = 
235                        (libtrace_t *)malloc(sizeof(libtrace_t));
236        char *scan = 0;
237        const char *uridata = 0;                 
238
239        trace_init();
240
241        assert(uri && "Passing NULL to trace_create makes me a very sad program");
242
243        if (!libtrace) {
244                /* Out of memory */
245                return NULL;
246        }
247       
248        libtrace->err.err_num = TRACE_ERR_NOERROR;
249        libtrace->format=NULL;
250       
251        libtrace->event.tdelta = 0.0;
252        libtrace->event.packet = NULL;
253        libtrace->event.psize = 0;
254        libtrace->event.trace_last_ts = 0.0;
255        libtrace->event.waiting = false;
256        libtrace->filter = NULL;
257        libtrace->snaplen = 0;
258        libtrace->started=false;
259        libtrace->uridata = NULL;
260        libtrace->io = NULL;
261        libtrace->filtered_packets = 0;
262        libtrace->accepted_packets = 0;
263       
264        /* Parallel inits */
265        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
266        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
267        libtrace->state = STATE_NEW;
268        libtrace->perpkt_queue_full = false;
269        libtrace->global_blob = NULL;
270        libtrace->per_pkt = NULL;
271        libtrace->reporter = NULL;
272        libtrace->hasher = NULL;
273        libtrace_zero_ocache(&libtrace->packet_freelist);
274        libtrace_zero_thread(&libtrace->hasher_thread);
275        libtrace_zero_thread(&libtrace->reporter_thread);
276        libtrace_zero_thread(&libtrace->keepalive_thread);
277        libtrace->reporter_thread.type = THREAD_EMPTY;
278        libtrace->perpkt_thread_count = 0;
279        libtrace->perpkt_threads = NULL;
280        libtrace->tracetime = 0;
281        libtrace->first_packets.first = 0;
282        libtrace->first_packets.count = 0;
283        libtrace->first_packets.packets = NULL;
284        libtrace->stats = NULL;
285        libtrace->pread = NULL;
286        ZERO_USER_CONFIG(libtrace->config);
287        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
288
289        /* Parse the URI to determine what sort of trace we are dealing with */
290        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
291                /* Could not parse the URI nicely */
292                guess_format(libtrace,uri);
293                if (!libtrace->format) {
294                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
295                        return libtrace;
296                }
297        }
298        else {
299                struct libtrace_format_t *tmp;
300
301                /* Find a format that matches the first part of the URI */
302                for (tmp=formats_list;tmp;tmp=tmp->next) {
303                        if (strlen(scan) == strlen(tmp->name) &&
304                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
305                                        ) {
306                                libtrace->format=tmp;
307                                break;
308                        }
309                }
310
311                if (libtrace->format == 0) {
312                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
313                                        "Unknown format (%s)",scan);
314                        return libtrace;
315                }
316
317                libtrace->uridata = strdup(uridata);
318        }
319        /* libtrace->format now contains the type of uri
320         * libtrace->uridata contains the appropriate data for this
321         */
322       
323        /* Call the init_input function for the matching capture format */ 
324        if (libtrace->format->init_input) {
325                int err=libtrace->format->init_input(libtrace);
326                assert (err==-1 || err==0);
327                if (err==-1) {
328                        /* init_input should call trace_set_err to set
329                         * the error message
330                         */
331                        return libtrace;
332                }
333        } else {
334                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
335                                "Format does not support input (%s)",scan);
336                return libtrace;
337        }
338       
339        if (scan)
340                free(scan);
341        libtrace->err.err_num=TRACE_ERR_NOERROR;
342        libtrace->err.problem[0]='\0';
343        return libtrace;
344}
345
346/* Creates a "dummy" trace file that has only the format type set.
347 *
348 * @returns opaque pointer to a (sparsely initialised) libtrace_t
349 *
350 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
351 * with the dummy trace. Its intended purpose is to act as a packet->trace for
352 * libtrace_packet_t's that are not associated with a libtrace_t structure.
353 */
354DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
355        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
356        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
357        char *uridata;
358        struct libtrace_format_t *tmp;
359
360        trace_init();
361       
362        libtrace->err.err_num = TRACE_ERR_NOERROR;
363
364        if((uridata = strchr(uri,':')) == NULL) {
365                xstrncpy(scan, uri, strlen(uri));
366        } else {
367                xstrncpy(scan,uri, (size_t)(uridata - uri));
368        }
369       
370        libtrace->err.err_num = TRACE_ERR_NOERROR;
371        libtrace->format=NULL;
372       
373        libtrace->event.tdelta = 0.0;
374        libtrace->event.packet = NULL;
375        libtrace->event.psize = 0;
376        libtrace->event.trace_last_ts = 0.0;
377        libtrace->filter = NULL;
378        libtrace->snaplen = 0;
379        libtrace->started=false;
380        libtrace->uridata = NULL;
381        libtrace->io = NULL;
382        libtrace->filtered_packets = 0;
383       
384        /* Parallel inits */
385        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
386        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
387        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
388        libtrace->perpkt_queue_full = false;
389        libtrace->global_blob = NULL;
390        libtrace->per_pkt = NULL;
391        libtrace->reporter = NULL;
392        libtrace->hasher = NULL;
393        libtrace_zero_ocache(&libtrace->packet_freelist);
394        libtrace_zero_thread(&libtrace->hasher_thread);
395        libtrace_zero_thread(&libtrace->reporter_thread);
396        libtrace_zero_thread(&libtrace->keepalive_thread);
397        libtrace->reporter_thread.type = THREAD_EMPTY;
398        libtrace->perpkt_thread_count = 0;
399        libtrace->perpkt_threads = NULL;
400        libtrace->tracetime = 0;
401        libtrace->stats = NULL;
402        libtrace->pread = NULL;
403        ZERO_USER_CONFIG(libtrace->config);
404        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
405       
406        for(tmp=formats_list;tmp;tmp=tmp->next) {
407                if (strlen(scan) == strlen(tmp->name) &&
408                                !strncasecmp(scan,
409                                        tmp->name,
410                                        strlen(scan))) {
411                                libtrace->format=tmp;
412                                break;
413                                }
414        }
415        if (libtrace->format == 0) {
416                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
417                                "Unknown format (%s)",scan);
418        }
419
420        libtrace->format_data = NULL;
421        free(scan);
422        return libtrace;
423
424}
425
426/* Creates an output trace from a URI.
427 *
428 * @param uri   the uri string describing the output format and destination
429 * @returns opaque pointer to a libtrace_output_t
430 *
431 *  If an error occured when attempting to open the output trace, NULL is
432 *  returned and trace_errno is set.
433 */
434       
435DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
436        libtrace_out_t *libtrace = 
437                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
438       
439        char *scan = 0;
440        const char *uridata = 0;
441        struct libtrace_format_t *tmp;
442
443        trace_init();
444
445        libtrace->err.err_num = TRACE_ERR_NOERROR;
446        strcpy(libtrace->err.problem,"Error message set\n");
447        libtrace->format = NULL;
448        libtrace->uridata = NULL;
449       
450        /* Parse the URI to determine what capture format we want to write */
451
452        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
453                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
454                                "Bad uri format (%s)",uri);
455                return libtrace;
456        }
457       
458        /* Attempt to find the format in the list of supported formats */
459        for(tmp=formats_list;tmp;tmp=tmp->next) {
460                if (strlen(scan) == strlen(tmp->name) &&
461                                !strncasecmp(scan,
462                                        tmp->name,
463                                        strlen(scan))) {
464                                libtrace->format=tmp;
465                                break;
466                                }
467        }
468        free(scan);
469
470        if (libtrace->format == NULL) {
471                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
472                                "Unknown output format (%s)",scan);
473                return libtrace;
474        }
475        libtrace->uridata = strdup(uridata);
476
477        /* libtrace->format now contains the type of uri
478         * libtrace->uridata contains the appropriate data for this
479         */
480
481        if (libtrace->format->init_output) {
482                /* 0 on success, -1 on failure */
483                switch(libtrace->format->init_output(libtrace)) {
484                        case -1: /* failure */
485                                return libtrace;
486                        case 0: /* success */
487                                break;
488                        default:
489                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
490                }
491        } else {
492                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
493                                "Format does not support writing (%s)",scan);
494                return libtrace;
495        }
496
497
498        libtrace->started=false;
499        return libtrace;
500}
501
502/* Start an input trace
503 * @param libtrace      the input trace to start
504 * @returns 0 on success
505 *
506 * This does the work associated with actually starting up
507 * the trace.  it may fail.
508 */
509DLLEXPORT int trace_start(libtrace_t *libtrace)
510{
511        assert(libtrace);
512        if (trace_is_err(libtrace))
513                return -1;
514        if (libtrace->format->start_input) {
515                int ret=libtrace->format->start_input(libtrace);
516                if (ret < 0) {
517                        return ret;
518                }
519        }
520
521        libtrace->started=true;
522        return 0;
523}
524
525/* Start an output trace */
526DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
527{
528        assert(libtrace);
529        if (libtrace->format->start_output) {
530                int ret=libtrace->format->start_output(libtrace);
531                if (ret < 0) {
532                        return ret;
533                }
534        }
535
536        libtrace->started=true;
537        return 0;
538}
539
540DLLEXPORT int trace_pause(libtrace_t *libtrace)
541{
542        assert(libtrace);
543        if (!libtrace->started) {
544                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
545                return -1;
546        }
547        if (libtrace->format->pause_input)
548                libtrace->format->pause_input(libtrace);
549        libtrace->started=false;
550        return 0;
551}
552
553DLLEXPORT int trace_config(libtrace_t *libtrace,
554                trace_option_t option,
555                void *value)
556{
557        int ret;
558
559        if (trace_is_err(libtrace)) {
560                return -1;
561        }
562
563        if (option == TRACE_OPTION_HASHER)
564                return trace_set_hasher(libtrace,
565                                        (enum hasher_types) *((int *) value),
566                                        NULL, NULL);
567
568        /* If the capture format supports configuration, try using their
569         * native configuration first */
570        if (libtrace->format->config_input) {
571                ret=libtrace->format->config_input(libtrace,option,value);
572                if (ret==0)
573                        return 0;
574        }
575
576        /* If we get here, either the native configuration failed or the
577         * format did not support configuration. However, libtrace can
578         * deal with some options itself, so give that a go */
579        switch(option) {
580                case TRACE_OPTION_SNAPLEN:
581                        /* Clear the error if there was one */
582                        if (trace_is_err(libtrace)) {
583                                trace_get_err(libtrace);
584                        }
585                        if (*(int*)value<0 
586                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
587                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
588                                        "Invalid snap length");
589                        }
590                        libtrace->snaplen=*(int*)value;
591                        return 0;
592                case TRACE_OPTION_FILTER:
593                        /* Clear the error if there was one */
594                        if (trace_is_err(libtrace)) {
595                                trace_get_err(libtrace);
596                        }
597                        libtrace->filter=(libtrace_filter_t *)value;
598                        return 0;
599                case TRACE_OPTION_PROMISC:
600                        if (!trace_is_err(libtrace)) {
601                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
602                                                "Promisc mode is not supported by this format module");
603                        }
604                        return -1;
605                case TRACE_OPTION_META_FREQ:
606                        if (!trace_is_err(libtrace)) {
607                                trace_set_err(libtrace, 
608                                                TRACE_ERR_OPTION_UNAVAIL,
609                                                "This format does not support meta-data gathering");
610                        }
611                        return -1;
612                case TRACE_OPTION_EVENT_REALTIME:
613                        if (!trace_is_err(libtrace)) {
614                                trace_set_err(libtrace, 
615                                                TRACE_ERR_OPTION_UNAVAIL,
616                                                "This format does not support realtime events");
617                        }
618                        return -1;
619                case TRACE_OPTION_HASHER:
620                        /* Dealt with earlier */
621                        return -1;
622                       
623        }
624        if (!trace_is_err(libtrace)) {
625                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
626                        "Unknown option %i", option);
627        }
628        return -1;
629}
630
631DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
632        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
633}
634
635DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
636        int tmp = promisc;
637        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
638}
639
640DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
641        return trace_config(trace, TRACE_OPTION_FILTER, filter);
642}
643
644DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
645        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
646}
647
648DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
649        int tmp = realtime;
650        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
651}
652
653DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
654                trace_option_output_t option,
655                void *value) {
656       
657        /* Unlike the input options, libtrace does not natively support any of
658         * the output options - the format module must be able to deal with
659         * them. */
660        if (libtrace->format->config_output) {
661                return libtrace->format->config_output(libtrace, option, value);
662        }
663        return -1;
664}
665
666/* Close an input trace file, freeing up any resources it may have been using
667 *
668 */
669DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
670        int i;
671        assert(libtrace);
672
673        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
674        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
675
676        /* destroy any packets that are still around */
677        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
678                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
679                        if(libtrace->first_packets.packets[i].packet) {
680                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
681                        }
682                }
683                free(libtrace->first_packets.packets);
684                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
685        }
686
687        if (libtrace->format) {
688                if (libtrace->started && libtrace->format->pause_input)
689                        libtrace->format->pause_input(libtrace);
690                if (libtrace->format->fin_input)
691                        libtrace->format->fin_input(libtrace);
692        }
693        /* Need to free things! */
694        if (libtrace->uridata)
695                free(libtrace->uridata);
696
697        if (libtrace->stats)
698                free(libtrace->stats);
699       
700        /* Empty any packet memory */
701        if (libtrace->state != STATE_NEW) {
702                // This has all of our packets
703                libtrace_ocache_destroy(&libtrace->packet_freelist);
704                if (libtrace->combiner.destroy)
705                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
706                free(libtrace->perpkt_threads);
707                libtrace->perpkt_threads = NULL;
708                libtrace->perpkt_thread_count = 0;
709        }
710       
711        if (libtrace->event.packet) {
712                /* Don't use trace_destroy_packet here - there is almost
713                 * certainly going to be another libtrace_packet_t that is
714                 * pointing to the buffer for this packet, so we don't want
715                 * to free it. Rather, it will get freed when the user calls
716                 * trace_destroy_packet on the libtrace_packet_t that they
717                 * own.
718                 *
719                 * All we need to do then is free our packet structure itself.
720                 */
721                 free(libtrace->event.packet);
722        }
723        free(libtrace);
724}
725
726
727DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
728        assert(libtrace);
729
730        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
731        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
732
733        /* Don't call pause_input or fin_input, because we should never have
734         * used this trace to do any reading anyway. Do make sure we free
735         * any format_data that has been created, though. */
736        if (libtrace->format_data)
737                free(libtrace->format_data);
738        free(libtrace);
739}
740/* Close an output trace file, freeing up any resources it may have been using
741 *
742 * @param libtrace      the output trace file to be destroyed
743 */
744DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
745{
746        assert(libtrace);
747        if (libtrace->format && libtrace->format->fin_output)
748                libtrace->format->fin_output(libtrace);
749        if (libtrace->uridata)
750                free(libtrace->uridata);
751        free(libtrace);
752}
753
754DLLEXPORT libtrace_packet_t *trace_create_packet(void)
755{
756        libtrace_packet_t *packet =
757                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
758
759        packet->buf_control=TRACE_CTRL_PACKET;
760        trace_clear_cache(packet);
761        return packet;
762}
763
764DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
765        libtrace_packet_t *dest = 
766                (libtrace_packet_t *)malloc(sizeof(libtrace_packet_t));
767        if (!dest) {
768                printf("Out of memory constructing packet\n");
769                abort();
770        }
771        dest->trace=packet->trace;
772        dest->buffer=malloc(65536);
773        if (!dest->buffer) {
774                printf("Out of memory allocating buffer memory\n");
775                abort();
776        }
777        dest->header=dest->buffer;
778        dest->payload=(void*)
779                ((char*)dest->buffer+trace_get_framing_length(packet));
780        dest->type=packet->type;
781        dest->buf_control=TRACE_CTRL_PACKET;
782        dest->order = packet->order;
783        dest->hash = packet->hash;
784        dest->error = packet->error;
785        /* Reset the cache - better to recalculate than try to convert
786         * the values over to the new packet */
787        trace_clear_cache(dest);       
788        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
789         * as much as possible */
790        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
791        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
792
793        return dest;
794}
795
796/** Destroy a packet object
797 */
798DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
799        /* Free any resources possibly associated with the packet */
800        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
801                packet->trace->format->fin_packet(packet);
802        }
803       
804        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
805                free(packet->buffer);
806        }
807        packet->buf_control=(buf_control_t)'\0'; 
808                                /* A "bad" value to force an assert
809                                 * if this packet is ever reused
810                                 */
811        free(packet);
812}
813
814/**
815 * Removes any possible data stored againt the trace and releases any data.
816 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
817 * use trace_destroy_packet() for those diabolical purposes.
818 */
819void trace_fin_packet(libtrace_packet_t *packet) {
820        if (packet)
821        {
822                if (packet->trace && packet->trace->format->fin_packet) {
823                        packet->trace->format->fin_packet(packet);
824                        //gettimeofday(&tv, NULL);
825                        //printf ("%d.%06d DESTROYED #%"PRIu64"\n", tv.tv_sec, tv.tv_usec, trace_packet_get(packet));
826                }
827
828                // No matter what we remove the header and link pointers
829                packet->trace = NULL;
830                packet->header = NULL;
831                packet->payload = NULL;
832
833                if (packet->buf_control != TRACE_CTRL_PACKET)
834                {
835                        packet->buffer = NULL;
836                }
837
838                trace_clear_cache(packet);
839                packet->hash = 0;
840                packet->order = 0;
841        }
842}
843
844/* Read one packet from the trace into buffer. Note that this function will
845 * block until a packet is read (or EOF is reached).
846 *
847 * @param libtrace      the libtrace opaque pointer
848 * @param packet        the packet opaque pointer
849 * @returns 0 on EOF, negative value on error
850 *
851 */
852DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
853
854        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
855        if (trace_is_err(libtrace))
856                return -1;
857        if (!libtrace->started) {
858                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
859                return -1;
860        }
861        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
862                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
863                return -1;
864        }
865        assert(packet);
866
867        if (libtrace->format->read_packet) {
868                do {
869                        size_t ret;
870                        int filtret;
871                        /* Finalise the packet, freeing any resources the format module
872                         * may have allocated it and zeroing all data associated with it.
873                         */
874                        trace_fin_packet(packet);
875                        /* Store the trace we are reading from into the packet opaque
876                         * structure */
877                        packet->trace = libtrace;
878                        ret=libtrace->format->read_packet(libtrace,packet);
879                        if (ret==(size_t)-1 || ret==0) {
880                                return ret;
881                        }
882                        if (libtrace->filter) {
883                                /* If the filter doesn't match, read another
884                                 * packet
885                                 */
886                                filtret = trace_apply_filter(libtrace->filter, packet);
887                                if (filtret == -1) {
888                                        /* Error compiling filter, probably */
889                                        return ~0U;
890                                }
891                               
892                                if (filtret == 0) {
893                                        ++libtrace->filtered_packets;
894                                        continue;
895                                }
896                        }
897                        if (libtrace->snaplen>0) {
898                                /* Snap the packet */
899                                trace_set_capture_length(packet,
900                                                libtrace->snaplen);
901                        }
902                        trace_packet_set_order(packet, libtrace->accepted_packets);
903                        ++libtrace->accepted_packets;
904                        return ret;
905                } while(1);
906        }
907        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
908        return ~0U;
909}
910
911/* Converts the provided buffer into a libtrace packet of the given type.
912 *
913 * Unlike trace_construct_packet, the buffer is expected to begin with the
914 * appropriate capture format header for the format type that the packet is
915 * being converted to. This also allows for a packet to be converted into
916 * just about capture format that is supported by libtrace, provided the
917 * format header is present in the buffer.
918 *
919 * This function is primarily used to convert packets received via the RT
920 * protocol back into their original capture format. The RT header encapsulates
921 * the original capture format header, so after removing it the packet must
922 * have it's header and payload pointers updated and the packet format and type
923 * changed, amongst other things.
924 *
925 * Intended only for internal use at this point - this function is not
926 * available through the external libtrace API.
927 */
928int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
929                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
930
931        assert(packet);
932        assert(trace);
933       
934        /* XXX Proper error handling?? */
935        if (buffer == NULL)
936                return -1;
937
938        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
939                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
940                return -1;
941        }
942       
943        packet->trace = trace;
944       
945        /* Clear packet cache */
946        trace_clear_cache(packet);
947
948        if (trace->format->prepare_packet) {
949                return trace->format->prepare_packet(trace, packet,
950                                buffer, rt_type, flags);
951        }
952        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
953                        "This format does not support preparing packets\n");
954        return -1;
955
956}
957
958/* Writes a packet to the specified output trace
959 *
960 * @param libtrace      describes the output format, destination, etc.
961 * @param packet        the packet to be written out
962 * @returns the number of bytes written, -1 if write failed
963 */
964DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
965        assert(libtrace);
966        assert(packet);
967        /* Verify the packet is valid */
968        if (!libtrace->started) {
969                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
970                        "Trace is not started before trace_write_packet");
971                return -1;
972        }
973
974        if (libtrace->format->write_packet) {
975                return libtrace->format->write_packet(libtrace, packet);
976        }
977        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
978                "This format does not support writing packets");
979        return -1;
980}
981
982/* Get a pointer to the first byte of the packet payload */
983DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
984                libtrace_linktype_t *linktype, uint32_t *remaining) {
985        int cap_len;
986        int wire_len;
987
988        assert(packet != NULL);
989        if (linktype) *linktype = trace_get_link_type(packet);
990        if (remaining) {
991                /* I think we should choose the minimum of the capture and
992                 * wire lengths to be the "remaining" value. If the packet has
993                 * been padded to increase the capture length, we don't want
994                 * to allow subsequent protocol decoders to consider the
995                 * padding as part of the packet.
996                 *
997                 * For example, in Auck 4 there is a trace where the IP header
998                 * length is incorrect (24 bytes) followed by a 20 byte TCP
999                 * header. Total IP length is 40 bytes. As a result, the
1000                 * legacyatm padding gets treated as the "missing" bytes of
1001                 * the TCP header, which isn't the greatest. We're probably
1002                 * better off returning an incomplete TCP header in that case.
1003                 */
1004               
1005                cap_len = trace_get_capture_length(packet);
1006                wire_len = trace_get_wire_length(packet);
1007
1008                assert(cap_len >= 0);
1009
1010                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1011                 * massively negative wire lens. We could assert fail here on
1012                 * them, but we could at least try the capture length instead.
1013                 *
1014                 * You may still run into problems if you try to write that
1015                 * packet, but at least reading should work OK.
1016                 */
1017                if (wire_len < 0)
1018                        *remaining = cap_len;
1019                else if (wire_len < cap_len)
1020                        *remaining = wire_len;
1021                else
1022                        *remaining = cap_len;
1023                /* *remaining = trace_get_capture_length(packet); */
1024        }
1025        return (void *) packet->payload;
1026}
1027
1028
1029/* Get a pointer to the first byte of the packet payload
1030 *
1031 * DEPRECATED - use trace_get_packet_buffer() instead */
1032DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1033        return (void *)packet->payload;
1034}
1035
1036/* Get the current time in DAG time format
1037 * @param packet        a pointer to a libtrace_packet structure
1038 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1039 * past 1970-01-01, the lower 32bits are partial seconds)
1040 */ 
1041DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1042        if (packet->trace->format->get_erf_timestamp) {
1043                /* timestamp -> timestamp */
1044                return packet->trace->format->get_erf_timestamp(packet);
1045        } else if (packet->trace->format->get_timespec) {
1046                /* timespec -> timestamp */
1047                struct timespec ts;
1048                ts = packet->trace->format->get_timespec(packet);
1049                return ((((uint64_t)ts.tv_sec) << 32) +
1050                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1051        } else if (packet->trace->format->get_timeval) {
1052                /* timeval -> timestamp */
1053                struct timeval tv;
1054                tv = packet->trace->format->get_timeval(packet);
1055                return ((((uint64_t)tv.tv_sec) << 32) +
1056                                (((uint64_t)tv.tv_usec << 32)/1000000));
1057        } else if (packet->trace->format->get_seconds) {
1058                /* seconds -> timestamp */
1059                double seconds = packet->trace->format->get_seconds(packet);
1060                return (((uint64_t)seconds)<<32)
1061                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1062        }
1063        else {
1064                return (uint64_t)0;
1065        }
1066                     
1067}
1068
1069/* Get the current time in struct timeval
1070 * @param packet        a pointer to a libtrace_packet structure
1071 *
1072 * @returns time that this packet was seen in a struct timeval
1073 * @author Daniel Lawson
1074 * @author Perry Lorier
1075 */ 
1076DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1077        struct timeval tv;
1078        uint64_t ts = 0;
1079        if (packet->trace->format->get_timeval) {
1080                /* timeval -> timeval */
1081                tv = packet->trace->format->get_timeval(packet);
1082        } else if (packet->trace->format->get_erf_timestamp) {
1083                /* timestamp -> timeval */
1084                ts = packet->trace->format->get_erf_timestamp(packet);
1085                tv.tv_sec = ts >> 32;
1086                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1087                if (tv.tv_usec >= 1000000) {
1088                        tv.tv_usec -= 1000000;
1089                        tv.tv_sec += 1;
1090                }
1091        } else if (packet->trace->format->get_timespec) {
1092                struct timespec ts = packet->trace->format->get_timespec(packet);
1093                tv.tv_sec = ts.tv_sec;
1094                tv.tv_usec = ts.tv_nsec/1000;
1095        } else if (packet->trace->format->get_seconds) {
1096                /* seconds -> timeval */
1097                double seconds = packet->trace->format->get_seconds(packet);
1098                tv.tv_sec = (uint32_t)seconds;
1099                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1100        }
1101        else {
1102                tv.tv_sec=-1;
1103                tv.tv_usec=-1;
1104        }
1105
1106    return tv;
1107}
1108
1109DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1110        struct timespec ts;
1111
1112        if (packet->trace->format->get_timespec) {
1113                return packet->trace->format->get_timespec(packet);
1114        } else if (packet->trace->format->get_erf_timestamp) {
1115                /* timestamp -> timeval */
1116                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1117                ts.tv_sec = erfts >> 32;
1118                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1119                if (ts.tv_nsec >= 1000000000) {
1120                        ts.tv_nsec -= 1000000000;
1121                        ts.tv_sec += 1;
1122                }
1123                return ts;
1124        } else if (packet->trace->format->get_timeval) {
1125                /* timeval -> timespec */
1126                struct timeval tv = packet->trace->format->get_timeval(packet);
1127                ts.tv_sec = tv.tv_sec;
1128                ts.tv_nsec = tv.tv_usec*1000;
1129                return ts;
1130        } else if (packet->trace->format->get_seconds) {
1131                /* seconds -> timespec */
1132                double seconds = packet->trace->format->get_seconds(packet);
1133                ts.tv_sec = (uint32_t)seconds;
1134                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1135                return ts;
1136        }
1137        else {
1138                ts.tv_sec=-1;
1139                ts.tv_nsec=-1;
1140                return ts;
1141        }
1142}
1143
1144
1145/* Get the current time in floating point seconds
1146 * @param packet        a pointer to a libtrace_packet structure
1147 * @returns time that this packet was seen in 64bit floating point seconds
1148 */ 
1149DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1150        double seconds = 0.0;
1151
1152        if (packet->trace->format->get_seconds) {
1153                /* seconds->seconds */
1154                seconds = packet->trace->format->get_seconds(packet);
1155        } else if (packet->trace->format->get_erf_timestamp) {
1156                /* timestamp -> seconds */
1157                uint64_t ts = 0;
1158                ts = packet->trace->format->get_erf_timestamp(packet);
1159                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1160        } else if (packet->trace->format->get_timespec) {
1161                /* timespec -> seconds */
1162                struct timespec ts;
1163                ts = packet->trace->format->get_timespec(packet);
1164                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1165        } else if (packet->trace->format->get_timeval) {
1166                /* timeval -> seconds */
1167                struct timeval tv;
1168                tv = packet->trace->format->get_timeval(packet);
1169                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1170        }
1171
1172        return seconds;
1173}
1174
1175DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1176{
1177        /* Cache the capture length */
1178        if (packet->capture_length == -1) {
1179                if (!packet->trace->format->get_capture_length)
1180                        return ~0U;
1181                /* Cast away constness because this is "just" a cache */
1182                ((libtrace_packet_t*)packet)->capture_length = 
1183                        packet->trace->format->get_capture_length(packet);
1184        }
1185
1186        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1187
1188        return packet->capture_length;
1189}
1190       
1191/* Get the size of the packet as it was seen on the wire.
1192 * @param packet        a pointer to a libtrace_packet structure
1193 *
1194 * @returns the size of the packet as it was on the wire.
1195 * @note Due to the trace being a header capture, or anonymisation this may
1196 * not be the same as the Capture Len.
1197 */ 
1198DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1199       
1200        if (packet->wire_length == -1) {
1201                if (!packet->trace->format->get_wire_length) 
1202                        return ~0U;
1203                ((libtrace_packet_t *)packet)->wire_length = 
1204                        packet->trace->format->get_wire_length(packet);
1205        }
1206
1207        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1208        return packet->wire_length;
1209
1210}
1211
1212/* Get the length of the capture framing headers.
1213 * @param packet        the packet opaque pointer
1214 * @returns the size of the packet as it was on the wire.
1215 * @note this length corresponds to the difference between the size of a
1216 * captured packet in memory, and the captured length of the packet
1217 */ 
1218DLLEXPORT SIMPLE_FUNCTION
1219size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1220        if (packet->trace->format->get_framing_length) {
1221                return packet->trace->format->get_framing_length(packet);
1222        }
1223        return ~0U;
1224}
1225
1226
1227/* Get the type of the link layer
1228 * @param packet        a pointer to a libtrace_packet structure
1229 * @returns libtrace_linktype_t
1230 */
1231DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1232
1233        if (packet->link_type == 0) {
1234                if (!packet->trace->format->get_link_type)
1235                        return TRACE_TYPE_UNKNOWN;
1236                ((libtrace_packet_t *)packet)->link_type =
1237                        packet->trace->format->get_link_type(packet);
1238        }
1239
1240        return packet->link_type;
1241}
1242
1243/* process a libtrace event
1244 * @param trace the libtrace opaque pointer
1245 * @param packet the libtrace_packet opaque pointer
1246 * @returns
1247 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1248 *  TRACE_EVENT_SLEEP   Next event in seconds
1249 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1250 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1251 * FIXME currently keeps a copy of the packet inside the trace pointer,
1252 * which in turn is stored inside the new packet object...
1253 */
1254DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1255                libtrace_packet_t *packet) {
1256        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1257
1258        if (!trace) {
1259                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1260        }
1261        assert(trace);
1262        assert(packet);
1263
1264        /* Free the last packet */
1265        trace_fin_packet(packet);
1266       
1267        /* Store the trace we are reading from into the packet opaque
1268         * structure */
1269        packet->trace = trace;
1270
1271        if (packet->trace->format->trace_event) {
1272                /* Note: incrementing accepted, filtered etc. packet
1273                 * counters is handled by the format-specific
1274                 * function so don't increment them here.
1275                 */
1276                event=packet->trace->format->trace_event(trace,packet);
1277                }
1278        return event;
1279
1280}
1281
1282/** Setup a BPF filter based on pre-compiled byte-code.
1283 * @param bf_insns      A pointer to the start of the byte-code
1284 * @param bf_len        The number of BPF instructions
1285 * @returns             an opaque pointer to a libtrace_filter_t object
1286 * @note                The supplied byte-code is not checked for correctness.
1287 * @author              Scott Raynel
1288 */
1289DLLEXPORT libtrace_filter_t *
1290trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1291{
1292#ifndef HAVE_BPF_FILTER
1293        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1294        return NULL;
1295#else
1296        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1297                malloc(sizeof(struct libtrace_filter_t));
1298        filter->filter.bf_insns = (struct bpf_insn *)
1299                malloc(sizeof(struct bpf_insn) * bf_len);
1300       
1301        memcpy(filter->filter.bf_insns, bf_insns,
1302                        bf_len * sizeof(struct bpf_insn));
1303       
1304        filter->filter.bf_len = bf_len;
1305        filter->filterstring = NULL;
1306        filter->jitfilter = NULL;
1307        /* "flag" indicates that the filter member is valid */
1308        filter->flag = 1; 
1309       
1310        return filter;
1311#endif
1312}
1313
1314/* Create a BPF filter
1315 * @param filterstring a char * containing the bpf filter string
1316 * @returns opaque pointer pointer to a libtrace_filter_t object
1317 */
1318DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1319#ifdef HAVE_BPF_FILTER
1320        libtrace_filter_t *filter = (libtrace_filter_t*)
1321                                malloc(sizeof(libtrace_filter_t));
1322        filter->filterstring = strdup(filterstring);
1323        filter->jitfilter = NULL;
1324        filter->flag = 0;
1325        return filter;
1326#else
1327        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1328        return NULL;
1329#endif
1330}
1331
1332DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1333{
1334#ifdef HAVE_BPF_FILTER
1335        free(filter->filterstring);
1336        if (filter->flag)
1337                pcap_freecode(&filter->filter);
1338#ifdef HAVE_LLVM
1339        if (filter->jitfilter) 
1340                destroy_program(filter->jitfilter);
1341#endif
1342        free(filter);
1343#else
1344
1345#endif
1346}
1347
1348/* Compile a bpf filter, now we know the link type for the trace that we're
1349 * applying it to.
1350 *
1351 * @internal
1352 *
1353 * @returns -1 on error, 0 on success
1354 */
1355static int trace_bpf_compile(libtrace_filter_t *filter,
1356                const libtrace_packet_t *packet,
1357                void *linkptr, 
1358                libtrace_linktype_t linktype    ) {
1359#ifdef HAVE_BPF_FILTER
1360        /* It just so happens that the underlying libs used by pthread arn't
1361         * thread safe, namely lex/flex thingys, so single threaded compile
1362         * multi threaded running should be safe.
1363         */
1364        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1365        assert(filter);
1366
1367        /* If this isn't a real packet, then fail */
1368        if (!linkptr) {
1369                trace_set_err(packet->trace,
1370                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1371                return -1;
1372        }
1373       
1374        if (filter->filterstring && ! filter->flag) {
1375                pcap_t *pcap = NULL;
1376                if (linktype==(libtrace_linktype_t)-1) {
1377                        trace_set_err(packet->trace,
1378                                        TRACE_ERR_BAD_FILTER,
1379                                        "Packet has an unknown linktype");
1380                        return -1;
1381                }
1382                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1383                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1384                                        "Unknown pcap equivalent linktype");
1385                        return -1;
1386                }
1387                assert (pthread_mutex_lock(&mutex) == 0);
1388                /* Make sure not one bet us to this */
1389                if (filter->flag) {
1390                        printf("Someone bet us to compile the filter\n");
1391                        assert (pthread_mutex_unlock(&mutex) == 0);
1392                        return 1;
1393                }
1394                pcap=(pcap_t *)pcap_open_dead(
1395                                (int)libtrace_to_pcap_dlt(linktype),
1396                                1500U);
1397                /* build filter */
1398                assert(pcap);
1399                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1400                                        1, 0)) {
1401                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1402                                        "Unable to compile the filter \"%s\": %s", 
1403                                        filter->filterstring,
1404                                        pcap_geterr(pcap));
1405                        pcap_close(pcap);
1406                        assert (pthread_mutex_unlock(&mutex) == 0);
1407                        return -1;
1408                }
1409                pcap_close(pcap);
1410                filter->flag=1;
1411                assert (pthread_mutex_unlock(&mutex) == 0);
1412        }
1413        return 0;
1414#else
1415        assert(!"Internal bug: This should never be called when BPF not enabled");
1416        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1417                                "Feature unavailable");
1418        return -1;
1419#endif
1420}
1421
1422DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1423                        const libtrace_packet_t *packet) {
1424#ifdef HAVE_BPF_FILTER
1425        void *linkptr = 0;
1426        uint32_t clen = 0;
1427        bool free_packet_needed = false;
1428        int ret;
1429        libtrace_linktype_t linktype;
1430        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1431#ifdef HAVE_LLVM
1432        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1433#endif
1434
1435        assert(filter);
1436        assert(packet);
1437
1438        /* Match all non-data packets as we probably want them to pass
1439         * through to the caller */
1440        linktype = trace_get_link_type(packet);
1441
1442        if (linktype == TRACE_TYPE_NONDATA)
1443                return 1;       
1444
1445        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1446               
1447                /* If we cannot get a suitable DLT for the packet, it may
1448                 * be because the packet is encapsulated in a link type that
1449                 * does not correspond to a DLT. Therefore, we should try
1450                 * popping off headers until we either can find a suitable
1451                 * link type or we can't do any more sensible decapsulation. */
1452               
1453                /* Copy the packet, as we don't want to trash the one we
1454                 * were passed in */
1455                packet_copy=trace_copy_packet(packet);
1456                free_packet_needed=true;
1457
1458                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1459                        if (!demote_packet(packet_copy)) {
1460                                trace_set_err(packet->trace, 
1461                                                TRACE_ERR_NO_CONVERSION,
1462                                                "pcap does not support this format");
1463                                if (free_packet_needed) {
1464                                        trace_destroy_packet(packet_copy);
1465                                }
1466                                return -1;
1467                        }
1468                        linktype = trace_get_link_type(packet_copy);
1469                }
1470
1471        }
1472       
1473        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1474        if (!linkptr) {
1475                if (free_packet_needed) {
1476                        trace_destroy_packet(packet_copy);
1477                }
1478                return 0;
1479        }
1480
1481        /* We need to compile the filter now, because before we didn't know
1482         * what the link type was
1483         */
1484        // Note internal mutex locking used here
1485        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1486                if (free_packet_needed) {
1487                        trace_destroy_packet(packet_copy);
1488                }
1489                return -1;
1490        }
1491
1492        /* If we're jitting, we may need to JIT the BPF code now too */
1493#if HAVE_LLVM
1494        if (!filter->jitfilter) {
1495                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1496                /* Again double check here like the bpf filter */
1497                if(filter->jitfilter) 
1498                        printf("Someone bet us to compile the JIT thingy\n");
1499                else
1500                /* Looking at compile_program source this appears to be thread safe
1501                 * however if this gets called twice we will leak this memory :(
1502                 * as such lock here anyways */
1503                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1504                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1505        }
1506#endif
1507
1508        assert(filter->flag);
1509        /* Now execute the filter */
1510#if HAVE_LLVM
1511        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1512#else
1513        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1514#endif
1515
1516        /* If we copied the packet earlier, make sure that we free it */
1517        if (free_packet_needed) {
1518                trace_destroy_packet(packet_copy);
1519        }
1520        return ret;
1521#else
1522        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1523        return 0;
1524#endif
1525}
1526
1527/* Set the direction flag, if it has one
1528 * @param packet the packet opaque pointer
1529 * @param direction the new direction (0,1,2,3)
1530 * @returns a signed value containing the direction flag, or -1 if this is not supported
1531 */
1532DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1533                libtrace_direction_t direction) 
1534{
1535        assert(packet);
1536        if (packet->trace->format->set_direction) {
1537                return packet->trace->format->set_direction(packet,direction);
1538        }
1539        return (libtrace_direction_t)~0U;
1540}
1541
1542/* Get the direction flag, if it has one
1543 * @param packet a pointer to a libtrace_packet structure
1544 * @returns a signed value containing the direction flag, or -1 if this is not supported
1545 * The direction is defined as 0 for packets originating locally (ie, outbound)
1546 * and 1 for packets originating remotely (ie, inbound).
1547 * Other values are possible, which might be overloaded to mean special things
1548 * for a special trace.
1549 */
1550DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1551{
1552        assert(packet);
1553        if (packet->trace->format->get_direction) {
1554                return packet->trace->format->get_direction(packet);
1555        }
1556        return (libtrace_direction_t)~0U;
1557}
1558
1559#define ROOT_SERVER(x) ((x) < 512)
1560#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1561#define NONROOT_SERVER(x) ((x) >= 5000)
1562#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1563#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1564#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1565#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1566
1567/* Attempt to deduce the 'server' port
1568 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1569 * @param source the TCP or UDP source port
1570 * @param dest the TCP or UDP destination port
1571 * @returns a hint as to which port is the server port
1572 */
1573DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1574                uint16_t source, uint16_t dest) 
1575{
1576        /*
1577         * * If the ports are equal, return DEST
1578         * * Check for well-known ports in the given protocol
1579         * * Root server ports: 0 - 511
1580         * * Root client ports: 512 - 1023
1581         * * non-root client ports: 1024 - 4999
1582         * * non-root server ports: 5000+
1583         * * Check for static ranges: 1024 - 49151
1584         * * Check for dynamic ranges: 49152 - 65535
1585         * * flip a coin.
1586         */
1587       
1588        /* equal */
1589        if (source == dest)
1590                return USE_DEST;
1591
1592        /* root server port, 0 - 511 */
1593        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1594                if (source < dest)
1595                        return USE_SOURCE;
1596                return USE_DEST;
1597        }
1598
1599        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1600                return USE_SOURCE;
1601        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1602                return USE_DEST;
1603
1604        /* non-root server */
1605        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1606                if (source < dest)
1607                        return USE_SOURCE;
1608                return USE_DEST;
1609        }
1610        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1611                return USE_SOURCE;
1612        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1613                return USE_DEST;
1614
1615        /* root client */
1616        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1617                if (source < dest)
1618                        return USE_SOURCE;
1619                return USE_DEST;
1620        }
1621        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1622                /* prefer root-client over nonroot-client */
1623                if (NONROOT_CLIENT(dest))
1624                        return USE_SOURCE;
1625                return USE_DEST;
1626        }
1627        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1628                /* prefer root-client over nonroot-client */
1629                if (NONROOT_CLIENT(source))
1630                        return USE_DEST;
1631                return USE_SOURCE;
1632        }
1633       
1634        /* nonroot client */
1635        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1636                if (source < dest) 
1637                        return USE_SOURCE;
1638                return USE_DEST;
1639        }
1640        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1641                return USE_DEST;
1642        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1643                return USE_SOURCE;
1644
1645        /* dynamic range */
1646        if (DYNAMIC(source) && DYNAMIC(dest)) {
1647                if (source < dest)
1648                        return USE_SOURCE;
1649                return USE_DEST;
1650        }
1651        if (DYNAMIC(source) && !DYNAMIC(dest))
1652                return USE_DEST;
1653        if (!DYNAMIC(source) && DYNAMIC(dest))
1654                return USE_SOURCE;
1655        /*
1656        if (SERVER(source) && CLIENT(dest))
1657                return USE_SOURCE;
1658       
1659        if (SERVER(dest) && CLIENT(source))
1660                return USE_DEST;
1661        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1662                return USE_SOURCE;
1663        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1664                return USE_DEST;
1665        */
1666        /* failing that test... */
1667        if (source < dest) {
1668                return USE_SOURCE;
1669        } 
1670        return USE_DEST;
1671       
1672}
1673
1674/* Truncate the packet at the suggested length
1675 * @param packet        the packet opaque pointer
1676 * @param size          the new length of the packet
1677 * @returns the new size of the packet
1678 * @note size and the return size refer to the network-level payload of the
1679 * packet, and do not include any capture headers. For example, to truncate a
1680 * packet after the IP header, set size to sizeof(ethernet_header) +
1681 * sizeof(ip_header)
1682 * @note If the original network-level payload is smaller than size, then the
1683 * original size is returned and the packet is left unchanged.
1684 */
1685DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1686        assert(packet);
1687
1688        if (packet->trace->format->set_capture_length) {
1689                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1690                return packet->capture_length;
1691        }
1692
1693        return ~0U;
1694}
1695
1696/* Splits a URI into two components - the format component which is seen before
1697 * the ':', and the uridata which follows the ':'.
1698 *
1699 * Returns a pointer to the URI data, but updates the format parameter to
1700 * point to a copy of the format component.
1701 */
1702
1703DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1704        const char *uridata = 0;
1705       
1706        if((uridata = strchr(uri,':')) == NULL) {
1707                /* Badly formed URI - needs a : */
1708                return 0;
1709        }
1710
1711        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1712                /* Badly formed URI - uri type is too long */
1713                return 0;
1714        }
1715
1716        /* NOTE: this is allocated memory - it should be freed by the caller
1717         * once they are done with it */
1718        *format=xstrndup(uri, (size_t)(uridata - uri));
1719
1720        /* Push uridata past the delimiter */
1721        uridata++;
1722       
1723        return uridata;
1724}
1725
1726enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1727{
1728        assert(packet);
1729
1730        return packet->trace->format->type;
1731}
1732       
1733DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1734{
1735        libtrace_err_t err = trace->err;
1736        trace->err.err_num = 0; /* "OK" */
1737        trace->err.problem[0]='\0';
1738        return err;
1739}
1740
1741DLLEXPORT bool trace_is_err(libtrace_t *trace)
1742{
1743        return trace->err.err_num != 0;
1744}
1745
1746/* Prints the input error status to standard error and clears the error state */
1747DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1748{
1749        char buf[256];
1750        va_list va;
1751        va_start(va,msg);
1752        vsnprintf(buf,sizeof(buf),msg,va);
1753        va_end(va);
1754        if(trace->err.err_num) {
1755                if (trace->uridata) {
1756                        fprintf(stderr,"%s(%s): %s\n",
1757                                        buf,trace->uridata,trace->err.problem);
1758                } else {
1759                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1760                }
1761        } else {
1762                if (trace->uridata) {
1763                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1764                } else {
1765                        fprintf(stderr,"%s: No error\n", buf);
1766                }
1767        }
1768        trace->err.err_num = 0; /* "OK" */
1769        trace->err.problem[0]='\0';
1770}
1771
1772DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1773{
1774        libtrace_err_t err = trace->err;
1775        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1776        trace->err.problem[0]='\0';
1777        return err;
1778}
1779
1780DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1781{
1782        return trace->err.err_num != 0;
1783}
1784
1785/* Prints the output error status to standard error and clears the error state
1786 */
1787DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1788{
1789        char buf[256];
1790        va_list va;
1791        va_start(va,msg);
1792        vsnprintf(buf,sizeof(buf),msg,va);
1793        va_end(va);
1794        if(trace->err.err_num) {
1795                fprintf(stderr,"%s(%s): %s\n",
1796                                buf,
1797                                trace->uridata?trace->uridata:"no uri",
1798                                trace->err.problem);
1799        } else {
1800                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1801        }
1802        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1803        trace->err.problem[0]='\0';
1804}
1805
1806DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1807{
1808        if (trace->format->seek_erf) {
1809                return trace->format->seek_erf(trace,ts);
1810        }
1811        else {
1812                if (trace->format->seek_timeval) {
1813                        struct timeval tv;
1814#if __BYTE_ORDER == __BIG_ENDIAN
1815                        tv.tv_sec = ts & 0xFFFFFFFF;
1816                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1817#elif __BYTE_ORDER == __LITTLE_ENDIAN
1818                        tv.tv_sec = ts >> 32;
1819                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1820#else
1821#error "What on earth are you running this on?"
1822#endif
1823                        if (tv.tv_usec >= 1000000) {
1824                                tv.tv_usec -= 1000000;
1825                                tv.tv_sec += 1;
1826                        }
1827                        return trace->format->seek_timeval(trace,tv);
1828                }
1829                if (trace->format->seek_seconds) {
1830                        double seconds = 
1831                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1832                        return trace->format->seek_seconds(trace,seconds);
1833                }
1834                trace_set_err(trace,
1835                                TRACE_ERR_OPTION_UNAVAIL,
1836                                "Feature unimplemented");
1837                return -1;
1838        }
1839}
1840
1841DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1842{
1843        if (trace->format->seek_seconds) {
1844                return trace->format->seek_seconds(trace,seconds);
1845        }
1846        else {
1847                if (trace->format->seek_timeval) {
1848                        struct timeval tv;
1849                        tv.tv_sec = (uint32_t)seconds;
1850                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1851                        return trace->format->seek_timeval(trace,tv);
1852                }
1853                if (trace->format->seek_erf) {
1854                        uint64_t timestamp = 
1855                                ((uint64_t)((uint32_t)seconds) << 32) + \
1856                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1857                        return trace->format->seek_erf(trace,timestamp);
1858                }
1859                trace_set_err(trace,
1860                                TRACE_ERR_OPTION_UNAVAIL,
1861                                "Feature unimplemented");
1862                return -1;
1863        }
1864}
1865
1866DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1867{
1868        if (trace->format->seek_timeval) {
1869                return trace->format->seek_timeval(trace,tv);
1870        }
1871        else {
1872                if (trace->format->seek_erf) {
1873                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1874                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1875                        return trace->format->seek_erf(trace,timestamp);
1876                }
1877                if (trace->format->seek_seconds) {
1878                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1879                        return trace->format->seek_seconds(trace,seconds);
1880                }
1881                trace_set_err(trace,
1882                                TRACE_ERR_OPTION_UNAVAIL,
1883                                "Feature unimplemented");
1884                return -1;
1885        }
1886}
1887
1888/* Converts a binary ethernet MAC address into a printable string */
1889DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1890{
1891        static char staticbuf[18]={0,};
1892        if (!buf)
1893                buf=staticbuf;
1894        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1895                        addr[0],addr[1],addr[2],
1896                        addr[3],addr[4],addr[5]);
1897        return buf;
1898}
1899
1900/* Converts a printable ethernet MAC address into a binary format */
1901DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1902{
1903        uint8_t *buf2 = addr;
1904        unsigned int tmp[6];
1905        static uint8_t staticaddr[6];
1906        if (!buf2)
1907                buf2=staticaddr;
1908        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1909                        &tmp[0],&tmp[1],&tmp[2],
1910                        &tmp[3],&tmp[4],&tmp[5]);
1911        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1912        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1913        return buf2;
1914}
1915
1916
1917/* Creates a libtrace packet from scratch using the contents of the provided
1918 * buffer as the packet payload.
1919 *
1920 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1921 * format headers; instead this function will add the PCAP header to the
1922 * packet record. This also means only PCAP packets can be constructed using
1923 * this function.
1924 *
1925 */
1926DLLEXPORT
1927void trace_construct_packet(libtrace_packet_t *packet,
1928                libtrace_linktype_t linktype,
1929                const void *data,
1930                uint16_t len)
1931{
1932        size_t size;
1933        static libtrace_t *deadtrace=NULL;
1934        libtrace_pcapfile_pkt_hdr_t hdr;
1935#ifdef WIN32
1936        struct _timeb tstruct;
1937#else
1938        struct timeval tv;
1939#endif
1940
1941        /* We need a trace to attach the constructed packet to (and it needs
1942         * to be PCAP) */
1943        if (NULL == deadtrace) 
1944                deadtrace=trace_create_dead("pcapfile");
1945
1946        /* Fill in the new PCAP header */
1947#ifdef WIN32
1948        _ftime(&tstruct);
1949        hdr.ts_sec=tstruct.time;
1950        hdr.ts_usec=tstruct.millitm * 1000;
1951#else
1952        gettimeofday(&tv,NULL);
1953        hdr.ts_sec=tv.tv_sec;
1954        hdr.ts_usec=tv.tv_usec;
1955#endif
1956
1957        hdr.caplen=len;
1958        hdr.wirelen=len;
1959
1960        /* Now fill in the libtrace packet itself */
1961        packet->trace=deadtrace;
1962        size=len+sizeof(hdr);
1963        if (packet->buf_control==TRACE_CTRL_PACKET) {
1964                packet->buffer=realloc(packet->buffer,size);
1965        }
1966        else {
1967                packet->buffer=malloc(size);
1968        }
1969        packet->buf_control=TRACE_CTRL_PACKET;
1970        packet->header=packet->buffer;
1971        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
1972       
1973        /* Ugh, memcpy - sadly necessary */
1974        memcpy(packet->header,&hdr,sizeof(hdr));
1975        memcpy(packet->payload,data,(size_t)len);
1976        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
1977
1978        trace_clear_cache(packet);
1979}
1980
1981
1982uint64_t trace_get_received_packets(libtrace_t *trace)
1983{
1984        assert(trace);
1985        uint64_t ret;
1986
1987        if (trace->format->get_received_packets) {
1988                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
1989                        return ret;
1990        } else if (trace->format->get_statistics) {
1991                struct libtrace_stat_t stat;
1992                stat.magic = LIBTRACE_STAT_MAGIC;
1993                trace_get_statistics(trace, &stat);
1994                if (stat.received_valid)
1995                        return stat.received;
1996        }
1997
1998        // Read the cached value taken before the trace was paused/closed
1999        if(trace->stats && trace->stats->received_valid)
2000                return trace->stats->received;
2001        else
2002                return UINT64_MAX;
2003}
2004
2005uint64_t trace_get_filtered_packets(libtrace_t *trace)
2006{
2007        assert(trace);
2008        int i = 0;
2009        uint64_t lib_filtered = trace->filtered_packets;
2010        for (i = 0; i < trace->perpkt_thread_count; i++) {
2011                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2012        }
2013        if (trace->format->get_filtered_packets) {
2014                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2015                if (trace_filtered == UINT64_MAX)
2016                        return UINT64_MAX;
2017                else
2018                        return trace_filtered + lib_filtered;
2019        } else if (trace->format->get_statistics) {
2020                struct libtrace_stat_t stat;
2021                stat.magic = LIBTRACE_STAT_MAGIC;
2022                trace_get_statistics(trace, &stat);
2023                if (stat.filtered_valid)
2024                        return lib_filtered + stat.filtered;
2025                else
2026                        return UINT64_MAX;
2027        }
2028
2029        // Read the cached value taken before the trace was paused/closed
2030        if(trace->stats && trace->stats->filtered_valid)
2031                return trace->stats->filtered + lib_filtered;
2032        else
2033                return lib_filtered;
2034}
2035
2036uint64_t trace_get_dropped_packets(libtrace_t *trace)
2037{
2038        assert(trace);
2039        uint64_t ret;
2040
2041        if (trace->format->get_dropped_packets) {
2042                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2043                        return ret;
2044        } else if (trace->format->get_statistics) {
2045                struct libtrace_stat_t stat;
2046                stat.magic = LIBTRACE_STAT_MAGIC;
2047                trace_get_statistics(trace, &stat);
2048                if (stat.dropped_valid)
2049                        return stat.dropped;
2050        }
2051
2052        // Read the cached value taken before the trace was paused/closed
2053        if(trace->stats && trace->stats->dropped_valid)
2054                return trace->stats->dropped;
2055        else
2056                return UINT64_MAX;
2057}
2058
2059uint64_t trace_get_accepted_packets(libtrace_t *trace)
2060{
2061        assert(trace);
2062        int i = 0;
2063        uint64_t ret = 0;
2064        /* We always add to a thread's accepted count before dispatching the
2065         * packet to the user. However if the underlying trace is single
2066         * threaded it will also be increasing the global count. So if we
2067         * find perpkt ignore the global count.
2068         */
2069        for (i = 0; i < trace->perpkt_thread_count; i++) {
2070                ret += trace->perpkt_threads[i].accepted_packets;
2071        }
2072        return ret ? ret : trace->accepted_packets;
2073}
2074
2075libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2076{
2077        uint64_t ret;
2078        int i;
2079        assert(trace);
2080        if (stat == NULL) {
2081                if (trace->stats == NULL)
2082                        trace->stats = trace_create_statistics();
2083                stat = trace->stats;
2084        }
2085        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2086               "trace_create_statistics() to allocate statistics");
2087
2088        /* If the trace has paused or finished get the cached results */
2089        if (trace->state == STATE_PAUSED ||
2090            trace->state == STATE_FINSHED ||
2091            trace->state == STATE_JOINED) {
2092                if (trace->stats && trace->stats != stat)
2093                        *stat = *trace->stats;
2094                return stat;
2095        }
2096
2097        stat->reserved1 = 0;
2098        stat->reserved2 = 0;
2099#define X(x) stat->x ##_valid = 0;
2100        LIBTRACE_STAT_FIELDS;
2101#undef X
2102        /* Both accepted and filtered are stored against in the library */
2103        ret = trace_get_accepted_packets(trace);
2104        if (ret != UINT64_MAX) {
2105                stat->accepted_valid = 1;
2106                stat->accepted = ret;
2107        }
2108
2109        stat->filtered_valid = 1;
2110        stat->filtered = trace->filtered_packets;
2111        for (i = 0; i < trace->perpkt_thread_count; i++) {
2112                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2113        }
2114
2115        if (trace->format->get_statistics) {
2116                trace->format->get_statistics(trace, stat);
2117        } else {
2118                /* Fallback to the old way */
2119                ret = trace_get_received_packets(trace);
2120                if (ret != UINT64_MAX) {
2121                        stat->received_valid = 1;
2122                        stat->received = ret;
2123                }
2124                ret = trace_get_dropped_packets(trace);
2125                if (ret != UINT64_MAX) {
2126                        stat->dropped_valid = 1;
2127                        stat->dropped = ret;
2128                }
2129        }
2130        return stat;
2131}
2132
2133void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2134                                 libtrace_stat_t *stat)
2135{
2136        assert(trace && stat);
2137        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2138               "trace_create_statistics() to allocate statistics");
2139        stat->reserved1 = 0;
2140        stat->reserved2 = 0;
2141#define X(x) stat->x ##_valid= 0;
2142        LIBTRACE_STAT_FIELDS;
2143#undef X
2144        stat->accepted_valid = 1;
2145        stat->accepted = t->accepted_packets;
2146        stat->filtered_valid = 1;
2147        stat->filtered = t->filtered_packets;
2148        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2149                trace->format->get_thread_statistics(trace, t, stat);
2150        }
2151        return;
2152}
2153
2154libtrace_stat_t *trace_create_statistics(void) {
2155        libtrace_stat_t *ret;
2156        ret = malloc(sizeof(libtrace_stat_t));
2157        if (ret) {
2158                memset(ret, 0, sizeof(libtrace_stat_t));
2159                ret->magic = LIBTRACE_STAT_MAGIC;
2160        }
2161        return ret;
2162}
2163
2164void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2165                         libtrace_stat_t *c) {
2166        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2167               "trace_create_statistics() to allocate statistics");
2168        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2169               "trace_create_statistics() to allocate statistics");
2170        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2171               "trace_create_statistics() to allocate statistics");
2172
2173#define X(x) \
2174        if (a->x ##_valid && b->x ##_valid) { \
2175                c->x ##_valid = 1; \
2176                c->x = a->x - b->x; \
2177        } else {\
2178                c->x ##_valid = 0;\
2179        }
2180        LIBTRACE_STAT_FIELDS
2181#undef X
2182}
2183
2184void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2185                         libtrace_stat_t *c) {
2186        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2187               "trace_create_statistics() to allocate statistics");
2188        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2189               "trace_create_statistics() to allocate statistics");
2190        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2191               "trace_create_statistics() to allocate statistics");
2192
2193#define X(x) \
2194        if (a->x ##_valid&& b->x ##_valid) { \
2195                c->x ##_valid = 1; \
2196                c->x = a->x + b->x; \
2197        } else {\
2198                c->x ##_valid = 0;\
2199        }
2200        LIBTRACE_STAT_FIELDS
2201#undef X
2202}
2203
2204int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2205        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2206               "trace_create_statistics() to allocate statistics");
2207        if (format == NULL)
2208                format = "%s: %"PRIu64"\n";
2209#define xstr(s) str(s)
2210#define str(s) #s
2211#define X(x) \
2212        if (s->x ##_valid) { \
2213                if (fprintf(f, format, xstr(x), s->x) < 0) \
2214                        return -1; \
2215        }
2216        LIBTRACE_STAT_FIELDS
2217#undef X
2218        return 0;
2219}
2220
2221
2222void trace_clear_cache(libtrace_packet_t *packet) {
2223
2224        packet->l2_header = NULL;
2225        packet->l3_header = NULL;
2226        packet->l4_header = NULL;
2227        packet->link_type = 0;
2228        packet->l3_ethertype = 0;
2229        packet->transport_proto = 0;
2230        packet->capture_length = -1;
2231        packet->wire_length = -1;
2232        packet->payload_length = -1;
2233        packet->l2_remaining = 0;
2234        packet->l3_remaining = 0;
2235        packet->l4_remaining = 0;
2236
2237}
2238
2239void trace_interrupt(void) {
2240        libtrace_halt = 1;
2241}
2242
2243void register_format(struct libtrace_format_t *f) {
2244        assert(f->next==NULL); /* Can't register a format twice */
2245        f->next=formats_list;
2246        formats_list=f;
2247
2248        /* Now, verify that the format has at least the minimum functionality.
2249         *
2250         * This #if can be changed to a 1 to output warnings about inconsistent
2251         * functions being provided by format modules.  This generally is very
2252         * noisy, as almost all modules don't implement one or more functions
2253         * for various reasons.  This is very useful when checking a new
2254         * format module is sane.
2255         */ 
2256#if 0
2257        if (f->init_input) {
2258#define REQUIRE(x) \
2259                if (!f->x) \
2260                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2261                REQUIRE(read_packet);
2262                REQUIRE(start_input);
2263                REQUIRE(fin_input);
2264                REQUIRE(get_link_type);
2265                REQUIRE(get_capture_length);
2266                REQUIRE(get_wire_length);
2267                REQUIRE(get_framing_length);
2268                REQUIRE(trace_event);
2269                if (!f->get_erf_timestamp
2270                        && !f->get_seconds
2271                        && !f->get_timeval) {
2272                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2273"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2274                }
2275                if (f->trace_event!=trace_event_trace) {
2276                        /* Theres nothing that a trace file could optimise with
2277                         * config_input
2278                         */
2279                        REQUIRE(pause_input);
2280                        REQUIRE(config_input);
2281                        REQUIRE(get_fd);
2282                }
2283                else {
2284                        if (f->get_fd) {
2285                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2286                                                f->name);
2287                        }
2288                }
2289#undef REQUIRE
2290        }
2291        else {
2292#define REQUIRE(x) \
2293                if (f->x) \
2294                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2295                REQUIRE(read_packet);
2296                REQUIRE(start_input);
2297                REQUIRE(pause_input);
2298                REQUIRE(fin_input);
2299                REQUIRE(get_link_type);
2300                REQUIRE(get_capture_length);
2301                REQUIRE(get_wire_length);
2302                REQUIRE(get_framing_length);
2303                REQUIRE(trace_event);
2304                REQUIRE(get_seconds);
2305                REQUIRE(get_timeval);
2306                REQUIRE(get_erf_timestamp);
2307#undef REQUIRE
2308        }
2309        if (f->init_output) {
2310#define REQUIRE(x) \
2311                if (!f->x) \
2312                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2313                REQUIRE(write_packet);
2314                REQUIRE(start_output);
2315                REQUIRE(config_output);
2316                REQUIRE(fin_output);
2317#undef REQUIRE
2318        }
2319        else {
2320#define REQUIRE(x) \
2321                if (f->x) \
2322                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2323                REQUIRE(write_packet);
2324                REQUIRE(start_output);
2325                REQUIRE(config_output);
2326                REQUIRE(fin_output);
2327#undef REQUIRE
2328        }
2329#endif
2330}
2331
Note: See TracBrowser for help on using the repository browser.