source: lib/trace.c @ 0a368ae

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 0a368ae was 0a368ae, checked in by Shane Alcock <salcock@…>, 6 years ago

Fix assert fail with last_packet for RT inputs

  • Property mode set to 100644
File size: 66.4 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008,2009,2010 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        if (!formats_list) {
139                duck_constructor();
140                erf_constructor();
141                tsh_constructor();
142                legacy_constructor();
143                atmhdr_constructor();
144                linuxring_constructor();
145                linuxnative_constructor();
146#ifdef HAVE_LIBPCAP
147                pcap_constructor();
148#endif
149                bpf_constructor();
150                pcapfile_constructor();
151                rt_constructor();
152#ifdef HAVE_DAG
153                dag_constructor();
154#endif
155#ifdef HAVE_DPDK
156        dpdk_constructor();
157#endif
158        }
159}
160
161/* Prints help information for libtrace
162 *
163 * Function prints out some basic help information regarding libtrace,
164 * and then prints out the help() function registered with each input module
165 */
166DLLEXPORT void trace_help(void) {
167        struct libtrace_format_t *tmp;
168        trace_init();
169        printf("libtrace %s\n\n",PACKAGE_VERSION);
170        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
171        for(tmp=formats_list;tmp;tmp=tmp->next) {
172                if (tmp->help)
173                        tmp->help();
174        }
175}
176
177#define URI_PROTO_LINE 16U
178
179/* Try to guess which format module is appropriate for a given trace file or
180 * device */
181static void guess_format(libtrace_t *libtrace, const char *filename)
182{
183        struct libtrace_format_t *tmp;
184       
185        /* Try and guess based on filename */
186        for(tmp = formats_list; tmp; tmp=tmp->next) {
187                if (tmp->probe_filename && tmp->probe_filename(filename)) {
188                        libtrace->format = tmp;
189                        libtrace->uridata = strdup(filename);
190                        return;
191                }
192        }
193
194        libtrace->io = wandio_create(filename);
195        if (!libtrace->io)
196                return;
197
198        /* Try and guess based on file magic */
199        for(tmp = formats_list; tmp; tmp=tmp->next) {
200                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
201                        libtrace->format = tmp;
202                        libtrace->uridata = strdup(filename);
203                        return;
204                }
205        }
206       
207        /* No formats matched -- make sure we clean up the IO object we
208         * used to probe the file magic */
209        wandio_destroy(libtrace->io);
210        return;
211}
212
213/* Creates an input trace from a URI
214 *
215 * @params char * containing a valid libtrace URI
216 * @returns opaque pointer to a libtrace_t
217 *
218 * Some valid URI's are:
219 *  erf:/path/to/erf/file
220 *  erf:/path/to/erf/file.gz
221 *  erf:-                       (stdin)
222 *  dag:/dev/dagcard
223 *  pcapint:pcapinterface               (eg: pcapint:eth0)
224 *  pcapfile:/path/to/pcap/file
225 *  pcapfile:-
226 *  int:interface                       (eg: int:eth0) only on Linux
227 *  rt:hostname
228 *  rt:hostname:port
229 *
230 * If an error occured when attempting to open a trace, NULL is returned
231 * and an error is output to stdout.
232 */
233DLLEXPORT libtrace_t *trace_create(const char *uri) {
234        libtrace_t *libtrace = 
235                        (libtrace_t *)malloc(sizeof(libtrace_t));
236        char *scan = 0;
237        const char *uridata = 0;                 
238
239        trace_init();
240
241        assert(uri && "Passing NULL to trace_create makes me a very sad program");
242
243        if (!libtrace) {
244                /* Out of memory */
245                return NULL;
246        }
247       
248        libtrace->err.err_num = TRACE_ERR_NOERROR;
249        libtrace->format=NULL;
250       
251        libtrace->event.tdelta = 0.0;
252        libtrace->event.packet = NULL;
253        libtrace->event.psize = 0;
254        libtrace->event.trace_last_ts = 0.0;
255        libtrace->event.waiting = false;
256        libtrace->filter = NULL;
257        libtrace->snaplen = 0;
258        libtrace->started=false;
259        libtrace->uridata = NULL;
260        libtrace->io = NULL;
261        libtrace->filtered_packets = 0;
262        libtrace->accepted_packets = 0;
263        libtrace->last_packet = NULL;
264       
265        /* Parallel inits */
266        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
267        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
268        libtrace->state = STATE_NEW;
269        libtrace->perpkt_queue_full = false;
270        libtrace->global_blob = NULL;
271        libtrace->per_msg = NULL;
272        libtrace->reporter = NULL;
273        libtrace->hasher = NULL;
274        libtrace_zero_ocache(&libtrace->packet_freelist);
275        libtrace_zero_thread(&libtrace->hasher_thread);
276        libtrace_zero_thread(&libtrace->reporter_thread);
277        libtrace_zero_thread(&libtrace->keepalive_thread);
278        libtrace->reporter_thread.type = THREAD_EMPTY;
279        libtrace->perpkt_thread_count = 0;
280        libtrace->perpkt_threads = NULL;
281        libtrace->tracetime = 0;
282        libtrace->first_packets.first = 0;
283        libtrace->first_packets.count = 0;
284        libtrace->first_packets.packets = NULL;
285        libtrace->stats = NULL;
286        libtrace->pread = NULL;
287        libtrace->sequence_number = 0;
288        ZERO_USER_CONFIG(libtrace->config);
289        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
290        memset(&libtrace->callbacks, 0, sizeof(libtrace->callbacks));
291
292        /* Parse the URI to determine what sort of trace we are dealing with */
293        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
294                /* Could not parse the URI nicely */
295                guess_format(libtrace,uri);
296                if (!libtrace->format) {
297                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
298                        return libtrace;
299                }
300        }
301        else {
302                struct libtrace_format_t *tmp;
303
304                /* Find a format that matches the first part of the URI */
305                for (tmp=formats_list;tmp;tmp=tmp->next) {
306                        if (strlen(scan) == strlen(tmp->name) &&
307                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
308                                        ) {
309                                libtrace->format=tmp;
310                                break;
311                        }
312                }
313
314                if (libtrace->format == 0) {
315                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
316                                        "Unknown format (%s)",scan);
317                        return libtrace;
318                }
319
320                libtrace->uridata = strdup(uridata);
321        }
322        /* libtrace->format now contains the type of uri
323         * libtrace->uridata contains the appropriate data for this
324         */
325       
326        /* Call the init_input function for the matching capture format */ 
327        if (libtrace->format->init_input) {
328                int err=libtrace->format->init_input(libtrace);
329                assert (err==-1 || err==0);
330                if (err==-1) {
331                        /* init_input should call trace_set_err to set
332                         * the error message
333                         */
334                        return libtrace;
335                }
336        } else {
337                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
338                                "Format does not support input (%s)",scan);
339                return libtrace;
340        }
341       
342        if (scan)
343                free(scan);
344        libtrace->err.err_num=TRACE_ERR_NOERROR;
345        libtrace->err.problem[0]='\0';
346        return libtrace;
347}
348
349/* Creates a "dummy" trace file that has only the format type set.
350 *
351 * @returns opaque pointer to a (sparsely initialised) libtrace_t
352 *
353 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
354 * with the dummy trace. Its intended purpose is to act as a packet->trace for
355 * libtrace_packet_t's that are not associated with a libtrace_t structure.
356 */
357DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
358        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
359        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
360        char *uridata;
361        struct libtrace_format_t *tmp;
362
363        trace_init();
364       
365        libtrace->err.err_num = TRACE_ERR_NOERROR;
366
367        if((uridata = strchr(uri,':')) == NULL) {
368                xstrncpy(scan, uri, strlen(uri));
369        } else {
370                xstrncpy(scan,uri, (size_t)(uridata - uri));
371        }
372       
373        libtrace->err.err_num = TRACE_ERR_NOERROR;
374        libtrace->format=NULL;
375       
376        libtrace->event.tdelta = 0.0;
377        libtrace->event.packet = NULL;
378        libtrace->event.psize = 0;
379        libtrace->event.trace_last_ts = 0.0;
380        libtrace->filter = NULL;
381        libtrace->snaplen = 0;
382        libtrace->started=false;
383        libtrace->uridata = NULL;
384        libtrace->io = NULL;
385        libtrace->filtered_packets = 0;
386        libtrace->accepted_packets = 0;
387        libtrace->last_packet = NULL;
388       
389        /* Parallel inits */
390        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
391        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
392        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
393        libtrace->perpkt_queue_full = false;
394        libtrace->global_blob = NULL;
395        libtrace->per_msg = NULL;
396        libtrace->reporter = NULL;
397        libtrace->hasher = NULL;
398        libtrace_zero_ocache(&libtrace->packet_freelist);
399        libtrace_zero_thread(&libtrace->hasher_thread);
400        libtrace_zero_thread(&libtrace->reporter_thread);
401        libtrace_zero_thread(&libtrace->keepalive_thread);
402        libtrace->reporter_thread.type = THREAD_EMPTY;
403        libtrace->perpkt_thread_count = 0;
404        libtrace->perpkt_threads = NULL;
405        libtrace->tracetime = 0;
406        libtrace->stats = NULL;
407        libtrace->pread = NULL;
408        libtrace->sequence_number = 0;
409        ZERO_USER_CONFIG(libtrace->config);
410        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
411        memset(&libtrace->callbacks, 0, sizeof(libtrace->callbacks));
412       
413        for(tmp=formats_list;tmp;tmp=tmp->next) {
414                if (strlen(scan) == strlen(tmp->name) &&
415                                !strncasecmp(scan,
416                                        tmp->name,
417                                        strlen(scan))) {
418                                libtrace->format=tmp;
419                                break;
420                                }
421        }
422        if (libtrace->format == 0) {
423                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
424                                "Unknown format (%s)",scan);
425        }
426
427        libtrace->format_data = NULL;
428        free(scan);
429        return libtrace;
430
431}
432
433/* Creates an output trace from a URI.
434 *
435 * @param uri   the uri string describing the output format and destination
436 * @returns opaque pointer to a libtrace_output_t
437 *
438 *  If an error occured when attempting to open the output trace, NULL is
439 *  returned and trace_errno is set.
440 */
441       
442DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
443        libtrace_out_t *libtrace = 
444                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
445       
446        char *scan = 0;
447        const char *uridata = 0;
448        struct libtrace_format_t *tmp;
449
450        trace_init();
451
452        libtrace->err.err_num = TRACE_ERR_NOERROR;
453        strcpy(libtrace->err.problem,"Error message set\n");
454        libtrace->format = NULL;
455        libtrace->uridata = NULL;
456       
457        /* Parse the URI to determine what capture format we want to write */
458
459        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
460                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
461                                "Bad uri format (%s)",uri);
462                return libtrace;
463        }
464       
465        /* Attempt to find the format in the list of supported formats */
466        for(tmp=formats_list;tmp;tmp=tmp->next) {
467                if (strlen(scan) == strlen(tmp->name) &&
468                                !strncasecmp(scan,
469                                        tmp->name,
470                                        strlen(scan))) {
471                                libtrace->format=tmp;
472                                break;
473                                }
474        }
475        free(scan);
476
477        if (libtrace->format == NULL) {
478                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
479                                "Unknown output format (%s)",scan);
480                return libtrace;
481        }
482        libtrace->uridata = strdup(uridata);
483
484        /* libtrace->format now contains the type of uri
485         * libtrace->uridata contains the appropriate data for this
486         */
487
488        if (libtrace->format->init_output) {
489                /* 0 on success, -1 on failure */
490                switch(libtrace->format->init_output(libtrace)) {
491                        case -1: /* failure */
492                                return libtrace;
493                        case 0: /* success */
494                                break;
495                        default:
496                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
497                }
498        } else {
499                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
500                                "Format does not support writing (%s)",scan);
501                return libtrace;
502        }
503
504
505        libtrace->started=false;
506        return libtrace;
507}
508
509/* Start an input trace
510 * @param libtrace      the input trace to start
511 * @returns 0 on success
512 *
513 * This does the work associated with actually starting up
514 * the trace.  it may fail.
515 */
516DLLEXPORT int trace_start(libtrace_t *libtrace)
517{
518        assert(libtrace);
519        if (trace_is_err(libtrace))
520                return -1;
521        if (libtrace->format->start_input) {
522                int ret=libtrace->format->start_input(libtrace);
523                if (ret < 0) {
524                        return ret;
525                }
526        }
527
528        libtrace->started=true;
529        return 0;
530}
531
532/* Start an output trace */
533DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
534{
535        assert(libtrace);
536        if (libtrace->format->start_output) {
537                int ret=libtrace->format->start_output(libtrace);
538                if (ret < 0) {
539                        return ret;
540                }
541        }
542
543        libtrace->started=true;
544        return 0;
545}
546
547DLLEXPORT int trace_pause(libtrace_t *libtrace)
548{
549        assert(libtrace);
550        if (!libtrace->started) {
551                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
552                return -1;
553        }
554
555        /* Finish the last packet we read - for backwards compatibility */
556        if (libtrace->last_packet)
557                trace_fin_packet(libtrace->last_packet);
558        assert(libtrace->last_packet == NULL);
559
560        if (libtrace->format->pause_input)
561                libtrace->format->pause_input(libtrace);
562
563        libtrace->started=false;
564        return 0;
565}
566
567DLLEXPORT int trace_config(libtrace_t *libtrace,
568                trace_option_t option,
569                void *value)
570{
571        int ret;
572
573        if (trace_is_err(libtrace)) {
574                return -1;
575        }
576
577        if (option == TRACE_OPTION_HASHER)
578                return trace_set_hasher(libtrace,
579                                        (enum hasher_types) *((int *) value),
580                                        NULL, NULL);
581
582        /* If the capture format supports configuration, try using their
583         * native configuration first */
584        if (libtrace->format->config_input) {
585                ret=libtrace->format->config_input(libtrace,option,value);
586                if (ret==0)
587                        return 0;
588        }
589
590        /* If we get here, either the native configuration failed or the
591         * format did not support configuration. However, libtrace can
592         * deal with some options itself, so give that a go */
593        switch(option) {
594                case TRACE_OPTION_SNAPLEN:
595                        /* Clear the error if there was one */
596                        if (trace_is_err(libtrace)) {
597                                trace_get_err(libtrace);
598                        }
599                        if (*(int*)value<0 
600                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
601                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
602                                        "Invalid snap length");
603                        }
604                        libtrace->snaplen=*(int*)value;
605                        return 0;
606                case TRACE_OPTION_FILTER:
607                        /* Clear the error if there was one */
608                        if (trace_is_err(libtrace)) {
609                                trace_get_err(libtrace);
610                        }
611                        libtrace->filter=(libtrace_filter_t *)value;
612                        return 0;
613                case TRACE_OPTION_PROMISC:
614                        if (!trace_is_err(libtrace)) {
615                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
616                                                "Promisc mode is not supported by this format module");
617                        }
618                        return -1;
619                case TRACE_OPTION_META_FREQ:
620                        if (!trace_is_err(libtrace)) {
621                                trace_set_err(libtrace, 
622                                                TRACE_ERR_OPTION_UNAVAIL,
623                                                "This format does not support meta-data gathering");
624                        }
625                        return -1;
626                case TRACE_OPTION_EVENT_REALTIME:
627                        if (!trace_is_err(libtrace)) {
628                                trace_set_err(libtrace, 
629                                                TRACE_ERR_OPTION_UNAVAIL,
630                                                "This format does not support realtime events");
631                        }
632                        return -1;
633                case TRACE_OPTION_HASHER:
634                        /* Dealt with earlier */
635                        return -1;
636                       
637        }
638        if (!trace_is_err(libtrace)) {
639                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
640                        "Unknown option %i", option);
641        }
642        return -1;
643}
644
645DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
646        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
647}
648
649DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
650        int tmp = promisc;
651        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
652}
653
654DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
655        return trace_config(trace, TRACE_OPTION_FILTER, filter);
656}
657
658DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
659        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
660}
661
662DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
663        int tmp = realtime;
664        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
665}
666
667DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
668                trace_option_output_t option,
669                void *value) {
670       
671        /* Unlike the input options, libtrace does not natively support any of
672         * the output options - the format module must be able to deal with
673         * them. */
674        if (libtrace->format->config_output) {
675                return libtrace->format->config_output(libtrace, option, value);
676        }
677        return -1;
678}
679
680/* Close an input trace file, freeing up any resources it may have been using
681 *
682 */
683DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
684        int i;
685        assert(libtrace);
686
687        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
688        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
689
690        /* destroy any packets that are still around */
691        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
692                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
693                        if(libtrace->first_packets.packets[i].packet) {
694                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
695                        }
696                }
697                free(libtrace->first_packets.packets);
698                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
699        }
700
701        /* Finish any the last packet we read - for backwards compatibility */
702        if (libtrace->last_packet)
703                trace_fin_packet(libtrace->last_packet);
704        assert(libtrace->last_packet == NULL);
705
706        if (libtrace->format) {
707                if (libtrace->started && libtrace->format->pause_input)
708                        libtrace->format->pause_input(libtrace);
709                if (libtrace->format->fin_input)
710                        libtrace->format->fin_input(libtrace);
711        }
712        /* Need to free things! */
713        if (libtrace->uridata)
714                free(libtrace->uridata);
715
716        if (libtrace->stats)
717                free(libtrace->stats);
718       
719        /* Empty any packet memory */
720        if (libtrace->state != STATE_NEW) {
721                // This has all of our packets
722                libtrace_ocache_destroy(&libtrace->packet_freelist);
723                if (libtrace->combiner.destroy && libtrace->reporter)
724                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
725                free(libtrace->perpkt_threads);
726                libtrace->perpkt_threads = NULL;
727                libtrace->perpkt_thread_count = 0;
728        }
729       
730        if (libtrace->event.packet) {
731                /* Don't use trace_destroy_packet here - there is almost
732                 * certainly going to be another libtrace_packet_t that is
733                 * pointing to the buffer for this packet, so we don't want
734                 * to free it. Rather, it will get freed when the user calls
735                 * trace_destroy_packet on the libtrace_packet_t that they
736                 * own.
737                 *
738                 * All we need to do then is free our packet structure itself.
739                 */
740                 free(libtrace->event.packet);
741        }
742        free(libtrace);
743}
744
745
746DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
747        assert(libtrace);
748
749        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
750        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
751
752        /* Don't call pause_input or fin_input, because we should never have
753         * used this trace to do any reading anyway. Do make sure we free
754         * any format_data that has been created, though. */
755        if (libtrace->format_data)
756                free(libtrace->format_data);
757        free(libtrace);
758}
759/* Close an output trace file, freeing up any resources it may have been using
760 *
761 * @param libtrace      the output trace file to be destroyed
762 */
763DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
764{
765        assert(libtrace);
766        if (libtrace->format && libtrace->format->fin_output)
767                libtrace->format->fin_output(libtrace);
768        if (libtrace->uridata)
769                free(libtrace->uridata);
770        free(libtrace);
771}
772
773DLLEXPORT libtrace_packet_t *trace_create_packet(void)
774{
775        libtrace_packet_t *packet =
776                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
777
778        packet->buf_control=TRACE_CTRL_PACKET;
779        trace_clear_cache(packet);
780        return packet;
781}
782
783DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
784        libtrace_packet_t *dest = 
785                (libtrace_packet_t *)malloc(sizeof(libtrace_packet_t));
786        if (!dest) {
787                printf("Out of memory constructing packet\n");
788                abort();
789        }
790        dest->trace=packet->trace;
791        dest->buffer=malloc(65536);
792        if (!dest->buffer) {
793                printf("Out of memory allocating buffer memory\n");
794                abort();
795        }
796        dest->header=dest->buffer;
797        dest->payload=(void*)
798                ((char*)dest->buffer+trace_get_framing_length(packet));
799        dest->type=packet->type;
800        dest->buf_control=TRACE_CTRL_PACKET;
801        dest->order = packet->order;
802        dest->hash = packet->hash;
803        dest->error = packet->error;
804        /* Reset the cache - better to recalculate than try to convert
805         * the values over to the new packet */
806        trace_clear_cache(dest);       
807        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
808         * as much as possible */
809        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
810        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
811
812        return dest;
813}
814
815/** Destroy a packet object
816 */
817DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
818        /* Free any resources possibly associated with the packet */
819        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
820                packet->trace->format->fin_packet(packet);
821        }
822        if (packet->trace && packet->trace->last_packet == packet)
823                packet->trace->last_packet = NULL;
824       
825        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
826                free(packet->buffer);
827        }
828        packet->buf_control=(buf_control_t)'\0'; 
829                                /* A "bad" value to force an assert
830                                 * if this packet is ever reused
831                                 */
832        free(packet);
833}
834
835/**
836 * Removes any possible data stored againt the trace and releases any data.
837 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
838 * use trace_destroy_packet() for those diabolical purposes.
839 */
840void trace_fin_packet(libtrace_packet_t *packet) {
841        if (packet)
842        {
843                if (packet->trace && packet->trace->format->fin_packet) {
844                        packet->trace->format->fin_packet(packet);
845                }
846                if (packet->trace && packet->trace->last_packet == packet)
847                        packet->trace->last_packet = NULL;
848
849                // No matter what we remove the header and link pointers
850                packet->trace = NULL;
851                packet->header = NULL;
852                packet->payload = NULL;
853
854                if (packet->buf_control != TRACE_CTRL_PACKET)
855                {
856                        packet->buffer = NULL;
857                }
858
859                trace_clear_cache(packet);
860                packet->hash = 0;
861                packet->order = 0;
862        }
863}
864
865/* Read one packet from the trace into buffer. Note that this function will
866 * block until a packet is read (or EOF is reached).
867 *
868 * @param libtrace      the libtrace opaque pointer
869 * @param packet        the packet opaque pointer
870 * @returns 0 on EOF, negative value on error
871 *
872 */
873DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
874
875        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
876        if (trace_is_err(libtrace))
877                return -1;
878        if (!libtrace->started) {
879                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
880                return -1;
881        }
882        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
883                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
884                return -1;
885        }
886        assert(packet);
887
888        if (libtrace->format->read_packet) {
889                do {
890                        size_t ret;
891                        int filtret;
892                        /* Finalise the packet, freeing any resources the format module
893                         * may have allocated it and zeroing all data associated with it.
894                         */
895                        trace_fin_packet(packet);
896                        /* Store the trace we are reading from into the packet opaque
897                         * structure */
898                        packet->trace = libtrace;
899                        ret=libtrace->format->read_packet(libtrace,packet);
900                        if (ret==(size_t)-1 || ret==0) {
901                                return ret;
902                        }
903                        if (libtrace->filter) {
904                                /* If the filter doesn't match, read another
905                                 * packet
906                                 */
907                                filtret = trace_apply_filter(libtrace->filter, packet);
908                                if (filtret == -1) {
909                                        /* Error compiling filter, probably */
910                                        return ~0U;
911                                }
912                               
913                                if (filtret == 0) {
914                                        ++libtrace->filtered_packets;
915                                        continue;
916                                }
917                        }
918                        if (libtrace->snaplen>0) {
919                                /* Snap the packet */
920                                trace_set_capture_length(packet,
921                                                libtrace->snaplen);
922                        }
923                        trace_packet_set_order(packet, libtrace->sequence_number);
924                        ++libtrace->accepted_packets;
925                        ++libtrace->sequence_number;
926                        if (packet->trace == libtrace)
927                                libtrace->last_packet = packet;
928                        return ret;
929                } while(1);
930        }
931        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
932        return ~0U;
933}
934
935/* Converts the provided buffer into a libtrace packet of the given type.
936 *
937 * Unlike trace_construct_packet, the buffer is expected to begin with the
938 * appropriate capture format header for the format type that the packet is
939 * being converted to. This also allows for a packet to be converted into
940 * just about capture format that is supported by libtrace, provided the
941 * format header is present in the buffer.
942 *
943 * This function is primarily used to convert packets received via the RT
944 * protocol back into their original capture format. The RT header encapsulates
945 * the original capture format header, so after removing it the packet must
946 * have it's header and payload pointers updated and the packet format and type
947 * changed, amongst other things.
948 *
949 * Intended only for internal use at this point - this function is not
950 * available through the external libtrace API.
951 */
952int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
953                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
954
955        assert(packet);
956        assert(trace);
957       
958        /* XXX Proper error handling?? */
959        if (buffer == NULL)
960                return -1;
961
962        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
963                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
964                return -1;
965        }
966       
967        packet->trace = trace;
968        trace->last_packet = packet;
969       
970        /* Clear packet cache */
971        trace_clear_cache(packet);
972
973        if (trace->format->prepare_packet) {
974                return trace->format->prepare_packet(trace, packet,
975                                buffer, rt_type, flags);
976        }
977        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
978                        "This format does not support preparing packets\n");
979        return -1;
980
981}
982
983/* Writes a packet to the specified output trace
984 *
985 * @param libtrace      describes the output format, destination, etc.
986 * @param packet        the packet to be written out
987 * @returns the number of bytes written, -1 if write failed
988 */
989DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
990        assert(libtrace);
991        assert(packet);
992        /* Verify the packet is valid */
993        if (!libtrace->started) {
994                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
995                        "Trace is not started before trace_write_packet");
996                return -1;
997        }
998
999        if (libtrace->format->write_packet) {
1000                return libtrace->format->write_packet(libtrace, packet);
1001        }
1002        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1003                "This format does not support writing packets");
1004        return -1;
1005}
1006
1007/* Get a pointer to the first byte of the packet payload */
1008DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1009                libtrace_linktype_t *linktype, uint32_t *remaining) {
1010        int cap_len;
1011        int wire_len;
1012
1013        assert(packet != NULL);
1014        if (linktype) *linktype = trace_get_link_type(packet);
1015        if (remaining) {
1016                /* I think we should choose the minimum of the capture and
1017                 * wire lengths to be the "remaining" value. If the packet has
1018                 * been padded to increase the capture length, we don't want
1019                 * to allow subsequent protocol decoders to consider the
1020                 * padding as part of the packet.
1021                 *
1022                 * For example, in Auck 4 there is a trace where the IP header
1023                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1024                 * header. Total IP length is 40 bytes. As a result, the
1025                 * legacyatm padding gets treated as the "missing" bytes of
1026                 * the TCP header, which isn't the greatest. We're probably
1027                 * better off returning an incomplete TCP header in that case.
1028                 */
1029               
1030                cap_len = trace_get_capture_length(packet);
1031                wire_len = trace_get_wire_length(packet);
1032
1033                assert(cap_len >= 0);
1034
1035                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1036                 * massively negative wire lens. We could assert fail here on
1037                 * them, but we could at least try the capture length instead.
1038                 *
1039                 * You may still run into problems if you try to write that
1040                 * packet, but at least reading should work OK.
1041                 */
1042                if (wire_len < 0)
1043                        *remaining = cap_len;
1044                else if (wire_len < cap_len)
1045                        *remaining = wire_len;
1046                else
1047                        *remaining = cap_len;
1048                /* *remaining = trace_get_capture_length(packet); */
1049        }
1050        return (void *) packet->payload;
1051}
1052
1053
1054/* Get a pointer to the first byte of the packet payload
1055 *
1056 * DEPRECATED - use trace_get_packet_buffer() instead */
1057DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1058        return (void *)packet->payload;
1059}
1060
1061/* Get the current time in DAG time format
1062 * @param packet        a pointer to a libtrace_packet structure
1063 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1064 * past 1970-01-01, the lower 32bits are partial seconds)
1065 */ 
1066DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1067        if (packet->trace->format->get_erf_timestamp) {
1068                /* timestamp -> timestamp */
1069                return packet->trace->format->get_erf_timestamp(packet);
1070        } else if (packet->trace->format->get_timespec) {
1071                /* timespec -> timestamp */
1072                struct timespec ts;
1073                ts = packet->trace->format->get_timespec(packet);
1074                return ((((uint64_t)ts.tv_sec) << 32) +
1075                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1076        } else if (packet->trace->format->get_timeval) {
1077                /* timeval -> timestamp */
1078                struct timeval tv;
1079                tv = packet->trace->format->get_timeval(packet);
1080                return ((((uint64_t)tv.tv_sec) << 32) +
1081                                (((uint64_t)tv.tv_usec << 32)/1000000));
1082        } else if (packet->trace->format->get_seconds) {
1083                /* seconds -> timestamp */
1084                double seconds = packet->trace->format->get_seconds(packet);
1085                return (((uint64_t)seconds)<<32)
1086                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1087        }
1088        else {
1089                return (uint64_t)0;
1090        }
1091                     
1092}
1093
1094/* Get the current time in struct timeval
1095 * @param packet        a pointer to a libtrace_packet structure
1096 *
1097 * @returns time that this packet was seen in a struct timeval
1098 * @author Daniel Lawson
1099 * @author Perry Lorier
1100 */ 
1101DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1102        struct timeval tv;
1103        uint64_t ts = 0;
1104        if (packet->trace->format->get_timeval) {
1105                /* timeval -> timeval */
1106                tv = packet->trace->format->get_timeval(packet);
1107        } else if (packet->trace->format->get_erf_timestamp) {
1108                /* timestamp -> timeval */
1109                ts = packet->trace->format->get_erf_timestamp(packet);
1110                tv.tv_sec = ts >> 32;
1111                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1112                if (tv.tv_usec >= 1000000) {
1113                        tv.tv_usec -= 1000000;
1114                        tv.tv_sec += 1;
1115                }
1116        } else if (packet->trace->format->get_timespec) {
1117                struct timespec ts = packet->trace->format->get_timespec(packet);
1118                tv.tv_sec = ts.tv_sec;
1119                tv.tv_usec = ts.tv_nsec/1000;
1120        } else if (packet->trace->format->get_seconds) {
1121                /* seconds -> timeval */
1122                double seconds = packet->trace->format->get_seconds(packet);
1123                tv.tv_sec = (uint32_t)seconds;
1124                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1125        }
1126        else {
1127                tv.tv_sec=-1;
1128                tv.tv_usec=-1;
1129        }
1130
1131    return tv;
1132}
1133
1134DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1135        struct timespec ts;
1136
1137        if (packet->trace->format->get_timespec) {
1138                return packet->trace->format->get_timespec(packet);
1139        } else if (packet->trace->format->get_erf_timestamp) {
1140                /* timestamp -> timeval */
1141                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1142                ts.tv_sec = erfts >> 32;
1143                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1144                if (ts.tv_nsec >= 1000000000) {
1145                        ts.tv_nsec -= 1000000000;
1146                        ts.tv_sec += 1;
1147                }
1148                return ts;
1149        } else if (packet->trace->format->get_timeval) {
1150                /* timeval -> timespec */
1151                struct timeval tv = packet->trace->format->get_timeval(packet);
1152                ts.tv_sec = tv.tv_sec;
1153                ts.tv_nsec = tv.tv_usec*1000;
1154                return ts;
1155        } else if (packet->trace->format->get_seconds) {
1156                /* seconds -> timespec */
1157                double seconds = packet->trace->format->get_seconds(packet);
1158                ts.tv_sec = (uint32_t)seconds;
1159                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1160                return ts;
1161        }
1162        else {
1163                ts.tv_sec=-1;
1164                ts.tv_nsec=-1;
1165                return ts;
1166        }
1167}
1168
1169
1170/* Get the current time in floating point seconds
1171 * @param packet        a pointer to a libtrace_packet structure
1172 * @returns time that this packet was seen in 64bit floating point seconds
1173 */ 
1174DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1175        double seconds = 0.0;
1176
1177        if (packet->trace->format->get_seconds) {
1178                /* seconds->seconds */
1179                seconds = packet->trace->format->get_seconds(packet);
1180        } else if (packet->trace->format->get_erf_timestamp) {
1181                /* timestamp -> seconds */
1182                uint64_t ts = 0;
1183                ts = packet->trace->format->get_erf_timestamp(packet);
1184                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1185        } else if (packet->trace->format->get_timespec) {
1186                /* timespec -> seconds */
1187                struct timespec ts;
1188                ts = packet->trace->format->get_timespec(packet);
1189                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1190        } else if (packet->trace->format->get_timeval) {
1191                /* timeval -> seconds */
1192                struct timeval tv;
1193                tv = packet->trace->format->get_timeval(packet);
1194                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1195        }
1196
1197        return seconds;
1198}
1199
1200DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1201{
1202        /* Cache the capture length */
1203        if (packet->capture_length == -1) {
1204                if (!packet->trace->format->get_capture_length)
1205                        return ~0U;
1206                /* Cast away constness because this is "just" a cache */
1207                ((libtrace_packet_t*)packet)->capture_length = 
1208                        packet->trace->format->get_capture_length(packet);
1209        }
1210
1211        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1212
1213        return packet->capture_length;
1214}
1215       
1216/* Get the size of the packet as it was seen on the wire.
1217 * @param packet        a pointer to a libtrace_packet structure
1218 *
1219 * @returns the size of the packet as it was on the wire.
1220 * @note Due to the trace being a header capture, or anonymisation this may
1221 * not be the same as the Capture Len.
1222 */ 
1223DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1224       
1225        if (packet->wire_length == -1) {
1226                if (!packet->trace->format->get_wire_length) 
1227                        return ~0U;
1228                ((libtrace_packet_t *)packet)->wire_length = 
1229                        packet->trace->format->get_wire_length(packet);
1230        }
1231
1232        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1233        return packet->wire_length;
1234
1235}
1236
1237/* Get the length of the capture framing headers.
1238 * @param packet        the packet opaque pointer
1239 * @returns the size of the packet as it was on the wire.
1240 * @note this length corresponds to the difference between the size of a
1241 * captured packet in memory, and the captured length of the packet
1242 */ 
1243DLLEXPORT SIMPLE_FUNCTION
1244size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1245        if (packet->trace->format->get_framing_length) {
1246                return packet->trace->format->get_framing_length(packet);
1247        }
1248        return ~0U;
1249}
1250
1251
1252/* Get the type of the link layer
1253 * @param packet        a pointer to a libtrace_packet structure
1254 * @returns libtrace_linktype_t
1255 */
1256DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1257
1258        if (packet->link_type == 0) {
1259                if (!packet->trace->format->get_link_type)
1260                        return TRACE_TYPE_UNKNOWN;
1261                ((libtrace_packet_t *)packet)->link_type =
1262                        packet->trace->format->get_link_type(packet);
1263        }
1264
1265        return packet->link_type;
1266}
1267
1268/* process a libtrace event
1269 * @param trace the libtrace opaque pointer
1270 * @param packet the libtrace_packet opaque pointer
1271 * @returns
1272 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1273 *  TRACE_EVENT_SLEEP   Next event in seconds
1274 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1275 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1276 * FIXME currently keeps a copy of the packet inside the trace pointer,
1277 * which in turn is stored inside the new packet object...
1278 */
1279DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1280                libtrace_packet_t *packet) {
1281        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1282
1283        if (!trace) {
1284                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1285        }
1286        assert(trace);
1287        assert(packet);
1288
1289        /* Free the last packet */
1290        trace_fin_packet(packet);
1291       
1292        /* Store the trace we are reading from into the packet opaque
1293         * structure */
1294        packet->trace = trace;
1295
1296        if (packet->trace->format->trace_event) {
1297                /* Note: incrementing accepted, filtered etc. packet
1298                 * counters is handled by the format-specific
1299                 * function so don't increment them here.
1300                 */
1301                event=packet->trace->format->trace_event(trace,packet);
1302                }
1303        return event;
1304
1305}
1306
1307/** Setup a BPF filter based on pre-compiled byte-code.
1308 * @param bf_insns      A pointer to the start of the byte-code
1309 * @param bf_len        The number of BPF instructions
1310 * @returns             an opaque pointer to a libtrace_filter_t object
1311 * @note                The supplied byte-code is not checked for correctness.
1312 * @author              Scott Raynel
1313 */
1314DLLEXPORT libtrace_filter_t *
1315trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1316{
1317#ifndef HAVE_BPF_FILTER
1318        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1319        return NULL;
1320#else
1321        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1322                malloc(sizeof(struct libtrace_filter_t));
1323        filter->filter.bf_insns = (struct bpf_insn *)
1324                malloc(sizeof(struct bpf_insn) * bf_len);
1325       
1326        memcpy(filter->filter.bf_insns, bf_insns,
1327                        bf_len * sizeof(struct bpf_insn));
1328       
1329        filter->filter.bf_len = bf_len;
1330        filter->filterstring = NULL;
1331        filter->jitfilter = NULL;
1332        /* "flag" indicates that the filter member is valid */
1333        filter->flag = 1; 
1334       
1335        return filter;
1336#endif
1337}
1338
1339/* Create a BPF filter
1340 * @param filterstring a char * containing the bpf filter string
1341 * @returns opaque pointer pointer to a libtrace_filter_t object
1342 */
1343DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1344#ifdef HAVE_BPF_FILTER
1345        libtrace_filter_t *filter = (libtrace_filter_t*)
1346                                malloc(sizeof(libtrace_filter_t));
1347        filter->filterstring = strdup(filterstring);
1348        filter->jitfilter = NULL;
1349        filter->flag = 0;
1350        return filter;
1351#else
1352        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1353        return NULL;
1354#endif
1355}
1356
1357DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1358{
1359#ifdef HAVE_BPF_FILTER
1360        free(filter->filterstring);
1361        if (filter->flag)
1362                pcap_freecode(&filter->filter);
1363#ifdef HAVE_LLVM
1364        if (filter->jitfilter) 
1365                destroy_program(filter->jitfilter);
1366#endif
1367        free(filter);
1368#else
1369
1370#endif
1371}
1372
1373/* Compile a bpf filter, now we know the link type for the trace that we're
1374 * applying it to.
1375 *
1376 * @internal
1377 *
1378 * @returns -1 on error, 0 on success
1379 */
1380static int trace_bpf_compile(libtrace_filter_t *filter,
1381                const libtrace_packet_t *packet,
1382                void *linkptr, 
1383                libtrace_linktype_t linktype    ) {
1384#ifdef HAVE_BPF_FILTER
1385        /* It just so happens that the underlying libs used by pthread arn't
1386         * thread safe, namely lex/flex thingys, so single threaded compile
1387         * multi threaded running should be safe.
1388         */
1389        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1390        assert(filter);
1391
1392        /* If this isn't a real packet, then fail */
1393        if (!linkptr) {
1394                trace_set_err(packet->trace,
1395                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1396                return -1;
1397        }
1398       
1399        if (filter->filterstring && ! filter->flag) {
1400                pcap_t *pcap = NULL;
1401                if (linktype==(libtrace_linktype_t)-1) {
1402                        trace_set_err(packet->trace,
1403                                        TRACE_ERR_BAD_FILTER,
1404                                        "Packet has an unknown linktype");
1405                        return -1;
1406                }
1407                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1408                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1409                                        "Unknown pcap equivalent linktype");
1410                        return -1;
1411                }
1412                assert (pthread_mutex_lock(&mutex) == 0);
1413                /* Make sure not one bet us to this */
1414                if (filter->flag) {
1415                        assert (pthread_mutex_unlock(&mutex) == 0);
1416                        return 1;
1417                }
1418                pcap=(pcap_t *)pcap_open_dead(
1419                                (int)libtrace_to_pcap_dlt(linktype),
1420                                1500U);
1421                /* build filter */
1422                assert(pcap);
1423                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1424                                        1, 0)) {
1425                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1426                                        "Unable to compile the filter \"%s\": %s", 
1427                                        filter->filterstring,
1428                                        pcap_geterr(pcap));
1429                        pcap_close(pcap);
1430                        assert (pthread_mutex_unlock(&mutex) == 0);
1431                        return -1;
1432                }
1433                pcap_close(pcap);
1434                filter->flag=1;
1435                assert (pthread_mutex_unlock(&mutex) == 0);
1436        }
1437        return 0;
1438#else
1439        assert(!"Internal bug: This should never be called when BPF not enabled");
1440        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1441                                "Feature unavailable");
1442        return -1;
1443#endif
1444}
1445
1446DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1447                        const libtrace_packet_t *packet) {
1448#ifdef HAVE_BPF_FILTER
1449        void *linkptr = 0;
1450        uint32_t clen = 0;
1451        bool free_packet_needed = false;
1452        int ret;
1453        libtrace_linktype_t linktype;
1454        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1455#ifdef HAVE_LLVM
1456        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1457#endif
1458
1459        assert(filter);
1460        assert(packet);
1461
1462        /* Match all non-data packets as we probably want them to pass
1463         * through to the caller */
1464        linktype = trace_get_link_type(packet);
1465
1466        if (linktype == TRACE_TYPE_NONDATA)
1467                return 1;       
1468
1469        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1470               
1471                /* If we cannot get a suitable DLT for the packet, it may
1472                 * be because the packet is encapsulated in a link type that
1473                 * does not correspond to a DLT. Therefore, we should try
1474                 * popping off headers until we either can find a suitable
1475                 * link type or we can't do any more sensible decapsulation. */
1476               
1477                /* Copy the packet, as we don't want to trash the one we
1478                 * were passed in */
1479                packet_copy=trace_copy_packet(packet);
1480                free_packet_needed=true;
1481
1482                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1483                        if (!demote_packet(packet_copy)) {
1484                                trace_set_err(packet->trace, 
1485                                                TRACE_ERR_NO_CONVERSION,
1486                                                "pcap does not support this format");
1487                                if (free_packet_needed) {
1488                                        trace_destroy_packet(packet_copy);
1489                                }
1490                                return -1;
1491                        }
1492                        linktype = trace_get_link_type(packet_copy);
1493                }
1494
1495        }
1496       
1497        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1498        if (!linkptr) {
1499                if (free_packet_needed) {
1500                        trace_destroy_packet(packet_copy);
1501                }
1502                return 0;
1503        }
1504
1505        /* We need to compile the filter now, because before we didn't know
1506         * what the link type was
1507         */
1508        // Note internal mutex locking used here
1509        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1510                if (free_packet_needed) {
1511                        trace_destroy_packet(packet_copy);
1512                }
1513                return -1;
1514        }
1515
1516        /* If we're jitting, we may need to JIT the BPF code now too */
1517#if HAVE_LLVM
1518        if (!filter->jitfilter) {
1519                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1520                /* Again double check here like the bpf filter */
1521                if(!filter->jitfilter)
1522                /* Looking at compile_program source this appears to be thread safe
1523                 * however if this gets called twice we will leak this memory :(
1524                 * as such lock here anyways */
1525                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1526                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1527        }
1528#endif
1529
1530        assert(filter->flag);
1531        /* Now execute the filter */
1532#if HAVE_LLVM
1533        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1534#else
1535        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1536#endif
1537
1538        /* If we copied the packet earlier, make sure that we free it */
1539        if (free_packet_needed) {
1540                trace_destroy_packet(packet_copy);
1541        }
1542        return ret;
1543#else
1544        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1545        return 0;
1546#endif
1547}
1548
1549/* Set the direction flag, if it has one
1550 * @param packet the packet opaque pointer
1551 * @param direction the new direction (0,1,2,3)
1552 * @returns a signed value containing the direction flag, or -1 if this is not supported
1553 */
1554DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1555                libtrace_direction_t direction) 
1556{
1557        assert(packet);
1558        if (packet->trace->format->set_direction) {
1559                return packet->trace->format->set_direction(packet,direction);
1560        }
1561        return (libtrace_direction_t)~0U;
1562}
1563
1564/* Get the direction flag, if it has one
1565 * @param packet a pointer to a libtrace_packet structure
1566 * @returns a signed value containing the direction flag, or -1 if this is not supported
1567 * The direction is defined as 0 for packets originating locally (ie, outbound)
1568 * and 1 for packets originating remotely (ie, inbound).
1569 * Other values are possible, which might be overloaded to mean special things
1570 * for a special trace.
1571 */
1572DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1573{
1574        assert(packet);
1575        if (packet->trace->format->get_direction) {
1576                return packet->trace->format->get_direction(packet);
1577        }
1578        return (libtrace_direction_t)~0U;
1579}
1580
1581#define ROOT_SERVER(x) ((x) < 512)
1582#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1583#define NONROOT_SERVER(x) ((x) >= 5000)
1584#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1585#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1586#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1587#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1588
1589/* Attempt to deduce the 'server' port
1590 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1591 * @param source the TCP or UDP source port
1592 * @param dest the TCP or UDP destination port
1593 * @returns a hint as to which port is the server port
1594 */
1595DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1596                uint16_t source, uint16_t dest) 
1597{
1598        /*
1599         * * If the ports are equal, return DEST
1600         * * Check for well-known ports in the given protocol
1601         * * Root server ports: 0 - 511
1602         * * Root client ports: 512 - 1023
1603         * * non-root client ports: 1024 - 4999
1604         * * non-root server ports: 5000+
1605         * * Check for static ranges: 1024 - 49151
1606         * * Check for dynamic ranges: 49152 - 65535
1607         * * flip a coin.
1608         */
1609       
1610        /* equal */
1611        if (source == dest)
1612                return USE_DEST;
1613
1614        /* root server port, 0 - 511 */
1615        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1616                if (source < dest)
1617                        return USE_SOURCE;
1618                return USE_DEST;
1619        }
1620
1621        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1622                return USE_SOURCE;
1623        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1624                return USE_DEST;
1625
1626        /* non-root server */
1627        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1628                if (source < dest)
1629                        return USE_SOURCE;
1630                return USE_DEST;
1631        }
1632        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1633                return USE_SOURCE;
1634        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1635                return USE_DEST;
1636
1637        /* root client */
1638        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1639                if (source < dest)
1640                        return USE_SOURCE;
1641                return USE_DEST;
1642        }
1643        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1644                /* prefer root-client over nonroot-client */
1645                if (NONROOT_CLIENT(dest))
1646                        return USE_SOURCE;
1647                return USE_DEST;
1648        }
1649        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1650                /* prefer root-client over nonroot-client */
1651                if (NONROOT_CLIENT(source))
1652                        return USE_DEST;
1653                return USE_SOURCE;
1654        }
1655       
1656        /* nonroot client */
1657        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1658                if (source < dest) 
1659                        return USE_SOURCE;
1660                return USE_DEST;
1661        }
1662        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1663                return USE_DEST;
1664        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1665                return USE_SOURCE;
1666
1667        /* dynamic range */
1668        if (DYNAMIC(source) && DYNAMIC(dest)) {
1669                if (source < dest)
1670                        return USE_SOURCE;
1671                return USE_DEST;
1672        }
1673        if (DYNAMIC(source) && !DYNAMIC(dest))
1674                return USE_DEST;
1675        if (!DYNAMIC(source) && DYNAMIC(dest))
1676                return USE_SOURCE;
1677        /*
1678        if (SERVER(source) && CLIENT(dest))
1679                return USE_SOURCE;
1680       
1681        if (SERVER(dest) && CLIENT(source))
1682                return USE_DEST;
1683        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1684                return USE_SOURCE;
1685        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1686                return USE_DEST;
1687        */
1688        /* failing that test... */
1689        if (source < dest) {
1690                return USE_SOURCE;
1691        } 
1692        return USE_DEST;
1693       
1694}
1695
1696/* Truncate the packet at the suggested length
1697 * @param packet        the packet opaque pointer
1698 * @param size          the new length of the packet
1699 * @returns the new size of the packet
1700 * @note size and the return size refer to the network-level payload of the
1701 * packet, and do not include any capture headers. For example, to truncate a
1702 * packet after the IP header, set size to sizeof(ethernet_header) +
1703 * sizeof(ip_header)
1704 * @note If the original network-level payload is smaller than size, then the
1705 * original size is returned and the packet is left unchanged.
1706 */
1707DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1708        assert(packet);
1709
1710        if (packet->trace->format->set_capture_length) {
1711                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1712                return packet->capture_length;
1713        }
1714
1715        return ~0U;
1716}
1717
1718/* Splits a URI into two components - the format component which is seen before
1719 * the ':', and the uridata which follows the ':'.
1720 *
1721 * Returns a pointer to the URI data, but updates the format parameter to
1722 * point to a copy of the format component.
1723 */
1724
1725DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1726        const char *uridata = 0;
1727       
1728        if((uridata = strchr(uri,':')) == NULL) {
1729                /* Badly formed URI - needs a : */
1730                return 0;
1731        }
1732
1733        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1734                /* Badly formed URI - uri type is too long */
1735                return 0;
1736        }
1737
1738        /* NOTE: this is allocated memory - it should be freed by the caller
1739         * once they are done with it */
1740        *format=xstrndup(uri, (size_t)(uridata - uri));
1741
1742        /* Push uridata past the delimiter */
1743        uridata++;
1744       
1745        return uridata;
1746}
1747
1748enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1749{
1750        assert(packet);
1751
1752        return packet->trace->format->type;
1753}
1754       
1755DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1756{
1757        libtrace_err_t err = trace->err;
1758        trace->err.err_num = 0; /* "OK" */
1759        trace->err.problem[0]='\0';
1760        return err;
1761}
1762
1763DLLEXPORT bool trace_is_err(libtrace_t *trace)
1764{
1765        return trace->err.err_num != 0;
1766}
1767
1768/* Prints the input error status to standard error and clears the error state */
1769DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1770{
1771        char buf[256];
1772        va_list va;
1773        va_start(va,msg);
1774        vsnprintf(buf,sizeof(buf),msg,va);
1775        va_end(va);
1776        if(trace->err.err_num) {
1777                if (trace->uridata) {
1778                        fprintf(stderr,"%s(%s): %s\n",
1779                                        buf,trace->uridata,trace->err.problem);
1780                } else {
1781                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1782                }
1783        } else {
1784                if (trace->uridata) {
1785                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1786                } else {
1787                        fprintf(stderr,"%s: No error\n", buf);
1788                }
1789        }
1790        trace->err.err_num = 0; /* "OK" */
1791        trace->err.problem[0]='\0';
1792}
1793
1794DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1795{
1796        libtrace_err_t err = trace->err;
1797        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1798        trace->err.problem[0]='\0';
1799        return err;
1800}
1801
1802DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1803{
1804        return trace->err.err_num != 0;
1805}
1806
1807/* Prints the output error status to standard error and clears the error state
1808 */
1809DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1810{
1811        char buf[256];
1812        va_list va;
1813        va_start(va,msg);
1814        vsnprintf(buf,sizeof(buf),msg,va);
1815        va_end(va);
1816        if(trace->err.err_num) {
1817                fprintf(stderr,"%s(%s): %s\n",
1818                                buf,
1819                                trace->uridata?trace->uridata:"no uri",
1820                                trace->err.problem);
1821        } else {
1822                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1823        }
1824        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1825        trace->err.problem[0]='\0';
1826}
1827
1828DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1829{
1830        if (trace->format->seek_erf) {
1831                return trace->format->seek_erf(trace,ts);
1832        }
1833        else {
1834                if (trace->format->seek_timeval) {
1835                        struct timeval tv;
1836#if __BYTE_ORDER == __BIG_ENDIAN
1837                        tv.tv_sec = ts & 0xFFFFFFFF;
1838                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1839#elif __BYTE_ORDER == __LITTLE_ENDIAN
1840                        tv.tv_sec = ts >> 32;
1841                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1842#else
1843#error "What on earth are you running this on?"
1844#endif
1845                        if (tv.tv_usec >= 1000000) {
1846                                tv.tv_usec -= 1000000;
1847                                tv.tv_sec += 1;
1848                        }
1849                        return trace->format->seek_timeval(trace,tv);
1850                }
1851                if (trace->format->seek_seconds) {
1852                        double seconds = 
1853                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1854                        return trace->format->seek_seconds(trace,seconds);
1855                }
1856                trace_set_err(trace,
1857                                TRACE_ERR_OPTION_UNAVAIL,
1858                                "Feature unimplemented");
1859                return -1;
1860        }
1861}
1862
1863DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1864{
1865        if (trace->format->seek_seconds) {
1866                return trace->format->seek_seconds(trace,seconds);
1867        }
1868        else {
1869                if (trace->format->seek_timeval) {
1870                        struct timeval tv;
1871                        tv.tv_sec = (uint32_t)seconds;
1872                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1873                        return trace->format->seek_timeval(trace,tv);
1874                }
1875                if (trace->format->seek_erf) {
1876                        uint64_t timestamp = 
1877                                ((uint64_t)((uint32_t)seconds) << 32) + \
1878                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1879                        return trace->format->seek_erf(trace,timestamp);
1880                }
1881                trace_set_err(trace,
1882                                TRACE_ERR_OPTION_UNAVAIL,
1883                                "Feature unimplemented");
1884                return -1;
1885        }
1886}
1887
1888DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1889{
1890        if (trace->format->seek_timeval) {
1891                return trace->format->seek_timeval(trace,tv);
1892        }
1893        else {
1894                if (trace->format->seek_erf) {
1895                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1896                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1897                        return trace->format->seek_erf(trace,timestamp);
1898                }
1899                if (trace->format->seek_seconds) {
1900                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1901                        return trace->format->seek_seconds(trace,seconds);
1902                }
1903                trace_set_err(trace,
1904                                TRACE_ERR_OPTION_UNAVAIL,
1905                                "Feature unimplemented");
1906                return -1;
1907        }
1908}
1909
1910/* Converts a binary ethernet MAC address into a printable string */
1911DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1912{
1913        static char staticbuf[18]={0,};
1914        if (!buf)
1915                buf=staticbuf;
1916        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1917                        addr[0],addr[1],addr[2],
1918                        addr[3],addr[4],addr[5]);
1919        return buf;
1920}
1921
1922/* Converts a printable ethernet MAC address into a binary format */
1923DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1924{
1925        uint8_t *buf2 = addr;
1926        unsigned int tmp[6];
1927        static uint8_t staticaddr[6];
1928        if (!buf2)
1929                buf2=staticaddr;
1930        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1931                        &tmp[0],&tmp[1],&tmp[2],
1932                        &tmp[3],&tmp[4],&tmp[5]);
1933        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1934        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1935        return buf2;
1936}
1937
1938
1939/* Creates a libtrace packet from scratch using the contents of the provided
1940 * buffer as the packet payload.
1941 *
1942 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1943 * format headers; instead this function will add the PCAP header to the
1944 * packet record. This also means only PCAP packets can be constructed using
1945 * this function.
1946 *
1947 */
1948DLLEXPORT
1949void trace_construct_packet(libtrace_packet_t *packet,
1950                libtrace_linktype_t linktype,
1951                const void *data,
1952                uint16_t len)
1953{
1954        size_t size;
1955        static libtrace_t *deadtrace=NULL;
1956        libtrace_pcapfile_pkt_hdr_t hdr;
1957#ifdef WIN32
1958        struct _timeb tstruct;
1959#else
1960        struct timeval tv;
1961#endif
1962
1963        /* We need a trace to attach the constructed packet to (and it needs
1964         * to be PCAP) */
1965        if (NULL == deadtrace) 
1966                deadtrace=trace_create_dead("pcapfile");
1967
1968        /* Fill in the new PCAP header */
1969#ifdef WIN32
1970        _ftime(&tstruct);
1971        hdr.ts_sec=tstruct.time;
1972        hdr.ts_usec=tstruct.millitm * 1000;
1973#else
1974        gettimeofday(&tv,NULL);
1975        hdr.ts_sec=tv.tv_sec;
1976        hdr.ts_usec=tv.tv_usec;
1977#endif
1978
1979        hdr.caplen=len;
1980        hdr.wirelen=len;
1981
1982        /* Now fill in the libtrace packet itself */
1983        packet->trace=deadtrace;
1984        size=len+sizeof(hdr);
1985        if (packet->buf_control==TRACE_CTRL_PACKET) {
1986                packet->buffer=realloc(packet->buffer,size);
1987        }
1988        else {
1989                packet->buffer=malloc(size);
1990        }
1991        packet->buf_control=TRACE_CTRL_PACKET;
1992        packet->header=packet->buffer;
1993        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
1994       
1995        /* Ugh, memcpy - sadly necessary */
1996        memcpy(packet->header,&hdr,sizeof(hdr));
1997        memcpy(packet->payload,data,(size_t)len);
1998        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
1999
2000        trace_clear_cache(packet);
2001}
2002
2003
2004uint64_t trace_get_received_packets(libtrace_t *trace)
2005{
2006        assert(trace);
2007        uint64_t ret;
2008
2009        if (trace->format->get_received_packets) {
2010                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2011                        return ret;
2012        } else if (trace->format->get_statistics) {
2013                struct libtrace_stat_t stat;
2014                stat.magic = LIBTRACE_STAT_MAGIC;
2015                trace_get_statistics(trace, &stat);
2016                if (stat.received_valid)
2017                        return stat.received;
2018        }
2019
2020        // Read the cached value taken before the trace was paused/closed
2021        if(trace->stats && trace->stats->received_valid)
2022                return trace->stats->received;
2023        else
2024                return UINT64_MAX;
2025}
2026
2027uint64_t trace_get_filtered_packets(libtrace_t *trace)
2028{
2029        assert(trace);
2030        int i = 0;
2031        uint64_t lib_filtered = trace->filtered_packets;
2032        for (i = 0; i < trace->perpkt_thread_count; i++) {
2033                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2034        }
2035        if (trace->format->get_filtered_packets) {
2036                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2037                if (trace_filtered == UINT64_MAX)
2038                        return UINT64_MAX;
2039                else
2040                        return trace_filtered + lib_filtered;
2041        } else if (trace->format->get_statistics) {
2042                struct libtrace_stat_t stat;
2043                stat.magic = LIBTRACE_STAT_MAGIC;
2044                trace_get_statistics(trace, &stat);
2045                if (stat.filtered_valid)
2046                        return lib_filtered + stat.filtered;
2047                else
2048                        return UINT64_MAX;
2049        }
2050
2051        // Read the cached value taken before the trace was paused/closed
2052        if(trace->stats && trace->stats->filtered_valid)
2053                return trace->stats->filtered + lib_filtered;
2054        else
2055                return lib_filtered;
2056}
2057
2058uint64_t trace_get_dropped_packets(libtrace_t *trace)
2059{
2060        assert(trace);
2061        uint64_t ret;
2062
2063        if (trace->format->get_dropped_packets) {
2064                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2065                        return ret;
2066        } else if (trace->format->get_statistics) {
2067                struct libtrace_stat_t stat;
2068                stat.magic = LIBTRACE_STAT_MAGIC;
2069                trace_get_statistics(trace, &stat);
2070                if (stat.dropped_valid)
2071                        return stat.dropped;
2072        }
2073
2074        // Read the cached value taken before the trace was paused/closed
2075        if(trace->stats && trace->stats->dropped_valid)
2076                return trace->stats->dropped;
2077        else
2078                return UINT64_MAX;
2079}
2080
2081uint64_t trace_get_accepted_packets(libtrace_t *trace)
2082{
2083        assert(trace);
2084        int i = 0;
2085        uint64_t ret = 0;
2086        /* We always add to a thread's accepted count before dispatching the
2087         * packet to the user. However if the underlying trace is single
2088         * threaded it will also be increasing the global count. So if we
2089         * find perpkt ignore the global count.
2090         */
2091        for (i = 0; i < trace->perpkt_thread_count; i++) {
2092                ret += trace->perpkt_threads[i].accepted_packets;
2093        }
2094        return ret ? ret : trace->accepted_packets;
2095}
2096
2097libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2098{
2099        uint64_t ret;
2100        int i;
2101        assert(trace);
2102        if (stat == NULL) {
2103                if (trace->stats == NULL)
2104                        trace->stats = trace_create_statistics();
2105                stat = trace->stats;
2106        }
2107        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2108               "trace_create_statistics() to allocate statistics");
2109
2110        /* If the trace has paused or finished get the cached results */
2111        if (trace->state == STATE_PAUSED ||
2112            trace->state == STATE_FINISHED ||
2113            trace->state == STATE_FINISHING ||
2114            trace->state == STATE_JOINED) {
2115                if (trace->stats && trace->stats != stat)
2116                        *stat = *trace->stats;
2117                return stat;
2118        }
2119
2120        stat->reserved1 = 0;
2121        stat->reserved2 = 0;
2122#define X(x) stat->x ##_valid = 0;
2123        LIBTRACE_STAT_FIELDS;
2124#undef X
2125        /* Both accepted and filtered are stored against in the library */
2126        ret = trace_get_accepted_packets(trace);
2127        if (ret != UINT64_MAX) {
2128                stat->accepted_valid = 1;
2129                stat->accepted = ret;
2130        }
2131
2132        stat->filtered_valid = 1;
2133        stat->filtered = trace->filtered_packets;
2134        for (i = 0; i < trace->perpkt_thread_count; i++) {
2135                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2136        }
2137
2138        if (trace->format->get_statistics) {
2139                trace->format->get_statistics(trace, stat);
2140        } else {
2141                /* Fallback to the old way */
2142                ret = trace_get_received_packets(trace);
2143                if (ret != UINT64_MAX) {
2144                        stat->received_valid = 1;
2145                        stat->received = ret;
2146                }
2147                ret = trace_get_dropped_packets(trace);
2148                if (ret != UINT64_MAX) {
2149                        stat->dropped_valid = 1;
2150                        stat->dropped = ret;
2151                }
2152        }
2153        return stat;
2154}
2155
2156void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2157                                 libtrace_stat_t *stat)
2158{
2159        assert(trace && stat);
2160        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2161               "trace_create_statistics() to allocate statistics");
2162        stat->reserved1 = 0;
2163        stat->reserved2 = 0;
2164#define X(x) stat->x ##_valid= 0;
2165        LIBTRACE_STAT_FIELDS;
2166#undef X
2167        stat->accepted_valid = 1;
2168        stat->accepted = t->accepted_packets;
2169        stat->filtered_valid = 1;
2170        stat->filtered = t->filtered_packets;
2171        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2172                trace->format->get_thread_statistics(trace, t, stat);
2173        }
2174        return;
2175}
2176
2177libtrace_stat_t *trace_create_statistics(void) {
2178        libtrace_stat_t *ret;
2179        ret = malloc(sizeof(libtrace_stat_t));
2180        if (ret) {
2181                memset(ret, 0, sizeof(libtrace_stat_t));
2182                ret->magic = LIBTRACE_STAT_MAGIC;
2183        }
2184        return ret;
2185}
2186
2187void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2188                         libtrace_stat_t *c) {
2189        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2190               "trace_create_statistics() to allocate statistics");
2191        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2192               "trace_create_statistics() to allocate statistics");
2193        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2194               "trace_create_statistics() to allocate statistics");
2195
2196#define X(x) \
2197        if (a->x ##_valid && b->x ##_valid) { \
2198                c->x ##_valid = 1; \
2199                c->x = a->x - b->x; \
2200        } else {\
2201                c->x ##_valid = 0;\
2202        }
2203        LIBTRACE_STAT_FIELDS
2204#undef X
2205}
2206
2207void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2208                         libtrace_stat_t *c) {
2209        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2210               "trace_create_statistics() to allocate statistics");
2211        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2212               "trace_create_statistics() to allocate statistics");
2213        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2214               "trace_create_statistics() to allocate statistics");
2215
2216#define X(x) \
2217        if (a->x ##_valid&& b->x ##_valid) { \
2218                c->x ##_valid = 1; \
2219                c->x = a->x + b->x; \
2220        } else {\
2221                c->x ##_valid = 0;\
2222        }
2223        LIBTRACE_STAT_FIELDS
2224#undef X
2225}
2226
2227int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2228        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2229               "trace_create_statistics() to allocate statistics");
2230        if (format == NULL)
2231                format = "%s: %"PRIu64"\n";
2232#define xstr(s) str(s)
2233#define str(s) #s
2234#define X(x) \
2235        if (s->x ##_valid) { \
2236                if (fprintf(f, format, xstr(x), s->x) < 0) \
2237                        return -1; \
2238        }
2239        LIBTRACE_STAT_FIELDS
2240#undef X
2241        return 0;
2242}
2243
2244
2245void trace_clear_cache(libtrace_packet_t *packet) {
2246
2247        packet->l2_header = NULL;
2248        packet->l3_header = NULL;
2249        packet->l4_header = NULL;
2250        packet->link_type = 0;
2251        packet->l3_ethertype = 0;
2252        packet->transport_proto = 0;
2253        packet->capture_length = -1;
2254        packet->wire_length = -1;
2255        packet->payload_length = -1;
2256        packet->l2_remaining = 0;
2257        packet->l3_remaining = 0;
2258        packet->l4_remaining = 0;
2259
2260}
2261
2262void trace_interrupt(void) {
2263        libtrace_halt = 1;
2264}
2265
2266void register_format(struct libtrace_format_t *f) {
2267        assert(f->next==NULL); /* Can't register a format twice */
2268        f->next=formats_list;
2269        formats_list=f;
2270
2271        /* Now, verify that the format has at least the minimum functionality.
2272         *
2273         * This #if can be changed to a 1 to output warnings about inconsistent
2274         * functions being provided by format modules.  This generally is very
2275         * noisy, as almost all modules don't implement one or more functions
2276         * for various reasons.  This is very useful when checking a new
2277         * format module is sane.
2278         */ 
2279#if 0
2280        if (f->init_input) {
2281#define REQUIRE(x) \
2282                if (!f->x) \
2283                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2284                REQUIRE(read_packet);
2285                REQUIRE(start_input);
2286                REQUIRE(fin_input);
2287                REQUIRE(get_link_type);
2288                REQUIRE(get_capture_length);
2289                REQUIRE(get_wire_length);
2290                REQUIRE(get_framing_length);
2291                REQUIRE(trace_event);
2292                if (!f->get_erf_timestamp
2293                        && !f->get_seconds
2294                        && !f->get_timeval) {
2295                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2296"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2297                }
2298                if (f->trace_event!=trace_event_trace) {
2299                        /* Theres nothing that a trace file could optimise with
2300                         * config_input
2301                         */
2302                        REQUIRE(pause_input);
2303                        REQUIRE(config_input);
2304                        REQUIRE(get_fd);
2305                }
2306                else {
2307                        if (f->get_fd) {
2308                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2309                                                f->name);
2310                        }
2311                }
2312#undef REQUIRE
2313        }
2314        else {
2315#define REQUIRE(x) \
2316                if (f->x) \
2317                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2318                REQUIRE(read_packet);
2319                REQUIRE(start_input);
2320                REQUIRE(pause_input);
2321                REQUIRE(fin_input);
2322                REQUIRE(get_link_type);
2323                REQUIRE(get_capture_length);
2324                REQUIRE(get_wire_length);
2325                REQUIRE(get_framing_length);
2326                REQUIRE(trace_event);
2327                REQUIRE(get_seconds);
2328                REQUIRE(get_timeval);
2329                REQUIRE(get_erf_timestamp);
2330#undef REQUIRE
2331        }
2332        if (f->init_output) {
2333#define REQUIRE(x) \
2334                if (!f->x) \
2335                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2336                REQUIRE(write_packet);
2337                REQUIRE(start_output);
2338                REQUIRE(config_output);
2339                REQUIRE(fin_output);
2340#undef REQUIRE
2341        }
2342        else {
2343#define REQUIRE(x) \
2344                if (f->x) \
2345                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2346                REQUIRE(write_packet);
2347                REQUIRE(start_output);
2348                REQUIRE(config_output);
2349                REQUIRE(fin_output);
2350#undef REQUIRE
2351        }
2352#endif
2353}
2354
Note: See TracBrowser for help on using the repository browser.