source: lib/trace.c @ 6b98325

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since 6b98325 was 6b98325, checked in by Richard Sanger <rsangerarj@…>, 6 years ago

Removes pconfig_input() and replaces trace_config() with trace_set_<option>

  • Removes trace_pconfig completely - only trace_set_hasher is left now in trace_config
  • Rework user configuration so this is no longer modified directly. Now we just apply it directly to a trace.
  • Many minor documentation fixes and additions
  • Property mode set to 100644
File size: 65.4 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008,2009,2010 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        if (!formats_list) {
139                duck_constructor();
140                erf_constructor();
141                tsh_constructor();
142                legacy_constructor();
143                atmhdr_constructor();
144                linuxring_constructor();
145                linuxnative_constructor();
146#ifdef HAVE_LIBPCAP
147                pcap_constructor();
148#endif
149                bpf_constructor();
150                pcapfile_constructor();
151                rt_constructor();
152#ifdef HAVE_DAG
153                dag_constructor();
154#endif
155#ifdef HAVE_DPDK
156        dpdk_constructor();
157#endif
158        }
159}
160
161/* Prints help information for libtrace
162 *
163 * Function prints out some basic help information regarding libtrace,
164 * and then prints out the help() function registered with each input module
165 */
166DLLEXPORT void trace_help(void) {
167        struct libtrace_format_t *tmp;
168        trace_init();
169        printf("libtrace %s\n\n",PACKAGE_VERSION);
170        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
171        for(tmp=formats_list;tmp;tmp=tmp->next) {
172                if (tmp->help)
173                        tmp->help();
174        }
175}
176
177#define URI_PROTO_LINE 16U
178
179/* Try to guess which format module is appropriate for a given trace file or
180 * device */
181static void guess_format(libtrace_t *libtrace, const char *filename)
182{
183        struct libtrace_format_t *tmp;
184       
185        /* Try and guess based on filename */
186        for(tmp = formats_list; tmp; tmp=tmp->next) {
187                if (tmp->probe_filename && tmp->probe_filename(filename)) {
188                        libtrace->format = tmp;
189                        libtrace->uridata = strdup(filename);
190                        return;
191                }
192        }
193
194        libtrace->io = wandio_create(filename);
195        if (!libtrace->io)
196                return;
197
198        /* Try and guess based on file magic */
199        for(tmp = formats_list; tmp; tmp=tmp->next) {
200                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
201                        libtrace->format = tmp;
202                        libtrace->uridata = strdup(filename);
203                        return;
204                }
205        }
206       
207        /* Oh well */
208        return;
209}
210
211/* Creates an input trace from a URI
212 *
213 * @params char * containing a valid libtrace URI
214 * @returns opaque pointer to a libtrace_t
215 *
216 * Some valid URI's are:
217 *  erf:/path/to/erf/file
218 *  erf:/path/to/erf/file.gz
219 *  erf:-                       (stdin)
220 *  dag:/dev/dagcard
221 *  pcapint:pcapinterface               (eg: pcapint:eth0)
222 *  pcapfile:/path/to/pcap/file
223 *  pcapfile:-
224 *  int:interface                       (eg: int:eth0) only on Linux
225 *  rt:hostname
226 *  rt:hostname:port
227 *
228 * If an error occured when attempting to open a trace, NULL is returned
229 * and an error is output to stdout.
230 */
231DLLEXPORT libtrace_t *trace_create(const char *uri) {
232        libtrace_t *libtrace = 
233                        (libtrace_t *)malloc(sizeof(libtrace_t));
234        char *scan = 0;
235        const char *uridata = 0;                 
236
237        trace_init();
238
239        assert(uri && "Passing NULL to trace_create makes me a very sad program");
240
241        if (!libtrace) {
242                /* Out of memory */
243                return NULL;
244        }
245       
246        libtrace->err.err_num = TRACE_ERR_NOERROR;
247        libtrace->format=NULL;
248       
249        libtrace->event.tdelta = 0.0;
250        libtrace->event.packet = NULL;
251        libtrace->event.psize = 0;
252        libtrace->event.trace_last_ts = 0.0;
253        libtrace->event.waiting = false;
254        libtrace->filter = NULL;
255        libtrace->snaplen = 0;
256        libtrace->started=false;
257        libtrace->uridata = NULL;
258        libtrace->io = NULL;
259        libtrace->filtered_packets = 0;
260        libtrace->accepted_packets = 0;
261       
262        /* Parallel inits */
263        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
264        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
265        libtrace->state = STATE_NEW;
266        libtrace->perpkt_queue_full = false;
267        libtrace->global_blob = NULL;
268        libtrace->per_pkt = NULL;
269        libtrace->reporter = NULL;
270        libtrace->hasher = NULL;
271        libtrace_zero_ocache(&libtrace->packet_freelist);
272        libtrace_zero_thread(&libtrace->hasher_thread);
273        libtrace_zero_thread(&libtrace->reporter_thread);
274        libtrace_zero_thread(&libtrace->keepalive_thread);
275        libtrace->reporter_thread.type = THREAD_EMPTY;
276        libtrace->perpkt_thread_count = 0;
277        libtrace->perpkt_threads = NULL;
278        libtrace->tracetime = 0;
279        libtrace->first_packets.first = 0;
280        libtrace->first_packets.count = 0;
281        libtrace->first_packets.packets = NULL;
282        libtrace->stats = NULL;
283        libtrace->pread = NULL;
284        ZERO_USER_CONFIG(libtrace->config);
285
286        /* Parse the URI to determine what sort of trace we are dealing with */
287        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
288                /* Could not parse the URI nicely */
289                guess_format(libtrace,uri);
290                if (!libtrace->format) {
291                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
292                        return libtrace;
293                }
294        }
295        else {
296                struct libtrace_format_t *tmp;
297
298                /* Find a format that matches the first part of the URI */
299                for (tmp=formats_list;tmp;tmp=tmp->next) {
300                        if (strlen(scan) == strlen(tmp->name) &&
301                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
302                                        ) {
303                                libtrace->format=tmp;
304                                break;
305                        }
306                }
307
308                if (libtrace->format == 0) {
309                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
310                                        "Unknown format (%s)",scan);
311                        return libtrace;
312                }
313
314                libtrace->uridata = strdup(uridata);
315        }
316        /* libtrace->format now contains the type of uri
317         * libtrace->uridata contains the appropriate data for this
318         */
319       
320        /* Call the init_input function for the matching capture format */ 
321        if (libtrace->format->init_input) {
322                int err=libtrace->format->init_input(libtrace);
323                assert (err==-1 || err==0);
324                if (err==-1) {
325                        /* init_input should call trace_set_err to set
326                         * the error message
327                         */
328                        return libtrace;
329                }
330        } else {
331                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
332                                "Format does not support input (%s)",scan);
333                return libtrace;
334        }
335       
336        if (scan)
337                free(scan);
338        libtrace->err.err_num=TRACE_ERR_NOERROR;
339        libtrace->err.problem[0]='\0';
340        return libtrace;
341}
342
343/* Creates a "dummy" trace file that has only the format type set.
344 *
345 * @returns opaque pointer to a (sparsely initialised) libtrace_t
346 *
347 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
348 * with the dummy trace. Its intended purpose is to act as a packet->trace for
349 * libtrace_packet_t's that are not associated with a libtrace_t structure.
350 */
351DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
352        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
353        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
354        char *uridata;
355        struct libtrace_format_t *tmp;
356
357        trace_init();
358       
359        libtrace->err.err_num = TRACE_ERR_NOERROR;
360
361        if((uridata = strchr(uri,':')) == NULL) {
362                xstrncpy(scan, uri, strlen(uri));
363        } else {
364                xstrncpy(scan,uri, (size_t)(uridata - uri));
365        }
366       
367        libtrace->err.err_num = TRACE_ERR_NOERROR;
368        libtrace->format=NULL;
369       
370        libtrace->event.tdelta = 0.0;
371        libtrace->event.packet = NULL;
372        libtrace->event.psize = 0;
373        libtrace->event.trace_last_ts = 0.0;
374        libtrace->filter = NULL;
375        libtrace->snaplen = 0;
376        libtrace->started=false;
377        libtrace->uridata = NULL;
378        libtrace->io = NULL;
379        libtrace->filtered_packets = 0;
380       
381        /* Parallel inits */
382        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
383        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
384        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
385        libtrace->perpkt_queue_full = false;
386        libtrace->global_blob = NULL;
387        libtrace->per_pkt = NULL;
388        libtrace->reporter = NULL;
389        libtrace->hasher = NULL;
390        libtrace_zero_ocache(&libtrace->packet_freelist);
391        libtrace_zero_thread(&libtrace->hasher_thread);
392        libtrace_zero_thread(&libtrace->reporter_thread);
393        libtrace_zero_thread(&libtrace->keepalive_thread);
394        libtrace->reporter_thread.type = THREAD_EMPTY;
395        libtrace->perpkt_thread_count = 0;
396        libtrace->perpkt_threads = NULL;
397        libtrace->tracetime = 0;
398        libtrace->stats = NULL;
399        libtrace->pread = NULL;
400        ZERO_USER_CONFIG(libtrace->config);
401       
402        for(tmp=formats_list;tmp;tmp=tmp->next) {
403                if (strlen(scan) == strlen(tmp->name) &&
404                                !strncasecmp(scan,
405                                        tmp->name,
406                                        strlen(scan))) {
407                                libtrace->format=tmp;
408                                break;
409                                }
410        }
411        if (libtrace->format == 0) {
412                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
413                                "Unknown format (%s)",scan);
414        }
415
416        libtrace->format_data = NULL;
417        free(scan);
418        return libtrace;
419
420}
421
422/* Creates an output trace from a URI.
423 *
424 * @param uri   the uri string describing the output format and destination
425 * @returns opaque pointer to a libtrace_output_t
426 *
427 *  If an error occured when attempting to open the output trace, NULL is
428 *  returned and trace_errno is set.
429 */
430       
431DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
432        libtrace_out_t *libtrace = 
433                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
434       
435        char *scan = 0;
436        const char *uridata = 0;
437        struct libtrace_format_t *tmp;
438
439        trace_init();
440
441        libtrace->err.err_num = TRACE_ERR_NOERROR;
442        strcpy(libtrace->err.problem,"Error message set\n");
443        libtrace->format = NULL;
444        libtrace->uridata = NULL;
445       
446        /* Parse the URI to determine what capture format we want to write */
447
448        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
449                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
450                                "Bad uri format (%s)",uri);
451                return libtrace;
452        }
453       
454        /* Attempt to find the format in the list of supported formats */
455        for(tmp=formats_list;tmp;tmp=tmp->next) {
456                if (strlen(scan) == strlen(tmp->name) &&
457                                !strncasecmp(scan,
458                                        tmp->name,
459                                        strlen(scan))) {
460                                libtrace->format=tmp;
461                                break;
462                                }
463        }
464        free(scan);
465
466        if (libtrace->format == NULL) {
467                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
468                                "Unknown output format (%s)",scan);
469                return libtrace;
470        }
471        libtrace->uridata = strdup(uridata);
472
473        /* libtrace->format now contains the type of uri
474         * libtrace->uridata contains the appropriate data for this
475         */
476
477        if (libtrace->format->init_output) {
478                /* 0 on success, -1 on failure */
479                switch(libtrace->format->init_output(libtrace)) {
480                        case -1: /* failure */
481                                return libtrace;
482                        case 0: /* success */
483                                break;
484                        default:
485                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
486                }
487        } else {
488                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
489                                "Format does not support writing (%s)",scan);
490                return libtrace;
491        }
492
493
494        libtrace->started=false;
495        return libtrace;
496}
497
498/* Start an input trace
499 * @param libtrace      the input trace to start
500 * @returns 0 on success
501 *
502 * This does the work associated with actually starting up
503 * the trace.  it may fail.
504 */
505DLLEXPORT int trace_start(libtrace_t *libtrace)
506{
507        assert(libtrace);
508        if (trace_is_err(libtrace))
509                return -1;
510        if (libtrace->format->start_input) {
511                int ret=libtrace->format->start_input(libtrace);
512                if (ret < 0) {
513                        return ret;
514                }
515        }
516
517        libtrace->started=true;
518        return 0;
519}
520
521/* Start an output trace */
522DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
523{
524        assert(libtrace);
525        if (libtrace->format->start_output) {
526                int ret=libtrace->format->start_output(libtrace);
527                if (ret < 0) {
528                        return ret;
529                }
530        }
531
532        libtrace->started=true;
533        return 0;
534}
535
536DLLEXPORT int trace_pause(libtrace_t *libtrace)
537{
538        assert(libtrace);
539        if (!libtrace->started) {
540                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
541                return -1;
542        }
543        if (libtrace->format->pause_input)
544                libtrace->format->pause_input(libtrace);
545        libtrace->started=false;
546        return 0;
547}
548
549DLLEXPORT int trace_config(libtrace_t *libtrace,
550                trace_option_t option,
551                void *value)
552{
553        int ret;
554
555        if (trace_is_err(libtrace)) {
556                return -1;
557        }
558
559        if (option == TRACE_OPTION_HASHER)
560                return trace_set_hasher(libtrace,
561                                        (enum hasher_types) *((int *) value),
562                                        NULL, NULL);
563
564        /* If the capture format supports configuration, try using their
565         * native configuration first */
566        if (libtrace->format->config_input) {
567                ret=libtrace->format->config_input(libtrace,option,value);
568                if (ret==0)
569                        return 0;
570        }
571
572        /* If we get here, either the native configuration failed or the
573         * format did not support configuration. However, libtrace can
574         * deal with some options itself, so give that a go */
575        switch(option) {
576                case TRACE_OPTION_SNAPLEN:
577                        /* Clear the error if there was one */
578                        if (trace_is_err(libtrace)) {
579                                trace_get_err(libtrace);
580                        }
581                        if (*(int*)value<0 
582                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
583                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
584                                        "Invalid snap length");
585                        }
586                        libtrace->snaplen=*(int*)value;
587                        return 0;
588                case TRACE_OPTION_FILTER:
589                        /* Clear the error if there was one */
590                        if (trace_is_err(libtrace)) {
591                                trace_get_err(libtrace);
592                        }
593                        libtrace->filter=(libtrace_filter_t *)value;
594                        return 0;
595                case TRACE_OPTION_PROMISC:
596                        if (!trace_is_err(libtrace)) {
597                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
598                                                "Promisc mode is not supported by this format module");
599                        }
600                        return -1;
601                case TRACE_OPTION_META_FREQ:
602                        if (!trace_is_err(libtrace)) {
603                                trace_set_err(libtrace, 
604                                                TRACE_ERR_OPTION_UNAVAIL,
605                                                "This format does not support meta-data gathering");
606                        }
607                        return -1;
608                case TRACE_OPTION_EVENT_REALTIME:
609                        if (!trace_is_err(libtrace)) {
610                                trace_set_err(libtrace, 
611                                                TRACE_ERR_OPTION_UNAVAIL,
612                                                "This format does not support realtime events");
613                        }
614                        return -1;
615                case TRACE_OPTION_HASHER:
616                        /* Dealt with earlier */
617                        return -1;
618                       
619        }
620        if (!trace_is_err(libtrace)) {
621                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
622                        "Unknown option %i", option);
623        }
624        return -1;
625}
626
627DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
628        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
629}
630
631DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
632        int tmp = promisc;
633        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
634}
635
636DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
637        return trace_config(trace, TRACE_OPTION_FILTER, filter);
638}
639
640DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
641        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
642}
643
644DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
645        int tmp = realtime;
646        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
647}
648
649DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
650                trace_option_output_t option,
651                void *value) {
652       
653        /* Unlike the input options, libtrace does not natively support any of
654         * the output options - the format module must be able to deal with
655         * them. */
656        if (libtrace->format->config_output) {
657                return libtrace->format->config_output(libtrace, option, value);
658        }
659        return -1;
660}
661
662/* Close an input trace file, freeing up any resources it may have been using
663 *
664 */
665DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
666        int i;
667        assert(libtrace);
668
669        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
670        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
671
672        /* destroy any packets that are still around */
673        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
674                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
675                        if(libtrace->first_packets.packets[i].packet) {
676                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
677                        }
678                }
679                free(libtrace->first_packets.packets);
680                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
681        }
682
683        if (libtrace->format) {
684                if (libtrace->started && libtrace->format->pause_input)
685                        libtrace->format->pause_input(libtrace);
686                if (libtrace->format->fin_input)
687                        libtrace->format->fin_input(libtrace);
688        }
689        /* Need to free things! */
690        if (libtrace->uridata)
691                free(libtrace->uridata);
692
693        if (libtrace->stats)
694                free(libtrace->stats);
695       
696        /* Empty any packet memory */
697        if (libtrace->state != STATE_NEW) {
698                // This has all of our packets
699                libtrace_ocache_destroy(&libtrace->packet_freelist);
700                if (libtrace->combiner.destroy)
701                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
702                free(libtrace->perpkt_threads);
703                libtrace->perpkt_threads = NULL;
704                libtrace->perpkt_thread_count = 0;
705        }
706       
707        if (libtrace->event.packet) {
708                /* Don't use trace_destroy_packet here - there is almost
709                 * certainly going to be another libtrace_packet_t that is
710                 * pointing to the buffer for this packet, so we don't want
711                 * to free it. Rather, it will get freed when the user calls
712                 * trace_destroy_packet on the libtrace_packet_t that they
713                 * own.
714                 *
715                 * All we need to do then is free our packet structure itself.
716                 */
717                 free(libtrace->event.packet);
718        }
719        free(libtrace);
720}
721
722
723DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
724        assert(libtrace);
725
726        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
727        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
728
729        /* Don't call pause_input or fin_input, because we should never have
730         * used this trace to do any reading anyway. Do make sure we free
731         * any format_data that has been created, though. */
732        if (libtrace->format_data)
733                free(libtrace->format_data);
734        free(libtrace);
735}
736/* Close an output trace file, freeing up any resources it may have been using
737 *
738 * @param libtrace      the output trace file to be destroyed
739 */
740DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
741{
742        assert(libtrace);
743        if (libtrace->format && libtrace->format->fin_output)
744                libtrace->format->fin_output(libtrace);
745        if (libtrace->uridata)
746                free(libtrace->uridata);
747        free(libtrace);
748}
749
750DLLEXPORT libtrace_packet_t *trace_create_packet(void)
751{
752        libtrace_packet_t *packet =
753                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
754
755        packet->buf_control=TRACE_CTRL_PACKET;
756        trace_clear_cache(packet);
757        return packet;
758}
759
760DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
761        libtrace_packet_t *dest = 
762                (libtrace_packet_t *)malloc(sizeof(libtrace_packet_t));
763        if (!dest) {
764                printf("Out of memory constructing packet\n");
765                abort();
766        }
767        dest->trace=packet->trace;
768        dest->buffer=malloc(65536);
769        if (!dest->buffer) {
770                printf("Out of memory allocating buffer memory\n");
771                abort();
772        }
773        dest->header=dest->buffer;
774        dest->payload=(void*)
775                ((char*)dest->buffer+trace_get_framing_length(packet));
776        dest->type=packet->type;
777        dest->buf_control=TRACE_CTRL_PACKET;
778        dest->order = packet->order;
779        dest->hash = packet->hash;
780        dest->error = packet->error;
781        /* Reset the cache - better to recalculate than try to convert
782         * the values over to the new packet */
783        trace_clear_cache(dest);       
784        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
785         * as much as possible */
786        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
787        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
788
789        return dest;
790}
791
792/** Destroy a packet object
793 */
794DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
795        /* Free any resources possibly associated with the packet */
796        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
797                packet->trace->format->fin_packet(packet);
798        }
799       
800        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
801                free(packet->buffer);
802        }
803        packet->buf_control=(buf_control_t)'\0'; 
804                                /* A "bad" value to force an assert
805                                 * if this packet is ever reused
806                                 */
807        free(packet);
808}
809
810/**
811 * Removes any possible data stored againt the trace and releases any data.
812 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
813 * use trace_destroy_packet() for those diabolical purposes.
814 */
815void trace_fin_packet(libtrace_packet_t *packet) {
816        if (packet)
817        {
818                if (packet->trace && packet->trace->format->fin_packet) {
819                        packet->trace->format->fin_packet(packet);
820                        //gettimeofday(&tv, NULL);
821                        //printf ("%d.%06d DESTROYED #%"PRIu64"\n", tv.tv_sec, tv.tv_usec, trace_packet_get(packet));
822                }
823
824                // No matter what we remove the header and link pointers
825                packet->trace = NULL;
826                packet->header = NULL;
827                packet->payload = NULL;
828
829                if (packet->buf_control != TRACE_CTRL_PACKET)
830                {
831                        packet->buffer = NULL;
832                }
833
834                trace_clear_cache(packet);
835                packet->hash = 0;
836                packet->order = 0;
837        }
838}
839
840/* Read one packet from the trace into buffer. Note that this function will
841 * block until a packet is read (or EOF is reached).
842 *
843 * @param libtrace      the libtrace opaque pointer
844 * @param packet        the packet opaque pointer
845 * @returns 0 on EOF, negative value on error
846 *
847 */
848DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
849
850        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
851        if (trace_is_err(libtrace))
852                return -1;
853        if (!libtrace->started) {
854                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
855                return -1;
856        }
857        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
858                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
859                return -1;
860        }
861        assert(packet);
862
863        if (libtrace->format->read_packet) {
864                do {
865                        size_t ret;
866                        int filtret;
867                        /* Finalise the packet, freeing any resources the format module
868                         * may have allocated it and zeroing all data associated with it.
869                         */
870                        trace_fin_packet(packet);
871                        /* Store the trace we are reading from into the packet opaque
872                         * structure */
873                        packet->trace = libtrace;
874                        ret=libtrace->format->read_packet(libtrace,packet);
875                        if (ret==(size_t)-1 || ret==0) {
876                                return ret;
877                        }
878                        if (libtrace->filter) {
879                                /* If the filter doesn't match, read another
880                                 * packet
881                                 */
882                                filtret = trace_apply_filter(libtrace->filter, packet);
883                                if (filtret == -1) {
884                                        /* Error compiling filter, probably */
885                                        return ~0U;
886                                }
887                               
888                                if (filtret == 0) {
889                                        ++libtrace->filtered_packets;
890                                        continue;
891                                }
892                        }
893                        if (libtrace->snaplen>0) {
894                                /* Snap the packet */
895                                trace_set_capture_length(packet,
896                                                libtrace->snaplen);
897                        }
898                        trace_packet_set_order(packet, libtrace->accepted_packets);
899                        ++libtrace->accepted_packets;
900                        return ret;
901                } while(1);
902        }
903        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
904        return ~0U;
905}
906
907/* Converts the provided buffer into a libtrace packet of the given type.
908 *
909 * Unlike trace_construct_packet, the buffer is expected to begin with the
910 * appropriate capture format header for the format type that the packet is
911 * being converted to. This also allows for a packet to be converted into
912 * just about capture format that is supported by libtrace, provided the
913 * format header is present in the buffer.
914 *
915 * This function is primarily used to convert packets received via the RT
916 * protocol back into their original capture format. The RT header encapsulates
917 * the original capture format header, so after removing it the packet must
918 * have it's header and payload pointers updated and the packet format and type
919 * changed, amongst other things.
920 *
921 * Intended only for internal use at this point - this function is not
922 * available through the external libtrace API.
923 */
924int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
925                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
926
927        assert(packet);
928        assert(trace);
929       
930        /* XXX Proper error handling?? */
931        if (buffer == NULL)
932                return -1;
933
934        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
935                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
936                return -1;
937        }
938       
939        packet->trace = trace;
940       
941        /* Clear packet cache */
942        trace_clear_cache(packet);
943
944        if (trace->format->prepare_packet) {
945                return trace->format->prepare_packet(trace, packet,
946                                buffer, rt_type, flags);
947        }
948        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
949                        "This format does not support preparing packets\n");
950        return -1;
951
952}
953
954/* Writes a packet to the specified output trace
955 *
956 * @param libtrace      describes the output format, destination, etc.
957 * @param packet        the packet to be written out
958 * @returns the number of bytes written, -1 if write failed
959 */
960DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
961        assert(libtrace);
962        assert(packet);
963        /* Verify the packet is valid */
964        if (!libtrace->started) {
965                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
966                        "Trace is not started before trace_write_packet");
967                return -1;
968        }
969
970        if (libtrace->format->write_packet) {
971                return libtrace->format->write_packet(libtrace, packet);
972        }
973        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
974                "This format does not support writing packets");
975        return -1;
976}
977
978/* Get a pointer to the first byte of the packet payload */
979DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
980                libtrace_linktype_t *linktype, uint32_t *remaining) {
981        int cap_len;
982        int wire_len;
983
984        assert(packet != NULL);
985        if (linktype) *linktype = trace_get_link_type(packet);
986        if (remaining) {
987                /* I think we should choose the minimum of the capture and
988                 * wire lengths to be the "remaining" value. If the packet has
989                 * been padded to increase the capture length, we don't want
990                 * to allow subsequent protocol decoders to consider the
991                 * padding as part of the packet.
992                 *
993                 * For example, in Auck 4 there is a trace where the IP header
994                 * length is incorrect (24 bytes) followed by a 20 byte TCP
995                 * header. Total IP length is 40 bytes. As a result, the
996                 * legacyatm padding gets treated as the "missing" bytes of
997                 * the TCP header, which isn't the greatest. We're probably
998                 * better off returning an incomplete TCP header in that case.
999                 */
1000               
1001                cap_len = trace_get_capture_length(packet);
1002                wire_len = trace_get_wire_length(packet);
1003
1004                assert(cap_len >= 0);
1005
1006                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1007                 * massively negative wire lens. We could assert fail here on
1008                 * them, but we could at least try the capture length instead.
1009                 *
1010                 * You may still run into problems if you try to write that
1011                 * packet, but at least reading should work OK.
1012                 */
1013                if (wire_len < 0)
1014                        *remaining = cap_len;
1015                else if (wire_len < cap_len)
1016                        *remaining = wire_len;
1017                else
1018                        *remaining = cap_len;
1019                /* *remaining = trace_get_capture_length(packet); */
1020        }
1021        return (void *) packet->payload;
1022}
1023
1024
1025/* Get a pointer to the first byte of the packet payload
1026 *
1027 * DEPRECATED - use trace_get_packet_buffer() instead */
1028DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1029        return (void *)packet->payload;
1030}
1031
1032/* Get the current time in DAG time format
1033 * @param packet        a pointer to a libtrace_packet structure
1034 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1035 * past 1970-01-01, the lower 32bits are partial seconds)
1036 */ 
1037DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1038        if (packet->trace->format->get_erf_timestamp) {
1039                /* timestamp -> timestamp */
1040                return packet->trace->format->get_erf_timestamp(packet);
1041        } else if (packet->trace->format->get_timespec) {
1042                /* timespec -> timestamp */
1043                struct timespec ts;
1044                ts = packet->trace->format->get_timespec(packet);
1045                return ((((uint64_t)ts.tv_sec) << 32) +
1046                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1047        } else if (packet->trace->format->get_timeval) {
1048                /* timeval -> timestamp */
1049                struct timeval tv;
1050                tv = packet->trace->format->get_timeval(packet);
1051                return ((((uint64_t)tv.tv_sec) << 32) +
1052                                (((uint64_t)tv.tv_usec << 32)/1000000));
1053        } else if (packet->trace->format->get_seconds) {
1054                /* seconds -> timestamp */
1055                double seconds = packet->trace->format->get_seconds(packet);
1056                return (((uint64_t)seconds)<<32)
1057                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1058        }
1059        else {
1060                return (uint64_t)0;
1061        }
1062                     
1063}
1064
1065/* Get the current time in struct timeval
1066 * @param packet        a pointer to a libtrace_packet structure
1067 *
1068 * @returns time that this packet was seen in a struct timeval
1069 * @author Daniel Lawson
1070 * @author Perry Lorier
1071 */ 
1072DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1073        struct timeval tv;
1074        uint64_t ts = 0;
1075        if (packet->trace->format->get_timeval) {
1076                /* timeval -> timeval */
1077                tv = packet->trace->format->get_timeval(packet);
1078        } else if (packet->trace->format->get_erf_timestamp) {
1079                /* timestamp -> timeval */
1080                ts = packet->trace->format->get_erf_timestamp(packet);
1081                tv.tv_sec = ts >> 32;
1082                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1083                if (tv.tv_usec >= 1000000) {
1084                        tv.tv_usec -= 1000000;
1085                        tv.tv_sec += 1;
1086                }
1087        } else if (packet->trace->format->get_timespec) {
1088                struct timespec ts = packet->trace->format->get_timespec(packet);
1089                tv.tv_sec = ts.tv_sec;
1090                tv.tv_usec = ts.tv_nsec/1000;
1091        } else if (packet->trace->format->get_seconds) {
1092                /* seconds -> timeval */
1093                double seconds = packet->trace->format->get_seconds(packet);
1094                tv.tv_sec = (uint32_t)seconds;
1095                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1096        }
1097        else {
1098                tv.tv_sec=-1;
1099                tv.tv_usec=-1;
1100        }
1101
1102    return tv;
1103}
1104
1105DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1106        struct timespec ts;
1107
1108        if (packet->trace->format->get_timespec) {
1109                return packet->trace->format->get_timespec(packet);
1110        } else if (packet->trace->format->get_erf_timestamp) {
1111                /* timestamp -> timeval */
1112                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1113                ts.tv_sec = erfts >> 32;
1114                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1115                if (ts.tv_nsec >= 1000000000) {
1116                        ts.tv_nsec -= 1000000000;
1117                        ts.tv_sec += 1;
1118                }
1119                return ts;
1120        } else if (packet->trace->format->get_timeval) {
1121                /* timeval -> timespec */
1122                struct timeval tv = packet->trace->format->get_timeval(packet);
1123                ts.tv_sec = tv.tv_sec;
1124                ts.tv_nsec = tv.tv_usec*1000;
1125                return ts;
1126        } else if (packet->trace->format->get_seconds) {
1127                /* seconds -> timespec */
1128                double seconds = packet->trace->format->get_seconds(packet);
1129                ts.tv_sec = (uint32_t)seconds;
1130                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1131                return ts;
1132        }
1133        else {
1134                ts.tv_sec=-1;
1135                ts.tv_nsec=-1;
1136                return ts;
1137        }
1138}
1139
1140
1141/* Get the current time in floating point seconds
1142 * @param packet        a pointer to a libtrace_packet structure
1143 * @returns time that this packet was seen in 64bit floating point seconds
1144 */ 
1145DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1146        double seconds = 0.0;
1147
1148        if (packet->trace->format->get_seconds) {
1149                /* seconds->seconds */
1150                seconds = packet->trace->format->get_seconds(packet);
1151        } else if (packet->trace->format->get_erf_timestamp) {
1152                /* timestamp -> seconds */
1153                uint64_t ts = 0;
1154                ts = packet->trace->format->get_erf_timestamp(packet);
1155                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1156        } else if (packet->trace->format->get_timespec) {
1157                /* timespec -> seconds */
1158                struct timespec ts;
1159                ts = packet->trace->format->get_timespec(packet);
1160                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1161        } else if (packet->trace->format->get_timeval) {
1162                /* timeval -> seconds */
1163                struct timeval tv;
1164                tv = packet->trace->format->get_timeval(packet);
1165                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1166        }
1167
1168        return seconds;
1169}
1170
1171DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1172{
1173        /* Cache the capture length */
1174        if (packet->capture_length == -1) {
1175                if (!packet->trace->format->get_capture_length)
1176                        return ~0U;
1177                /* Cast away constness because this is "just" a cache */
1178                ((libtrace_packet_t*)packet)->capture_length = 
1179                        packet->trace->format->get_capture_length(packet);
1180        }
1181
1182        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1183
1184        return packet->capture_length;
1185}
1186       
1187/* Get the size of the packet as it was seen on the wire.
1188 * @param packet        a pointer to a libtrace_packet structure
1189 *
1190 * @returns the size of the packet as it was on the wire.
1191 * @note Due to the trace being a header capture, or anonymisation this may
1192 * not be the same as the Capture Len.
1193 */ 
1194DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1195       
1196        if (packet->wire_length == -1) {
1197                if (!packet->trace->format->get_wire_length) 
1198                        return ~0U;
1199                ((libtrace_packet_t *)packet)->wire_length = 
1200                        packet->trace->format->get_wire_length(packet);
1201        }
1202
1203        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1204        return packet->wire_length;
1205
1206}
1207
1208/* Get the length of the capture framing headers.
1209 * @param packet        the packet opaque pointer
1210 * @returns the size of the packet as it was on the wire.
1211 * @note this length corresponds to the difference between the size of a
1212 * captured packet in memory, and the captured length of the packet
1213 */ 
1214DLLEXPORT SIMPLE_FUNCTION
1215size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1216        if (packet->trace->format->get_framing_length) {
1217                return packet->trace->format->get_framing_length(packet);
1218        }
1219        return ~0U;
1220}
1221
1222
1223/* Get the type of the link layer
1224 * @param packet        a pointer to a libtrace_packet structure
1225 * @returns libtrace_linktype_t
1226 */
1227DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1228
1229        if (packet->link_type == 0) {
1230                if (!packet->trace->format->get_link_type)
1231                        return TRACE_TYPE_UNKNOWN;
1232                ((libtrace_packet_t *)packet)->link_type =
1233                        packet->trace->format->get_link_type(packet);
1234        }
1235
1236        return packet->link_type;
1237}
1238
1239/* process a libtrace event
1240 * @param trace the libtrace opaque pointer
1241 * @param packet the libtrace_packet opaque pointer
1242 * @returns
1243 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1244 *  TRACE_EVENT_SLEEP   Next event in seconds
1245 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1246 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1247 * FIXME currently keeps a copy of the packet inside the trace pointer,
1248 * which in turn is stored inside the new packet object...
1249 */
1250DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1251                libtrace_packet_t *packet) {
1252        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1253
1254        if (!trace) {
1255                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1256        }
1257        assert(trace);
1258        assert(packet);
1259
1260        /* Free the last packet */
1261        trace_fin_packet(packet);
1262       
1263        /* Store the trace we are reading from into the packet opaque
1264         * structure */
1265        packet->trace = trace;
1266
1267        if (packet->trace->format->trace_event) {
1268                /* Note: incrementing accepted, filtered etc. packet
1269                 * counters is handled by the format-specific
1270                 * function so don't increment them here.
1271                 */
1272                event=packet->trace->format->trace_event(trace,packet);
1273                }
1274        return event;
1275
1276}
1277
1278/** Setup a BPF filter based on pre-compiled byte-code.
1279 * @param bf_insns      A pointer to the start of the byte-code
1280 * @param bf_len        The number of BPF instructions
1281 * @returns             an opaque pointer to a libtrace_filter_t object
1282 * @note                The supplied byte-code is not checked for correctness.
1283 * @author              Scott Raynel
1284 */
1285DLLEXPORT libtrace_filter_t *
1286trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1287{
1288#ifndef HAVE_BPF_FILTER
1289        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1290        return NULL;
1291#else
1292        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1293                malloc(sizeof(struct libtrace_filter_t));
1294        filter->filter.bf_insns = (struct bpf_insn *)
1295                malloc(sizeof(struct bpf_insn) * bf_len);
1296       
1297        memcpy(filter->filter.bf_insns, bf_insns,
1298                        bf_len * sizeof(struct bpf_insn));
1299       
1300        filter->filter.bf_len = bf_len;
1301        filter->filterstring = NULL;
1302        filter->jitfilter = NULL;
1303        /* "flag" indicates that the filter member is valid */
1304        filter->flag = 1; 
1305       
1306        return filter;
1307#endif
1308}
1309
1310/* Create a BPF filter
1311 * @param filterstring a char * containing the bpf filter string
1312 * @returns opaque pointer pointer to a libtrace_filter_t object
1313 */
1314DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1315#ifdef HAVE_BPF_FILTER
1316        libtrace_filter_t *filter = (libtrace_filter_t*)
1317                                malloc(sizeof(libtrace_filter_t));
1318        filter->filterstring = strdup(filterstring);
1319        filter->jitfilter = NULL;
1320        filter->flag = 0;
1321        return filter;
1322#else
1323        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1324        return NULL;
1325#endif
1326}
1327
1328DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1329{
1330#ifdef HAVE_BPF_FILTER
1331        free(filter->filterstring);
1332        if (filter->flag)
1333                pcap_freecode(&filter->filter);
1334#ifdef HAVE_LLVM
1335        if (filter->jitfilter) 
1336                destroy_program(filter->jitfilter);
1337#endif
1338        free(filter);
1339#else
1340
1341#endif
1342}
1343
1344/* Compile a bpf filter, now we know the link type for the trace that we're
1345 * applying it to.
1346 *
1347 * @internal
1348 *
1349 * @returns -1 on error, 0 on success
1350 */
1351static int trace_bpf_compile(libtrace_filter_t *filter,
1352                const libtrace_packet_t *packet,
1353                void *linkptr, 
1354                libtrace_linktype_t linktype    ) {
1355#ifdef HAVE_BPF_FILTER
1356        /* It just so happens that the underlying libs used by pthread arn't
1357         * thread safe, namely lex/flex thingys, so single threaded compile
1358         * multi threaded running should be safe.
1359         */
1360        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1361        assert(filter);
1362
1363        /* If this isn't a real packet, then fail */
1364        if (!linkptr) {
1365                trace_set_err(packet->trace,
1366                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1367                return -1;
1368        }
1369       
1370        if (filter->filterstring && ! filter->flag) {
1371                pcap_t *pcap = NULL;
1372                if (linktype==(libtrace_linktype_t)-1) {
1373                        trace_set_err(packet->trace,
1374                                        TRACE_ERR_BAD_FILTER,
1375                                        "Packet has an unknown linktype");
1376                        return -1;
1377                }
1378                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1379                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1380                                        "Unknown pcap equivalent linktype");
1381                        return -1;
1382                }
1383                assert (pthread_mutex_lock(&mutex) == 0);
1384                /* Make sure not one bet us to this */
1385                if (filter->flag) {
1386                        printf("Someone bet us to compile the filter\n");
1387                        assert (pthread_mutex_unlock(&mutex) == 0);
1388                        return 1;
1389                }
1390                pcap=(pcap_t *)pcap_open_dead(
1391                                (int)libtrace_to_pcap_dlt(linktype),
1392                                1500U);
1393                /* build filter */
1394                assert(pcap);
1395                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1396                                        1, 0)) {
1397                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1398                                        "Unable to compile the filter \"%s\": %s", 
1399                                        filter->filterstring,
1400                                        pcap_geterr(pcap));
1401                        pcap_close(pcap);
1402                        assert (pthread_mutex_unlock(&mutex) == 0);
1403                        return -1;
1404                }
1405                pcap_close(pcap);
1406                filter->flag=1;
1407                assert (pthread_mutex_unlock(&mutex) == 0);
1408        }
1409        return 0;
1410#else
1411        assert(!"Internal bug: This should never be called when BPF not enabled");
1412        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1413                                "Feature unavailable");
1414        return -1;
1415#endif
1416}
1417
1418DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1419                        const libtrace_packet_t *packet) {
1420#ifdef HAVE_BPF_FILTER
1421        void *linkptr = 0;
1422        uint32_t clen = 0;
1423        bool free_packet_needed = false;
1424        int ret;
1425        libtrace_linktype_t linktype;
1426        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1427#ifdef HAVE_LLVM
1428        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1429#endif
1430
1431        assert(filter);
1432        assert(packet);
1433
1434        /* Match all non-data packets as we probably want them to pass
1435         * through to the caller */
1436        linktype = trace_get_link_type(packet);
1437
1438        if (linktype == TRACE_TYPE_NONDATA)
1439                return 1;       
1440
1441        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1442               
1443                /* If we cannot get a suitable DLT for the packet, it may
1444                 * be because the packet is encapsulated in a link type that
1445                 * does not correspond to a DLT. Therefore, we should try
1446                 * popping off headers until we either can find a suitable
1447                 * link type or we can't do any more sensible decapsulation. */
1448               
1449                /* Copy the packet, as we don't want to trash the one we
1450                 * were passed in */
1451                packet_copy=trace_copy_packet(packet);
1452                free_packet_needed=true;
1453
1454                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1455                        if (!demote_packet(packet_copy)) {
1456                                trace_set_err(packet->trace, 
1457                                                TRACE_ERR_NO_CONVERSION,
1458                                                "pcap does not support this format");
1459                                if (free_packet_needed) {
1460                                        trace_destroy_packet(packet_copy);
1461                                }
1462                                return -1;
1463                        }
1464                        linktype = trace_get_link_type(packet_copy);
1465                }
1466
1467        }
1468       
1469        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1470        if (!linkptr) {
1471                if (free_packet_needed) {
1472                        trace_destroy_packet(packet_copy);
1473                }
1474                return 0;
1475        }
1476
1477        /* We need to compile the filter now, because before we didn't know
1478         * what the link type was
1479         */
1480        // Note internal mutex locking used here
1481        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1482                if (free_packet_needed) {
1483                        trace_destroy_packet(packet_copy);
1484                }
1485                return -1;
1486        }
1487
1488        /* If we're jitting, we may need to JIT the BPF code now too */
1489#if HAVE_LLVM
1490        if (!filter->jitfilter) {
1491                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1492                /* Again double check here like the bpf filter */
1493                if(filter->jitfilter) 
1494                        printf("Someone bet us to compile the JIT thingy\n");
1495                else
1496                /* Looking at compile_program source this appears to be thread safe
1497                 * however if this gets called twice we will leak this memory :(
1498                 * as such lock here anyways */
1499                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1500                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1501        }
1502#endif
1503
1504        assert(filter->flag);
1505        /* Now execute the filter */
1506#if HAVE_LLVM
1507        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1508#else
1509        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1510#endif
1511
1512        /* If we copied the packet earlier, make sure that we free it */
1513        if (free_packet_needed) {
1514                trace_destroy_packet(packet_copy);
1515        }
1516        return ret;
1517#else
1518        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1519        return 0;
1520#endif
1521}
1522
1523/* Set the direction flag, if it has one
1524 * @param packet the packet opaque pointer
1525 * @param direction the new direction (0,1,2,3)
1526 * @returns a signed value containing the direction flag, or -1 if this is not supported
1527 */
1528DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1529                libtrace_direction_t direction) 
1530{
1531        assert(packet);
1532        if (packet->trace->format->set_direction) {
1533                return packet->trace->format->set_direction(packet,direction);
1534        }
1535        return (libtrace_direction_t)~0U;
1536}
1537
1538/* Get the direction flag, if it has one
1539 * @param packet a pointer to a libtrace_packet structure
1540 * @returns a signed value containing the direction flag, or -1 if this is not supported
1541 * The direction is defined as 0 for packets originating locally (ie, outbound)
1542 * and 1 for packets originating remotely (ie, inbound).
1543 * Other values are possible, which might be overloaded to mean special things
1544 * for a special trace.
1545 */
1546DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1547{
1548        assert(packet);
1549        if (packet->trace->format->get_direction) {
1550                return packet->trace->format->get_direction(packet);
1551        }
1552        return (libtrace_direction_t)~0U;
1553}
1554
1555#define ROOT_SERVER(x) ((x) < 512)
1556#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1557#define NONROOT_SERVER(x) ((x) >= 5000)
1558#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1559#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1560#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1561#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1562
1563/* Attempt to deduce the 'server' port
1564 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1565 * @param source the TCP or UDP source port
1566 * @param dest the TCP or UDP destination port
1567 * @returns a hint as to which port is the server port
1568 */
1569DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1570                uint16_t source, uint16_t dest) 
1571{
1572        /*
1573         * * If the ports are equal, return DEST
1574         * * Check for well-known ports in the given protocol
1575         * * Root server ports: 0 - 511
1576         * * Root client ports: 512 - 1023
1577         * * non-root client ports: 1024 - 4999
1578         * * non-root server ports: 5000+
1579         * * Check for static ranges: 1024 - 49151
1580         * * Check for dynamic ranges: 49152 - 65535
1581         * * flip a coin.
1582         */
1583       
1584        /* equal */
1585        if (source == dest)
1586                return USE_DEST;
1587
1588        /* root server port, 0 - 511 */
1589        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1590                if (source < dest)
1591                        return USE_SOURCE;
1592                return USE_DEST;
1593        }
1594
1595        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1596                return USE_SOURCE;
1597        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1598                return USE_DEST;
1599
1600        /* non-root server */
1601        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1602                if (source < dest)
1603                        return USE_SOURCE;
1604                return USE_DEST;
1605        }
1606        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1607                return USE_SOURCE;
1608        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1609                return USE_DEST;
1610
1611        /* root client */
1612        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1613                if (source < dest)
1614                        return USE_SOURCE;
1615                return USE_DEST;
1616        }
1617        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1618                /* prefer root-client over nonroot-client */
1619                if (NONROOT_CLIENT(dest))
1620                        return USE_SOURCE;
1621                return USE_DEST;
1622        }
1623        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1624                /* prefer root-client over nonroot-client */
1625                if (NONROOT_CLIENT(source))
1626                        return USE_DEST;
1627                return USE_SOURCE;
1628        }
1629       
1630        /* nonroot client */
1631        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1632                if (source < dest) 
1633                        return USE_SOURCE;
1634                return USE_DEST;
1635        }
1636        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1637                return USE_DEST;
1638        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1639                return USE_SOURCE;
1640
1641        /* dynamic range */
1642        if (DYNAMIC(source) && DYNAMIC(dest)) {
1643                if (source < dest)
1644                        return USE_SOURCE;
1645                return USE_DEST;
1646        }
1647        if (DYNAMIC(source) && !DYNAMIC(dest))
1648                return USE_DEST;
1649        if (!DYNAMIC(source) && DYNAMIC(dest))
1650                return USE_SOURCE;
1651        /*
1652        if (SERVER(source) && CLIENT(dest))
1653                return USE_SOURCE;
1654       
1655        if (SERVER(dest) && CLIENT(source))
1656                return USE_DEST;
1657        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1658                return USE_SOURCE;
1659        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1660                return USE_DEST;
1661        */
1662        /* failing that test... */
1663        if (source < dest) {
1664                return USE_SOURCE;
1665        } 
1666        return USE_DEST;
1667       
1668}
1669
1670/* Truncate the packet at the suggested length
1671 * @param packet        the packet opaque pointer
1672 * @param size          the new length of the packet
1673 * @returns the new size of the packet
1674 * @note size and the return size refer to the network-level payload of the
1675 * packet, and do not include any capture headers. For example, to truncate a
1676 * packet after the IP header, set size to sizeof(ethernet_header) +
1677 * sizeof(ip_header)
1678 * @note If the original network-level payload is smaller than size, then the
1679 * original size is returned and the packet is left unchanged.
1680 */
1681DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1682        assert(packet);
1683
1684        if (packet->trace->format->set_capture_length) {
1685                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1686                return packet->capture_length;
1687        }
1688
1689        return ~0U;
1690}
1691
1692/* Splits a URI into two components - the format component which is seen before
1693 * the ':', and the uridata which follows the ':'.
1694 *
1695 * Returns a pointer to the URI data, but updates the format parameter to
1696 * point to a copy of the format component.
1697 */
1698
1699DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1700        const char *uridata = 0;
1701       
1702        if((uridata = strchr(uri,':')) == NULL) {
1703                /* Badly formed URI - needs a : */
1704                return 0;
1705        }
1706
1707        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1708                /* Badly formed URI - uri type is too long */
1709                return 0;
1710        }
1711
1712        /* NOTE: this is allocated memory - it should be freed by the caller
1713         * once they are done with it */
1714        *format=xstrndup(uri, (size_t)(uridata - uri));
1715
1716        /* Push uridata past the delimiter */
1717        uridata++;
1718       
1719        return uridata;
1720}
1721
1722enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1723{
1724        assert(packet);
1725
1726        return packet->trace->format->type;
1727}
1728       
1729DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1730{
1731        libtrace_err_t err = trace->err;
1732        trace->err.err_num = 0; /* "OK" */
1733        trace->err.problem[0]='\0';
1734        return err;
1735}
1736
1737DLLEXPORT bool trace_is_err(libtrace_t *trace)
1738{
1739        return trace->err.err_num != 0;
1740}
1741
1742/* Prints the input error status to standard error and clears the error state */
1743DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1744{
1745        char buf[256];
1746        va_list va;
1747        va_start(va,msg);
1748        vsnprintf(buf,sizeof(buf),msg,va);
1749        va_end(va);
1750        if(trace->err.err_num) {
1751                if (trace->uridata) {
1752                        fprintf(stderr,"%s(%s): %s\n",
1753                                        buf,trace->uridata,trace->err.problem);
1754                } else {
1755                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1756                }
1757        } else {
1758                if (trace->uridata) {
1759                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1760                } else {
1761                        fprintf(stderr,"%s: No error\n", buf);
1762                }
1763        }
1764        trace->err.err_num = 0; /* "OK" */
1765        trace->err.problem[0]='\0';
1766}
1767
1768DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1769{
1770        libtrace_err_t err = trace->err;
1771        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1772        trace->err.problem[0]='\0';
1773        return err;
1774}
1775
1776DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1777{
1778        return trace->err.err_num != 0;
1779}
1780
1781/* Prints the output error status to standard error and clears the error state
1782 */
1783DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1784{
1785        char buf[256];
1786        va_list va;
1787        va_start(va,msg);
1788        vsnprintf(buf,sizeof(buf),msg,va);
1789        va_end(va);
1790        if(trace->err.err_num) {
1791                fprintf(stderr,"%s(%s): %s\n",
1792                                buf,
1793                                trace->uridata?trace->uridata:"no uri",
1794                                trace->err.problem);
1795        } else {
1796                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1797        }
1798        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1799        trace->err.problem[0]='\0';
1800}
1801
1802DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1803{
1804        if (trace->format->seek_erf) {
1805                return trace->format->seek_erf(trace,ts);
1806        }
1807        else {
1808                if (trace->format->seek_timeval) {
1809                        struct timeval tv;
1810#if __BYTE_ORDER == __BIG_ENDIAN
1811                        tv.tv_sec = ts & 0xFFFFFFFF;
1812                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1813#elif __BYTE_ORDER == __LITTLE_ENDIAN
1814                        tv.tv_sec = ts >> 32;
1815                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1816#else
1817#error "What on earth are you running this on?"
1818#endif
1819                        if (tv.tv_usec >= 1000000) {
1820                                tv.tv_usec -= 1000000;
1821                                tv.tv_sec += 1;
1822                        }
1823                        return trace->format->seek_timeval(trace,tv);
1824                }
1825                if (trace->format->seek_seconds) {
1826                        double seconds = 
1827                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1828                        return trace->format->seek_seconds(trace,seconds);
1829                }
1830                trace_set_err(trace,
1831                                TRACE_ERR_OPTION_UNAVAIL,
1832                                "Feature unimplemented");
1833                return -1;
1834        }
1835}
1836
1837DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1838{
1839        if (trace->format->seek_seconds) {
1840                return trace->format->seek_seconds(trace,seconds);
1841        }
1842        else {
1843                if (trace->format->seek_timeval) {
1844                        struct timeval tv;
1845                        tv.tv_sec = (uint32_t)seconds;
1846                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1847                        return trace->format->seek_timeval(trace,tv);
1848                }
1849                if (trace->format->seek_erf) {
1850                        uint64_t timestamp = 
1851                                ((uint64_t)((uint32_t)seconds) << 32) + \
1852                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1853                        return trace->format->seek_erf(trace,timestamp);
1854                }
1855                trace_set_err(trace,
1856                                TRACE_ERR_OPTION_UNAVAIL,
1857                                "Feature unimplemented");
1858                return -1;
1859        }
1860}
1861
1862DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1863{
1864        if (trace->format->seek_timeval) {
1865                return trace->format->seek_timeval(trace,tv);
1866        }
1867        else {
1868                if (trace->format->seek_erf) {
1869                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1870                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1871                        return trace->format->seek_erf(trace,timestamp);
1872                }
1873                if (trace->format->seek_seconds) {
1874                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1875                        return trace->format->seek_seconds(trace,seconds);
1876                }
1877                trace_set_err(trace,
1878                                TRACE_ERR_OPTION_UNAVAIL,
1879                                "Feature unimplemented");
1880                return -1;
1881        }
1882}
1883
1884/* Converts a binary ethernet MAC address into a printable string */
1885DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1886{
1887        static char staticbuf[18]={0,};
1888        if (!buf)
1889                buf=staticbuf;
1890        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1891                        addr[0],addr[1],addr[2],
1892                        addr[3],addr[4],addr[5]);
1893        return buf;
1894}
1895
1896/* Converts a printable ethernet MAC address into a binary format */
1897DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1898{
1899        uint8_t *buf2 = addr;
1900        unsigned int tmp[6];
1901        static uint8_t staticaddr[6];
1902        if (!buf2)
1903                buf2=staticaddr;
1904        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1905                        &tmp[0],&tmp[1],&tmp[2],
1906                        &tmp[3],&tmp[4],&tmp[5]);
1907        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1908        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1909        return buf2;
1910}
1911
1912
1913/* Creates a libtrace packet from scratch using the contents of the provided
1914 * buffer as the packet payload.
1915 *
1916 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1917 * format headers; instead this function will add the PCAP header to the
1918 * packet record. This also means only PCAP packets can be constructed using
1919 * this function.
1920 *
1921 */
1922DLLEXPORT
1923void trace_construct_packet(libtrace_packet_t *packet,
1924                libtrace_linktype_t linktype,
1925                const void *data,
1926                uint16_t len)
1927{
1928        size_t size;
1929        static libtrace_t *deadtrace=NULL;
1930        libtrace_pcapfile_pkt_hdr_t hdr;
1931#ifdef WIN32
1932        struct _timeb tstruct;
1933#else
1934        struct timeval tv;
1935#endif
1936
1937        /* We need a trace to attach the constructed packet to (and it needs
1938         * to be PCAP) */
1939        if (NULL == deadtrace) 
1940                deadtrace=trace_create_dead("pcapfile");
1941
1942        /* Fill in the new PCAP header */
1943#ifdef WIN32
1944        _ftime(&tstruct);
1945        hdr.ts_sec=tstruct.time;
1946        hdr.ts_usec=tstruct.millitm * 1000;
1947#else
1948        gettimeofday(&tv,NULL);
1949        hdr.ts_sec=tv.tv_sec;
1950        hdr.ts_usec=tv.tv_usec;
1951#endif
1952
1953        hdr.caplen=len;
1954        hdr.wirelen=len;
1955
1956        /* Now fill in the libtrace packet itself */
1957        packet->trace=deadtrace;
1958        size=len+sizeof(hdr);
1959        if (packet->buf_control==TRACE_CTRL_PACKET) {
1960                packet->buffer=realloc(packet->buffer,size);
1961        }
1962        else {
1963                packet->buffer=malloc(size);
1964        }
1965        packet->buf_control=TRACE_CTRL_PACKET;
1966        packet->header=packet->buffer;
1967        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
1968       
1969        /* Ugh, memcpy - sadly necessary */
1970        memcpy(packet->header,&hdr,sizeof(hdr));
1971        memcpy(packet->payload,data,(size_t)len);
1972        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
1973
1974        trace_clear_cache(packet);
1975}
1976
1977
1978uint64_t trace_get_received_packets(libtrace_t *trace)
1979{
1980        assert(trace);
1981        uint64_t ret;
1982
1983        if (trace->format->get_received_packets) {
1984                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
1985                        return ret;
1986        } else if (trace->format->get_statistics) {
1987                struct libtrace_stat_t stat;
1988                stat.magic = LIBTRACE_STAT_MAGIC;
1989                trace_get_statistics(trace, &stat);
1990                if (stat.received_valid)
1991                        return stat.received;
1992        }
1993
1994        // Read the cached value taken before the trace was paused/closed
1995        if(trace->stats && trace->stats->received_valid)
1996                return trace->stats->received;
1997        else
1998                return UINT64_MAX;
1999}
2000
2001uint64_t trace_get_filtered_packets(libtrace_t *trace)
2002{
2003        assert(trace);
2004        int i = 0;
2005        uint64_t lib_filtered = trace->filtered_packets;
2006        for (i = 0; i < trace->perpkt_thread_count; i++) {
2007                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2008        }
2009        if (trace->format->get_filtered_packets) {
2010                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2011                if (trace_filtered == UINT64_MAX)
2012                        return UINT64_MAX;
2013                else
2014                        return trace_filtered + lib_filtered;
2015        } else if (trace->format->get_statistics) {
2016                struct libtrace_stat_t stat;
2017                stat.magic = LIBTRACE_STAT_MAGIC;
2018                trace_get_statistics(trace, &stat);
2019                if (stat.filtered_valid)
2020                        return lib_filtered + stat.filtered;
2021                else
2022                        return UINT64_MAX;
2023        }
2024
2025        // Read the cached value taken before the trace was paused/closed
2026        if(trace->stats && trace->stats->filtered_valid)
2027                return trace->stats->filtered + lib_filtered;
2028        else
2029                return lib_filtered;
2030}
2031
2032uint64_t trace_get_dropped_packets(libtrace_t *trace)
2033{
2034        assert(trace);
2035        uint64_t ret;
2036
2037        if (trace->format->get_dropped_packets) {
2038                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2039                        return ret;
2040        } else if (trace->format->get_statistics) {
2041                struct libtrace_stat_t stat;
2042                stat.magic = LIBTRACE_STAT_MAGIC;
2043                trace_get_statistics(trace, &stat);
2044                if (stat.dropped_valid)
2045                        return stat.dropped;
2046        }
2047
2048        // Read the cached value taken before the trace was paused/closed
2049        if(trace->stats && trace->stats->dropped_valid)
2050                return trace->stats->dropped;
2051        else
2052                return UINT64_MAX;
2053}
2054
2055uint64_t trace_get_accepted_packets(libtrace_t *trace)
2056{
2057        assert(trace);
2058        int i = 0;
2059        uint64_t ret = 0;
2060        /* We always add to a thread's accepted count before dispatching the
2061         * packet to the user. However if the underlying trace is single
2062         * threaded it will also be increasing the global count. So if we
2063         * find perpkt ignore the global count.
2064         */
2065        for (i = 0; i < trace->perpkt_thread_count; i++) {
2066                ret += trace->perpkt_threads[i].accepted_packets;
2067        }
2068        return ret ? ret : trace->accepted_packets;
2069}
2070
2071libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2072{
2073        uint64_t ret;
2074        int i;
2075        assert(trace);
2076        if (stat == NULL) {
2077                if (trace->stats == NULL)
2078                        trace->stats = trace_create_statistics();
2079                stat = trace->stats;
2080        }
2081        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2082               "trace_create_statistics() to allocate statistics");
2083
2084        /* If the trace has paused or finished get the cached results */
2085        if (trace->state == STATE_PAUSED ||
2086            trace->state == STATE_FINSHED ||
2087            trace->state == STATE_JOINED) {
2088                if (trace->stats && trace->stats != stat)
2089                        *stat = *trace->stats;
2090                return stat;
2091        }
2092
2093        stat->reserved1 = 0;
2094        stat->reserved2 = 0;
2095#define X(x) stat->x ##_valid = 0;
2096        LIBTRACE_STAT_FIELDS;
2097#undef X
2098        /* Both accepted and filtered are stored against in the library */
2099        ret = trace_get_accepted_packets(trace);
2100        if (ret != UINT64_MAX) {
2101                stat->accepted_valid = 1;
2102                stat->accepted = ret;
2103        }
2104
2105        stat->filtered_valid = 1;
2106        stat->filtered = trace->filtered_packets;
2107        for (i = 0; i < trace->perpkt_thread_count; i++) {
2108                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2109        }
2110
2111        if (trace->format->get_statistics) {
2112                trace->format->get_statistics(trace, stat);
2113        } else {
2114                /* Fallback to the old way */
2115                ret = trace_get_received_packets(trace);
2116                if (ret != UINT64_MAX) {
2117                        stat->received_valid = 1;
2118                        stat->received = ret;
2119                }
2120                ret = trace_get_dropped_packets(trace);
2121                if (ret != UINT64_MAX) {
2122                        stat->dropped_valid = 1;
2123                        stat->dropped = ret;
2124                }
2125        }
2126        return stat;
2127}
2128
2129void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2130                                 libtrace_stat_t *stat)
2131{
2132        assert(trace && stat);
2133        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2134               "trace_create_statistics() to allocate statistics");
2135        stat->reserved1 = 0;
2136        stat->reserved2 = 0;
2137#define X(x) stat->x ##_valid= 0;
2138        LIBTRACE_STAT_FIELDS;
2139#undef X
2140        stat->accepted_valid = 1;
2141        stat->accepted = t->accepted_packets;
2142        stat->filtered_valid = 1;
2143        stat->filtered = t->filtered_packets;
2144        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2145                trace->format->get_thread_statistics(trace, t, stat);
2146        }
2147        return;
2148}
2149
2150libtrace_stat_t *trace_create_statistics(void) {
2151        libtrace_stat_t *ret;
2152        ret = malloc(sizeof(libtrace_stat_t));
2153        if (ret) {
2154                memset(ret, 0, sizeof(libtrace_stat_t));
2155                ret->magic = LIBTRACE_STAT_MAGIC;
2156        }
2157        return ret;
2158}
2159
2160void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2161                         libtrace_stat_t *c) {
2162        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2163               "trace_create_statistics() to allocate statistics");
2164        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2165               "trace_create_statistics() to allocate statistics");
2166        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2167               "trace_create_statistics() to allocate statistics");
2168
2169#define X(x) \
2170        if (a->x ##_valid && b->x ##_valid) { \
2171                c->x ##_valid = 1; \
2172                c->x = a->x - b->x; \
2173        } else {\
2174                c->x ##_valid = 0;\
2175        }
2176        LIBTRACE_STAT_FIELDS
2177#undef X
2178}
2179
2180void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2181                         libtrace_stat_t *c) {
2182        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2183               "trace_create_statistics() to allocate statistics");
2184        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2185               "trace_create_statistics() to allocate statistics");
2186        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2187               "trace_create_statistics() to allocate statistics");
2188
2189#define X(x) \
2190        if (a->x ##_valid&& b->x ##_valid) { \
2191                c->x ##_valid = 1; \
2192                c->x = a->x + b->x; \
2193        } else {\
2194                c->x ##_valid = 0;\
2195        }
2196        LIBTRACE_STAT_FIELDS
2197#undef X
2198}
2199
2200int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2201        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2202               "trace_create_statistics() to allocate statistics");
2203        if (format == NULL)
2204                format = "%s: %"PRIu64"\n";
2205#define xstr(s) str(s)
2206#define str(s) #s
2207#define X(x) \
2208        if (s->x ##_valid) { \
2209                if (fprintf(f, format, xstr(x), s->x) < 0) \
2210                        return -1; \
2211        }
2212        LIBTRACE_STAT_FIELDS
2213#undef X
2214        return 0;
2215}
2216
2217
2218void trace_clear_cache(libtrace_packet_t *packet) {
2219
2220        packet->l2_header = NULL;
2221        packet->l3_header = NULL;
2222        packet->l4_header = NULL;
2223        packet->link_type = 0;
2224        packet->l3_ethertype = 0;
2225        packet->transport_proto = 0;
2226        packet->capture_length = -1;
2227        packet->wire_length = -1;
2228        packet->payload_length = -1;
2229        packet->l2_remaining = 0;
2230        packet->l3_remaining = 0;
2231        packet->l4_remaining = 0;
2232
2233}
2234
2235void trace_interrupt(void) {
2236        libtrace_halt = 1;
2237}
2238
2239void register_format(struct libtrace_format_t *f) {
2240        assert(f->next==NULL); /* Can't register a format twice */
2241        f->next=formats_list;
2242        formats_list=f;
2243
2244        /* Now, verify that the format has at least the minimum functionality.
2245         *
2246         * This #if can be changed to a 1 to output warnings about inconsistent
2247         * functions being provided by format modules.  This generally is very
2248         * noisy, as almost all modules don't implement one or more functions
2249         * for various reasons.  This is very useful when checking a new
2250         * format module is sane.
2251         */ 
2252#if 0
2253        if (f->init_input) {
2254#define REQUIRE(x) \
2255                if (!f->x) \
2256                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2257                REQUIRE(read_packet);
2258                REQUIRE(start_input);
2259                REQUIRE(fin_input);
2260                REQUIRE(get_link_type);
2261                REQUIRE(get_capture_length);
2262                REQUIRE(get_wire_length);
2263                REQUIRE(get_framing_length);
2264                REQUIRE(trace_event);
2265                if (!f->get_erf_timestamp
2266                        && !f->get_seconds
2267                        && !f->get_timeval) {
2268                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2269"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2270                }
2271                if (f->trace_event!=trace_event_trace) {
2272                        /* Theres nothing that a trace file could optimise with
2273                         * config_input
2274                         */
2275                        REQUIRE(pause_input);
2276                        REQUIRE(config_input);
2277                        REQUIRE(get_fd);
2278                }
2279                else {
2280                        if (f->get_fd) {
2281                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2282                                                f->name);
2283                        }
2284                }
2285#undef REQUIRE
2286        }
2287        else {
2288#define REQUIRE(x) \
2289                if (f->x) \
2290                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2291                REQUIRE(read_packet);
2292                REQUIRE(start_input);
2293                REQUIRE(pause_input);
2294                REQUIRE(fin_input);
2295                REQUIRE(get_link_type);
2296                REQUIRE(get_capture_length);
2297                REQUIRE(get_wire_length);
2298                REQUIRE(get_framing_length);
2299                REQUIRE(trace_event);
2300                REQUIRE(get_seconds);
2301                REQUIRE(get_timeval);
2302                REQUIRE(get_erf_timestamp);
2303#undef REQUIRE
2304        }
2305        if (f->init_output) {
2306#define REQUIRE(x) \
2307                if (!f->x) \
2308                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2309                REQUIRE(write_packet);
2310                REQUIRE(start_output);
2311                REQUIRE(config_output);
2312                REQUIRE(fin_output);
2313#undef REQUIRE
2314        }
2315        else {
2316#define REQUIRE(x) \
2317                if (f->x) \
2318                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2319                REQUIRE(write_packet);
2320                REQUIRE(start_output);
2321                REQUIRE(config_output);
2322                REQUIRE(fin_output);
2323#undef REQUIRE
2324        }
2325#endif
2326}
2327
Note: See TracBrowser for help on using the repository browser.