source: lib/trace.c @ e0be8382

4.0.1-hotfixescachetimestampsdevelopdpdk-ndagetsilivelibtrace4ndag_formatpfringrc-4.0.1rc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformanceringtimestampfixes
Last change on this file since e0be8382 was e0be8382, checked in by Richard Sanger <rsangerarj@…>, 7 years ago

Merge branch 'upstream_develop' into develop

  • Property mode set to 100644
File size: 65.5 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007,2008,2009,2010 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        if (!formats_list) {
139                duck_constructor();
140                erf_constructor();
141                tsh_constructor();
142                legacy_constructor();
143                atmhdr_constructor();
144                linuxring_constructor();
145                linuxnative_constructor();
146#ifdef HAVE_LIBPCAP
147                pcap_constructor();
148#endif
149                bpf_constructor();
150                pcapfile_constructor();
151                rt_constructor();
152#ifdef HAVE_DAG
153                dag_constructor();
154#endif
155#ifdef HAVE_DPDK
156        dpdk_constructor();
157#endif
158        }
159}
160
161/* Prints help information for libtrace
162 *
163 * Function prints out some basic help information regarding libtrace,
164 * and then prints out the help() function registered with each input module
165 */
166DLLEXPORT void trace_help(void) {
167        struct libtrace_format_t *tmp;
168        trace_init();
169        printf("libtrace %s\n\n",PACKAGE_VERSION);
170        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
171        for(tmp=formats_list;tmp;tmp=tmp->next) {
172                if (tmp->help)
173                        tmp->help();
174        }
175}
176
177#define URI_PROTO_LINE 16U
178
179/* Try to guess which format module is appropriate for a given trace file or
180 * device */
181static void guess_format(libtrace_t *libtrace, const char *filename)
182{
183        struct libtrace_format_t *tmp;
184       
185        /* Try and guess based on filename */
186        for(tmp = formats_list; tmp; tmp=tmp->next) {
187                if (tmp->probe_filename && tmp->probe_filename(filename)) {
188                        libtrace->format = tmp;
189                        libtrace->uridata = strdup(filename);
190                        return;
191                }
192        }
193
194        libtrace->io = wandio_create(filename);
195        if (!libtrace->io)
196                return;
197
198        /* Try and guess based on file magic */
199        for(tmp = formats_list; tmp; tmp=tmp->next) {
200                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
201                        libtrace->format = tmp;
202                        libtrace->uridata = strdup(filename);
203                        return;
204                }
205        }
206       
207        /* No formats matched -- make sure we clean up the IO object we
208         * used to probe the file magic */
209        wandio_destroy(libtrace->io);
210        return;
211}
212
213/* Creates an input trace from a URI
214 *
215 * @params char * containing a valid libtrace URI
216 * @returns opaque pointer to a libtrace_t
217 *
218 * Some valid URI's are:
219 *  erf:/path/to/erf/file
220 *  erf:/path/to/erf/file.gz
221 *  erf:-                       (stdin)
222 *  dag:/dev/dagcard
223 *  pcapint:pcapinterface               (eg: pcapint:eth0)
224 *  pcapfile:/path/to/pcap/file
225 *  pcapfile:-
226 *  int:interface                       (eg: int:eth0) only on Linux
227 *  rt:hostname
228 *  rt:hostname:port
229 *
230 * If an error occured when attempting to open a trace, NULL is returned
231 * and an error is output to stdout.
232 */
233DLLEXPORT libtrace_t *trace_create(const char *uri) {
234        libtrace_t *libtrace = 
235                        (libtrace_t *)malloc(sizeof(libtrace_t));
236        char *scan = 0;
237        const char *uridata = 0;                 
238
239        trace_init();
240
241        assert(uri && "Passing NULL to trace_create makes me a very sad program");
242
243        if (!libtrace) {
244                /* Out of memory */
245                return NULL;
246        }
247       
248        libtrace->err.err_num = TRACE_ERR_NOERROR;
249        libtrace->format=NULL;
250       
251        libtrace->event.tdelta = 0.0;
252        libtrace->event.packet = NULL;
253        libtrace->event.psize = 0;
254        libtrace->event.trace_last_ts = 0.0;
255        libtrace->event.waiting = false;
256        libtrace->filter = NULL;
257        libtrace->snaplen = 0;
258        libtrace->started=false;
259        libtrace->uridata = NULL;
260        libtrace->io = NULL;
261        libtrace->filtered_packets = 0;
262        libtrace->accepted_packets = 0;
263       
264        /* Parallel inits */
265        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
266        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
267        libtrace->state = STATE_NEW;
268        libtrace->perpkt_queue_full = false;
269        libtrace->global_blob = NULL;
270        libtrace->per_pkt = NULL;
271        libtrace->reporter = NULL;
272        libtrace->hasher = NULL;
273        libtrace_zero_ocache(&libtrace->packet_freelist);
274        libtrace_zero_thread(&libtrace->hasher_thread);
275        libtrace_zero_thread(&libtrace->reporter_thread);
276        libtrace_zero_thread(&libtrace->keepalive_thread);
277        libtrace->reporter_thread.type = THREAD_EMPTY;
278        libtrace->perpkt_thread_count = 0;
279        libtrace->perpkt_threads = NULL;
280        libtrace->tracetime = 0;
281        libtrace->first_packets.first = 0;
282        libtrace->first_packets.count = 0;
283        libtrace->first_packets.packets = NULL;
284        libtrace->stats = NULL;
285        libtrace->pread = NULL;
286        ZERO_USER_CONFIG(libtrace->config);
287
288        /* Parse the URI to determine what sort of trace we are dealing with */
289        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
290                /* Could not parse the URI nicely */
291                guess_format(libtrace,uri);
292                if (!libtrace->format) {
293                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
294                        return libtrace;
295                }
296        }
297        else {
298                struct libtrace_format_t *tmp;
299
300                /* Find a format that matches the first part of the URI */
301                for (tmp=formats_list;tmp;tmp=tmp->next) {
302                        if (strlen(scan) == strlen(tmp->name) &&
303                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
304                                        ) {
305                                libtrace->format=tmp;
306                                break;
307                        }
308                }
309
310                if (libtrace->format == 0) {
311                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
312                                        "Unknown format (%s)",scan);
313                        return libtrace;
314                }
315
316                libtrace->uridata = strdup(uridata);
317        }
318        /* libtrace->format now contains the type of uri
319         * libtrace->uridata contains the appropriate data for this
320         */
321       
322        /* Call the init_input function for the matching capture format */ 
323        if (libtrace->format->init_input) {
324                int err=libtrace->format->init_input(libtrace);
325                assert (err==-1 || err==0);
326                if (err==-1) {
327                        /* init_input should call trace_set_err to set
328                         * the error message
329                         */
330                        return libtrace;
331                }
332        } else {
333                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
334                                "Format does not support input (%s)",scan);
335                return libtrace;
336        }
337       
338        if (scan)
339                free(scan);
340        libtrace->err.err_num=TRACE_ERR_NOERROR;
341        libtrace->err.problem[0]='\0';
342        return libtrace;
343}
344
345/* Creates a "dummy" trace file that has only the format type set.
346 *
347 * @returns opaque pointer to a (sparsely initialised) libtrace_t
348 *
349 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
350 * with the dummy trace. Its intended purpose is to act as a packet->trace for
351 * libtrace_packet_t's that are not associated with a libtrace_t structure.
352 */
353DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
354        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
355        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
356        char *uridata;
357        struct libtrace_format_t *tmp;
358
359        trace_init();
360       
361        libtrace->err.err_num = TRACE_ERR_NOERROR;
362
363        if((uridata = strchr(uri,':')) == NULL) {
364                xstrncpy(scan, uri, strlen(uri));
365        } else {
366                xstrncpy(scan,uri, (size_t)(uridata - uri));
367        }
368       
369        libtrace->err.err_num = TRACE_ERR_NOERROR;
370        libtrace->format=NULL;
371       
372        libtrace->event.tdelta = 0.0;
373        libtrace->event.packet = NULL;
374        libtrace->event.psize = 0;
375        libtrace->event.trace_last_ts = 0.0;
376        libtrace->filter = NULL;
377        libtrace->snaplen = 0;
378        libtrace->started=false;
379        libtrace->uridata = NULL;
380        libtrace->io = NULL;
381        libtrace->filtered_packets = 0;
382       
383        /* Parallel inits */
384        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
385        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
386        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
387        libtrace->perpkt_queue_full = false;
388        libtrace->global_blob = NULL;
389        libtrace->per_pkt = NULL;
390        libtrace->reporter = NULL;
391        libtrace->hasher = NULL;
392        libtrace_zero_ocache(&libtrace->packet_freelist);
393        libtrace_zero_thread(&libtrace->hasher_thread);
394        libtrace_zero_thread(&libtrace->reporter_thread);
395        libtrace_zero_thread(&libtrace->keepalive_thread);
396        libtrace->reporter_thread.type = THREAD_EMPTY;
397        libtrace->perpkt_thread_count = 0;
398        libtrace->perpkt_threads = NULL;
399        libtrace->tracetime = 0;
400        libtrace->stats = NULL;
401        libtrace->pread = NULL;
402        ZERO_USER_CONFIG(libtrace->config);
403       
404        for(tmp=formats_list;tmp;tmp=tmp->next) {
405                if (strlen(scan) == strlen(tmp->name) &&
406                                !strncasecmp(scan,
407                                        tmp->name,
408                                        strlen(scan))) {
409                                libtrace->format=tmp;
410                                break;
411                                }
412        }
413        if (libtrace->format == 0) {
414                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
415                                "Unknown format (%s)",scan);
416        }
417
418        libtrace->format_data = NULL;
419        free(scan);
420        return libtrace;
421
422}
423
424/* Creates an output trace from a URI.
425 *
426 * @param uri   the uri string describing the output format and destination
427 * @returns opaque pointer to a libtrace_output_t
428 *
429 *  If an error occured when attempting to open the output trace, NULL is
430 *  returned and trace_errno is set.
431 */
432       
433DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
434        libtrace_out_t *libtrace = 
435                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
436       
437        char *scan = 0;
438        const char *uridata = 0;
439        struct libtrace_format_t *tmp;
440
441        trace_init();
442
443        libtrace->err.err_num = TRACE_ERR_NOERROR;
444        strcpy(libtrace->err.problem,"Error message set\n");
445        libtrace->format = NULL;
446        libtrace->uridata = NULL;
447       
448        /* Parse the URI to determine what capture format we want to write */
449
450        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
451                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
452                                "Bad uri format (%s)",uri);
453                return libtrace;
454        }
455       
456        /* Attempt to find the format in the list of supported formats */
457        for(tmp=formats_list;tmp;tmp=tmp->next) {
458                if (strlen(scan) == strlen(tmp->name) &&
459                                !strncasecmp(scan,
460                                        tmp->name,
461                                        strlen(scan))) {
462                                libtrace->format=tmp;
463                                break;
464                                }
465        }
466        free(scan);
467
468        if (libtrace->format == NULL) {
469                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
470                                "Unknown output format (%s)",scan);
471                return libtrace;
472        }
473        libtrace->uridata = strdup(uridata);
474
475        /* libtrace->format now contains the type of uri
476         * libtrace->uridata contains the appropriate data for this
477         */
478
479        if (libtrace->format->init_output) {
480                /* 0 on success, -1 on failure */
481                switch(libtrace->format->init_output(libtrace)) {
482                        case -1: /* failure */
483                                return libtrace;
484                        case 0: /* success */
485                                break;
486                        default:
487                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
488                }
489        } else {
490                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
491                                "Format does not support writing (%s)",scan);
492                return libtrace;
493        }
494
495
496        libtrace->started=false;
497        return libtrace;
498}
499
500/* Start an input trace
501 * @param libtrace      the input trace to start
502 * @returns 0 on success
503 *
504 * This does the work associated with actually starting up
505 * the trace.  it may fail.
506 */
507DLLEXPORT int trace_start(libtrace_t *libtrace)
508{
509        assert(libtrace);
510        if (trace_is_err(libtrace))
511                return -1;
512        if (libtrace->format->start_input) {
513                int ret=libtrace->format->start_input(libtrace);
514                if (ret < 0) {
515                        return ret;
516                }
517        }
518
519        libtrace->started=true;
520        return 0;
521}
522
523/* Start an output trace */
524DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
525{
526        assert(libtrace);
527        if (libtrace->format->start_output) {
528                int ret=libtrace->format->start_output(libtrace);
529                if (ret < 0) {
530                        return ret;
531                }
532        }
533
534        libtrace->started=true;
535        return 0;
536}
537
538DLLEXPORT int trace_pause(libtrace_t *libtrace)
539{
540        assert(libtrace);
541        if (!libtrace->started) {
542                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
543                return -1;
544        }
545        if (libtrace->format->pause_input)
546                libtrace->format->pause_input(libtrace);
547        libtrace->started=false;
548        return 0;
549}
550
551DLLEXPORT int trace_config(libtrace_t *libtrace,
552                trace_option_t option,
553                void *value)
554{
555        int ret;
556
557        if (trace_is_err(libtrace)) {
558                return -1;
559        }
560
561        if (option == TRACE_OPTION_HASHER)
562                return trace_set_hasher(libtrace,
563                                        (enum hasher_types) *((int *) value),
564                                        NULL, NULL);
565
566        /* If the capture format supports configuration, try using their
567         * native configuration first */
568        if (libtrace->format->config_input) {
569                ret=libtrace->format->config_input(libtrace,option,value);
570                if (ret==0)
571                        return 0;
572        }
573
574        /* If we get here, either the native configuration failed or the
575         * format did not support configuration. However, libtrace can
576         * deal with some options itself, so give that a go */
577        switch(option) {
578                case TRACE_OPTION_SNAPLEN:
579                        /* Clear the error if there was one */
580                        if (trace_is_err(libtrace)) {
581                                trace_get_err(libtrace);
582                        }
583                        if (*(int*)value<0 
584                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
585                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
586                                        "Invalid snap length");
587                        }
588                        libtrace->snaplen=*(int*)value;
589                        return 0;
590                case TRACE_OPTION_FILTER:
591                        /* Clear the error if there was one */
592                        if (trace_is_err(libtrace)) {
593                                trace_get_err(libtrace);
594                        }
595                        libtrace->filter=(libtrace_filter_t *)value;
596                        return 0;
597                case TRACE_OPTION_PROMISC:
598                        if (!trace_is_err(libtrace)) {
599                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
600                                                "Promisc mode is not supported by this format module");
601                        }
602                        return -1;
603                case TRACE_OPTION_META_FREQ:
604                        if (!trace_is_err(libtrace)) {
605                                trace_set_err(libtrace, 
606                                                TRACE_ERR_OPTION_UNAVAIL,
607                                                "This format does not support meta-data gathering");
608                        }
609                        return -1;
610                case TRACE_OPTION_EVENT_REALTIME:
611                        if (!trace_is_err(libtrace)) {
612                                trace_set_err(libtrace, 
613                                                TRACE_ERR_OPTION_UNAVAIL,
614                                                "This format does not support realtime events");
615                        }
616                        return -1;
617                case TRACE_OPTION_HASHER:
618                        /* Dealt with earlier */
619                        return -1;
620                       
621        }
622        if (!trace_is_err(libtrace)) {
623                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
624                        "Unknown option %i", option);
625        }
626        return -1;
627}
628
629DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
630        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
631}
632
633DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
634        int tmp = promisc;
635        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
636}
637
638DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
639        return trace_config(trace, TRACE_OPTION_FILTER, filter);
640}
641
642DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
643        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
644}
645
646DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
647        int tmp = realtime;
648        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
649}
650
651DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
652                trace_option_output_t option,
653                void *value) {
654       
655        /* Unlike the input options, libtrace does not natively support any of
656         * the output options - the format module must be able to deal with
657         * them. */
658        if (libtrace->format->config_output) {
659                return libtrace->format->config_output(libtrace, option, value);
660        }
661        return -1;
662}
663
664/* Close an input trace file, freeing up any resources it may have been using
665 *
666 */
667DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
668        int i;
669        assert(libtrace);
670
671        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
672        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
673
674        /* destroy any packets that are still around */
675        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
676                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
677                        if(libtrace->first_packets.packets[i].packet) {
678                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
679                        }
680                }
681                free(libtrace->first_packets.packets);
682                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
683        }
684
685        if (libtrace->format) {
686                if (libtrace->started && libtrace->format->pause_input)
687                        libtrace->format->pause_input(libtrace);
688                if (libtrace->format->fin_input)
689                        libtrace->format->fin_input(libtrace);
690        }
691        /* Need to free things! */
692        if (libtrace->uridata)
693                free(libtrace->uridata);
694
695        if (libtrace->stats)
696                free(libtrace->stats);
697       
698        /* Empty any packet memory */
699        if (libtrace->state != STATE_NEW) {
700                // This has all of our packets
701                libtrace_ocache_destroy(&libtrace->packet_freelist);
702                if (libtrace->combiner.destroy)
703                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
704                free(libtrace->perpkt_threads);
705                libtrace->perpkt_threads = NULL;
706                libtrace->perpkt_thread_count = 0;
707        }
708       
709        if (libtrace->event.packet) {
710                /* Don't use trace_destroy_packet here - there is almost
711                 * certainly going to be another libtrace_packet_t that is
712                 * pointing to the buffer for this packet, so we don't want
713                 * to free it. Rather, it will get freed when the user calls
714                 * trace_destroy_packet on the libtrace_packet_t that they
715                 * own.
716                 *
717                 * All we need to do then is free our packet structure itself.
718                 */
719                 free(libtrace->event.packet);
720        }
721        free(libtrace);
722}
723
724
725DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
726        assert(libtrace);
727
728        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
729        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
730
731        /* Don't call pause_input or fin_input, because we should never have
732         * used this trace to do any reading anyway. Do make sure we free
733         * any format_data that has been created, though. */
734        if (libtrace->format_data)
735                free(libtrace->format_data);
736        free(libtrace);
737}
738/* Close an output trace file, freeing up any resources it may have been using
739 *
740 * @param libtrace      the output trace file to be destroyed
741 */
742DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
743{
744        assert(libtrace);
745        if (libtrace->format && libtrace->format->fin_output)
746                libtrace->format->fin_output(libtrace);
747        if (libtrace->uridata)
748                free(libtrace->uridata);
749        free(libtrace);
750}
751
752DLLEXPORT libtrace_packet_t *trace_create_packet(void)
753{
754        libtrace_packet_t *packet =
755                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
756
757        packet->buf_control=TRACE_CTRL_PACKET;
758        trace_clear_cache(packet);
759        return packet;
760}
761
762DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
763        libtrace_packet_t *dest = 
764                (libtrace_packet_t *)malloc(sizeof(libtrace_packet_t));
765        if (!dest) {
766                printf("Out of memory constructing packet\n");
767                abort();
768        }
769        dest->trace=packet->trace;
770        dest->buffer=malloc(65536);
771        if (!dest->buffer) {
772                printf("Out of memory allocating buffer memory\n");
773                abort();
774        }
775        dest->header=dest->buffer;
776        dest->payload=(void*)
777                ((char*)dest->buffer+trace_get_framing_length(packet));
778        dest->type=packet->type;
779        dest->buf_control=TRACE_CTRL_PACKET;
780        dest->order = packet->order;
781        dest->hash = packet->hash;
782        dest->error = packet->error;
783        /* Reset the cache - better to recalculate than try to convert
784         * the values over to the new packet */
785        trace_clear_cache(dest);       
786        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
787         * as much as possible */
788        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
789        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
790
791        return dest;
792}
793
794/** Destroy a packet object
795 */
796DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
797        /* Free any resources possibly associated with the packet */
798        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
799                packet->trace->format->fin_packet(packet);
800        }
801       
802        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
803                free(packet->buffer);
804        }
805        packet->buf_control=(buf_control_t)'\0'; 
806                                /* A "bad" value to force an assert
807                                 * if this packet is ever reused
808                                 */
809        free(packet);
810}
811
812/**
813 * Removes any possible data stored againt the trace and releases any data.
814 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
815 * use trace_destroy_packet() for those diabolical purposes.
816 */
817void trace_fin_packet(libtrace_packet_t *packet) {
818        if (packet)
819        {
820                if (packet->trace && packet->trace->format->fin_packet) {
821                        packet->trace->format->fin_packet(packet);
822                        //gettimeofday(&tv, NULL);
823                        //printf ("%d.%06d DESTROYED #%"PRIu64"\n", tv.tv_sec, tv.tv_usec, trace_packet_get(packet));
824                }
825
826                // No matter what we remove the header and link pointers
827                packet->trace = NULL;
828                packet->header = NULL;
829                packet->payload = NULL;
830
831                if (packet->buf_control != TRACE_CTRL_PACKET)
832                {
833                        packet->buffer = NULL;
834                }
835
836                trace_clear_cache(packet);
837                packet->hash = 0;
838                packet->order = 0;
839        }
840}
841
842/* Read one packet from the trace into buffer. Note that this function will
843 * block until a packet is read (or EOF is reached).
844 *
845 * @param libtrace      the libtrace opaque pointer
846 * @param packet        the packet opaque pointer
847 * @returns 0 on EOF, negative value on error
848 *
849 */
850DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
851
852        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
853        if (trace_is_err(libtrace))
854                return -1;
855        if (!libtrace->started) {
856                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
857                return -1;
858        }
859        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
860                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
861                return -1;
862        }
863        assert(packet);
864
865        if (libtrace->format->read_packet) {
866                do {
867                        size_t ret;
868                        int filtret;
869                        /* Finalise the packet, freeing any resources the format module
870                         * may have allocated it and zeroing all data associated with it.
871                         */
872                        trace_fin_packet(packet);
873                        /* Store the trace we are reading from into the packet opaque
874                         * structure */
875                        packet->trace = libtrace;
876                        ret=libtrace->format->read_packet(libtrace,packet);
877                        if (ret==(size_t)-1 || ret==0) {
878                                return ret;
879                        }
880                        if (libtrace->filter) {
881                                /* If the filter doesn't match, read another
882                                 * packet
883                                 */
884                                filtret = trace_apply_filter(libtrace->filter, packet);
885                                if (filtret == -1) {
886                                        /* Error compiling filter, probably */
887                                        return ~0U;
888                                }
889                               
890                                if (filtret == 0) {
891                                        ++libtrace->filtered_packets;
892                                        continue;
893                                }
894                        }
895                        if (libtrace->snaplen>0) {
896                                /* Snap the packet */
897                                trace_set_capture_length(packet,
898                                                libtrace->snaplen);
899                        }
900                        trace_packet_set_order(packet, libtrace->accepted_packets);
901                        ++libtrace->accepted_packets;
902                        return ret;
903                } while(1);
904        }
905        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
906        return ~0U;
907}
908
909/* Converts the provided buffer into a libtrace packet of the given type.
910 *
911 * Unlike trace_construct_packet, the buffer is expected to begin with the
912 * appropriate capture format header for the format type that the packet is
913 * being converted to. This also allows for a packet to be converted into
914 * just about capture format that is supported by libtrace, provided the
915 * format header is present in the buffer.
916 *
917 * This function is primarily used to convert packets received via the RT
918 * protocol back into their original capture format. The RT header encapsulates
919 * the original capture format header, so after removing it the packet must
920 * have it's header and payload pointers updated and the packet format and type
921 * changed, amongst other things.
922 *
923 * Intended only for internal use at this point - this function is not
924 * available through the external libtrace API.
925 */
926int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
927                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
928
929        assert(packet);
930        assert(trace);
931       
932        /* XXX Proper error handling?? */
933        if (buffer == NULL)
934                return -1;
935
936        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
937                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
938                return -1;
939        }
940       
941        packet->trace = trace;
942       
943        /* Clear packet cache */
944        trace_clear_cache(packet);
945
946        if (trace->format->prepare_packet) {
947                return trace->format->prepare_packet(trace, packet,
948                                buffer, rt_type, flags);
949        }
950        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
951                        "This format does not support preparing packets\n");
952        return -1;
953
954}
955
956/* Writes a packet to the specified output trace
957 *
958 * @param libtrace      describes the output format, destination, etc.
959 * @param packet        the packet to be written out
960 * @returns the number of bytes written, -1 if write failed
961 */
962DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
963        assert(libtrace);
964        assert(packet);
965        /* Verify the packet is valid */
966        if (!libtrace->started) {
967                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
968                        "Trace is not started before trace_write_packet");
969                return -1;
970        }
971
972        if (libtrace->format->write_packet) {
973                return libtrace->format->write_packet(libtrace, packet);
974        }
975        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
976                "This format does not support writing packets");
977        return -1;
978}
979
980/* Get a pointer to the first byte of the packet payload */
981DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
982                libtrace_linktype_t *linktype, uint32_t *remaining) {
983        int cap_len;
984        int wire_len;
985
986        assert(packet != NULL);
987        if (linktype) *linktype = trace_get_link_type(packet);
988        if (remaining) {
989                /* I think we should choose the minimum of the capture and
990                 * wire lengths to be the "remaining" value. If the packet has
991                 * been padded to increase the capture length, we don't want
992                 * to allow subsequent protocol decoders to consider the
993                 * padding as part of the packet.
994                 *
995                 * For example, in Auck 4 there is a trace where the IP header
996                 * length is incorrect (24 bytes) followed by a 20 byte TCP
997                 * header. Total IP length is 40 bytes. As a result, the
998                 * legacyatm padding gets treated as the "missing" bytes of
999                 * the TCP header, which isn't the greatest. We're probably
1000                 * better off returning an incomplete TCP header in that case.
1001                 */
1002               
1003                cap_len = trace_get_capture_length(packet);
1004                wire_len = trace_get_wire_length(packet);
1005
1006                assert(cap_len >= 0);
1007
1008                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1009                 * massively negative wire lens. We could assert fail here on
1010                 * them, but we could at least try the capture length instead.
1011                 *
1012                 * You may still run into problems if you try to write that
1013                 * packet, but at least reading should work OK.
1014                 */
1015                if (wire_len < 0)
1016                        *remaining = cap_len;
1017                else if (wire_len < cap_len)
1018                        *remaining = wire_len;
1019                else
1020                        *remaining = cap_len;
1021                /* *remaining = trace_get_capture_length(packet); */
1022        }
1023        return (void *) packet->payload;
1024}
1025
1026
1027/* Get a pointer to the first byte of the packet payload
1028 *
1029 * DEPRECATED - use trace_get_packet_buffer() instead */
1030DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1031        return (void *)packet->payload;
1032}
1033
1034/* Get the current time in DAG time format
1035 * @param packet        a pointer to a libtrace_packet structure
1036 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1037 * past 1970-01-01, the lower 32bits are partial seconds)
1038 */ 
1039DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1040        if (packet->trace->format->get_erf_timestamp) {
1041                /* timestamp -> timestamp */
1042                return packet->trace->format->get_erf_timestamp(packet);
1043        } else if (packet->trace->format->get_timespec) {
1044                /* timespec -> timestamp */
1045                struct timespec ts;
1046                ts = packet->trace->format->get_timespec(packet);
1047                return ((((uint64_t)ts.tv_sec) << 32) +
1048                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1049        } else if (packet->trace->format->get_timeval) {
1050                /* timeval -> timestamp */
1051                struct timeval tv;
1052                tv = packet->trace->format->get_timeval(packet);
1053                return ((((uint64_t)tv.tv_sec) << 32) +
1054                                (((uint64_t)tv.tv_usec << 32)/1000000));
1055        } else if (packet->trace->format->get_seconds) {
1056                /* seconds -> timestamp */
1057                double seconds = packet->trace->format->get_seconds(packet);
1058                return (((uint64_t)seconds)<<32)
1059                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1060        }
1061        else {
1062                return (uint64_t)0;
1063        }
1064                     
1065}
1066
1067/* Get the current time in struct timeval
1068 * @param packet        a pointer to a libtrace_packet structure
1069 *
1070 * @returns time that this packet was seen in a struct timeval
1071 * @author Daniel Lawson
1072 * @author Perry Lorier
1073 */ 
1074DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1075        struct timeval tv;
1076        uint64_t ts = 0;
1077        if (packet->trace->format->get_timeval) {
1078                /* timeval -> timeval */
1079                tv = packet->trace->format->get_timeval(packet);
1080        } else if (packet->trace->format->get_erf_timestamp) {
1081                /* timestamp -> timeval */
1082                ts = packet->trace->format->get_erf_timestamp(packet);
1083                tv.tv_sec = ts >> 32;
1084                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1085                if (tv.tv_usec >= 1000000) {
1086                        tv.tv_usec -= 1000000;
1087                        tv.tv_sec += 1;
1088                }
1089        } else if (packet->trace->format->get_timespec) {
1090                struct timespec ts = packet->trace->format->get_timespec(packet);
1091                tv.tv_sec = ts.tv_sec;
1092                tv.tv_usec = ts.tv_nsec/1000;
1093        } else if (packet->trace->format->get_seconds) {
1094                /* seconds -> timeval */
1095                double seconds = packet->trace->format->get_seconds(packet);
1096                tv.tv_sec = (uint32_t)seconds;
1097                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1098        }
1099        else {
1100                tv.tv_sec=-1;
1101                tv.tv_usec=-1;
1102        }
1103
1104    return tv;
1105}
1106
1107DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1108        struct timespec ts;
1109
1110        if (packet->trace->format->get_timespec) {
1111                return packet->trace->format->get_timespec(packet);
1112        } else if (packet->trace->format->get_erf_timestamp) {
1113                /* timestamp -> timeval */
1114                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1115                ts.tv_sec = erfts >> 32;
1116                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1117                if (ts.tv_nsec >= 1000000000) {
1118                        ts.tv_nsec -= 1000000000;
1119                        ts.tv_sec += 1;
1120                }
1121                return ts;
1122        } else if (packet->trace->format->get_timeval) {
1123                /* timeval -> timespec */
1124                struct timeval tv = packet->trace->format->get_timeval(packet);
1125                ts.tv_sec = tv.tv_sec;
1126                ts.tv_nsec = tv.tv_usec*1000;
1127                return ts;
1128        } else if (packet->trace->format->get_seconds) {
1129                /* seconds -> timespec */
1130                double seconds = packet->trace->format->get_seconds(packet);
1131                ts.tv_sec = (uint32_t)seconds;
1132                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1133                return ts;
1134        }
1135        else {
1136                ts.tv_sec=-1;
1137                ts.tv_nsec=-1;
1138                return ts;
1139        }
1140}
1141
1142
1143/* Get the current time in floating point seconds
1144 * @param packet        a pointer to a libtrace_packet structure
1145 * @returns time that this packet was seen in 64bit floating point seconds
1146 */ 
1147DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1148        double seconds = 0.0;
1149
1150        if (packet->trace->format->get_seconds) {
1151                /* seconds->seconds */
1152                seconds = packet->trace->format->get_seconds(packet);
1153        } else if (packet->trace->format->get_erf_timestamp) {
1154                /* timestamp -> seconds */
1155                uint64_t ts = 0;
1156                ts = packet->trace->format->get_erf_timestamp(packet);
1157                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1158        } else if (packet->trace->format->get_timespec) {
1159                /* timespec -> seconds */
1160                struct timespec ts;
1161                ts = packet->trace->format->get_timespec(packet);
1162                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1163        } else if (packet->trace->format->get_timeval) {
1164                /* timeval -> seconds */
1165                struct timeval tv;
1166                tv = packet->trace->format->get_timeval(packet);
1167                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1168        }
1169
1170        return seconds;
1171}
1172
1173DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1174{
1175        /* Cache the capture length */
1176        if (packet->capture_length == -1) {
1177                if (!packet->trace->format->get_capture_length)
1178                        return ~0U;
1179                /* Cast away constness because this is "just" a cache */
1180                ((libtrace_packet_t*)packet)->capture_length = 
1181                        packet->trace->format->get_capture_length(packet);
1182        }
1183
1184        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1185
1186        return packet->capture_length;
1187}
1188       
1189/* Get the size of the packet as it was seen on the wire.
1190 * @param packet        a pointer to a libtrace_packet structure
1191 *
1192 * @returns the size of the packet as it was on the wire.
1193 * @note Due to the trace being a header capture, or anonymisation this may
1194 * not be the same as the Capture Len.
1195 */ 
1196DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1197       
1198        if (packet->wire_length == -1) {
1199                if (!packet->trace->format->get_wire_length) 
1200                        return ~0U;
1201                ((libtrace_packet_t *)packet)->wire_length = 
1202                        packet->trace->format->get_wire_length(packet);
1203        }
1204
1205        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1206        return packet->wire_length;
1207
1208}
1209
1210/* Get the length of the capture framing headers.
1211 * @param packet        the packet opaque pointer
1212 * @returns the size of the packet as it was on the wire.
1213 * @note this length corresponds to the difference between the size of a
1214 * captured packet in memory, and the captured length of the packet
1215 */ 
1216DLLEXPORT SIMPLE_FUNCTION
1217size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1218        if (packet->trace->format->get_framing_length) {
1219                return packet->trace->format->get_framing_length(packet);
1220        }
1221        return ~0U;
1222}
1223
1224
1225/* Get the type of the link layer
1226 * @param packet        a pointer to a libtrace_packet structure
1227 * @returns libtrace_linktype_t
1228 */
1229DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1230
1231        if (packet->link_type == 0) {
1232                if (!packet->trace->format->get_link_type)
1233                        return TRACE_TYPE_UNKNOWN;
1234                ((libtrace_packet_t *)packet)->link_type =
1235                        packet->trace->format->get_link_type(packet);
1236        }
1237
1238        return packet->link_type;
1239}
1240
1241/* process a libtrace event
1242 * @param trace the libtrace opaque pointer
1243 * @param packet the libtrace_packet opaque pointer
1244 * @returns
1245 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1246 *  TRACE_EVENT_SLEEP   Next event in seconds
1247 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1248 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1249 * FIXME currently keeps a copy of the packet inside the trace pointer,
1250 * which in turn is stored inside the new packet object...
1251 */
1252DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1253                libtrace_packet_t *packet) {
1254        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1255
1256        if (!trace) {
1257                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1258        }
1259        assert(trace);
1260        assert(packet);
1261
1262        /* Free the last packet */
1263        trace_fin_packet(packet);
1264       
1265        /* Store the trace we are reading from into the packet opaque
1266         * structure */
1267        packet->trace = trace;
1268
1269        if (packet->trace->format->trace_event) {
1270                /* Note: incrementing accepted, filtered etc. packet
1271                 * counters is handled by the format-specific
1272                 * function so don't increment them here.
1273                 */
1274                event=packet->trace->format->trace_event(trace,packet);
1275                }
1276        return event;
1277
1278}
1279
1280/** Setup a BPF filter based on pre-compiled byte-code.
1281 * @param bf_insns      A pointer to the start of the byte-code
1282 * @param bf_len        The number of BPF instructions
1283 * @returns             an opaque pointer to a libtrace_filter_t object
1284 * @note                The supplied byte-code is not checked for correctness.
1285 * @author              Scott Raynel
1286 */
1287DLLEXPORT libtrace_filter_t *
1288trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1289{
1290#ifndef HAVE_BPF_FILTER
1291        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1292        return NULL;
1293#else
1294        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1295                malloc(sizeof(struct libtrace_filter_t));
1296        filter->filter.bf_insns = (struct bpf_insn *)
1297                malloc(sizeof(struct bpf_insn) * bf_len);
1298       
1299        memcpy(filter->filter.bf_insns, bf_insns,
1300                        bf_len * sizeof(struct bpf_insn));
1301       
1302        filter->filter.bf_len = bf_len;
1303        filter->filterstring = NULL;
1304        filter->jitfilter = NULL;
1305        /* "flag" indicates that the filter member is valid */
1306        filter->flag = 1; 
1307       
1308        return filter;
1309#endif
1310}
1311
1312/* Create a BPF filter
1313 * @param filterstring a char * containing the bpf filter string
1314 * @returns opaque pointer pointer to a libtrace_filter_t object
1315 */
1316DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1317#ifdef HAVE_BPF_FILTER
1318        libtrace_filter_t *filter = (libtrace_filter_t*)
1319                                malloc(sizeof(libtrace_filter_t));
1320        filter->filterstring = strdup(filterstring);
1321        filter->jitfilter = NULL;
1322        filter->flag = 0;
1323        return filter;
1324#else
1325        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1326        return NULL;
1327#endif
1328}
1329
1330DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1331{
1332#ifdef HAVE_BPF_FILTER
1333        free(filter->filterstring);
1334        if (filter->flag)
1335                pcap_freecode(&filter->filter);
1336#ifdef HAVE_LLVM
1337        if (filter->jitfilter) 
1338                destroy_program(filter->jitfilter);
1339#endif
1340        free(filter);
1341#else
1342
1343#endif
1344}
1345
1346/* Compile a bpf filter, now we know the link type for the trace that we're
1347 * applying it to.
1348 *
1349 * @internal
1350 *
1351 * @returns -1 on error, 0 on success
1352 */
1353static int trace_bpf_compile(libtrace_filter_t *filter,
1354                const libtrace_packet_t *packet,
1355                void *linkptr, 
1356                libtrace_linktype_t linktype    ) {
1357#ifdef HAVE_BPF_FILTER
1358        /* It just so happens that the underlying libs used by pthread arn't
1359         * thread safe, namely lex/flex thingys, so single threaded compile
1360         * multi threaded running should be safe.
1361         */
1362        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1363        assert(filter);
1364
1365        /* If this isn't a real packet, then fail */
1366        if (!linkptr) {
1367                trace_set_err(packet->trace,
1368                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1369                return -1;
1370        }
1371       
1372        if (filter->filterstring && ! filter->flag) {
1373                pcap_t *pcap = NULL;
1374                if (linktype==(libtrace_linktype_t)-1) {
1375                        trace_set_err(packet->trace,
1376                                        TRACE_ERR_BAD_FILTER,
1377                                        "Packet has an unknown linktype");
1378                        return -1;
1379                }
1380                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1381                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1382                                        "Unknown pcap equivalent linktype");
1383                        return -1;
1384                }
1385                assert (pthread_mutex_lock(&mutex) == 0);
1386                /* Make sure not one bet us to this */
1387                if (filter->flag) {
1388                        printf("Someone bet us to compile the filter\n");
1389                        assert (pthread_mutex_unlock(&mutex) == 0);
1390                        return 1;
1391                }
1392                pcap=(pcap_t *)pcap_open_dead(
1393                                (int)libtrace_to_pcap_dlt(linktype),
1394                                1500U);
1395                /* build filter */
1396                assert(pcap);
1397                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1398                                        1, 0)) {
1399                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1400                                        "Unable to compile the filter \"%s\": %s", 
1401                                        filter->filterstring,
1402                                        pcap_geterr(pcap));
1403                        pcap_close(pcap);
1404                        assert (pthread_mutex_unlock(&mutex) == 0);
1405                        return -1;
1406                }
1407                pcap_close(pcap);
1408                filter->flag=1;
1409                assert (pthread_mutex_unlock(&mutex) == 0);
1410        }
1411        return 0;
1412#else
1413        assert(!"Internal bug: This should never be called when BPF not enabled");
1414        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1415                                "Feature unavailable");
1416        return -1;
1417#endif
1418}
1419
1420DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1421                        const libtrace_packet_t *packet) {
1422#ifdef HAVE_BPF_FILTER
1423        void *linkptr = 0;
1424        uint32_t clen = 0;
1425        bool free_packet_needed = false;
1426        int ret;
1427        libtrace_linktype_t linktype;
1428        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1429#ifdef HAVE_LLVM
1430        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1431#endif
1432
1433        assert(filter);
1434        assert(packet);
1435
1436        /* Match all non-data packets as we probably want them to pass
1437         * through to the caller */
1438        linktype = trace_get_link_type(packet);
1439
1440        if (linktype == TRACE_TYPE_NONDATA)
1441                return 1;       
1442
1443        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1444               
1445                /* If we cannot get a suitable DLT for the packet, it may
1446                 * be because the packet is encapsulated in a link type that
1447                 * does not correspond to a DLT. Therefore, we should try
1448                 * popping off headers until we either can find a suitable
1449                 * link type or we can't do any more sensible decapsulation. */
1450               
1451                /* Copy the packet, as we don't want to trash the one we
1452                 * were passed in */
1453                packet_copy=trace_copy_packet(packet);
1454                free_packet_needed=true;
1455
1456                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1457                        if (!demote_packet(packet_copy)) {
1458                                trace_set_err(packet->trace, 
1459                                                TRACE_ERR_NO_CONVERSION,
1460                                                "pcap does not support this format");
1461                                if (free_packet_needed) {
1462                                        trace_destroy_packet(packet_copy);
1463                                }
1464                                return -1;
1465                        }
1466                        linktype = trace_get_link_type(packet_copy);
1467                }
1468
1469        }
1470       
1471        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1472        if (!linkptr) {
1473                if (free_packet_needed) {
1474                        trace_destroy_packet(packet_copy);
1475                }
1476                return 0;
1477        }
1478
1479        /* We need to compile the filter now, because before we didn't know
1480         * what the link type was
1481         */
1482        // Note internal mutex locking used here
1483        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1484                if (free_packet_needed) {
1485                        trace_destroy_packet(packet_copy);
1486                }
1487                return -1;
1488        }
1489
1490        /* If we're jitting, we may need to JIT the BPF code now too */
1491#if HAVE_LLVM
1492        if (!filter->jitfilter) {
1493                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1494                /* Again double check here like the bpf filter */
1495                if(filter->jitfilter) 
1496                        printf("Someone bet us to compile the JIT thingy\n");
1497                else
1498                /* Looking at compile_program source this appears to be thread safe
1499                 * however if this gets called twice we will leak this memory :(
1500                 * as such lock here anyways */
1501                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1502                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1503        }
1504#endif
1505
1506        assert(filter->flag);
1507        /* Now execute the filter */
1508#if HAVE_LLVM
1509        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1510#else
1511        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1512#endif
1513
1514        /* If we copied the packet earlier, make sure that we free it */
1515        if (free_packet_needed) {
1516                trace_destroy_packet(packet_copy);
1517        }
1518        return ret;
1519#else
1520        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1521        return 0;
1522#endif
1523}
1524
1525/* Set the direction flag, if it has one
1526 * @param packet the packet opaque pointer
1527 * @param direction the new direction (0,1,2,3)
1528 * @returns a signed value containing the direction flag, or -1 if this is not supported
1529 */
1530DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1531                libtrace_direction_t direction) 
1532{
1533        assert(packet);
1534        if (packet->trace->format->set_direction) {
1535                return packet->trace->format->set_direction(packet,direction);
1536        }
1537        return (libtrace_direction_t)~0U;
1538}
1539
1540/* Get the direction flag, if it has one
1541 * @param packet a pointer to a libtrace_packet structure
1542 * @returns a signed value containing the direction flag, or -1 if this is not supported
1543 * The direction is defined as 0 for packets originating locally (ie, outbound)
1544 * and 1 for packets originating remotely (ie, inbound).
1545 * Other values are possible, which might be overloaded to mean special things
1546 * for a special trace.
1547 */
1548DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1549{
1550        assert(packet);
1551        if (packet->trace->format->get_direction) {
1552                return packet->trace->format->get_direction(packet);
1553        }
1554        return (libtrace_direction_t)~0U;
1555}
1556
1557#define ROOT_SERVER(x) ((x) < 512)
1558#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1559#define NONROOT_SERVER(x) ((x) >= 5000)
1560#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1561#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1562#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1563#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1564
1565/* Attempt to deduce the 'server' port
1566 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1567 * @param source the TCP or UDP source port
1568 * @param dest the TCP or UDP destination port
1569 * @returns a hint as to which port is the server port
1570 */
1571DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1572                uint16_t source, uint16_t dest) 
1573{
1574        /*
1575         * * If the ports are equal, return DEST
1576         * * Check for well-known ports in the given protocol
1577         * * Root server ports: 0 - 511
1578         * * Root client ports: 512 - 1023
1579         * * non-root client ports: 1024 - 4999
1580         * * non-root server ports: 5000+
1581         * * Check for static ranges: 1024 - 49151
1582         * * Check for dynamic ranges: 49152 - 65535
1583         * * flip a coin.
1584         */
1585       
1586        /* equal */
1587        if (source == dest)
1588                return USE_DEST;
1589
1590        /* root server port, 0 - 511 */
1591        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1592                if (source < dest)
1593                        return USE_SOURCE;
1594                return USE_DEST;
1595        }
1596
1597        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1598                return USE_SOURCE;
1599        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1600                return USE_DEST;
1601
1602        /* non-root server */
1603        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1604                if (source < dest)
1605                        return USE_SOURCE;
1606                return USE_DEST;
1607        }
1608        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1609                return USE_SOURCE;
1610        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1611                return USE_DEST;
1612
1613        /* root client */
1614        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1615                if (source < dest)
1616                        return USE_SOURCE;
1617                return USE_DEST;
1618        }
1619        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1620                /* prefer root-client over nonroot-client */
1621                if (NONROOT_CLIENT(dest))
1622                        return USE_SOURCE;
1623                return USE_DEST;
1624        }
1625        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1626                /* prefer root-client over nonroot-client */
1627                if (NONROOT_CLIENT(source))
1628                        return USE_DEST;
1629                return USE_SOURCE;
1630        }
1631       
1632        /* nonroot client */
1633        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1634                if (source < dest) 
1635                        return USE_SOURCE;
1636                return USE_DEST;
1637        }
1638        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1639                return USE_DEST;
1640        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1641                return USE_SOURCE;
1642
1643        /* dynamic range */
1644        if (DYNAMIC(source) && DYNAMIC(dest)) {
1645                if (source < dest)
1646                        return USE_SOURCE;
1647                return USE_DEST;
1648        }
1649        if (DYNAMIC(source) && !DYNAMIC(dest))
1650                return USE_DEST;
1651        if (!DYNAMIC(source) && DYNAMIC(dest))
1652                return USE_SOURCE;
1653        /*
1654        if (SERVER(source) && CLIENT(dest))
1655                return USE_SOURCE;
1656       
1657        if (SERVER(dest) && CLIENT(source))
1658                return USE_DEST;
1659        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1660                return USE_SOURCE;
1661        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1662                return USE_DEST;
1663        */
1664        /* failing that test... */
1665        if (source < dest) {
1666                return USE_SOURCE;
1667        } 
1668        return USE_DEST;
1669       
1670}
1671
1672/* Truncate the packet at the suggested length
1673 * @param packet        the packet opaque pointer
1674 * @param size          the new length of the packet
1675 * @returns the new size of the packet
1676 * @note size and the return size refer to the network-level payload of the
1677 * packet, and do not include any capture headers. For example, to truncate a
1678 * packet after the IP header, set size to sizeof(ethernet_header) +
1679 * sizeof(ip_header)
1680 * @note If the original network-level payload is smaller than size, then the
1681 * original size is returned and the packet is left unchanged.
1682 */
1683DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1684        assert(packet);
1685
1686        if (packet->trace->format->set_capture_length) {
1687                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1688                return packet->capture_length;
1689        }
1690
1691        return ~0U;
1692}
1693
1694/* Splits a URI into two components - the format component which is seen before
1695 * the ':', and the uridata which follows the ':'.
1696 *
1697 * Returns a pointer to the URI data, but updates the format parameter to
1698 * point to a copy of the format component.
1699 */
1700
1701DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1702        const char *uridata = 0;
1703       
1704        if((uridata = strchr(uri,':')) == NULL) {
1705                /* Badly formed URI - needs a : */
1706                return 0;
1707        }
1708
1709        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1710                /* Badly formed URI - uri type is too long */
1711                return 0;
1712        }
1713
1714        /* NOTE: this is allocated memory - it should be freed by the caller
1715         * once they are done with it */
1716        *format=xstrndup(uri, (size_t)(uridata - uri));
1717
1718        /* Push uridata past the delimiter */
1719        uridata++;
1720       
1721        return uridata;
1722}
1723
1724enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1725{
1726        assert(packet);
1727
1728        return packet->trace->format->type;
1729}
1730       
1731DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1732{
1733        libtrace_err_t err = trace->err;
1734        trace->err.err_num = 0; /* "OK" */
1735        trace->err.problem[0]='\0';
1736        return err;
1737}
1738
1739DLLEXPORT bool trace_is_err(libtrace_t *trace)
1740{
1741        return trace->err.err_num != 0;
1742}
1743
1744/* Prints the input error status to standard error and clears the error state */
1745DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1746{
1747        char buf[256];
1748        va_list va;
1749        va_start(va,msg);
1750        vsnprintf(buf,sizeof(buf),msg,va);
1751        va_end(va);
1752        if(trace->err.err_num) {
1753                if (trace->uridata) {
1754                        fprintf(stderr,"%s(%s): %s\n",
1755                                        buf,trace->uridata,trace->err.problem);
1756                } else {
1757                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1758                }
1759        } else {
1760                if (trace->uridata) {
1761                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1762                } else {
1763                        fprintf(stderr,"%s: No error\n", buf);
1764                }
1765        }
1766        trace->err.err_num = 0; /* "OK" */
1767        trace->err.problem[0]='\0';
1768}
1769
1770DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1771{
1772        libtrace_err_t err = trace->err;
1773        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1774        trace->err.problem[0]='\0';
1775        return err;
1776}
1777
1778DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1779{
1780        return trace->err.err_num != 0;
1781}
1782
1783/* Prints the output error status to standard error and clears the error state
1784 */
1785DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1786{
1787        char buf[256];
1788        va_list va;
1789        va_start(va,msg);
1790        vsnprintf(buf,sizeof(buf),msg,va);
1791        va_end(va);
1792        if(trace->err.err_num) {
1793                fprintf(stderr,"%s(%s): %s\n",
1794                                buf,
1795                                trace->uridata?trace->uridata:"no uri",
1796                                trace->err.problem);
1797        } else {
1798                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1799        }
1800        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1801        trace->err.problem[0]='\0';
1802}
1803
1804DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1805{
1806        if (trace->format->seek_erf) {
1807                return trace->format->seek_erf(trace,ts);
1808        }
1809        else {
1810                if (trace->format->seek_timeval) {
1811                        struct timeval tv;
1812#if __BYTE_ORDER == __BIG_ENDIAN
1813                        tv.tv_sec = ts & 0xFFFFFFFF;
1814                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1815#elif __BYTE_ORDER == __LITTLE_ENDIAN
1816                        tv.tv_sec = ts >> 32;
1817                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1818#else
1819#error "What on earth are you running this on?"
1820#endif
1821                        if (tv.tv_usec >= 1000000) {
1822                                tv.tv_usec -= 1000000;
1823                                tv.tv_sec += 1;
1824                        }
1825                        return trace->format->seek_timeval(trace,tv);
1826                }
1827                if (trace->format->seek_seconds) {
1828                        double seconds = 
1829                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1830                        return trace->format->seek_seconds(trace,seconds);
1831                }
1832                trace_set_err(trace,
1833                                TRACE_ERR_OPTION_UNAVAIL,
1834                                "Feature unimplemented");
1835                return -1;
1836        }
1837}
1838
1839DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1840{
1841        if (trace->format->seek_seconds) {
1842                return trace->format->seek_seconds(trace,seconds);
1843        }
1844        else {
1845                if (trace->format->seek_timeval) {
1846                        struct timeval tv;
1847                        tv.tv_sec = (uint32_t)seconds;
1848                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1849                        return trace->format->seek_timeval(trace,tv);
1850                }
1851                if (trace->format->seek_erf) {
1852                        uint64_t timestamp = 
1853                                ((uint64_t)((uint32_t)seconds) << 32) + \
1854                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1855                        return trace->format->seek_erf(trace,timestamp);
1856                }
1857                trace_set_err(trace,
1858                                TRACE_ERR_OPTION_UNAVAIL,
1859                                "Feature unimplemented");
1860                return -1;
1861        }
1862}
1863
1864DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1865{
1866        if (trace->format->seek_timeval) {
1867                return trace->format->seek_timeval(trace,tv);
1868        }
1869        else {
1870                if (trace->format->seek_erf) {
1871                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1872                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1873                        return trace->format->seek_erf(trace,timestamp);
1874                }
1875                if (trace->format->seek_seconds) {
1876                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1877                        return trace->format->seek_seconds(trace,seconds);
1878                }
1879                trace_set_err(trace,
1880                                TRACE_ERR_OPTION_UNAVAIL,
1881                                "Feature unimplemented");
1882                return -1;
1883        }
1884}
1885
1886/* Converts a binary ethernet MAC address into a printable string */
1887DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1888{
1889        static char staticbuf[18]={0,};
1890        if (!buf)
1891                buf=staticbuf;
1892        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1893                        addr[0],addr[1],addr[2],
1894                        addr[3],addr[4],addr[5]);
1895        return buf;
1896}
1897
1898/* Converts a printable ethernet MAC address into a binary format */
1899DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1900{
1901        uint8_t *buf2 = addr;
1902        unsigned int tmp[6];
1903        static uint8_t staticaddr[6];
1904        if (!buf2)
1905                buf2=staticaddr;
1906        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1907                        &tmp[0],&tmp[1],&tmp[2],
1908                        &tmp[3],&tmp[4],&tmp[5]);
1909        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1910        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1911        return buf2;
1912}
1913
1914
1915/* Creates a libtrace packet from scratch using the contents of the provided
1916 * buffer as the packet payload.
1917 *
1918 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1919 * format headers; instead this function will add the PCAP header to the
1920 * packet record. This also means only PCAP packets can be constructed using
1921 * this function.
1922 *
1923 */
1924DLLEXPORT
1925void trace_construct_packet(libtrace_packet_t *packet,
1926                libtrace_linktype_t linktype,
1927                const void *data,
1928                uint16_t len)
1929{
1930        size_t size;
1931        static libtrace_t *deadtrace=NULL;
1932        libtrace_pcapfile_pkt_hdr_t hdr;
1933#ifdef WIN32
1934        struct _timeb tstruct;
1935#else
1936        struct timeval tv;
1937#endif
1938
1939        /* We need a trace to attach the constructed packet to (and it needs
1940         * to be PCAP) */
1941        if (NULL == deadtrace) 
1942                deadtrace=trace_create_dead("pcapfile");
1943
1944        /* Fill in the new PCAP header */
1945#ifdef WIN32
1946        _ftime(&tstruct);
1947        hdr.ts_sec=tstruct.time;
1948        hdr.ts_usec=tstruct.millitm * 1000;
1949#else
1950        gettimeofday(&tv,NULL);
1951        hdr.ts_sec=tv.tv_sec;
1952        hdr.ts_usec=tv.tv_usec;
1953#endif
1954
1955        hdr.caplen=len;
1956        hdr.wirelen=len;
1957
1958        /* Now fill in the libtrace packet itself */
1959        packet->trace=deadtrace;
1960        size=len+sizeof(hdr);
1961        if (packet->buf_control==TRACE_CTRL_PACKET) {
1962                packet->buffer=realloc(packet->buffer,size);
1963        }
1964        else {
1965                packet->buffer=malloc(size);
1966        }
1967        packet->buf_control=TRACE_CTRL_PACKET;
1968        packet->header=packet->buffer;
1969        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
1970       
1971        /* Ugh, memcpy - sadly necessary */
1972        memcpy(packet->header,&hdr,sizeof(hdr));
1973        memcpy(packet->payload,data,(size_t)len);
1974        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
1975
1976        trace_clear_cache(packet);
1977}
1978
1979
1980uint64_t trace_get_received_packets(libtrace_t *trace)
1981{
1982        assert(trace);
1983        uint64_t ret;
1984
1985        if (trace->format->get_received_packets) {
1986                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
1987                        return ret;
1988        } else if (trace->format->get_statistics) {
1989                struct libtrace_stat_t stat;
1990                stat.magic = LIBTRACE_STAT_MAGIC;
1991                trace_get_statistics(trace, &stat);
1992                if (stat.received_valid)
1993                        return stat.received;
1994        }
1995
1996        // Read the cached value taken before the trace was paused/closed
1997        if(trace->stats && trace->stats->received_valid)
1998                return trace->stats->received;
1999        else
2000                return UINT64_MAX;
2001}
2002
2003uint64_t trace_get_filtered_packets(libtrace_t *trace)
2004{
2005        assert(trace);
2006        int i = 0;
2007        uint64_t lib_filtered = trace->filtered_packets;
2008        for (i = 0; i < trace->perpkt_thread_count; i++) {
2009                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2010        }
2011        if (trace->format->get_filtered_packets) {
2012                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2013                if (trace_filtered == UINT64_MAX)
2014                        return UINT64_MAX;
2015                else
2016                        return trace_filtered + lib_filtered;
2017        } else if (trace->format->get_statistics) {
2018                struct libtrace_stat_t stat;
2019                stat.magic = LIBTRACE_STAT_MAGIC;
2020                trace_get_statistics(trace, &stat);
2021                if (stat.filtered_valid)
2022                        return lib_filtered + stat.filtered;
2023                else
2024                        return UINT64_MAX;
2025        }
2026
2027        // Read the cached value taken before the trace was paused/closed
2028        if(trace->stats && trace->stats->filtered_valid)
2029                return trace->stats->filtered + lib_filtered;
2030        else
2031                return lib_filtered;
2032}
2033
2034uint64_t trace_get_dropped_packets(libtrace_t *trace)
2035{
2036        assert(trace);
2037        uint64_t ret;
2038
2039        if (trace->format->get_dropped_packets) {
2040                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2041                        return ret;
2042        } else if (trace->format->get_statistics) {
2043                struct libtrace_stat_t stat;
2044                stat.magic = LIBTRACE_STAT_MAGIC;
2045                trace_get_statistics(trace, &stat);
2046                if (stat.dropped_valid)
2047                        return stat.dropped;
2048        }
2049
2050        // Read the cached value taken before the trace was paused/closed
2051        if(trace->stats && trace->stats->dropped_valid)
2052                return trace->stats->dropped;
2053        else
2054                return UINT64_MAX;
2055}
2056
2057uint64_t trace_get_accepted_packets(libtrace_t *trace)
2058{
2059        assert(trace);
2060        int i = 0;
2061        uint64_t ret = 0;
2062        /* We always add to a thread's accepted count before dispatching the
2063         * packet to the user. However if the underlying trace is single
2064         * threaded it will also be increasing the global count. So if we
2065         * find perpkt ignore the global count.
2066         */
2067        for (i = 0; i < trace->perpkt_thread_count; i++) {
2068                ret += trace->perpkt_threads[i].accepted_packets;
2069        }
2070        return ret ? ret : trace->accepted_packets;
2071}
2072
2073libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2074{
2075        uint64_t ret;
2076        int i;
2077        assert(trace);
2078        if (stat == NULL) {
2079                if (trace->stats == NULL)
2080                        trace->stats = trace_create_statistics();
2081                stat = trace->stats;
2082        }
2083        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2084               "trace_create_statistics() to allocate statistics");
2085
2086        /* If the trace has paused or finished get the cached results */
2087        if (trace->state == STATE_PAUSED ||
2088            trace->state == STATE_FINSHED ||
2089            trace->state == STATE_JOINED) {
2090                if (trace->stats && trace->stats != stat)
2091                        *stat = *trace->stats;
2092                return stat;
2093        }
2094
2095        stat->reserved1 = 0;
2096        stat->reserved2 = 0;
2097#define X(x) stat->x ##_valid = 0;
2098        LIBTRACE_STAT_FIELDS;
2099#undef X
2100        /* Both accepted and filtered are stored against in the library */
2101        ret = trace_get_accepted_packets(trace);
2102        if (ret != UINT64_MAX) {
2103                stat->accepted_valid = 1;
2104                stat->accepted = ret;
2105        }
2106
2107        stat->filtered_valid = 1;
2108        stat->filtered = trace->filtered_packets;
2109        for (i = 0; i < trace->perpkt_thread_count; i++) {
2110                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2111        }
2112
2113        if (trace->format->get_statistics) {
2114                trace->format->get_statistics(trace, stat);
2115        } else {
2116                /* Fallback to the old way */
2117                ret = trace_get_received_packets(trace);
2118                if (ret != UINT64_MAX) {
2119                        stat->received_valid = 1;
2120                        stat->received = ret;
2121                }
2122                ret = trace_get_dropped_packets(trace);
2123                if (ret != UINT64_MAX) {
2124                        stat->dropped_valid = 1;
2125                        stat->dropped = ret;
2126                }
2127        }
2128        return stat;
2129}
2130
2131void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2132                                 libtrace_stat_t *stat)
2133{
2134        assert(trace && stat);
2135        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2136               "trace_create_statistics() to allocate statistics");
2137        stat->reserved1 = 0;
2138        stat->reserved2 = 0;
2139#define X(x) stat->x ##_valid= 0;
2140        LIBTRACE_STAT_FIELDS;
2141#undef X
2142        stat->accepted_valid = 1;
2143        stat->accepted = t->accepted_packets;
2144        stat->filtered_valid = 1;
2145        stat->filtered = t->filtered_packets;
2146        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2147                trace->format->get_thread_statistics(trace, t, stat);
2148        }
2149        return;
2150}
2151
2152libtrace_stat_t *trace_create_statistics(void) {
2153        libtrace_stat_t *ret;
2154        ret = malloc(sizeof(libtrace_stat_t));
2155        if (ret) {
2156                memset(ret, 0, sizeof(libtrace_stat_t));
2157                ret->magic = LIBTRACE_STAT_MAGIC;
2158        }
2159        return ret;
2160}
2161
2162void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2163                         libtrace_stat_t *c) {
2164        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2165               "trace_create_statistics() to allocate statistics");
2166        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2167               "trace_create_statistics() to allocate statistics");
2168        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2169               "trace_create_statistics() to allocate statistics");
2170
2171#define X(x) \
2172        if (a->x ##_valid && b->x ##_valid) { \
2173                c->x ##_valid = 1; \
2174                c->x = a->x - b->x; \
2175        } else {\
2176                c->x ##_valid = 0;\
2177        }
2178        LIBTRACE_STAT_FIELDS
2179#undef X
2180}
2181
2182void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2183                         libtrace_stat_t *c) {
2184        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2185               "trace_create_statistics() to allocate statistics");
2186        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2187               "trace_create_statistics() to allocate statistics");
2188        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2189               "trace_create_statistics() to allocate statistics");
2190
2191#define X(x) \
2192        if (a->x ##_valid&& b->x ##_valid) { \
2193                c->x ##_valid = 1; \
2194                c->x = a->x + b->x; \
2195        } else {\
2196                c->x ##_valid = 0;\
2197        }
2198        LIBTRACE_STAT_FIELDS
2199#undef X
2200}
2201
2202int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2203        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2204               "trace_create_statistics() to allocate statistics");
2205        if (format == NULL)
2206                format = "%s: %"PRIu64"\n";
2207#define xstr(s) str(s)
2208#define str(s) #s
2209#define X(x) \
2210        if (s->x ##_valid) { \
2211                if (fprintf(f, format, xstr(x), s->x) < 0) \
2212                        return -1; \
2213        }
2214        LIBTRACE_STAT_FIELDS
2215#undef X
2216        return 0;
2217}
2218
2219
2220void trace_clear_cache(libtrace_packet_t *packet) {
2221
2222        packet->l2_header = NULL;
2223        packet->l3_header = NULL;
2224        packet->l4_header = NULL;
2225        packet->link_type = 0;
2226        packet->l3_ethertype = 0;
2227        packet->transport_proto = 0;
2228        packet->capture_length = -1;
2229        packet->wire_length = -1;
2230        packet->payload_length = -1;
2231        packet->l2_remaining = 0;
2232        packet->l3_remaining = 0;
2233        packet->l4_remaining = 0;
2234
2235}
2236
2237void trace_interrupt(void) {
2238        libtrace_halt = 1;
2239}
2240
2241void register_format(struct libtrace_format_t *f) {
2242        assert(f->next==NULL); /* Can't register a format twice */
2243        f->next=formats_list;
2244        formats_list=f;
2245
2246        /* Now, verify that the format has at least the minimum functionality.
2247         *
2248         * This #if can be changed to a 1 to output warnings about inconsistent
2249         * functions being provided by format modules.  This generally is very
2250         * noisy, as almost all modules don't implement one or more functions
2251         * for various reasons.  This is very useful when checking a new
2252         * format module is sane.
2253         */ 
2254#if 0
2255        if (f->init_input) {
2256#define REQUIRE(x) \
2257                if (!f->x) \
2258                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2259                REQUIRE(read_packet);
2260                REQUIRE(start_input);
2261                REQUIRE(fin_input);
2262                REQUIRE(get_link_type);
2263                REQUIRE(get_capture_length);
2264                REQUIRE(get_wire_length);
2265                REQUIRE(get_framing_length);
2266                REQUIRE(trace_event);
2267                if (!f->get_erf_timestamp
2268                        && !f->get_seconds
2269                        && !f->get_timeval) {
2270                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2271"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2272                }
2273                if (f->trace_event!=trace_event_trace) {
2274                        /* Theres nothing that a trace file could optimise with
2275                         * config_input
2276                         */
2277                        REQUIRE(pause_input);
2278                        REQUIRE(config_input);
2279                        REQUIRE(get_fd);
2280                }
2281                else {
2282                        if (f->get_fd) {
2283                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2284                                                f->name);
2285                        }
2286                }
2287#undef REQUIRE
2288        }
2289        else {
2290#define REQUIRE(x) \
2291                if (f->x) \
2292                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2293                REQUIRE(read_packet);
2294                REQUIRE(start_input);
2295                REQUIRE(pause_input);
2296                REQUIRE(fin_input);
2297                REQUIRE(get_link_type);
2298                REQUIRE(get_capture_length);
2299                REQUIRE(get_wire_length);
2300                REQUIRE(get_framing_length);
2301                REQUIRE(trace_event);
2302                REQUIRE(get_seconds);
2303                REQUIRE(get_timeval);
2304                REQUIRE(get_erf_timestamp);
2305#undef REQUIRE
2306        }
2307        if (f->init_output) {
2308#define REQUIRE(x) \
2309                if (!f->x) \
2310                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2311                REQUIRE(write_packet);
2312                REQUIRE(start_output);
2313                REQUIRE(config_output);
2314                REQUIRE(fin_output);
2315#undef REQUIRE
2316        }
2317        else {
2318#define REQUIRE(x) \
2319                if (f->x) \
2320                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2321                REQUIRE(write_packet);
2322                REQUIRE(start_output);
2323                REQUIRE(config_output);
2324                REQUIRE(fin_output);
2325#undef REQUIRE
2326        }
2327#endif
2328}
2329
Note: See TracBrowser for help on using the repository browser.