source: lib/trace.c @ f72e13d

pfring
Last change on this file since f72e13d was f72e13d, checked in by Shane Alcock <salcock@…>, 6 years ago

Started adding support for PF_RING

Very early stages -- basically it compiles and can possibly be used
with the original API, but I haven't tested it yet.

Still TODO:

test using basic libtrace examples
event API support
parallel support
RT support

  • Property mode set to 100644
File size: 67.9 KB
Line 
1/*
2 * This file is part of libtrace
3 *
4 * Copyright (c) 2007-2015 The University of Waikato, Hamilton,
5 * New Zealand.
6 *
7 * Authors: Daniel Lawson
8 *          Perry Lorier
9 *          Shane Alcock
10 *         
11 * All rights reserved.
12 *
13 * This code has been developed by the University of Waikato WAND
14 * research group. For further information please see http://www.wand.net.nz/
15 *
16 * libtrace is free software; you can redistribute it and/or modify
17 * it under the terms of the GNU General Public License as published by
18 * the Free Software Foundation; either version 2 of the License, or
19 * (at your option) any later version.
20 *
21 * libtrace is distributed in the hope that it will be useful,
22 * but WITHOUT ANY WARRANTY; without even the implied warranty of
23 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
24 * GNU General Public License for more details.
25 *
26 * You should have received a copy of the GNU General Public License
27 * along with libtrace; if not, write to the Free Software
28 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
29 *
30 * $Id$
31 *
32 */
33
34
35#define _GNU_SOURCE
36#include "common.h"
37#include "config.h"
38#include <assert.h>
39#include <errno.h>
40#include <fcntl.h>
41#include <stdio.h>
42#include <stdlib.h>
43#include <string.h>
44#include <sys/stat.h>
45#include <sys/types.h>
46#ifndef WIN32
47#include <sys/socket.h>
48#endif
49#include <stdarg.h>
50#include <sys/param.h>
51
52#ifdef HAVE_LIMITS_H
53#  include <limits.h>
54#endif
55
56#ifdef HAVE_SYS_LIMITS_H
57#  include <sys/limits.h>
58#endif
59
60#ifdef HAVE_NET_IF_ARP_H
61#  include <net/if_arp.h>
62#endif
63
64#ifdef HAVE_NET_IF_H
65#  include <net/if.h>
66#endif
67
68#ifdef HAVE_NETINET_IN_H
69#  include <netinet/in.h>
70#endif
71
72#ifdef HAVE_NET_ETHERNET_H
73#  include <net/ethernet.h>
74#endif
75
76#ifdef HAVE_NETINET_IF_ETHER_H
77#  include <netinet/if_ether.h>
78#endif
79
80#include <time.h>
81#ifdef WIN32
82#include <sys/timeb.h>
83#endif
84
85#include "libtrace.h"
86#include "libtrace_int.h"
87
88#ifdef HAVE_PCAP_BPF_H
89#  include <pcap-bpf.h>
90#else
91#  ifdef HAVE_NET_BPF_H
92#    include <net/bpf.h>
93#  endif
94#endif
95
96
97#include "libtrace_int.h"
98#include "format_helper.h"
99#include "rt_protocol.h"
100
101#include <pthread.h>
102#include <signal.h>
103
104#define MAXOPTS 1024
105
106/* This file contains much of the implementation of the libtrace API itself. */
107
108static struct libtrace_format_t *formats_list = NULL;
109
110volatile int libtrace_halt = 0;
111/* Set once pstart is called used for backwards compatibility reasons */
112int libtrace_parallel = 0;
113
114/* strncpy is not assured to copy the final \0, so we
115 * will use our own one that does
116 */
117static void xstrncpy(char *dest, const char *src, size_t n)
118{
119        strncpy(dest,src,n);
120        dest[n]='\0';
121}
122 
123static char *xstrndup(const char *src,size_t n)
124{       
125        char *ret=(char*)malloc(n+1);
126        if (ret==NULL) {
127                fprintf(stderr,"Out of memory");
128                exit(EXIT_FAILURE);
129        }
130        xstrncpy(ret,src,n);
131        return ret;
132}
133
134
135/* call all the constructors if they haven't yet all been called */
136static void trace_init(void)
137{
138        if (!formats_list) {
139                duck_constructor();
140                erf_constructor();
141                tsh_constructor();
142                legacy_constructor();
143                atmhdr_constructor();
144                linuxring_constructor();
145                linuxnative_constructor();
146#ifdef HAVE_LIBPCAP
147                pcap_constructor();
148#endif
149                bpf_constructor();
150                pcapfile_constructor();
151                rt_constructor();
152#ifdef HAVE_DAG
153                dag_constructor();
154#endif
155#ifdef HAVE_DPDK
156        dpdk_constructor();
157#endif
158#ifdef HAVE_PFRING
159        pfring_constructor();   
160#endif
161        }
162}
163
164/* Prints help information for libtrace
165 *
166 * Function prints out some basic help information regarding libtrace,
167 * and then prints out the help() function registered with each input module
168 */
169DLLEXPORT void trace_help(void) {
170        struct libtrace_format_t *tmp;
171        trace_init();
172        printf("libtrace %s\n\n",PACKAGE_VERSION);
173        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
174        for(tmp=formats_list;tmp;tmp=tmp->next) {
175                if (tmp->help)
176                        tmp->help();
177        }
178}
179
180#define URI_PROTO_LINE 16U
181
182/* Try to guess which format module is appropriate for a given trace file or
183 * device */
184static void guess_format(libtrace_t *libtrace, const char *filename)
185{
186        struct libtrace_format_t *tmp;
187       
188        /* Try and guess based on filename */
189        for(tmp = formats_list; tmp; tmp=tmp->next) {
190                if (tmp->probe_filename && tmp->probe_filename(filename)) {
191                        libtrace->format = tmp;
192                        libtrace->uridata = strdup(filename);
193                        return;
194                }
195        }
196
197        libtrace->io = wandio_create(filename);
198        if (!libtrace->io)
199                return;
200
201        /* Try and guess based on file magic */
202        for(tmp = formats_list; tmp; tmp=tmp->next) {
203                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
204                        libtrace->format = tmp;
205                        libtrace->uridata = strdup(filename);
206                        return;
207                }
208        }
209       
210        /* No formats matched -- make sure we clean up the IO object we
211         * used to probe the file magic */
212        wandio_destroy(libtrace->io);
213        return;
214}
215
216/* Creates an input trace from a URI
217 *
218 * @params char * containing a valid libtrace URI
219 * @returns opaque pointer to a libtrace_t
220 *
221 * Some valid URI's are:
222 *  erf:/path/to/erf/file
223 *  erf:/path/to/erf/file.gz
224 *  erf:-                       (stdin)
225 *  dag:/dev/dagcard
226 *  pcapint:pcapinterface               (eg: pcapint:eth0)
227 *  pcapfile:/path/to/pcap/file
228 *  pcapfile:-
229 *  int:interface                       (eg: int:eth0) only on Linux
230 *  rt:hostname
231 *  rt:hostname:port
232 *
233 * If an error occured when attempting to open a trace, NULL is returned
234 * and an error is output to stdout.
235 */
236DLLEXPORT libtrace_t *trace_create(const char *uri) {
237        libtrace_t *libtrace = 
238                        (libtrace_t *)malloc(sizeof(libtrace_t));
239        char *scan = 0;
240        const char *uridata = 0;                 
241
242        trace_init();
243
244        assert(uri && "Passing NULL to trace_create makes me a very sad program");
245
246        if (!libtrace) {
247                /* Out of memory */
248                return NULL;
249        }
250       
251        libtrace->err.err_num = TRACE_ERR_NOERROR;
252        libtrace->format=NULL;
253       
254        libtrace->event.tdelta = 0.0;
255        libtrace->event.packet = NULL;
256        libtrace->event.psize = 0;
257        libtrace->event.trace_last_ts = 0.0;
258        libtrace->event.waiting = false;
259        libtrace->filter = NULL;
260        libtrace->snaplen = 0;
261        libtrace->started=false;
262        libtrace->uridata = NULL;
263        libtrace->io = NULL;
264        libtrace->filtered_packets = 0;
265        libtrace->accepted_packets = 0;
266        libtrace->last_packet = NULL;
267       
268        /* Parallel inits */
269        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
270        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
271        libtrace->state = STATE_NEW;
272        libtrace->perpkt_queue_full = false;
273        libtrace->global_blob = NULL;
274        libtrace->hasher = NULL;
275        libtrace->hasher_data = NULL;
276        libtrace_zero_ocache(&libtrace->packet_freelist);
277        libtrace_zero_thread(&libtrace->hasher_thread);
278        libtrace_zero_thread(&libtrace->reporter_thread);
279        libtrace_zero_thread(&libtrace->keepalive_thread);
280        libtrace->reporter_thread.type = THREAD_EMPTY;
281        libtrace->perpkt_thread_count = 0;
282        libtrace->perpkt_threads = NULL;
283        libtrace->tracetime = 0;
284        libtrace->first_packets.first = 0;
285        libtrace->first_packets.count = 0;
286        libtrace->first_packets.packets = NULL;
287        libtrace->stats = NULL;
288        libtrace->pread = NULL;
289        libtrace->sequence_number = 0;
290        ZERO_USER_CONFIG(libtrace->config);
291        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
292        libtrace->perpkt_cbs = NULL;
293        libtrace->reporter_cbs = NULL;
294
295        /* Parse the URI to determine what sort of trace we are dealing with */
296        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
297                /* Could not parse the URI nicely */
298                guess_format(libtrace,uri);
299                if (!libtrace->format) {
300                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
301                        return libtrace;
302                }
303        }
304        else {
305                struct libtrace_format_t *tmp;
306
307                /* Find a format that matches the first part of the URI */
308                for (tmp=formats_list;tmp;tmp=tmp->next) {
309                        if (strlen(scan) == strlen(tmp->name) &&
310                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
311                                        ) {
312                                libtrace->format=tmp;
313                                break;
314                        }
315                }
316
317                if (libtrace->format == 0) {
318                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
319                                        "Unknown format (%s)",scan);
320                        return libtrace;
321                }
322
323                libtrace->uridata = strdup(uridata);
324        }
325        /* libtrace->format now contains the type of uri
326         * libtrace->uridata contains the appropriate data for this
327         */
328       
329        /* Call the init_input function for the matching capture format */ 
330        if (libtrace->format->init_input) {
331                int err=libtrace->format->init_input(libtrace);
332                assert (err==-1 || err==0);
333                if (err==-1) {
334                        /* init_input should call trace_set_err to set
335                         * the error message
336                         */
337                        return libtrace;
338                }
339        } else {
340                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
341                                "Format does not support input (%s)",scan);
342                return libtrace;
343        }
344       
345        if (scan)
346                free(scan);
347        libtrace->err.err_num=TRACE_ERR_NOERROR;
348        libtrace->err.problem[0]='\0';
349        return libtrace;
350}
351
352/* Creates a "dummy" trace file that has only the format type set.
353 *
354 * @returns opaque pointer to a (sparsely initialised) libtrace_t
355 *
356 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
357 * with the dummy trace. Its intended purpose is to act as a packet->trace for
358 * libtrace_packet_t's that are not associated with a libtrace_t structure.
359 */
360DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
361        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
362        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
363        char *uridata;
364        struct libtrace_format_t *tmp;
365
366        trace_init();
367       
368        libtrace->err.err_num = TRACE_ERR_NOERROR;
369
370        if((uridata = strchr(uri,':')) == NULL) {
371                xstrncpy(scan, uri, strlen(uri));
372        } else {
373                xstrncpy(scan,uri, (size_t)(uridata - uri));
374        }
375       
376        libtrace->err.err_num = TRACE_ERR_NOERROR;
377        libtrace->format=NULL;
378       
379        libtrace->event.tdelta = 0.0;
380        libtrace->event.packet = NULL;
381        libtrace->event.psize = 0;
382        libtrace->event.trace_last_ts = 0.0;
383        libtrace->filter = NULL;
384        libtrace->snaplen = 0;
385        libtrace->started=false;
386        libtrace->uridata = NULL;
387        libtrace->io = NULL;
388        libtrace->filtered_packets = 0;
389        libtrace->accepted_packets = 0;
390        libtrace->last_packet = NULL;
391       
392        /* Parallel inits */
393        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
394        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
395        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
396        libtrace->perpkt_queue_full = false;
397        libtrace->global_blob = NULL;
398        libtrace->hasher = NULL;
399        libtrace_zero_ocache(&libtrace->packet_freelist);
400        libtrace_zero_thread(&libtrace->hasher_thread);
401        libtrace_zero_thread(&libtrace->reporter_thread);
402        libtrace_zero_thread(&libtrace->keepalive_thread);
403        libtrace->reporter_thread.type = THREAD_EMPTY;
404        libtrace->perpkt_thread_count = 0;
405        libtrace->perpkt_threads = NULL;
406        libtrace->tracetime = 0;
407        libtrace->stats = NULL;
408        libtrace->pread = NULL;
409        libtrace->sequence_number = 0;
410        ZERO_USER_CONFIG(libtrace->config);
411        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
412        libtrace->perpkt_cbs = NULL;
413        libtrace->reporter_cbs = NULL;
414       
415        for(tmp=formats_list;tmp;tmp=tmp->next) {
416                if (strlen(scan) == strlen(tmp->name) &&
417                                !strncasecmp(scan,
418                                        tmp->name,
419                                        strlen(scan))) {
420                                libtrace->format=tmp;
421                                break;
422                                }
423        }
424        if (libtrace->format == 0) {
425                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
426                                "Unknown format (%s)",scan);
427        }
428
429        libtrace->format_data = NULL;
430        free(scan);
431        return libtrace;
432
433}
434
435/* Creates an output trace from a URI.
436 *
437 * @param uri   the uri string describing the output format and destination
438 * @returns opaque pointer to a libtrace_output_t
439 *
440 *  If an error occured when attempting to open the output trace, NULL is
441 *  returned and trace_errno is set.
442 */
443       
444DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
445        libtrace_out_t *libtrace = 
446                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
447       
448        char *scan = 0;
449        const char *uridata = 0;
450        struct libtrace_format_t *tmp;
451
452        trace_init();
453
454        libtrace->err.err_num = TRACE_ERR_NOERROR;
455        strcpy(libtrace->err.problem,"Error message set\n");
456        libtrace->format = NULL;
457        libtrace->uridata = NULL;
458       
459        /* Parse the URI to determine what capture format we want to write */
460
461        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
462                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
463                                "Bad uri format (%s)",uri);
464                return libtrace;
465        }
466       
467        /* Attempt to find the format in the list of supported formats */
468        for(tmp=formats_list;tmp;tmp=tmp->next) {
469                if (strlen(scan) == strlen(tmp->name) &&
470                                !strncasecmp(scan,
471                                        tmp->name,
472                                        strlen(scan))) {
473                                libtrace->format=tmp;
474                                break;
475                                }
476        }
477        free(scan);
478
479        if (libtrace->format == NULL) {
480                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
481                                "Unknown output format (%s)",scan);
482                return libtrace;
483        }
484        libtrace->uridata = strdup(uridata);
485
486        /* libtrace->format now contains the type of uri
487         * libtrace->uridata contains the appropriate data for this
488         */
489
490        if (libtrace->format->init_output) {
491                /* 0 on success, -1 on failure */
492                switch(libtrace->format->init_output(libtrace)) {
493                        case -1: /* failure */
494                                return libtrace;
495                        case 0: /* success */
496                                break;
497                        default:
498                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
499                }
500        } else {
501                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
502                                "Format does not support writing (%s)",scan);
503                return libtrace;
504        }
505
506
507        libtrace->started=false;
508        return libtrace;
509}
510
511/* Start an input trace
512 * @param libtrace      the input trace to start
513 * @returns 0 on success
514 *
515 * This does the work associated with actually starting up
516 * the trace.  it may fail.
517 */
518DLLEXPORT int trace_start(libtrace_t *libtrace)
519{
520        assert(libtrace);
521        if (trace_is_err(libtrace))
522                return -1;
523        if (libtrace->format->start_input) {
524                int ret=libtrace->format->start_input(libtrace);
525                if (ret < 0) {
526                        return ret;
527                }
528        }
529
530        libtrace->started=true;
531        return 0;
532}
533
534/* Start an output trace */
535DLLEXPORT int trace_start_output(libtrace_out_t *libtrace) 
536{
537        assert(libtrace);
538        if (libtrace->format->start_output) {
539                int ret=libtrace->format->start_output(libtrace);
540                if (ret < 0) {
541                        return ret;
542                }
543        }
544
545        libtrace->started=true;
546        return 0;
547}
548
549DLLEXPORT int trace_pause(libtrace_t *libtrace)
550{
551        assert(libtrace);
552        if (!libtrace->started) {
553                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
554                return -1;
555        }
556
557        /* Finish the last packet we read - for backwards compatibility */
558        if (libtrace->last_packet)
559                trace_fin_packet(libtrace->last_packet);
560        assert(libtrace->last_packet == NULL);
561
562        if (libtrace->format->pause_input)
563                libtrace->format->pause_input(libtrace);
564
565        libtrace->started=false;
566        return 0;
567}
568
569DLLEXPORT int trace_config(libtrace_t *libtrace,
570                trace_option_t option,
571                void *value)
572{
573        int ret;
574
575        if (trace_is_err(libtrace)) {
576                return -1;
577        }
578
579        if (option == TRACE_OPTION_HASHER)
580                return trace_set_hasher(libtrace,
581                                        (enum hasher_types) *((int *) value),
582                                        NULL, NULL);
583
584        /* If the capture format supports configuration, try using their
585         * native configuration first */
586        if (libtrace->format->config_input) {
587                ret=libtrace->format->config_input(libtrace,option,value);
588                if (ret==0)
589                        return 0;
590        }
591
592        /* If we get here, either the native configuration failed or the
593         * format did not support configuration. However, libtrace can
594         * deal with some options itself, so give that a go */
595        switch(option) {
596                case TRACE_OPTION_SNAPLEN:
597                        /* Clear the error if there was one */
598                        if (trace_is_err(libtrace)) {
599                                trace_get_err(libtrace);
600                        }
601                        if (*(int*)value<0 
602                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
603                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
604                                        "Invalid snap length");
605                        }
606                        libtrace->snaplen=*(int*)value;
607                        return 0;
608                case TRACE_OPTION_FILTER:
609                        /* Clear the error if there was one */
610                        if (trace_is_err(libtrace)) {
611                                trace_get_err(libtrace);
612                        }
613                        libtrace->filter=(libtrace_filter_t *)value;
614                        return 0;
615                case TRACE_OPTION_PROMISC:
616                        if (!trace_is_err(libtrace)) {
617                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
618                                                "Promisc mode is not supported by this format module");
619                        }
620                        return -1;
621                case TRACE_OPTION_META_FREQ:
622                        if (!trace_is_err(libtrace)) {
623                                trace_set_err(libtrace, 
624                                                TRACE_ERR_OPTION_UNAVAIL,
625                                                "This format does not support meta-data gathering");
626                        }
627                        return -1;
628                case TRACE_OPTION_EVENT_REALTIME:
629                        if (!trace_is_err(libtrace)) {
630                                trace_set_err(libtrace, 
631                                                TRACE_ERR_OPTION_UNAVAIL,
632                                                "This format does not support realtime events");
633                        }
634                        return -1;
635                case TRACE_OPTION_HASHER:
636                        /* Dealt with earlier */
637                        return -1;
638                       
639        }
640        if (!trace_is_err(libtrace)) {
641                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
642                        "Unknown option %i", option);
643        }
644        return -1;
645}
646
647DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
648        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
649}
650
651DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
652        int tmp = promisc;
653        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
654}
655
656DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
657        return trace_config(trace, TRACE_OPTION_FILTER, filter);
658}
659
660DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
661        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
662}
663
664DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
665        int tmp = realtime;
666        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
667}
668
669DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
670                trace_option_output_t option,
671                void *value) {
672       
673        /* Unlike the input options, libtrace does not natively support any of
674         * the output options - the format module must be able to deal with
675         * them. */
676        if (libtrace->format->config_output) {
677                return libtrace->format->config_output(libtrace, option, value);
678        }
679        return -1;
680}
681
682/* Close an input trace file, freeing up any resources it may have been using
683 *
684 */
685DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
686        int i;
687        assert(libtrace);
688
689        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
690        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
691
692        /* destroy any packets that are still around */
693        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
694                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
695                        if(libtrace->first_packets.packets[i].packet) {
696                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
697                        }
698                }
699                free(libtrace->first_packets.packets);
700                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
701        }
702
703        /* Finish any the last packet we read - for backwards compatibility */
704        if (libtrace->last_packet)
705                trace_fin_packet(libtrace->last_packet);
706        assert(libtrace->last_packet == NULL);
707
708        if (libtrace->format) {
709                if (libtrace->started && libtrace->format->pause_input)
710                        libtrace->format->pause_input(libtrace);
711                if (libtrace->format->fin_input)
712                        libtrace->format->fin_input(libtrace);
713        }
714        /* Need to free things! */
715        if (libtrace->uridata)
716                free(libtrace->uridata);
717
718        if (libtrace->stats)
719                free(libtrace->stats);
720       
721        /* Empty any packet memory */
722        if (libtrace->state != STATE_NEW) {
723                // This has all of our packets
724                libtrace_ocache_destroy(&libtrace->packet_freelist);
725                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
726                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
727                }
728                libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
729                libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
730                libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
731
732
733                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
734                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
735                free(libtrace->perpkt_threads);
736                libtrace->perpkt_threads = NULL;
737                libtrace->perpkt_thread_count = 0;
738
739        }
740
741        if (libtrace->perpkt_cbs)
742                trace_destroy_callback_set(libtrace->perpkt_cbs);
743        if (libtrace->reporter_cbs)
744                trace_destroy_callback_set(libtrace->reporter_cbs);
745
746        if (libtrace->event.packet) {
747                /* Don't use trace_destroy_packet here - there is almost
748                 * certainly going to be another libtrace_packet_t that is
749                 * pointing to the buffer for this packet, so we don't want
750                 * to free it. Rather, it will get freed when the user calls
751                 * trace_destroy_packet on the libtrace_packet_t that they
752                 * own.
753                 *
754                 * All we need to do then is free our packet structure itself.
755                 */
756                 free(libtrace->event.packet);
757        }
758        free(libtrace);
759}
760
761
762DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
763        assert(libtrace);
764
765        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
766        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
767
768        /* Don't call pause_input or fin_input, because we should never have
769         * used this trace to do any reading anyway. Do make sure we free
770         * any format_data that has been created, though. */
771        if (libtrace->format_data)
772                free(libtrace->format_data);
773        free(libtrace);
774}
775/* Close an output trace file, freeing up any resources it may have been using
776 *
777 * @param libtrace      the output trace file to be destroyed
778 */
779DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace) 
780{
781        assert(libtrace);
782        if (libtrace->format && libtrace->format->fin_output)
783                libtrace->format->fin_output(libtrace);
784        if (libtrace->uridata)
785                free(libtrace->uridata);
786        free(libtrace);
787}
788
789DLLEXPORT libtrace_packet_t *trace_create_packet(void)
790{
791        libtrace_packet_t *packet =
792                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
793
794        packet->buf_control=TRACE_CTRL_PACKET;
795        trace_clear_cache(packet);
796        return packet;
797}
798
799DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
800        libtrace_packet_t *dest = 
801                (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
802        if (!dest) {
803                printf("Out of memory constructing packet\n");
804                abort();
805        }
806        dest->trace=packet->trace;
807        dest->buffer=malloc(65536);
808        if (!dest->buffer) {
809                printf("Out of memory allocating buffer memory\n");
810                abort();
811        }
812        dest->header=dest->buffer;
813        dest->payload=(void*)
814                ((char*)dest->buffer+trace_get_framing_length(packet));
815        dest->type=packet->type;
816        dest->buf_control=TRACE_CTRL_PACKET;
817        dest->order = packet->order;
818        dest->hash = packet->hash;
819        dest->error = packet->error;
820        /* Reset the cache - better to recalculate than try to convert
821         * the values over to the new packet */
822        trace_clear_cache(dest);       
823        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
824         * as much as possible */
825        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
826        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
827
828        return dest;
829}
830
831/** Destroy a packet object
832 */
833DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
834        /* Free any resources possibly associated with the packet */
835        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
836                packet->trace->format->fin_packet(packet);
837        }
838        if (packet->trace && packet->trace->last_packet == packet)
839                packet->trace->last_packet = NULL;
840       
841        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
842                free(packet->buffer);
843        }
844        packet->buf_control=(buf_control_t)'\0'; 
845                                /* A "bad" value to force an assert
846                                 * if this packet is ever reused
847                                 */
848        free(packet);
849}
850
851/**
852 * Removes any possible data stored againt the trace and releases any data.
853 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
854 * use trace_destroy_packet() for those diabolical purposes.
855 */
856void trace_fin_packet(libtrace_packet_t *packet) {
857        if (packet)
858        {
859                if (packet->trace && packet->trace->format->fin_packet) {
860                        packet->trace->format->fin_packet(packet);
861                }
862
863                if (packet->srcbucket && packet->internalid != 0) {
864                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
865                        libtrace_release_bucket_id(b, packet->internalid);
866                }
867
868                if (packet->trace) {
869                        pthread_mutex_lock(&packet->trace->libtrace_lock);
870                        if (packet->trace->last_packet == packet)
871                                packet->trace->last_packet = NULL;
872                        pthread_mutex_unlock(&packet->trace->libtrace_lock);
873                }
874
875                // No matter what we remove the header and link pointers
876                packet->trace = NULL;
877                packet->header = NULL;
878                packet->payload = NULL;
879
880                if (packet->buf_control != TRACE_CTRL_PACKET)
881                {
882                        packet->buffer = NULL;
883                }
884
885                trace_clear_cache(packet);
886                packet->hash = 0;
887                packet->order = 0;
888                packet->srcbucket = NULL;
889        }
890}
891
892/* Read one packet from the trace into buffer. Note that this function will
893 * block until a packet is read (or EOF is reached).
894 *
895 * @param libtrace      the libtrace opaque pointer
896 * @param packet        the packet opaque pointer
897 * @returns 0 on EOF, negative value on error
898 *
899 */
900DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
901
902        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
903        if (trace_is_err(libtrace))
904                return -1;
905        if (!libtrace->started) {
906                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
907                return -1;
908        }
909        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
910                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
911                return -1;
912        }
913        assert(packet);
914
915        if (libtrace->format->read_packet) {
916                /* Finalise the packet, freeing any resources the format module
917                 * may have allocated it and zeroing all data associated with it.
918                 */
919                if (packet->trace == libtrace)
920                        trace_fin_packet(packet);
921                do {
922                        size_t ret;
923                        int filtret;
924                        /* Store the trace we are reading from into the packet opaque
925                         * structure */
926                        packet->trace = libtrace;
927                        ret=libtrace->format->read_packet(libtrace,packet);
928                        if (ret==(size_t)-1 || ret==0) {
929                                return ret;
930                        }
931                        if (libtrace->filter) {
932                                /* If the filter doesn't match, read another
933                                 * packet
934                                 */
935                                filtret = trace_apply_filter(libtrace->filter, packet);
936                                if (filtret == -1) {
937                                        /* Error compiling filter, probably */
938                                        return ~0U;
939                                }
940
941                                if (filtret == 0) {
942                                        ++libtrace->filtered_packets;
943                                        trace_fin_packet(packet);
944                                        continue;
945                                }
946                        }
947                        if (libtrace->snaplen>0) {
948                                /* Snap the packet */
949                                trace_set_capture_length(packet,
950                                                libtrace->snaplen);
951                        }
952                        trace_packet_set_order(packet, libtrace->sequence_number);
953                        ++libtrace->accepted_packets;
954                        ++libtrace->sequence_number;
955                        if (packet->trace == libtrace)
956                                libtrace->last_packet = packet;
957
958                        return ret;
959                } while(1);
960        }
961        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
962        return ~0U;
963}
964
965/* Converts the provided buffer into a libtrace packet of the given type.
966 *
967 * Unlike trace_construct_packet, the buffer is expected to begin with the
968 * appropriate capture format header for the format type that the packet is
969 * being converted to. This also allows for a packet to be converted into
970 * just about capture format that is supported by libtrace, provided the
971 * format header is present in the buffer.
972 *
973 * This function is primarily used to convert packets received via the RT
974 * protocol back into their original capture format. The RT header encapsulates
975 * the original capture format header, so after removing it the packet must
976 * have it's header and payload pointers updated and the packet format and type
977 * changed, amongst other things.
978 *
979 * Intended only for internal use at this point - this function is not
980 * available through the external libtrace API.
981 */
982int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
983                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
984
985        assert(packet);
986        assert(trace);
987       
988        /* XXX Proper error handling?? */
989        if (buffer == NULL)
990                return -1;
991
992        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
993                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
994                return -1;
995        }
996       
997        packet->trace = trace;
998        pthread_mutex_lock(&trace->libtrace_lock);
999        trace->last_packet = packet;
1000        pthread_mutex_unlock(&trace->libtrace_lock);
1001       
1002        /* Clear packet cache */
1003        trace_clear_cache(packet);
1004
1005        if (trace->format->prepare_packet) {
1006                return trace->format->prepare_packet(trace, packet,
1007                                buffer, rt_type, flags);
1008        }
1009        trace_set_err(trace, TRACE_ERR_UNSUPPORTED, 
1010                        "This format does not support preparing packets\n");
1011        return -1;
1012
1013}
1014
1015/* Writes a packet to the specified output trace
1016 *
1017 * @param libtrace      describes the output format, destination, etc.
1018 * @param packet        the packet to be written out
1019 * @returns the number of bytes written, -1 if write failed
1020 */
1021DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1022        assert(libtrace);
1023        assert(packet);
1024        /* Verify the packet is valid */
1025        if (!libtrace->started) {
1026                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1027                        "Trace is not started before trace_write_packet");
1028                return -1;
1029        }
1030
1031        if (libtrace->format->write_packet) {
1032                return libtrace->format->write_packet(libtrace, packet);
1033        }
1034        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1035                "This format does not support writing packets");
1036        return -1;
1037}
1038
1039/* Get a pointer to the first byte of the packet payload */
1040DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1041                libtrace_linktype_t *linktype, uint32_t *remaining) {
1042        int cap_len;
1043        int wire_len;
1044
1045        assert(packet != NULL);
1046        if (linktype) *linktype = trace_get_link_type(packet);
1047        if (remaining) {
1048                /* I think we should choose the minimum of the capture and
1049                 * wire lengths to be the "remaining" value. If the packet has
1050                 * been padded to increase the capture length, we don't want
1051                 * to allow subsequent protocol decoders to consider the
1052                 * padding as part of the packet.
1053                 *
1054                 * For example, in Auck 4 there is a trace where the IP header
1055                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1056                 * header. Total IP length is 40 bytes. As a result, the
1057                 * legacyatm padding gets treated as the "missing" bytes of
1058                 * the TCP header, which isn't the greatest. We're probably
1059                 * better off returning an incomplete TCP header in that case.
1060                 */
1061               
1062                cap_len = trace_get_capture_length(packet);
1063                wire_len = trace_get_wire_length(packet);
1064
1065                assert(cap_len >= 0);
1066
1067                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1068                 * massively negative wire lens. We could assert fail here on
1069                 * them, but we could at least try the capture length instead.
1070                 *
1071                 * You may still run into problems if you try to write that
1072                 * packet, but at least reading should work OK.
1073                 */
1074                if (wire_len < 0)
1075                        *remaining = cap_len;
1076                else if (wire_len < cap_len)
1077                        *remaining = wire_len;
1078                else
1079                        *remaining = cap_len;
1080                /* *remaining = trace_get_capture_length(packet); */
1081        }
1082        return (void *) packet->payload;
1083}
1084
1085
1086/* Get a pointer to the first byte of the packet payload
1087 *
1088 * DEPRECATED - use trace_get_packet_buffer() instead */
1089DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1090        return (void *)packet->payload;
1091}
1092
1093/* Get the current time in DAG time format
1094 * @param packet        a pointer to a libtrace_packet structure
1095 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1096 * past 1970-01-01, the lower 32bits are partial seconds)
1097 */ 
1098DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1099        if (packet->trace->format->get_erf_timestamp) {
1100                /* timestamp -> timestamp */
1101                return packet->trace->format->get_erf_timestamp(packet);
1102        } else if (packet->trace->format->get_timespec) {
1103                /* timespec -> timestamp */
1104                struct timespec ts;
1105                ts = packet->trace->format->get_timespec(packet);
1106                return ((((uint64_t)ts.tv_sec) << 32) +
1107                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1108        } else if (packet->trace->format->get_timeval) {
1109                /* timeval -> timestamp */
1110                struct timeval tv;
1111                tv = packet->trace->format->get_timeval(packet);
1112                return ((((uint64_t)tv.tv_sec) << 32) +
1113                                (((uint64_t)tv.tv_usec << 32)/1000000));
1114        } else if (packet->trace->format->get_seconds) {
1115                /* seconds -> timestamp */
1116                double seconds = packet->trace->format->get_seconds(packet);
1117                return (((uint64_t)seconds)<<32)
1118                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1119        }
1120        else {
1121                return (uint64_t)0;
1122        }
1123                     
1124}
1125
1126/* Get the current time in struct timeval
1127 * @param packet        a pointer to a libtrace_packet structure
1128 *
1129 * @returns time that this packet was seen in a struct timeval
1130 * @author Daniel Lawson
1131 * @author Perry Lorier
1132 */ 
1133DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1134        struct timeval tv;
1135        uint64_t ts = 0;
1136        if (packet->trace->format->get_timeval) {
1137                /* timeval -> timeval */
1138                tv = packet->trace->format->get_timeval(packet);
1139        } else if (packet->trace->format->get_erf_timestamp) {
1140                /* timestamp -> timeval */
1141                ts = packet->trace->format->get_erf_timestamp(packet);
1142                tv.tv_sec = ts >> 32;
1143                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1144                if (tv.tv_usec >= 1000000) {
1145                        tv.tv_usec -= 1000000;
1146                        tv.tv_sec += 1;
1147                }
1148        } else if (packet->trace->format->get_timespec) {
1149                struct timespec ts = packet->trace->format->get_timespec(packet);
1150                tv.tv_sec = ts.tv_sec;
1151                tv.tv_usec = ts.tv_nsec/1000;
1152        } else if (packet->trace->format->get_seconds) {
1153                /* seconds -> timeval */
1154                double seconds = packet->trace->format->get_seconds(packet);
1155                tv.tv_sec = (uint32_t)seconds;
1156                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1157        }
1158        else {
1159                tv.tv_sec=-1;
1160                tv.tv_usec=-1;
1161        }
1162
1163    return tv;
1164}
1165
1166DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1167        struct timespec ts;
1168
1169        if (packet->trace->format->get_timespec) {
1170                return packet->trace->format->get_timespec(packet);
1171        } else if (packet->trace->format->get_erf_timestamp) {
1172                /* timestamp -> timeval */
1173                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1174                ts.tv_sec = erfts >> 32;
1175                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1176                if (ts.tv_nsec >= 1000000000) {
1177                        ts.tv_nsec -= 1000000000;
1178                        ts.tv_sec += 1;
1179                }
1180                return ts;
1181        } else if (packet->trace->format->get_timeval) {
1182                /* timeval -> timespec */
1183                struct timeval tv = packet->trace->format->get_timeval(packet);
1184                ts.tv_sec = tv.tv_sec;
1185                ts.tv_nsec = tv.tv_usec*1000;
1186                return ts;
1187        } else if (packet->trace->format->get_seconds) {
1188                /* seconds -> timespec */
1189                double seconds = packet->trace->format->get_seconds(packet);
1190                ts.tv_sec = (uint32_t)seconds;
1191                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1192                return ts;
1193        }
1194        else {
1195                ts.tv_sec=-1;
1196                ts.tv_nsec=-1;
1197                return ts;
1198        }
1199}
1200
1201
1202/* Get the current time in floating point seconds
1203 * @param packet        a pointer to a libtrace_packet structure
1204 * @returns time that this packet was seen in 64bit floating point seconds
1205 */ 
1206DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1207        double seconds = 0.0;
1208
1209        if (packet->trace->format->get_seconds) {
1210                /* seconds->seconds */
1211                seconds = packet->trace->format->get_seconds(packet);
1212        } else if (packet->trace->format->get_erf_timestamp) {
1213                /* timestamp -> seconds */
1214                uint64_t ts = 0;
1215                ts = packet->trace->format->get_erf_timestamp(packet);
1216                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1217        } else if (packet->trace->format->get_timespec) {
1218                /* timespec -> seconds */
1219                struct timespec ts;
1220                ts = packet->trace->format->get_timespec(packet);
1221                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1222        } else if (packet->trace->format->get_timeval) {
1223                /* timeval -> seconds */
1224                struct timeval tv;
1225                tv = packet->trace->format->get_timeval(packet);
1226                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1227        }
1228
1229        return seconds;
1230}
1231
1232DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet) 
1233{
1234        /* Cache the capture length */
1235        if (packet->capture_length == -1) {
1236                if (!packet->trace->format->get_capture_length)
1237                        return ~0U;
1238                /* Cast away constness because this is "just" a cache */
1239                ((libtrace_packet_t*)packet)->capture_length = 
1240                        packet->trace->format->get_capture_length(packet);
1241        }
1242
1243        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1244
1245        return packet->capture_length;
1246}
1247       
1248/* Get the size of the packet as it was seen on the wire.
1249 * @param packet        a pointer to a libtrace_packet structure
1250 *
1251 * @returns the size of the packet as it was on the wire.
1252 * @note Due to the trace being a header capture, or anonymisation this may
1253 * not be the same as the Capture Len.
1254 */ 
1255DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1256       
1257        if (packet->wire_length == -1) {
1258                if (!packet->trace->format->get_wire_length) 
1259                        return ~0U;
1260                ((libtrace_packet_t *)packet)->wire_length = 
1261                        packet->trace->format->get_wire_length(packet);
1262        }
1263
1264        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1265        return packet->wire_length;
1266
1267}
1268
1269/* Get the length of the capture framing headers.
1270 * @param packet        the packet opaque pointer
1271 * @returns the size of the packet as it was on the wire.
1272 * @note this length corresponds to the difference between the size of a
1273 * captured packet in memory, and the captured length of the packet
1274 */ 
1275DLLEXPORT SIMPLE_FUNCTION
1276size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1277        if (packet->trace->format->get_framing_length) {
1278                return packet->trace->format->get_framing_length(packet);
1279        }
1280        return ~0U;
1281}
1282
1283
1284/* Get the type of the link layer
1285 * @param packet        a pointer to a libtrace_packet structure
1286 * @returns libtrace_linktype_t
1287 */
1288DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1289
1290        if (packet->link_type == 0) {
1291                if (!packet->trace->format->get_link_type)
1292                        return TRACE_TYPE_UNKNOWN;
1293                ((libtrace_packet_t *)packet)->link_type =
1294                        packet->trace->format->get_link_type(packet);
1295        }
1296
1297        return packet->link_type;
1298}
1299
1300/* process a libtrace event
1301 * @param trace the libtrace opaque pointer
1302 * @param packet the libtrace_packet opaque pointer
1303 * @returns
1304 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1305 *  TRACE_EVENT_SLEEP   Next event in seconds
1306 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1307 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1308 * FIXME currently keeps a copy of the packet inside the trace pointer,
1309 * which in turn is stored inside the new packet object...
1310 */
1311DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace, 
1312                libtrace_packet_t *packet) {
1313        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1314
1315        if (!trace) {
1316                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1317        }
1318        assert(trace);
1319        assert(packet);
1320
1321        /* Free the last packet */
1322        trace_fin_packet(packet);
1323       
1324        /* Store the trace we are reading from into the packet opaque
1325         * structure */
1326        packet->trace = trace;
1327
1328        if (packet->trace->format->trace_event) {
1329                /* Note: incrementing accepted, filtered etc. packet
1330                 * counters is handled by the format-specific
1331                 * function so don't increment them here.
1332                 */
1333                event=packet->trace->format->trace_event(trace,packet);
1334                }
1335        return event;
1336
1337}
1338
1339/** Setup a BPF filter based on pre-compiled byte-code.
1340 * @param bf_insns      A pointer to the start of the byte-code
1341 * @param bf_len        The number of BPF instructions
1342 * @returns             an opaque pointer to a libtrace_filter_t object
1343 * @note                The supplied byte-code is not checked for correctness.
1344 * @author              Scott Raynel
1345 */
1346DLLEXPORT libtrace_filter_t *
1347trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1348{
1349#ifndef HAVE_BPF_FILTER
1350        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1351        return NULL;
1352#else
1353        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1354                malloc(sizeof(struct libtrace_filter_t));
1355        filter->filter.bf_insns = (struct bpf_insn *)
1356                malloc(sizeof(struct bpf_insn) * bf_len);
1357       
1358        memcpy(filter->filter.bf_insns, bf_insns,
1359                        bf_len * sizeof(struct bpf_insn));
1360       
1361        filter->filter.bf_len = bf_len;
1362        filter->filterstring = NULL;
1363        filter->jitfilter = NULL;
1364        /* "flag" indicates that the filter member is valid */
1365        filter->flag = 1; 
1366       
1367        return filter;
1368#endif
1369}
1370
1371/* Create a BPF filter
1372 * @param filterstring a char * containing the bpf filter string
1373 * @returns opaque pointer pointer to a libtrace_filter_t object
1374 */
1375DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1376#ifdef HAVE_BPF_FILTER
1377        libtrace_filter_t *filter = (libtrace_filter_t*)
1378                                malloc(sizeof(libtrace_filter_t));
1379        filter->filterstring = strdup(filterstring);
1380        filter->jitfilter = NULL;
1381        filter->flag = 0;
1382        return filter;
1383#else
1384        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1385        return NULL;
1386#endif
1387}
1388
1389DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1390{
1391#ifdef HAVE_BPF_FILTER
1392        free(filter->filterstring);
1393        if (filter->flag)
1394                pcap_freecode(&filter->filter);
1395#ifdef HAVE_LLVM
1396        if (filter->jitfilter) 
1397                destroy_program(filter->jitfilter);
1398#endif
1399        free(filter);
1400#else
1401
1402#endif
1403}
1404
1405/* Compile a bpf filter, now we know the link type for the trace that we're
1406 * applying it to.
1407 *
1408 * @internal
1409 *
1410 * @returns -1 on error, 0 on success
1411 */
1412static int trace_bpf_compile(libtrace_filter_t *filter,
1413                const libtrace_packet_t *packet,
1414                void *linkptr, 
1415                libtrace_linktype_t linktype    ) {
1416#ifdef HAVE_BPF_FILTER
1417        /* It just so happens that the underlying libs used by pthread arn't
1418         * thread safe, namely lex/flex thingys, so single threaded compile
1419         * multi threaded running should be safe.
1420         */
1421        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1422        assert(filter);
1423
1424        /* If this isn't a real packet, then fail */
1425        if (!linkptr) {
1426                trace_set_err(packet->trace,
1427                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1428                return -1;
1429        }
1430       
1431        if (filter->filterstring && ! filter->flag) {
1432                pcap_t *pcap = NULL;
1433                if (linktype==(libtrace_linktype_t)-1) {
1434                        trace_set_err(packet->trace,
1435                                        TRACE_ERR_BAD_FILTER,
1436                                        "Packet has an unknown linktype");
1437                        return -1;
1438                }
1439                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1440                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1441                                        "Unknown pcap equivalent linktype");
1442                        return -1;
1443                }
1444                assert (pthread_mutex_lock(&mutex) == 0);
1445                /* Make sure not one bet us to this */
1446                if (filter->flag) {
1447                        assert (pthread_mutex_unlock(&mutex) == 0);
1448                        return 1;
1449                }
1450                pcap=(pcap_t *)pcap_open_dead(
1451                                (int)libtrace_to_pcap_dlt(linktype),
1452                                1500U);
1453                /* build filter */
1454                assert(pcap);
1455                if (pcap_compile( pcap, &filter->filter, filter->filterstring, 
1456                                        1, 0)) {
1457                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1458                                        "Unable to compile the filter \"%s\": %s", 
1459                                        filter->filterstring,
1460                                        pcap_geterr(pcap));
1461                        pcap_close(pcap);
1462                        assert (pthread_mutex_unlock(&mutex) == 0);
1463                        return -1;
1464                }
1465                pcap_close(pcap);
1466                filter->flag=1;
1467                assert (pthread_mutex_unlock(&mutex) == 0);
1468        }
1469        return 0;
1470#else
1471        assert(!"Internal bug: This should never be called when BPF not enabled");
1472        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1473                                "Feature unavailable");
1474        return -1;
1475#endif
1476}
1477
1478DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1479                        const libtrace_packet_t *packet) {
1480#ifdef HAVE_BPF_FILTER
1481        void *linkptr = 0;
1482        uint32_t clen = 0;
1483        bool free_packet_needed = false;
1484        int ret;
1485        libtrace_linktype_t linktype;
1486        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1487#ifdef HAVE_LLVM
1488        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1489#endif
1490
1491        assert(filter);
1492        assert(packet);
1493
1494        /* Match all non-data packets as we probably want them to pass
1495         * through to the caller */
1496        linktype = trace_get_link_type(packet);
1497
1498        if (linktype == TRACE_TYPE_NONDATA)
1499                return 1;       
1500
1501        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1502               
1503                /* If we cannot get a suitable DLT for the packet, it may
1504                 * be because the packet is encapsulated in a link type that
1505                 * does not correspond to a DLT. Therefore, we should try
1506                 * popping off headers until we either can find a suitable
1507                 * link type or we can't do any more sensible decapsulation. */
1508               
1509                /* Copy the packet, as we don't want to trash the one we
1510                 * were passed in */
1511                packet_copy=trace_copy_packet(packet);
1512                free_packet_needed=true;
1513
1514                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1515                        if (!demote_packet(packet_copy)) {
1516                                trace_set_err(packet->trace, 
1517                                                TRACE_ERR_NO_CONVERSION,
1518                                                "pcap does not support this format");
1519                                if (free_packet_needed) {
1520                                        trace_destroy_packet(packet_copy);
1521                                }
1522                                return -1;
1523                        }
1524                        linktype = trace_get_link_type(packet_copy);
1525                }
1526
1527        }
1528       
1529        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1530        if (!linkptr) {
1531                if (free_packet_needed) {
1532                        trace_destroy_packet(packet_copy);
1533                }
1534                return 0;
1535        }
1536
1537        /* We need to compile the filter now, because before we didn't know
1538         * what the link type was
1539         */
1540        // Note internal mutex locking used here
1541        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1542                if (free_packet_needed) {
1543                        trace_destroy_packet(packet_copy);
1544                }
1545                return -1;
1546        }
1547
1548        /* If we're jitting, we may need to JIT the BPF code now too */
1549#if HAVE_LLVM
1550        if (!filter->jitfilter) {
1551                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1552                /* Again double check here like the bpf filter */
1553                if(!filter->jitfilter)
1554                /* Looking at compile_program source this appears to be thread safe
1555                 * however if this gets called twice we will leak this memory :(
1556                 * as such lock here anyways */
1557                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1558                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1559        }
1560#endif
1561
1562        assert(filter->flag);
1563        /* Now execute the filter */
1564#if HAVE_LLVM
1565        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1566#else
1567        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1568#endif
1569
1570        /* If we copied the packet earlier, make sure that we free it */
1571        if (free_packet_needed) {
1572                trace_destroy_packet(packet_copy);
1573        }
1574        return ret;
1575#else
1576        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1577        return 0;
1578#endif
1579}
1580
1581/* Set the direction flag, if it has one
1582 * @param packet the packet opaque pointer
1583 * @param direction the new direction (0,1,2,3)
1584 * @returns a signed value containing the direction flag, or -1 if this is not supported
1585 */
1586DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet, 
1587                libtrace_direction_t direction) 
1588{
1589        assert(packet);
1590        if (packet->trace->format->set_direction) {
1591                return packet->trace->format->set_direction(packet,direction);
1592        }
1593        return (libtrace_direction_t)~0U;
1594}
1595
1596/* Get the direction flag, if it has one
1597 * @param packet a pointer to a libtrace_packet structure
1598 * @returns a signed value containing the direction flag, or -1 if this is not supported
1599 * The direction is defined as 0 for packets originating locally (ie, outbound)
1600 * and 1 for packets originating remotely (ie, inbound).
1601 * Other values are possible, which might be overloaded to mean special things
1602 * for a special trace.
1603 */
1604DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet) 
1605{
1606        assert(packet);
1607        if (packet->trace->format->get_direction) {
1608                return packet->trace->format->get_direction(packet);
1609        }
1610        return (libtrace_direction_t)~0U;
1611}
1612
1613#define ROOT_SERVER(x) ((x) < 512)
1614#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1615#define NONROOT_SERVER(x) ((x) >= 5000)
1616#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1617#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1618#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1619#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1620
1621/* Attempt to deduce the 'server' port
1622 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1623 * @param source the TCP or UDP source port
1624 * @param dest the TCP or UDP destination port
1625 * @returns a hint as to which port is the server port
1626 */
1627DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol, 
1628                uint16_t source, uint16_t dest) 
1629{
1630        /*
1631         * * If the ports are equal, return DEST
1632         * * Check for well-known ports in the given protocol
1633         * * Root server ports: 0 - 511
1634         * * Root client ports: 512 - 1023
1635         * * non-root client ports: 1024 - 4999
1636         * * non-root server ports: 5000+
1637         * * Check for static ranges: 1024 - 49151
1638         * * Check for dynamic ranges: 49152 - 65535
1639         * * flip a coin.
1640         */
1641       
1642        /* equal */
1643        if (source == dest)
1644                return USE_DEST;
1645
1646        /* root server port, 0 - 511 */
1647        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1648                if (source < dest)
1649                        return USE_SOURCE;
1650                return USE_DEST;
1651        }
1652
1653        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1654                return USE_SOURCE;
1655        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1656                return USE_DEST;
1657
1658        /* non-root server */
1659        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1660                if (source < dest)
1661                        return USE_SOURCE;
1662                return USE_DEST;
1663        }
1664        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1665                return USE_SOURCE;
1666        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1667                return USE_DEST;
1668
1669        /* root client */
1670        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1671                if (source < dest)
1672                        return USE_SOURCE;
1673                return USE_DEST;
1674        }
1675        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1676                /* prefer root-client over nonroot-client */
1677                if (NONROOT_CLIENT(dest))
1678                        return USE_SOURCE;
1679                return USE_DEST;
1680        }
1681        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1682                /* prefer root-client over nonroot-client */
1683                if (NONROOT_CLIENT(source))
1684                        return USE_DEST;
1685                return USE_SOURCE;
1686        }
1687       
1688        /* nonroot client */
1689        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1690                if (source < dest) 
1691                        return USE_SOURCE;
1692                return USE_DEST;
1693        }
1694        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1695                return USE_DEST;
1696        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1697                return USE_SOURCE;
1698
1699        /* dynamic range */
1700        if (DYNAMIC(source) && DYNAMIC(dest)) {
1701                if (source < dest)
1702                        return USE_SOURCE;
1703                return USE_DEST;
1704        }
1705        if (DYNAMIC(source) && !DYNAMIC(dest))
1706                return USE_DEST;
1707        if (!DYNAMIC(source) && DYNAMIC(dest))
1708                return USE_SOURCE;
1709        /*
1710        if (SERVER(source) && CLIENT(dest))
1711                return USE_SOURCE;
1712       
1713        if (SERVER(dest) && CLIENT(source))
1714                return USE_DEST;
1715        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1716                return USE_SOURCE;
1717        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1718                return USE_DEST;
1719        */
1720        /* failing that test... */
1721        if (source < dest) {
1722                return USE_SOURCE;
1723        } 
1724        return USE_DEST;
1725       
1726}
1727
1728/* Truncate the packet at the suggested length
1729 * @param packet        the packet opaque pointer
1730 * @param size          the new length of the packet
1731 * @returns the new size of the packet
1732 * @note size and the return size refer to the network-level payload of the
1733 * packet, and do not include any capture headers. For example, to truncate a
1734 * packet after the IP header, set size to sizeof(ethernet_header) +
1735 * sizeof(ip_header)
1736 * @note If the original network-level payload is smaller than size, then the
1737 * original size is returned and the packet is left unchanged.
1738 */
1739DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1740        assert(packet);
1741
1742        if (packet->trace->format->set_capture_length) {
1743                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1744                return packet->capture_length;
1745        }
1746
1747        return ~0U;
1748}
1749
1750/* Splits a URI into two components - the format component which is seen before
1751 * the ':', and the uridata which follows the ':'.
1752 *
1753 * Returns a pointer to the URI data, but updates the format parameter to
1754 * point to a copy of the format component.
1755 */
1756
1757DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1758        const char *uridata = 0;
1759       
1760        if((uridata = strchr(uri,':')) == NULL) {
1761                /* Badly formed URI - needs a : */
1762                return 0;
1763        }
1764
1765        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1766                /* Badly formed URI - uri type is too long */
1767                return 0;
1768        }
1769
1770        /* NOTE: this is allocated memory - it should be freed by the caller
1771         * once they are done with it */
1772        *format=xstrndup(uri, (size_t)(uridata - uri));
1773
1774        /* Push uridata past the delimiter */
1775        uridata++;
1776       
1777        return uridata;
1778}
1779
1780enum base_format_t trace_get_format(libtrace_packet_t *packet) 
1781{
1782        assert(packet);
1783
1784        return packet->trace->format->type;
1785}
1786       
1787DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1788{
1789        libtrace_err_t err = trace->err;
1790        trace->err.err_num = 0; /* "OK" */
1791        trace->err.problem[0]='\0';
1792        return err;
1793}
1794
1795DLLEXPORT bool trace_is_err(libtrace_t *trace)
1796{
1797        return trace->err.err_num != 0;
1798}
1799
1800/* Prints the input error status to standard error and clears the error state */
1801DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1802{
1803        char buf[256];
1804        va_list va;
1805        va_start(va,msg);
1806        vsnprintf(buf,sizeof(buf),msg,va);
1807        va_end(va);
1808        if(trace->err.err_num) {
1809                if (trace->uridata) {
1810                        fprintf(stderr,"%s(%s): %s\n",
1811                                        buf,trace->uridata,trace->err.problem);
1812                } else {
1813                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1814                }
1815        } else {
1816                if (trace->uridata) {
1817                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1818                } else {
1819                        fprintf(stderr,"%s: No error\n", buf);
1820                }
1821        }
1822        trace->err.err_num = 0; /* "OK" */
1823        trace->err.problem[0]='\0';
1824}
1825
1826DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1827{
1828        libtrace_err_t err = trace->err;
1829        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1830        trace->err.problem[0]='\0';
1831        return err;
1832}
1833
1834DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1835{
1836        return trace->err.err_num != 0;
1837}
1838
1839/* Prints the output error status to standard error and clears the error state
1840 */
1841DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1842{
1843        char buf[256];
1844        va_list va;
1845        va_start(va,msg);
1846        vsnprintf(buf,sizeof(buf),msg,va);
1847        va_end(va);
1848        if(trace->err.err_num) {
1849                fprintf(stderr,"%s(%s): %s\n",
1850                                buf,
1851                                trace->uridata?trace->uridata:"no uri",
1852                                trace->err.problem);
1853        } else {
1854                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1855        }
1856        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1857        trace->err.problem[0]='\0';
1858}
1859
1860DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1861{
1862        if (trace->format->seek_erf) {
1863                return trace->format->seek_erf(trace,ts);
1864        }
1865        else {
1866                if (trace->format->seek_timeval) {
1867                        struct timeval tv;
1868#if __BYTE_ORDER == __BIG_ENDIAN
1869                        tv.tv_sec = ts & 0xFFFFFFFF;
1870                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1871#elif __BYTE_ORDER == __LITTLE_ENDIAN
1872                        tv.tv_sec = ts >> 32;
1873                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1874#else
1875#error "What on earth are you running this on?"
1876#endif
1877                        if (tv.tv_usec >= 1000000) {
1878                                tv.tv_usec -= 1000000;
1879                                tv.tv_sec += 1;
1880                        }
1881                        return trace->format->seek_timeval(trace,tv);
1882                }
1883                if (trace->format->seek_seconds) {
1884                        double seconds = 
1885                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1886                        return trace->format->seek_seconds(trace,seconds);
1887                }
1888                trace_set_err(trace,
1889                                TRACE_ERR_OPTION_UNAVAIL,
1890                                "Feature unimplemented");
1891                return -1;
1892        }
1893}
1894
1895DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1896{
1897        if (trace->format->seek_seconds) {
1898                return trace->format->seek_seconds(trace,seconds);
1899        }
1900        else {
1901                if (trace->format->seek_timeval) {
1902                        struct timeval tv;
1903                        tv.tv_sec = (uint32_t)seconds;
1904                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1905                        return trace->format->seek_timeval(trace,tv);
1906                }
1907                if (trace->format->seek_erf) {
1908                        uint64_t timestamp = 
1909                                ((uint64_t)((uint32_t)seconds) << 32) + \
1910                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1911                        return trace->format->seek_erf(trace,timestamp);
1912                }
1913                trace_set_err(trace,
1914                                TRACE_ERR_OPTION_UNAVAIL,
1915                                "Feature unimplemented");
1916                return -1;
1917        }
1918}
1919
1920DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1921{
1922        if (trace->format->seek_timeval) {
1923                return trace->format->seek_timeval(trace,tv);
1924        }
1925        else {
1926                if (trace->format->seek_erf) {
1927                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1928                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1929                        return trace->format->seek_erf(trace,timestamp);
1930                }
1931                if (trace->format->seek_seconds) {
1932                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1933                        return trace->format->seek_seconds(trace,seconds);
1934                }
1935                trace_set_err(trace,
1936                                TRACE_ERR_OPTION_UNAVAIL,
1937                                "Feature unimplemented");
1938                return -1;
1939        }
1940}
1941
1942/* Converts a binary ethernet MAC address into a printable string */
1943DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1944{
1945        static char staticbuf[18]={0,};
1946        if (!buf)
1947                buf=staticbuf;
1948        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1949                        addr[0],addr[1],addr[2],
1950                        addr[3],addr[4],addr[5]);
1951        return buf;
1952}
1953
1954/* Converts a printable ethernet MAC address into a binary format */
1955DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1956{
1957        uint8_t *buf2 = addr;
1958        unsigned int tmp[6];
1959        static uint8_t staticaddr[6];
1960        if (!buf2)
1961                buf2=staticaddr;
1962        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1963                        &tmp[0],&tmp[1],&tmp[2],
1964                        &tmp[3],&tmp[4],&tmp[5]);
1965        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1966        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1967        return buf2;
1968}
1969
1970
1971/* Creates a libtrace packet from scratch using the contents of the provided
1972 * buffer as the packet payload.
1973 *
1974 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1975 * format headers; instead this function will add the PCAP header to the
1976 * packet record. This also means only PCAP packets can be constructed using
1977 * this function.
1978 *
1979 */
1980DLLEXPORT
1981void trace_construct_packet(libtrace_packet_t *packet,
1982                libtrace_linktype_t linktype,
1983                const void *data,
1984                uint16_t len)
1985{
1986        size_t size;
1987        static libtrace_t *deadtrace=NULL;
1988        libtrace_pcapfile_pkt_hdr_t hdr;
1989#ifdef WIN32
1990        struct _timeb tstruct;
1991#else
1992        struct timeval tv;
1993#endif
1994
1995        /* We need a trace to attach the constructed packet to (and it needs
1996         * to be PCAP) */
1997        if (NULL == deadtrace) 
1998                deadtrace=trace_create_dead("pcapfile");
1999
2000        /* Fill in the new PCAP header */
2001#ifdef WIN32
2002        _ftime(&tstruct);
2003        hdr.ts_sec=tstruct.time;
2004        hdr.ts_usec=tstruct.millitm * 1000;
2005#else
2006        gettimeofday(&tv,NULL);
2007        hdr.ts_sec=tv.tv_sec;
2008        hdr.ts_usec=tv.tv_usec;
2009#endif
2010
2011        hdr.caplen=len;
2012        hdr.wirelen=len;
2013
2014        /* Now fill in the libtrace packet itself */
2015        packet->trace=deadtrace;
2016        size=len+sizeof(hdr);
2017        if (packet->buf_control==TRACE_CTRL_PACKET) {
2018                packet->buffer=realloc(packet->buffer,size);
2019        }
2020        else {
2021                packet->buffer=malloc(size);
2022        }
2023        packet->buf_control=TRACE_CTRL_PACKET;
2024        packet->header=packet->buffer;
2025        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2026       
2027        /* Ugh, memcpy - sadly necessary */
2028        memcpy(packet->header,&hdr,sizeof(hdr));
2029        memcpy(packet->payload,data,(size_t)len);
2030        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2031
2032        trace_clear_cache(packet);
2033}
2034
2035
2036uint64_t trace_get_received_packets(libtrace_t *trace)
2037{
2038        assert(trace);
2039        uint64_t ret;
2040
2041        if (trace->format->get_received_packets) {
2042                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2043                        return ret;
2044        } else if (trace->format->get_statistics) {
2045                struct libtrace_stat_t stat;
2046                stat.magic = LIBTRACE_STAT_MAGIC;
2047                trace_get_statistics(trace, &stat);
2048                if (stat.received_valid)
2049                        return stat.received;
2050        }
2051
2052        // Read the cached value taken before the trace was paused/closed
2053        if(trace->stats && trace->stats->received_valid)
2054                return trace->stats->received;
2055        else
2056                return UINT64_MAX;
2057}
2058
2059uint64_t trace_get_filtered_packets(libtrace_t *trace)
2060{
2061        assert(trace);
2062        int i = 0;
2063        uint64_t lib_filtered = trace->filtered_packets;
2064        for (i = 0; i < trace->perpkt_thread_count; i++) {
2065                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2066        }
2067        if (trace->format->get_filtered_packets) {
2068                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2069                if (trace_filtered == UINT64_MAX)
2070                        return UINT64_MAX;
2071                else
2072                        return trace_filtered + lib_filtered;
2073        } else if (trace->format->get_statistics) {
2074                struct libtrace_stat_t stat;
2075                stat.magic = LIBTRACE_STAT_MAGIC;
2076                trace_get_statistics(trace, &stat);
2077                if (stat.filtered_valid)
2078                        return lib_filtered + stat.filtered;
2079                else
2080                        return UINT64_MAX;
2081        }
2082
2083        // Read the cached value taken before the trace was paused/closed
2084        if(trace->stats && trace->stats->filtered_valid)
2085                return trace->stats->filtered + lib_filtered;
2086        else
2087                return lib_filtered;
2088}
2089
2090uint64_t trace_get_dropped_packets(libtrace_t *trace)
2091{
2092        assert(trace);
2093        uint64_t ret;
2094
2095        if (trace->format->get_dropped_packets) {
2096                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2097                        return ret;
2098        } else if (trace->format->get_statistics) {
2099                struct libtrace_stat_t stat;
2100                stat.magic = LIBTRACE_STAT_MAGIC;
2101                trace_get_statistics(trace, &stat);
2102                if (stat.dropped_valid)
2103                        return stat.dropped;
2104        }
2105
2106        // Read the cached value taken before the trace was paused/closed
2107        if(trace->stats && trace->stats->dropped_valid)
2108                return trace->stats->dropped;
2109        else
2110                return UINT64_MAX;
2111}
2112
2113uint64_t trace_get_accepted_packets(libtrace_t *trace)
2114{
2115        assert(trace);
2116        int i = 0;
2117        uint64_t ret = 0;
2118        /* We always add to a thread's accepted count before dispatching the
2119         * packet to the user. However if the underlying trace is single
2120         * threaded it will also be increasing the global count. So if we
2121         * find perpkt ignore the global count.
2122         */
2123        for (i = 0; i < trace->perpkt_thread_count; i++) {
2124                ret += trace->perpkt_threads[i].accepted_packets;
2125        }
2126        return ret ? ret : trace->accepted_packets;
2127}
2128
2129libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2130{
2131        uint64_t ret = 0;
2132        int i;
2133        assert(trace);
2134        if (stat == NULL) {
2135                if (trace->stats == NULL)
2136                        trace->stats = trace_create_statistics();
2137                stat = trace->stats;
2138        }
2139        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2140               "trace_create_statistics() to allocate statistics");
2141
2142        /* If the trace has paused or finished get the cached results */
2143        if (trace->state == STATE_PAUSED ||
2144            trace->state == STATE_FINISHED ||
2145            trace->state == STATE_FINISHING ||
2146            trace->state == STATE_JOINED) {
2147                if (trace->stats && trace->stats != stat)
2148                        *stat = *trace->stats;
2149                return stat;
2150        }
2151
2152        stat->reserved1 = 0;
2153        stat->reserved2 = 0;
2154#define X(x) stat->x ##_valid = 0;
2155        LIBTRACE_STAT_FIELDS;
2156#undef X
2157        /* Both accepted and filtered are stored against in the library */
2158
2159        /* We always add to a thread's accepted count before dispatching the
2160         * packet to the user. However if the underlying trace is single
2161         * threaded it will also be increasing the global count. So if we
2162         * find perpkt ignore the global count.
2163         */
2164        for (i = 0; i < trace->perpkt_thread_count; i++) {
2165                ret += trace->perpkt_threads[i].accepted_packets;
2166        }
2167
2168        stat->accepted_valid = 1;
2169        stat->accepted = ret ? ret : trace->accepted_packets;
2170
2171        stat->filtered_valid = 1;
2172        stat->filtered = trace->filtered_packets;
2173        for (i = 0; i < trace->perpkt_thread_count; i++) {
2174                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2175        }
2176
2177        if (trace->format->get_statistics) {
2178                trace->format->get_statistics(trace, stat);
2179        }
2180        return stat;
2181}
2182
2183void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2184                                 libtrace_stat_t *stat)
2185{
2186        assert(trace && stat);
2187        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2188               "trace_create_statistics() to allocate statistics");
2189        stat->reserved1 = 0;
2190        stat->reserved2 = 0;
2191#define X(x) stat->x ##_valid= 0;
2192        LIBTRACE_STAT_FIELDS;
2193#undef X
2194        stat->accepted_valid = 1;
2195        stat->accepted = t->accepted_packets;
2196        stat->filtered_valid = 1;
2197        stat->filtered = t->filtered_packets;
2198        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2199                trace->format->get_thread_statistics(trace, t, stat);
2200        }
2201        return;
2202}
2203
2204libtrace_stat_t *trace_create_statistics(void) {
2205        libtrace_stat_t *ret;
2206        ret = malloc(sizeof(libtrace_stat_t));
2207        if (ret) {
2208                memset(ret, 0, sizeof(libtrace_stat_t));
2209                ret->magic = LIBTRACE_STAT_MAGIC;
2210        }
2211        return ret;
2212}
2213
2214void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2215                         libtrace_stat_t *c) {
2216        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2217               "trace_create_statistics() to allocate statistics");
2218        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2219               "trace_create_statistics() to allocate statistics");
2220        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2221               "trace_create_statistics() to allocate statistics");
2222
2223#define X(x) \
2224        if (a->x ##_valid && b->x ##_valid) { \
2225                c->x ##_valid = 1; \
2226                c->x = a->x - b->x; \
2227        } else {\
2228                c->x ##_valid = 0;\
2229        }
2230        LIBTRACE_STAT_FIELDS
2231#undef X
2232}
2233
2234void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2235                         libtrace_stat_t *c) {
2236        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2237               "trace_create_statistics() to allocate statistics");
2238        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2239               "trace_create_statistics() to allocate statistics");
2240        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2241               "trace_create_statistics() to allocate statistics");
2242
2243#define X(x) \
2244        if (a->x ##_valid&& b->x ##_valid) { \
2245                c->x ##_valid = 1; \
2246                c->x = a->x + b->x; \
2247        } else {\
2248                c->x ##_valid = 0;\
2249        }
2250        LIBTRACE_STAT_FIELDS
2251#undef X
2252}
2253
2254int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2255        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2256               "trace_create_statistics() to allocate statistics");
2257        if (format == NULL)
2258                format = "%s: %"PRIu64"\n";
2259#define xstr(s) str(s)
2260#define str(s) #s
2261#define X(x) \
2262        if (s->x ##_valid) { \
2263                if (fprintf(f, format, xstr(x), s->x) < 0) \
2264                        return -1; \
2265        }
2266        LIBTRACE_STAT_FIELDS
2267#undef X
2268        return 0;
2269}
2270
2271
2272void trace_clear_cache(libtrace_packet_t *packet) {
2273
2274        packet->l2_header = NULL;
2275        packet->l3_header = NULL;
2276        packet->l4_header = NULL;
2277        packet->link_type = 0;
2278        packet->l3_ethertype = 0;
2279        packet->transport_proto = 0;
2280        packet->capture_length = -1;
2281        packet->wire_length = -1;
2282        packet->payload_length = -1;
2283        packet->l2_remaining = 0;
2284        packet->l3_remaining = 0;
2285        packet->l4_remaining = 0;
2286
2287}
2288
2289void trace_interrupt(void) {
2290        libtrace_halt = 1;
2291}
2292
2293void register_format(struct libtrace_format_t *f) {
2294        assert(f->next==NULL); /* Can't register a format twice */
2295        f->next=formats_list;
2296        formats_list=f;
2297
2298        /* Now, verify that the format has at least the minimum functionality.
2299         *
2300         * This #if can be changed to a 1 to output warnings about inconsistent
2301         * functions being provided by format modules.  This generally is very
2302         * noisy, as almost all modules don't implement one or more functions
2303         * for various reasons.  This is very useful when checking a new
2304         * format module is sane.
2305         */ 
2306#if 0
2307        if (f->init_input) {
2308#define REQUIRE(x) \
2309                if (!f->x) \
2310                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2311                REQUIRE(read_packet);
2312                REQUIRE(start_input);
2313                REQUIRE(fin_input);
2314                REQUIRE(get_link_type);
2315                REQUIRE(get_capture_length);
2316                REQUIRE(get_wire_length);
2317                REQUIRE(get_framing_length);
2318                REQUIRE(trace_event);
2319                if (!f->get_erf_timestamp
2320                        && !f->get_seconds
2321                        && !f->get_timeval) {
2322                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2323"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2324                }
2325                if (f->trace_event!=trace_event_trace) {
2326                        /* Theres nothing that a trace file could optimise with
2327                         * config_input
2328                         */
2329                        REQUIRE(pause_input);
2330                        REQUIRE(config_input);
2331                        REQUIRE(get_fd);
2332                }
2333                else {
2334                        if (f->get_fd) {
2335                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2336                                                f->name);
2337                        }
2338                }
2339#undef REQUIRE
2340        }
2341        else {
2342#define REQUIRE(x) \
2343                if (f->x) \
2344                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2345                REQUIRE(read_packet);
2346                REQUIRE(start_input);
2347                REQUIRE(pause_input);
2348                REQUIRE(fin_input);
2349                REQUIRE(get_link_type);
2350                REQUIRE(get_capture_length);
2351                REQUIRE(get_wire_length);
2352                REQUIRE(get_framing_length);
2353                REQUIRE(trace_event);
2354                REQUIRE(get_seconds);
2355                REQUIRE(get_timeval);
2356                REQUIRE(get_erf_timestamp);
2357#undef REQUIRE
2358        }
2359        if (f->init_output) {
2360#define REQUIRE(x) \
2361                if (!f->x) \
2362                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2363                REQUIRE(write_packet);
2364                REQUIRE(start_output);
2365                REQUIRE(config_output);
2366                REQUIRE(fin_output);
2367#undef REQUIRE
2368        }
2369        else {
2370#define REQUIRE(x) \
2371                if (f->x) \
2372                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2373                REQUIRE(write_packet);
2374                REQUIRE(start_output);
2375                REQUIRE(config_output);
2376                REQUIRE(fin_output);
2377#undef REQUIRE
2378        }
2379#endif
2380}
2381
Note: See TracBrowser for help on using the repository browser.