source: lib/trace.c @ 0bb8d49

develop
Last change on this file since 0bb8d49 was 0bb8d49, checked in by Shane Alcock <salcock@…>, 2 years ago

Declare trace_init() as a constructor method.

This is a propsed solution to #80.

  • Property mode set to 100644
File size: 72.2 KB
Line 
1/*
2 *
3 * Copyright (c) 2007-2016 The University of Waikato, Hamilton, New Zealand.
4 * All rights reserved.
5 *
6 * This file is part of libtrace.
7 *
8 * This code has been developed by the University of Waikato WAND
9 * research group. For further information please see http://www.wand.net.nz/
10 *
11 * libtrace is free software; you can redistribute it and/or modify
12 * it under the terms of the GNU Lesser General Public License as published by
13 * the Free Software Foundation; either version 3 of the License, or
14 * (at your option) any later version.
15 *
16 * libtrace is distributed in the hope that it will be useful,
17 * but WITHOUT ANY WARRANTY; without even the implied warranty of
18 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 * GNU Lesser General Public License for more details.
20 *
21 * You should have received a copy of the GNU Lesser General Public License
22 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 *
24 *
25 */
26
27#define _GNU_SOURCE
28#include "common.h"
29#include "config.h"
30#include <assert.h>
31#include <errno.h>
32#include <fcntl.h>
33#include <stdio.h>
34#include <stdlib.h>
35#include <string.h>
36#include <sys/stat.h>
37#include <sys/types.h>
38#ifndef WIN32
39#include <sys/socket.h>
40#endif
41#include <stdarg.h>
42#include <sys/param.h>
43
44#ifdef HAVE_LIMITS_H
45#  include <limits.h>
46#endif
47
48#ifdef HAVE_SYS_LIMITS_H
49#  include <sys/limits.h>
50#endif
51
52#ifdef HAVE_NET_IF_ARP_H
53#  include <net/if_arp.h>
54#endif
55
56#ifdef HAVE_NET_IF_H
57#  include <net/if.h>
58#endif
59
60#ifdef HAVE_NETINET_IN_H
61#  include <netinet/in.h>
62#endif
63
64#ifdef HAVE_NET_ETHERNET_H
65#  include <net/ethernet.h>
66#endif
67
68#ifdef HAVE_NETINET_IF_ETHER_H
69#  include <netinet/if_ether.h>
70#endif
71
72#include <time.h>
73#ifdef WIN32
74#include <sys/timeb.h>
75#endif
76
77#include "libtrace.h"
78#include "libtrace_int.h"
79
80#ifdef HAVE_PCAP_BPF_H
81#  include <pcap-bpf.h>
82#else
83#  ifdef HAVE_NET_BPF_H
84#    include <net/bpf.h>
85#  endif
86#endif
87
88
89#include "libtrace_int.h"
90#include "format_helper.h"
91#include "rt_protocol.h"
92
93#include <pthread.h>
94#include <signal.h>
95
96#define MAXOPTS 1024
97
98/* This file contains much of the implementation of the libtrace API itself. */
99
100static struct libtrace_format_t *formats_list = NULL;
101
102volatile int libtrace_halt = 0;
103/* Set once pstart is called used for backwards compatibility reasons */
104int libtrace_parallel = 0;
105
106/* strncpy is not assured to copy the final \0, so we
107 * will use our own one that does
108 */
109static inline void xstrncpy(char *dest, const char *src, size_t n,
110                size_t destlen)
111{
112        size_t slen = destlen - 1;
113        if (n < slen) {
114                slen = n;
115        }
116        strncpy(dest,src,slen);
117        dest[slen]='\0';
118}
119
120static char *xstrndup(const char *src,size_t n)
121{
122        char *ret=(char*)malloc(n+1);
123        if (ret==NULL) {
124                fprintf(stderr,"Out of memory");
125                exit(EXIT_FAILURE);
126        }
127        xstrncpy(ret,src,n,n+1);
128        return ret;
129}
130
131
132/* call all the constructors if they haven't yet all been called */
133__attribute__((constructor))
134static void trace_init(void)
135{
136        struct timeval tv;
137        gettimeofday(&tv, NULL);
138        srand(tv.tv_sec);
139
140        if (!formats_list) {
141                duck_constructor();
142                erf_constructor();
143                tsh_constructor();
144                legacy_constructor();
145                atmhdr_constructor();
146                linuxring_constructor();
147                linuxnative_constructor();
148#ifdef HAVE_LIBPCAP
149                pcap_constructor();
150#endif
151                bpf_constructor();
152                pcapfile_constructor();
153                pcapng_constructor();
154                rt_constructor();
155                ndag_constructor();
156#ifdef HAVE_WANDDER
157                etsilive_constructor();
158#endif
159#ifdef HAVE_DAG
160                dag_constructor();
161#endif
162#ifdef HAVE_DPDK
163                dpdk_constructor();
164                dpdkndag_constructor();
165#endif
166        }
167}
168
169/* Prints help information for libtrace
170 *
171 * Function prints out some basic help information regarding libtrace,
172 * and then prints out the help() function registered with each input module
173 */
174DLLEXPORT void trace_help(void) {
175        struct libtrace_format_t *tmp;
176        trace_init();
177        printf("libtrace %s\n\n",PACKAGE_VERSION);
178        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
179        for(tmp=formats_list;tmp;tmp=tmp->next) {
180                if (tmp->help)
181                        tmp->help();
182        }
183}
184
185#define URI_PROTO_LINE 16U
186
187/* Try to guess which format module is appropriate for a given trace file or
188 * device */
189static void guess_format(libtrace_t *libtrace, const char *filename)
190{
191        struct libtrace_format_t *tmp;
192
193        /* Try and guess based on filename */
194        for(tmp = formats_list; tmp; tmp=tmp->next) {
195                if (tmp->probe_filename && tmp->probe_filename(filename)) {
196                        libtrace->format = tmp;
197                        libtrace->uridata = strdup(filename);
198                        return;
199                }
200        }
201
202        libtrace->io = wandio_create(filename);
203        if (!libtrace->io)
204                return;
205
206        /* Try and guess based on file magic */
207        for(tmp = formats_list; tmp; tmp=tmp->next) {
208                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
209                        libtrace->format = tmp;
210                        libtrace->uridata = strdup(filename);
211                        return;
212                }
213        }
214
215        /* No formats matched -- make sure we clean up the IO object we
216         * used to probe the file magic */
217        wandio_destroy(libtrace->io);
218        return;
219}
220
221/* Creates an input trace from a URI
222 *
223 * @params char * containing a valid libtrace URI
224 * @returns opaque pointer to a libtrace_t
225 *
226 * Some valid URI's are:
227 *  erf:/path/to/erf/file
228 *  erf:/path/to/erf/file.gz
229 *  erf:-                       (stdin)
230 *  dag:/dev/dagcard
231 *  pcapint:pcapinterface               (eg: pcapint:eth0)
232 *  pcapfile:/path/to/pcap/file
233 *  pcapfile:-
234 *  int:interface                       (eg: int:eth0) only on Linux
235 *  rt:hostname
236 *  rt:hostname:port
237 *
238 * If an error occured when attempting to open a trace, NULL is returned
239 * and an error is output to stdout.
240 */
241DLLEXPORT libtrace_t *trace_create(const char *uri) {
242        libtrace_t *libtrace =
243                        (libtrace_t *)malloc(sizeof(libtrace_t));
244        char *scan = 0;
245        const char *uridata = 0;
246
247        trace_init();
248
249        assert(uri && "Passing NULL to trace_create makes me a very sad program");
250
251        if (!libtrace) {
252                /* Out of memory */
253                return NULL;
254        }
255
256        libtrace->err.err_num = TRACE_ERR_NOERROR;
257        libtrace->format=NULL;
258
259        libtrace->event.packet = NULL;
260        libtrace->event.psize = 0;
261        libtrace->event.first_ts = 0.0;
262        libtrace->event.first_now = 0.0;
263        libtrace->event.waiting = false;
264        libtrace->filter = NULL;
265        libtrace->snaplen = 0;
266        libtrace->replayspeedup = 1;
267        libtrace->started=false;
268        libtrace->startcount=0;
269        libtrace->uridata = NULL;
270        libtrace->io = NULL;
271        libtrace->filtered_packets = 0;
272        libtrace->accepted_packets = 0;
273        libtrace->last_packet = NULL;
274       
275        /* Parallel inits */
276        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
277        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
278        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
279        libtrace->state = STATE_NEW;
280        libtrace->perpkt_queue_full = false;
281        libtrace->global_blob = NULL;
282        libtrace->hasher = NULL;
283        libtrace->hasher_data = NULL;
284        libtrace->hasher_owner = HASH_OWNED_EXTERNAL;
285        libtrace_zero_ocache(&libtrace->packet_freelist);
286        libtrace_zero_thread(&libtrace->hasher_thread);
287        libtrace_zero_thread(&libtrace->reporter_thread);
288        libtrace_zero_thread(&libtrace->keepalive_thread);
289        libtrace->reporter_thread.type = THREAD_EMPTY;
290        libtrace->perpkt_thread_count = 0;
291        libtrace->perpkt_threads = NULL;
292        libtrace->tracetime = 0;
293        libtrace->first_packets.first = 0;
294        libtrace->first_packets.count = 0;
295        libtrace->first_packets.packets = NULL;
296        libtrace->stats = NULL;
297        libtrace->pread = NULL;
298        libtrace->sequence_number = 0;
299        ZERO_USER_CONFIG(libtrace->config);
300        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
301        libtrace->perpkt_cbs = NULL;
302        libtrace->reporter_cbs = NULL;
303
304        /* Parse the URI to determine what sort of trace we are dealing with */
305        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
306                /* Could not parse the URI nicely */
307                guess_format(libtrace,uri);
308                if (!libtrace->format) {
309                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
310                        return libtrace;
311                }
312        }
313        else {
314                struct libtrace_format_t *tmp;
315
316                /* Find a format that matches the first part of the URI */
317                for (tmp=formats_list;tmp;tmp=tmp->next) {
318                        if (strlen(scan) == strlen(tmp->name) &&
319                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
320                                        ) {
321                                libtrace->format=tmp;
322                                break;
323                        }
324                }
325
326                if (libtrace->format == 0) {
327                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
328                                        "Unknown format (%s)",scan);
329                        return libtrace;
330                }
331
332                libtrace->uridata = strdup(uridata);
333        }
334        /* libtrace->format now contains the type of uri
335         * libtrace->uridata contains the appropriate data for this
336         */
337
338        /* Call the init_input function for the matching capture format */
339        if (libtrace->format->init_input) {
340                int err=libtrace->format->init_input(libtrace);
341                assert (err==-1 || err==0);
342                if (err==-1) {
343                        /* init_input should call trace_set_err to set the
344                         * error message
345                         */
346                        return libtrace;
347                }
348        } else {
349                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
350                                "Format does not support input (%s)",scan);
351                return libtrace;
352        }
353
354        if (scan)
355                free(scan);
356        libtrace->err.err_num=TRACE_ERR_NOERROR;
357        libtrace->err.problem[0]='\0';
358        return libtrace;
359}
360
361/* Creates a "dummy" trace file that has only the format type set.
362 *
363 * @returns opaque pointer to a (sparsely initialised) libtrace_t
364 *
365 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
366 * with the dummy trace. Its intended purpose is to act as a packet->trace for
367 * libtrace_packet_t's that are not associated with a libtrace_t structure.
368 */
369DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
370        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
371        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
372        char *uridata;
373        struct libtrace_format_t *tmp;
374
375        trace_init();
376
377        libtrace->err.err_num = TRACE_ERR_NOERROR;
378
379        if((uridata = strchr(uri,':')) == NULL) {
380                xstrncpy(scan, uri, strlen(uri), URI_PROTO_LINE);
381        } else {
382                xstrncpy(scan,uri, (size_t)(uridata - uri), URI_PROTO_LINE);
383        }
384
385        libtrace->err.err_num = TRACE_ERR_NOERROR;
386        libtrace->format=NULL;
387
388        libtrace->event.packet = NULL;
389        libtrace->event.psize = 0;
390        libtrace->event.first_ts = 0;
391        libtrace->event.first_now = 0;
392        libtrace->filter = NULL;
393        libtrace->snaplen = 0;
394        libtrace->started=false;
395        libtrace->uridata = NULL;
396        libtrace->io = NULL;
397        libtrace->filtered_packets = 0;
398        libtrace->accepted_packets = 0;
399        libtrace->last_packet = NULL;
400       
401        /* Parallel inits */
402        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
403        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
404        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
405        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
406        libtrace->perpkt_queue_full = false;
407        libtrace->global_blob = NULL;
408        libtrace->hasher = NULL;
409        libtrace_zero_ocache(&libtrace->packet_freelist);
410        libtrace_zero_thread(&libtrace->hasher_thread);
411        libtrace_zero_thread(&libtrace->reporter_thread);
412        libtrace_zero_thread(&libtrace->keepalive_thread);
413        libtrace->reporter_thread.type = THREAD_EMPTY;
414        libtrace->perpkt_thread_count = 0;
415        libtrace->perpkt_threads = NULL;
416        libtrace->tracetime = 0;
417        libtrace->stats = NULL;
418        libtrace->pread = NULL;
419        libtrace->sequence_number = 0;
420        ZERO_USER_CONFIG(libtrace->config);
421        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
422        libtrace->perpkt_cbs = NULL;
423        libtrace->reporter_cbs = NULL;
424        for(tmp=formats_list;tmp;tmp=tmp->next) {
425                if (strlen(scan) == strlen(tmp->name) &&
426                                !strncasecmp(scan,
427                                        tmp->name,
428                                        strlen(scan))) {
429                                libtrace->format=tmp;
430                                break;
431                                }
432        }
433        if (libtrace->format == 0) {
434                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
435                                "Unknown format (%s)",scan);
436        }
437
438        libtrace->format_data = NULL;
439        free(scan);
440        return libtrace;
441
442}
443
444/* Creates an output trace from a URI.
445 *
446 * @param uri   the uri string describing the output format and destination
447 * @returns opaque pointer to a libtrace_output_t
448 *
449 *  If an error occured when attempting to open the output trace, NULL is
450 *  returned and trace_errno is set.
451 */
452
453DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
454        libtrace_out_t *libtrace =
455                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
456
457        char *scan = 0;
458        const char *uridata = 0;
459        struct libtrace_format_t *tmp;
460
461        trace_init();
462
463        libtrace->err.err_num = TRACE_ERR_NOERROR;
464        strcpy(libtrace->err.problem,"Error message set\n");
465        libtrace->format = NULL;
466        libtrace->uridata = NULL;
467
468        /* Parse the URI to determine what capture format we want to write */
469
470        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
471                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
472                                "Bad uri format (%s)",uri);
473                return libtrace;
474        }
475
476        /* Attempt to find the format in the list of supported formats */
477        for(tmp=formats_list;tmp;tmp=tmp->next) {
478                if (strlen(scan) == strlen(tmp->name) &&
479                                !strncasecmp(scan,
480                                        tmp->name,
481                                        strlen(scan))) {
482                                libtrace->format=tmp;
483                                break;
484                                }
485        }
486        free(scan);
487
488        if (libtrace->format == NULL) {
489                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
490                                "Unknown output format (%s)",scan);
491                return libtrace;
492        }
493        libtrace->uridata = strdup(uridata);
494
495        /* libtrace->format now contains the type of uri
496         * libtrace->uridata contains the appropriate data for this
497         */
498
499        if (libtrace->format->init_output) {
500                /* 0 on success, -1 on failure */
501                switch(libtrace->format->init_output(libtrace)) {
502                        case -1: /* failure */
503                                return libtrace;
504                        case 0: /* success */
505                                break;
506                        default:
507                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
508                }
509        } else {
510                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
511                                "Format does not support writing (%s)",scan);
512                return libtrace;
513        }
514
515
516        libtrace->started=false;
517        return libtrace;
518}
519
520/* Start an input trace
521 * @param libtrace      the input trace to start
522 * @returns 0 on success
523 *
524 * This does the work associated with actually starting up
525 * the trace.  it may fail.
526 */
527DLLEXPORT int trace_start(libtrace_t *libtrace)
528{
529        assert(libtrace);
530        if (trace_is_err(libtrace))
531                return -1;
532        if (libtrace->format->start_input) {
533                int ret=libtrace->format->start_input(libtrace);
534                if (ret < 0) {
535                        return ret;
536                }
537        }
538        libtrace->startcount ++;
539        libtrace->started=true;
540        return 0;
541}
542
543/* Start an output trace */
544DLLEXPORT int trace_start_output(libtrace_out_t *libtrace)
545{
546        assert(libtrace);
547        if (libtrace->format->start_output) {
548                int ret=libtrace->format->start_output(libtrace);
549                if (ret < 0) {
550                        return ret;
551                }
552        }
553
554        libtrace->started=true;
555        return 0;
556}
557
558DLLEXPORT int trace_pause(libtrace_t *libtrace)
559{
560        assert(libtrace);
561        if (!libtrace->started) {
562                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
563                return -1;
564        }
565
566        /* Finish the last packet we read - for backwards compatibility */
567        if (!libtrace_parallel && libtrace->last_packet)
568                trace_fin_packet(libtrace->last_packet);
569        assert(libtrace->last_packet == NULL);
570
571        if (libtrace->format->pause_input)
572                libtrace->format->pause_input(libtrace);
573
574        libtrace->started=false;
575        return 0;
576}
577
578DLLEXPORT int trace_config(libtrace_t *libtrace,
579                trace_option_t option,
580                void *value)
581{
582        int ret;
583
584        if (trace_is_err(libtrace)) {
585                return -1;
586        }
587
588        if (option == TRACE_OPTION_HASHER)
589                return trace_set_hasher(libtrace,
590                                        (enum hasher_types) *((int *) value),
591                                        NULL, NULL);
592
593        /* If the capture format supports configuration, try using their
594         * native configuration first */
595        if (libtrace->format->config_input) {
596                ret=libtrace->format->config_input(libtrace,option,value);
597                if (ret==0)
598                        return 0;
599        }
600
601        /* If we get here, either the native configuration failed or the
602         * format did not support configuration. However, libtrace can
603         * deal with some options itself, so give that a go */
604        switch(option) {
605                case TRACE_OPTION_REPLAY_SPEEDUP:
606                        /* Clear the error if there was one */
607                        if (trace_is_err(libtrace)) {
608                                trace_get_err(libtrace);
609                        }
610                        if (*(int*)value<1
611                                || *(int*)value>LIBTRACE_MAX_REPLAY_SPEEDUP) {
612                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
613                                        "Invalid replay speed");
614                        }
615                        libtrace->replayspeedup=*(int*)value;
616                        return 0;
617
618                case TRACE_OPTION_SNAPLEN:
619                        /* Clear the error if there was one */
620                        if (trace_is_err(libtrace)) {
621                                trace_get_err(libtrace);
622                        }
623                        if (*(int*)value<0
624                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
625                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
626                                        "Invalid snap length");
627                        }
628                        libtrace->snaplen=*(int*)value;
629                        return 0;
630                case TRACE_OPTION_FILTER:
631                        /* Clear the error if there was one */
632                        if (trace_is_err(libtrace)) {
633                                trace_get_err(libtrace);
634                        }
635                        libtrace->filter=(libtrace_filter_t *)value;
636                        return 0;
637                case TRACE_OPTION_PROMISC:
638                        if (!trace_is_err(libtrace)) {
639                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
640                                                "Promisc mode is not supported by this format module");
641                        }
642                        return -1;
643                case TRACE_OPTION_META_FREQ:
644                        if (!trace_is_err(libtrace)) {
645                                trace_set_err(libtrace,
646                                                TRACE_ERR_OPTION_UNAVAIL,
647                                                "This format does not support meta-data gathering");
648                        }
649                        return -1;
650                case TRACE_OPTION_EVENT_REALTIME:
651                        if (!trace_is_err(libtrace)) {
652                                trace_set_err(libtrace,
653                                                TRACE_ERR_OPTION_UNAVAIL,
654                                                "This format does not support realtime events");
655                        }
656                        return -1;
657                case TRACE_OPTION_HASHER:
658                        /* Dealt with earlier */
659                        return -1;
660
661        }
662        if (!trace_is_err(libtrace)) {
663                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
664                        "Unknown option %i", option);
665        }
666        return -1;
667}
668
669DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
670        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
671}
672
673DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
674        int tmp = promisc;
675        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
676}
677
678DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
679        return trace_config(trace, TRACE_OPTION_FILTER, filter);
680}
681
682DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
683        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
684}
685
686DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
687        int tmp = realtime;
688        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
689}
690
691DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
692                trace_option_output_t option,
693                void *value) {
694
695        /* Unlike the input options, libtrace does not natively support any of
696         * the output options - the format module must be able to deal with
697         * them. */
698        if (libtrace->format->config_output) {
699                return libtrace->format->config_output(libtrace, option, value);
700        }
701        return -1;
702}
703
704/* Close an input trace file, freeing up any resources it may have been using
705 *
706 */
707DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
708        int i;
709        assert(libtrace);
710
711        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
712        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
713        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
714
715        /* destroy any packets that are still around */
716        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
717                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
718                        if(libtrace->first_packets.packets[i].packet) {
719                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
720                        }
721                }
722                free(libtrace->first_packets.packets);
723                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
724        }
725
726        /* Finish any the last packet we read - for backwards compatibility */
727        if (!libtrace_parallel && libtrace->last_packet) {
728                trace_fin_packet(libtrace->last_packet);
729        }
730        assert(libtrace->last_packet == NULL);
731
732        if (libtrace->format) {
733                if (libtrace->started && libtrace->format->pause_input)
734                        libtrace->format->pause_input(libtrace);
735                if (libtrace->format->fin_input)
736                        libtrace->format->fin_input(libtrace);
737        }
738        /* Need to free things! */
739        if (libtrace->uridata)
740                free(libtrace->uridata);
741
742        if (libtrace->stats)
743                free(libtrace->stats);
744       
745        /* Empty any packet memory */
746        if (libtrace->state != STATE_NEW) {
747                // This has all of our packets
748                libtrace_ocache_destroy(&libtrace->packet_freelist);
749                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
750                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
751                }
752                if (libtrace->hasher_thread.type == THREAD_HASHER)
753                        libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
754                if (libtrace->keepalive_thread.type == THREAD_KEEPALIVE)
755                        libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
756                if (libtrace->reporter_thread.type == THREAD_REPORTER)
757                        libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
758
759
760                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
761                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
762                free(libtrace->perpkt_threads);
763                libtrace->perpkt_threads = NULL;
764                libtrace->perpkt_thread_count = 0;
765
766        }
767
768        if (libtrace->hasher_owner == HASH_OWNED_LIBTRACE) {
769                if (libtrace->hasher_data) {
770                        free(libtrace->hasher_data);
771                }
772        }
773
774
775        if (libtrace->perpkt_cbs)
776                trace_destroy_callback_set(libtrace->perpkt_cbs);
777        if (libtrace->reporter_cbs)
778                trace_destroy_callback_set(libtrace->reporter_cbs);
779
780        if (libtrace->event.packet) {
781                /* Don't use trace_destroy_packet here - there is almost
782                 * certainly going to be another libtrace_packet_t that is
783                 * pointing to the buffer for this packet, so we don't want
784                 * to free it. Rather, it will get freed when the user calls
785                 * trace_destroy_packet on the libtrace_packet_t that they
786                 * own.
787                 *
788                 * All we need to do then is free our packet structure itself.
789                 */
790                 free(libtrace->event.packet);
791        }
792
793        free(libtrace);
794}
795
796
797DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
798        assert(libtrace);
799
800        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
801        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
802        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
803
804        /* Don't call pause_input or fin_input, because we should never have
805         * used this trace to do any reading anyway. Do make sure we free
806         * any format_data that has been created, though. */
807        if (libtrace->format_data)
808                free(libtrace->format_data);
809        free(libtrace);
810}
811/* Close an output trace file, freeing up any resources it may have been using
812 *
813 * @param libtrace      the output trace file to be destroyed
814 */
815DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace)
816{
817        assert(libtrace);
818        if (libtrace->format && libtrace->format->fin_output)
819                libtrace->format->fin_output(libtrace);
820        if (libtrace->uridata)
821                free(libtrace->uridata);
822        free(libtrace);
823}
824
825DLLEXPORT int trace_flush_output(libtrace_out_t *libtrace) {
826        if (!libtrace) {
827                return -1;
828        }
829        if (libtrace->format && libtrace->format->flush_output) {
830                return libtrace->format->flush_output(libtrace);
831        }
832        return 0;
833}
834
835DLLEXPORT libtrace_packet_t *trace_create_packet(void)
836{
837        libtrace_packet_t *packet =
838                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
839
840        if (packet == NULL)
841                return NULL;
842
843        packet->buf_control=TRACE_CTRL_PACKET;
844        packet->which_trace_start = 0;
845        pthread_mutex_init(&(packet->ref_lock), NULL);
846        trace_clear_cache(packet);
847        return packet;
848}
849
850DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
851        libtrace_packet_t *dest;
852
853        if (packet->which_trace_start != packet->trace->startcount) {
854                return NULL;
855        }
856
857        dest = (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
858        if (!dest) {
859                printf("Out of memory constructing packet\n");
860                abort();
861        }
862        dest->trace=packet->trace;
863        dest->buffer=malloc(65536);
864        if (!dest->buffer) {
865                printf("Out of memory allocating buffer memory\n");
866                abort();
867        }
868        dest->header=dest->buffer;
869        dest->payload=(void*)
870                ((char*)dest->buffer+trace_get_framing_length(packet));
871        dest->type=packet->type;
872        dest->buf_control=TRACE_CTRL_PACKET;
873        dest->order = packet->order;
874        dest->hash = packet->hash;
875        dest->error = packet->error;
876        dest->which_trace_start = packet->which_trace_start;
877        /* Reset the cache - better to recalculate than try to convert
878         * the values over to the new packet */
879        trace_clear_cache(dest);
880        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
881         * as much as possible */
882        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
883        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
884
885        return dest;
886}
887
888/** Destroy a packet object
889 */
890DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
891        /* Free any resources possibly associated with the packet */
892        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
893                packet->trace->format->fin_packet(packet);
894        }
895        if (!libtrace_parallel && packet->trace &&
896             packet->trace->last_packet == packet) {
897                packet->trace->last_packet = NULL;
898        }
899       
900        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
901                free(packet->buffer);
902        }
903        pthread_mutex_destroy(&(packet->ref_lock));
904        packet->buf_control=(buf_control_t)'\0';
905                                /* A "bad" value to force an assert
906                                 * if this packet is ever reused
907                                 */
908        free(packet);
909}
910
911/**
912 * Removes any possible data stored againt the trace and releases any data.
913 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
914 * use trace_destroy_packet() for those diabolical purposes.
915 */
916void trace_fin_packet(libtrace_packet_t *packet) {
917        if (packet)
918        {
919                if (packet->trace && packet->trace->format->fin_packet) {
920                        packet->trace->format->fin_packet(packet);
921                }
922
923                if (packet->srcbucket && packet->internalid != 0) {
924                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
925                        libtrace_release_bucket_id(b, packet->internalid);
926                }
927
928                if (packet->trace) {
929                        if (!libtrace_parallel && packet->trace->last_packet == packet)
930                                packet->trace->last_packet = NULL;
931                }
932
933                // No matter what we remove the header and link pointers
934                packet->trace = NULL;
935                packet->header = NULL;
936                packet->payload = NULL;
937
938                if (packet->buf_control != TRACE_CTRL_PACKET)
939                {
940                        packet->buffer = NULL;
941                }
942
943                trace_clear_cache(packet);
944                packet->hash = 0;
945                packet->order = 0;
946                packet->srcbucket = NULL;
947        }
948}
949
950/* Read one packet from the trace into buffer. Note that this function will
951 * block until a packet is read (or EOF is reached).
952 *
953 * @param libtrace      the libtrace opaque pointer
954 * @param packet        the packet opaque pointer
955 * @returns 0 on EOF, negative value on error
956 *
957 */
958DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
959
960        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
961        if (trace_is_err(libtrace))
962                return -1;
963        if (!libtrace->started) {
964                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
965                return -1;
966        }
967        if (!(packet->buf_control==TRACE_CTRL_PACKET
968                    || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
969                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
970                return -1;
971        }
972        assert(packet);
973
974        if (libtrace->format->read_packet) {
975                /* Finalise the packet, freeing any resources the format module
976                 * may have allocated it and zeroing all data associated with it.
977                 */
978                if (packet->trace == libtrace) {
979                        trace_fin_packet(packet);
980                }
981                do {
982                        size_t ret;
983                        int filtret;
984                        if ((ret=is_halted(libtrace)) != (size_t)-1)
985                                return ret;
986                        /* Store the trace we are reading from into the packet opaque
987                         * structure */
988                        packet->trace = libtrace;
989                        packet->which_trace_start = libtrace->startcount;
990                        ret=libtrace->format->read_packet(libtrace,packet);
991                        if (ret==(size_t)READ_MESSAGE ||
992                            ret==(size_t)-1 || ret==0) {
993                                packet->trace = NULL;
994                                return ret;
995                        }
996                        if (libtrace->filter) {
997                                /* If the filter doesn't match, read another
998                                 * packet
999                                 */
1000                                filtret = trace_apply_filter(libtrace->filter, packet);
1001                                if (filtret == -1) {
1002                                        /* Error compiling filter, probably */
1003                                        return ~0U;
1004                                }
1005
1006                                if (filtret == 0) {
1007                                        ++libtrace->filtered_packets;
1008                                        trace_fin_packet(packet);
1009                                        continue;
1010                                }
1011                        }
1012                        if (libtrace->snaplen>0) {
1013                                /* Snap the packet */
1014                                trace_set_capture_length(packet,
1015                                                libtrace->snaplen);
1016                        }
1017                        if (!IS_LIBTRACE_META_PACKET(packet)) {
1018                                ++libtrace->accepted_packets;
1019                        }
1020                        if (packet->order == 0) {
1021                                trace_packet_set_order(packet, libtrace->sequence_number);
1022                        }
1023                        ++libtrace->sequence_number;
1024                        if (!libtrace_parallel && packet->trace == libtrace)
1025                                libtrace->last_packet = packet;
1026
1027                        return ret;
1028                } while(1);
1029        }
1030        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
1031        return ~0U;
1032}
1033
1034/* Converts the provided buffer into a libtrace packet of the given type.
1035 *
1036 * Unlike trace_construct_packet, the buffer is expected to begin with the
1037 * appropriate capture format header for the format type that the packet is
1038 * being converted to. This also allows for a packet to be converted into
1039 * just about capture format that is supported by libtrace, provided the
1040 * format header is present in the buffer.
1041 *
1042 * This function is primarily used to convert packets received via the RT
1043 * protocol back into their original capture format. The RT header encapsulates
1044 * the original capture format header, so after removing it the packet must
1045 * have it's header and payload pointers updated and the packet format and type
1046 * changed, amongst other things.
1047 *
1048 * Intended only for internal use at this point - this function is not
1049 * available through the external libtrace API.
1050 */
1051int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
1052                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
1053
1054        assert(packet);
1055        assert(trace);
1056
1057        /* XXX Proper error handling?? */
1058        if (buffer == NULL)
1059                return -1;
1060
1061        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
1062                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
1063                return -1;
1064        }
1065
1066        packet->trace = trace;
1067        if (!libtrace_parallel)
1068                trace->last_packet = packet;
1069        /* Clear packet cache */
1070        trace_clear_cache(packet);
1071
1072        if (trace->format->prepare_packet) {
1073                return trace->format->prepare_packet(trace, packet,
1074                                buffer, rt_type, flags);
1075        }
1076        trace_set_err(trace, TRACE_ERR_UNSUPPORTED,
1077                        "This format does not support preparing packets\n");
1078        return -1;
1079
1080}
1081
1082/* Writes a packet to the specified output trace
1083 *
1084 * @param libtrace      describes the output format, destination, etc.
1085 * @param packet        the packet to be written out
1086 * @returns the number of bytes written, -1 if write failed
1087 */
1088DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1089        assert(libtrace);
1090        assert(packet);
1091        /* Verify the packet is valid */
1092        if (!libtrace->started) {
1093                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1094                        "Trace is not started before trace_write_packet");
1095                return -1;
1096        }
1097
1098        /* Don't try to convert meta-packets across formats */
1099        if (strcmp(libtrace->format->name, packet->trace->format->name) != 0 &&
1100                        IS_LIBTRACE_META_PACKET(packet)) {
1101                return 0;
1102        }
1103
1104        if (libtrace->format->write_packet) {
1105                return libtrace->format->write_packet(libtrace, packet);
1106        }
1107        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1108                "This format does not support writing packets");
1109        return -1;
1110}
1111
1112/* Get a pointer to the first byte of the packet payload */
1113DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1114                libtrace_linktype_t *linktype, uint32_t *remaining) {
1115        int cap_len;
1116        int wire_len;
1117        libtrace_linktype_t ltype;
1118
1119        assert(packet != NULL);
1120        ltype = trace_get_link_type(packet);
1121
1122        if (linktype) {
1123                *linktype = ltype;
1124        }
1125
1126        if (ltype == TRACE_TYPE_CONTENT_INVALID) {
1127                if (remaining) {
1128                        *remaining = 0;
1129                }
1130                return NULL;
1131        }
1132
1133        if (remaining) {
1134                /* I think we should choose the minimum of the capture and
1135                 * wire lengths to be the "remaining" value. If the packet has
1136                 * been padded to increase the capture length, we don't want
1137                 * to allow subsequent protocol decoders to consider the
1138                 * padding as part of the packet.
1139                 *
1140                 * For example, in Auck 4 there is a trace where the IP header
1141                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1142                 * header. Total IP length is 40 bytes. As a result, the
1143                 * legacyatm padding gets treated as the "missing" bytes of
1144                 * the TCP header, which isn't the greatest. We're probably
1145                 * better off returning an incomplete TCP header in that case.
1146                 */
1147
1148                cap_len = trace_get_capture_length(packet);
1149                wire_len = trace_get_wire_length(packet);
1150
1151                assert(cap_len >= 0);
1152
1153                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1154                 * massively negative wire lens. We could assert fail here on
1155                 * them, but we could at least try the capture length instead.
1156                 *
1157                 * You may still run into problems if you try to write that
1158                 * packet, but at least reading should work OK.
1159                 */
1160                if (wire_len < 0)
1161                        *remaining = cap_len;
1162                else if (wire_len < cap_len)
1163                        *remaining = wire_len;
1164                else
1165                        *remaining = cap_len;
1166                /* *remaining = trace_get_capture_length(packet); */
1167        }
1168        return (void *) packet->payload;
1169}
1170
1171
1172/* Get a pointer to the first byte of the packet payload
1173 *
1174 * DEPRECATED - use trace_get_packet_buffer() instead */
1175DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1176        return (void *)packet->payload;
1177}
1178
1179/* Get the current time in DAG time format
1180 * @param packet        a pointer to a libtrace_packet structure
1181 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1182 * past 1970-01-01, the lower 32bits are partial seconds)
1183 */
1184DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1185        if (packet->which_trace_start != packet->trace->startcount) {
1186                return (uint64_t)0;
1187        }
1188
1189        if (packet->trace->format->get_erf_timestamp) {
1190                /* timestamp -> timestamp */
1191                return packet->trace->format->get_erf_timestamp(packet);
1192        } else if (packet->trace->format->get_timespec) {
1193                /* timespec -> timestamp */
1194                struct timespec ts;
1195                ts = packet->trace->format->get_timespec(packet);
1196                return ((((uint64_t)ts.tv_sec) << 32) +
1197                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1198        } else if (packet->trace->format->get_timeval) {
1199                /* timeval -> timestamp */
1200                struct timeval tv;
1201                tv = packet->trace->format->get_timeval(packet);
1202                return ((((uint64_t)tv.tv_sec) << 32) +
1203                                (((uint64_t)tv.tv_usec << 32)/1000000));
1204        } else if (packet->trace->format->get_seconds) {
1205                /* seconds -> timestamp */
1206                double seconds = packet->trace->format->get_seconds(packet);
1207                return (((uint64_t)seconds)<<32)
1208                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1209        }
1210        else {
1211                return (uint64_t)0;
1212        }
1213}
1214
1215/* Get the current time in struct timeval
1216 * @param packet        a pointer to a libtrace_packet structure
1217 *
1218 * @returns time that this packet was seen in a struct timeval
1219 * @author Daniel Lawson
1220 * @author Perry Lorier
1221 */
1222DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1223        struct timeval tv;
1224        uint64_t ts = 0;
1225
1226        if (packet->which_trace_start != packet->trace->startcount) {
1227                tv.tv_sec=-1;
1228                tv.tv_usec=-1;
1229        } else if (packet->trace->format->get_timeval) {
1230                /* timeval -> timeval */
1231                tv = packet->trace->format->get_timeval(packet);
1232        } else if (packet->trace->format->get_erf_timestamp) {
1233                /* timestamp -> timeval */
1234                ts = packet->trace->format->get_erf_timestamp(packet);
1235                tv.tv_sec = ts >> 32;
1236                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1237                if (tv.tv_usec >= 1000000) {
1238                        tv.tv_usec -= 1000000;
1239                        tv.tv_sec += 1;
1240                }
1241        } else if (packet->trace->format->get_timespec) {
1242                struct timespec ts = packet->trace->format->get_timespec(packet);
1243                tv.tv_sec = ts.tv_sec;
1244                tv.tv_usec = ts.tv_nsec/1000;
1245        } else if (packet->trace->format->get_seconds) {
1246                /* seconds -> timeval */
1247                double seconds = packet->trace->format->get_seconds(packet);
1248                tv.tv_sec = (uint32_t)seconds;
1249                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1250        }
1251        else {
1252                tv.tv_sec=-1;
1253                tv.tv_usec=-1;
1254        }
1255
1256    return tv;
1257}
1258
1259DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1260        struct timespec ts;
1261
1262        if (packet->which_trace_start != packet->trace->startcount) {
1263                ts.tv_sec=-1;
1264                ts.tv_nsec=-1;
1265        } else if (packet->trace->format->get_timespec) {
1266                return packet->trace->format->get_timespec(packet);
1267        } else if (packet->trace->format->get_erf_timestamp) {
1268                /* timestamp -> timeval */
1269                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1270                ts.tv_sec = erfts >> 32;
1271                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1272                if (ts.tv_nsec >= 1000000000) {
1273                        ts.tv_nsec -= 1000000000;
1274                        ts.tv_sec += 1;
1275                }
1276        } else if (packet->trace->format->get_timeval) {
1277                /* timeval -> timespec */
1278                struct timeval tv = packet->trace->format->get_timeval(packet);
1279                ts.tv_sec = tv.tv_sec;
1280                ts.tv_nsec = tv.tv_usec*1000;
1281        } else if (packet->trace->format->get_seconds) {
1282                /* seconds -> timespec */
1283                double seconds = packet->trace->format->get_seconds(packet);
1284                ts.tv_sec = (uint32_t)seconds;
1285                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1286        }
1287        else {
1288                ts.tv_sec=-1;
1289                ts.tv_nsec=-1;
1290        }
1291        return ts;
1292}
1293
1294
1295/* Get the current time in floating point seconds
1296 * @param packet        a pointer to a libtrace_packet structure
1297 * @returns time that this packet was seen in 64bit floating point seconds
1298 */
1299DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1300        double seconds = 0.0;
1301
1302        if (packet->which_trace_start != packet->trace->startcount) {
1303                return 0.0;
1304        }
1305
1306        if (packet->trace->format->get_seconds) {
1307                /* seconds->seconds */
1308                seconds = packet->trace->format->get_seconds(packet);
1309        } else if (packet->trace->format->get_erf_timestamp) {
1310                /* timestamp -> seconds */
1311                uint64_t ts = 0;
1312                ts = packet->trace->format->get_erf_timestamp(packet);
1313                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1314        } else if (packet->trace->format->get_timespec) {
1315                /* timespec -> seconds */
1316                struct timespec ts;
1317                ts = packet->trace->format->get_timespec(packet);
1318                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1319        } else if (packet->trace->format->get_timeval) {
1320                /* timeval -> seconds */
1321                struct timeval tv;
1322                tv = packet->trace->format->get_timeval(packet);
1323                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1324        }
1325
1326        return seconds;
1327}
1328
1329DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet)
1330{
1331        /* Cache the capture length */
1332        if (packet->which_trace_start != packet->trace->startcount) {
1333                return ~0U;
1334        }
1335        if (packet->capture_length == -1) {
1336                if (!packet->trace->format->get_capture_length)
1337                        return ~0U;
1338                /* Cast away constness because this is "just" a cache */
1339                ((libtrace_packet_t*)packet)->capture_length =
1340                        packet->trace->format->get_capture_length(packet);
1341        }
1342
1343        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1344
1345        return packet->capture_length;
1346}
1347
1348/* Get the size of the packet as it was seen on the wire.
1349 * @param packet        a pointer to a libtrace_packet structure
1350 *
1351 * @returns the size of the packet as it was on the wire.
1352 * @note Due to the trace being a header capture, or anonymisation this may
1353 * not be the same as the Capture Len.
1354 */
1355DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1356
1357        if (packet->which_trace_start != packet->trace->startcount) {
1358                return ~0U;
1359        }
1360
1361        if (packet->wire_length == -1) {
1362                if (!packet->trace->format->get_wire_length)
1363                        return ~0U;
1364                ((libtrace_packet_t *)packet)->wire_length =
1365                        packet->trace->format->get_wire_length(packet);
1366        }
1367
1368        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1369        return packet->wire_length;
1370
1371}
1372
1373/* Get the length of the capture framing headers.
1374 * @param packet        the packet opaque pointer
1375 * @returns the size of the packet as it was on the wire.
1376 * @note this length corresponds to the difference between the size of a
1377 * captured packet in memory, and the captured length of the packet
1378 */
1379DLLEXPORT SIMPLE_FUNCTION
1380size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1381        if (packet->which_trace_start != packet->trace->startcount) {
1382                return ~0U;
1383        }
1384
1385        if (packet->framing_length >= 0) {
1386                return packet->framing_length;
1387        }
1388
1389        if (packet->trace->format->get_framing_length) {
1390                ((libtrace_packet_t *)packet)->framing_length =
1391                       packet->trace->format->get_framing_length(packet);
1392                return packet->framing_length;
1393        }
1394        return ~0U;
1395}
1396
1397
1398/* Get the type of the link layer
1399 * @param packet        a pointer to a libtrace_packet structure
1400 * @returns libtrace_linktype_t
1401 */
1402DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1403
1404        if (packet->which_trace_start != packet->trace->startcount) {
1405                return TRACE_TYPE_CONTENT_INVALID;
1406        }
1407
1408        if (packet->link_type == 0) {
1409                if (!packet->trace->format->get_link_type)
1410                        return TRACE_TYPE_UNKNOWN;
1411                ((libtrace_packet_t *)packet)->link_type =
1412                        packet->trace->format->get_link_type(packet);
1413        }
1414
1415        return packet->link_type;
1416}
1417
1418/* process a libtrace event
1419 * @param trace the libtrace opaque pointer
1420 * @param packet the libtrace_packet opaque pointer
1421 * @returns
1422 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1423 *  TRACE_EVENT_SLEEP   Next event in seconds
1424 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1425 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1426 * FIXME currently keeps a copy of the packet inside the trace pointer,
1427 * which in turn is stored inside the new packet object...
1428 */
1429DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace,
1430                libtrace_packet_t *packet) {
1431        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1432
1433        if (!trace) {
1434                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1435        }
1436        assert(trace);
1437        assert(packet);
1438
1439        /* Free the last packet */
1440        trace_fin_packet(packet);
1441        /* Store the trace we are reading from into the packet opaque
1442         * structure */
1443        packet->trace = trace;
1444
1445        if (packet->trace->format->trace_event) {
1446                /* Note: incrementing accepted, filtered etc. packet
1447                 * counters is handled by the format-specific
1448                 * function so don't increment them here.
1449                 */
1450                event=packet->trace->format->trace_event(trace,packet);
1451                }
1452        return event;
1453
1454}
1455
1456/** Setup a BPF filter based on pre-compiled byte-code.
1457 * @param bf_insns      A pointer to the start of the byte-code
1458 * @param bf_len        The number of BPF instructions
1459 * @returns             an opaque pointer to a libtrace_filter_t object
1460 * @note                The supplied byte-code is not checked for correctness.
1461 * @author              Scott Raynel
1462 */
1463DLLEXPORT libtrace_filter_t *
1464trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1465{
1466#ifndef HAVE_BPF
1467        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1468        return NULL;
1469#else
1470        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1471                malloc(sizeof(struct libtrace_filter_t));
1472        filter->filter.bf_insns = (struct bpf_insn *)
1473                malloc(sizeof(struct bpf_insn) * bf_len);
1474
1475        memcpy(filter->filter.bf_insns, bf_insns,
1476                        bf_len * sizeof(struct bpf_insn));
1477
1478        filter->filter.bf_len = bf_len;
1479        filter->filterstring = NULL;
1480        filter->jitfilter = NULL;
1481        /* "flag" indicates that the filter member is valid */
1482        filter->flag = 1;
1483
1484        return filter;
1485#endif
1486}
1487
1488/* Create a BPF filter
1489 * @param filterstring a char * containing the bpf filter string
1490 * @returns opaque pointer pointer to a libtrace_filter_t object
1491 */
1492DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1493#ifdef HAVE_BPF
1494        libtrace_filter_t *filter = (libtrace_filter_t*)
1495                                malloc(sizeof(libtrace_filter_t));
1496        filter->filterstring = strdup(filterstring);
1497        filter->jitfilter = NULL;
1498        filter->flag = 0;
1499        return filter;
1500#else
1501        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1502        return NULL;
1503#endif
1504}
1505
1506DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1507{
1508#ifdef HAVE_BPF
1509        free(filter->filterstring);
1510        if (filter->flag)
1511                pcap_freecode(&filter->filter);
1512#ifdef HAVE_LLVM
1513        if (filter->jitfilter)
1514                destroy_program(filter->jitfilter);
1515#endif
1516        free(filter);
1517#else
1518
1519#endif
1520}
1521
1522/* Compile a bpf filter, now we know the link type for the trace that we're
1523 * applying it to.
1524 *
1525 * @internal
1526 *
1527 * @returns -1 on error, 0 on success
1528 */
1529static int trace_bpf_compile(libtrace_filter_t *filter,
1530                const libtrace_packet_t *packet,
1531                void *linkptr,
1532                libtrace_linktype_t linktype    ) {
1533#ifdef HAVE_BPF
1534        /* It just so happens that the underlying libs used by pthread arn't
1535         * thread safe, namely lex/flex thingys, so single threaded compile
1536         * multi threaded running should be safe.
1537         */
1538        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1539        assert(filter);
1540
1541        /* If this isn't a real packet, then fail */
1542        if (!linkptr) {
1543                trace_set_err(packet->trace,
1544                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1545                return -1;
1546        }
1547
1548        if (filter->filterstring && ! filter->flag) {
1549                pcap_t *pcap = NULL;
1550                if (linktype==(libtrace_linktype_t)-1) {
1551                        trace_set_err(packet->trace,
1552                                        TRACE_ERR_BAD_FILTER,
1553                                        "Packet has an unknown linktype");
1554                        return -1;
1555                }
1556                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1557                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1558                                        "Unknown pcap equivalent linktype");
1559                        return -1;
1560                }
1561                assert (pthread_mutex_lock(&mutex) == 0);
1562                /* Make sure not one bet us to this */
1563                if (filter->flag) {
1564                        assert (pthread_mutex_unlock(&mutex) == 0);
1565                        return 1;
1566                }
1567                pcap=(pcap_t *)pcap_open_dead(
1568                                (int)libtrace_to_pcap_dlt(linktype),
1569                                1500U);
1570                /* build filter */
1571                assert(pcap);
1572                if (pcap_compile( pcap, &filter->filter, filter->filterstring,
1573                                        1, 0)) {
1574                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1575                                        "Unable to compile the filter \"%s\": %s",
1576                                        filter->filterstring,
1577                                        pcap_geterr(pcap));
1578                        pcap_close(pcap);
1579                        assert (pthread_mutex_unlock(&mutex) == 0);
1580                        return -1;
1581                }
1582                pcap_close(pcap);
1583                filter->flag=1;
1584                assert (pthread_mutex_unlock(&mutex) == 0);
1585        }
1586        return 0;
1587#else
1588        assert(!"Internal bug: This should never be called when BPF not enabled");
1589        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1590                                "Feature unavailable");
1591        return -1;
1592#endif
1593}
1594
1595DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1596                        const libtrace_packet_t *packet) {
1597#ifdef HAVE_BPF
1598        void *linkptr = 0;
1599        uint32_t clen = 0;
1600        bool free_packet_needed = false;
1601        int ret;
1602        libtrace_linktype_t linktype;
1603        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1604#ifdef HAVE_LLVM
1605        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1606#endif
1607
1608        assert(filter);
1609        assert(packet);
1610
1611        /* Match all non-data packets as we probably want them to pass
1612         * through to the caller */
1613        linktype = trace_get_link_type(packet);
1614
1615        if (linktype == TRACE_TYPE_NONDATA || linktype == TRACE_TYPE_ERF_META)
1616                return 1;
1617
1618        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1619
1620                /* If we cannot get a suitable DLT for the packet, it may
1621                 * be because the packet is encapsulated in a link type that
1622                 * does not correspond to a DLT. Therefore, we should try
1623                 * popping off headers until we either can find a suitable
1624                 * link type or we can't do any more sensible decapsulation. */
1625
1626                /* Copy the packet, as we don't want to trash the one we
1627                 * were passed in */
1628                packet_copy=trace_copy_packet(packet);
1629                free_packet_needed=true;
1630
1631                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1632                        if (!demote_packet(packet_copy)) {
1633                                trace_set_err(packet->trace,
1634                                                TRACE_ERR_NO_CONVERSION,
1635                                                "pcap does not support this linktype so cannot apply BPF filters");
1636                                if (free_packet_needed) {
1637                                        trace_destroy_packet(packet_copy);
1638                                }
1639                                return -1;
1640                        }
1641                        linktype = trace_get_link_type(packet_copy);
1642                }
1643
1644        }
1645
1646        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1647        if (!linkptr) {
1648                if (free_packet_needed) {
1649                        trace_destroy_packet(packet_copy);
1650                }
1651                return 0;
1652        }
1653
1654        /* We need to compile the filter now, because before we didn't know
1655         * what the link type was
1656         */
1657        // Note internal mutex locking used here
1658        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1659                if (free_packet_needed) {
1660                        trace_destroy_packet(packet_copy);
1661                }
1662                return -1;
1663        }
1664
1665        /* If we're jitting, we may need to JIT the BPF code now too */
1666#if HAVE_LLVM
1667        if (!filter->jitfilter) {
1668                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1669                /* Again double check here like the bpf filter */
1670                if(!filter->jitfilter)
1671                /* Looking at compile_program source this appears to be thread safe
1672                 * however if this gets called twice we will leak this memory :(
1673                 * as such lock here anyways */
1674                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1675                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1676        }
1677#endif
1678
1679        assert(filter->flag);
1680        /* Now execute the filter */
1681#if HAVE_LLVM
1682        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1683#else
1684        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1685#endif
1686
1687        /* If we copied the packet earlier, make sure that we free it */
1688        if (free_packet_needed) {
1689                trace_destroy_packet(packet_copy);
1690        }
1691        return ret;
1692#else
1693        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1694        return 0;
1695#endif
1696}
1697
1698/* Set the direction flag, if it has one
1699 * @param packet the packet opaque pointer
1700 * @param direction the new direction (0,1,2,3)
1701 * @returns a signed value containing the direction flag, or -1 if this is not supported
1702 */
1703DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet,
1704                libtrace_direction_t direction)
1705{
1706        assert(packet);
1707        if (packet->trace->format->set_direction) {
1708                return packet->trace->format->set_direction(packet,direction);
1709        }
1710        return (libtrace_direction_t)~0U;
1711}
1712
1713/* Get the direction flag, if it has one
1714 * @param packet a pointer to a libtrace_packet structure
1715 * @returns a signed value containing the direction flag, or -1 if this is not supported
1716 * The direction is defined as 0 for packets originating locally (ie, outbound)
1717 * and 1 for packets originating remotely (ie, inbound).
1718 * Other values are possible, which might be overloaded to mean special things
1719 * for a special trace.
1720 */
1721DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet)
1722{
1723        assert(packet);
1724        if (packet->which_trace_start != packet->trace->startcount) {
1725                return (libtrace_direction_t)~0U;
1726        }
1727        if (packet->trace->format->get_direction) {
1728                return packet->trace->format->get_direction(packet);
1729        }
1730        return (libtrace_direction_t)~0U;
1731}
1732
1733#define ROOT_SERVER(x) ((x) < 512)
1734#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1735#define NONROOT_SERVER(x) ((x) >= 5000)
1736#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1737#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1738#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1739#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1740
1741/* Attempt to deduce the 'server' port
1742 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1743 * @param source the TCP or UDP source port
1744 * @param dest the TCP or UDP destination port
1745 * @returns a hint as to which port is the server port
1746 */
1747DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol,
1748                uint16_t source, uint16_t dest)
1749{
1750        /*
1751         * * If the ports are equal, return DEST
1752         * * Check for well-known ports in the given protocol
1753         * * Root server ports: 0 - 511
1754         * * Root client ports: 512 - 1023
1755         * * non-root client ports: 1024 - 4999
1756         * * non-root server ports: 5000+
1757         * * Check for static ranges: 1024 - 49151
1758         * * Check for dynamic ranges: 49152 - 65535
1759         * * flip a coin.
1760         */
1761
1762        /* equal */
1763        if (source == dest)
1764                return USE_DEST;
1765
1766        /* root server port, 0 - 511 */
1767        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1768                if (source < dest)
1769                        return USE_SOURCE;
1770                return USE_DEST;
1771        }
1772
1773        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1774                return USE_SOURCE;
1775        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1776                return USE_DEST;
1777
1778        /* non-root server */
1779        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1780                if (source < dest)
1781                        return USE_SOURCE;
1782                return USE_DEST;
1783        }
1784        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1785                return USE_SOURCE;
1786        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1787                return USE_DEST;
1788
1789        /* root client */
1790        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1791                if (source < dest)
1792                        return USE_SOURCE;
1793                return USE_DEST;
1794        }
1795        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1796                /* prefer root-client over nonroot-client */
1797                if (NONROOT_CLIENT(dest))
1798                        return USE_SOURCE;
1799                return USE_DEST;
1800        }
1801        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1802                /* prefer root-client over nonroot-client */
1803                if (NONROOT_CLIENT(source))
1804                        return USE_DEST;
1805                return USE_SOURCE;
1806        }
1807
1808        /* nonroot client */
1809        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1810                if (source < dest)
1811                        return USE_SOURCE;
1812                return USE_DEST;
1813        }
1814        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1815                return USE_DEST;
1816        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1817                return USE_SOURCE;
1818
1819        /* dynamic range */
1820        if (DYNAMIC(source) && DYNAMIC(dest)) {
1821                if (source < dest)
1822                        return USE_SOURCE;
1823                return USE_DEST;
1824        }
1825        if (DYNAMIC(source) && !DYNAMIC(dest))
1826                return USE_DEST;
1827        if (!DYNAMIC(source) && DYNAMIC(dest))
1828                return USE_SOURCE;
1829        /*
1830        if (SERVER(source) && CLIENT(dest))
1831                return USE_SOURCE;
1832
1833        if (SERVER(dest) && CLIENT(source))
1834                return USE_DEST;
1835        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1836                return USE_SOURCE;
1837        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1838                return USE_DEST;
1839        */
1840        /* failing that test... */
1841        if (source < dest) {
1842                return USE_SOURCE;
1843        }
1844        return USE_DEST;
1845
1846}
1847
1848/* Truncate the packet at the suggested length
1849 * @param packet        the packet opaque pointer
1850 * @param size          the new length of the packet
1851 * @returns the new size of the packet
1852 * @note size and the return size refer to the network-level payload of the
1853 * packet, and do not include any capture headers. For example, to truncate a
1854 * packet after the IP header, set size to sizeof(ethernet_header) +
1855 * sizeof(ip_header)
1856 * @note If the original network-level payload is smaller than size, then the
1857 * original size is returned and the packet is left unchanged.
1858 */
1859DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1860        assert(packet);
1861
1862        if (packet->trace->format->set_capture_length) {
1863                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1864                return packet->capture_length;
1865        }
1866
1867        return ~0U;
1868}
1869
1870/* Splits a URI into two components - the format component which is seen before
1871 * the ':', and the uridata which follows the ':'.
1872 *
1873 * Returns a pointer to the URI data, but updates the format parameter to
1874 * point to a copy of the format component.
1875 */
1876
1877DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1878        const char *uridata = 0;
1879
1880        if((uridata = strchr(uri,':')) == NULL) {
1881                /* Badly formed URI - needs a : */
1882                return 0;
1883        }
1884
1885        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1886                /* Badly formed URI - uri type is too long */
1887                return 0;
1888        }
1889
1890        /* NOTE: this is allocated memory - it should be freed by the caller
1891         * once they are done with it */
1892        *format=xstrndup(uri, (size_t)(uridata - uri));
1893
1894        /* Push uridata past the delimiter */
1895        uridata++;
1896
1897        return uridata;
1898}
1899
1900enum base_format_t trace_get_format(libtrace_packet_t *packet)
1901{
1902        assert(packet);
1903
1904        return packet->trace->format->type;
1905}
1906
1907DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1908{
1909        libtrace_err_t err = trace->err;
1910        trace->err.err_num = 0; /* "OK" */
1911        trace->err.problem[0]='\0';
1912        return err;
1913}
1914
1915DLLEXPORT bool trace_is_err(libtrace_t *trace)
1916{
1917        return trace->err.err_num != 0;
1918}
1919
1920/* Prints the input error status to standard error and clears the error state */
1921DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1922{
1923        char buf[256];
1924        va_list va;
1925        va_start(va,msg);
1926        vsnprintf(buf,sizeof(buf),msg,va);
1927        va_end(va);
1928        if(trace->err.err_num) {
1929                if (trace->uridata) {
1930                        fprintf(stderr,"%s(%s): %s\n",
1931                                        buf,trace->uridata,trace->err.problem);
1932                } else {
1933                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1934                }
1935        } else {
1936                if (trace->uridata) {
1937                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1938                } else {
1939                        fprintf(stderr,"%s: No error\n", buf);
1940                }
1941        }
1942        trace->err.err_num = 0; /* "OK" */
1943        trace->err.problem[0]='\0';
1944}
1945
1946DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1947{
1948        libtrace_err_t err = trace->err;
1949        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1950        trace->err.problem[0]='\0';
1951        return err;
1952}
1953
1954DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1955{
1956        return trace->err.err_num != 0;
1957}
1958
1959/* Prints the output error status to standard error and clears the error state
1960 */
1961DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1962{
1963        char buf[256];
1964        va_list va;
1965        va_start(va,msg);
1966        vsnprintf(buf,sizeof(buf),msg,va);
1967        va_end(va);
1968        if(trace->err.err_num) {
1969                fprintf(stderr,"%s(%s): %s\n",
1970                                buf,
1971                                trace->uridata?trace->uridata:"no uri",
1972                                trace->err.problem);
1973        } else {
1974                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1975        }
1976        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1977        trace->err.problem[0]='\0';
1978}
1979
1980DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1981{
1982        if (trace->format->seek_erf) {
1983                return trace->format->seek_erf(trace,ts);
1984        }
1985        else {
1986                if (trace->format->seek_timeval) {
1987                        struct timeval tv;
1988#if __BYTE_ORDER == __BIG_ENDIAN
1989                        tv.tv_sec = ts & 0xFFFFFFFF;
1990                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1991#elif __BYTE_ORDER == __LITTLE_ENDIAN
1992                        tv.tv_sec = ts >> 32;
1993                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1994#else
1995#error "What on earth are you running this on?"
1996#endif
1997                        if (tv.tv_usec >= 1000000) {
1998                                tv.tv_usec -= 1000000;
1999                                tv.tv_sec += 1;
2000                        }
2001                        return trace->format->seek_timeval(trace,tv);
2002                }
2003                if (trace->format->seek_seconds) {
2004                        double seconds =
2005                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
2006                        return trace->format->seek_seconds(trace,seconds);
2007                }
2008                trace_set_err(trace,
2009                                TRACE_ERR_OPTION_UNAVAIL,
2010                                "Feature unimplemented");
2011                return -1;
2012        }
2013}
2014
2015DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
2016{
2017        if (trace->format->seek_seconds) {
2018                return trace->format->seek_seconds(trace,seconds);
2019        }
2020        else {
2021                if (trace->format->seek_timeval) {
2022                        struct timeval tv;
2023                        tv.tv_sec = (uint32_t)seconds;
2024                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
2025                        return trace->format->seek_timeval(trace,tv);
2026                }
2027                if (trace->format->seek_erf) {
2028                        uint64_t timestamp =
2029                                ((uint64_t)((uint32_t)seconds) << 32) + \
2030                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
2031                        return trace->format->seek_erf(trace,timestamp);
2032                }
2033                trace_set_err(trace,
2034                                TRACE_ERR_OPTION_UNAVAIL,
2035                                "Feature unimplemented");
2036                return -1;
2037        }
2038}
2039
2040DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
2041{
2042        if (trace->format->seek_timeval) {
2043                return trace->format->seek_timeval(trace,tv);
2044        }
2045        else {
2046                if (trace->format->seek_erf) {
2047                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
2048                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
2049                        return trace->format->seek_erf(trace,timestamp);
2050                }
2051                if (trace->format->seek_seconds) {
2052                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
2053                        return trace->format->seek_seconds(trace,seconds);
2054                }
2055                trace_set_err(trace,
2056                                TRACE_ERR_OPTION_UNAVAIL,
2057                                "Feature unimplemented");
2058                return -1;
2059        }
2060}
2061
2062/* Converts a binary ethernet MAC address into a printable string */
2063DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
2064{
2065        static char staticbuf[18]={0,};
2066        if (!buf)
2067                buf=staticbuf;
2068        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
2069                        addr[0],addr[1],addr[2],
2070                        addr[3],addr[4],addr[5]);
2071        return buf;
2072}
2073
2074/* Converts a printable ethernet MAC address into a binary format */
2075DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
2076{
2077        uint8_t *buf2 = addr;
2078        unsigned int tmp[6];
2079        static uint8_t staticaddr[6];
2080        if (!buf2)
2081                buf2=staticaddr;
2082        sscanf(buf,"%x:%x:%x:%x:%x:%x",
2083                        &tmp[0],&tmp[1],&tmp[2],
2084                        &tmp[3],&tmp[4],&tmp[5]);
2085        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
2086        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
2087        return buf2;
2088}
2089
2090
2091/* Creates a libtrace packet from scratch using the contents of the provided
2092 * buffer as the packet payload.
2093 *
2094 * Unlike trace_prepare_packet(), the buffer should not contain any capture
2095 * format headers; instead this function will add the PCAP header to the
2096 * packet record. This also means only PCAP packets can be constructed using
2097 * this function.
2098 *
2099 */
2100DLLEXPORT
2101void trace_construct_packet(libtrace_packet_t *packet,
2102                libtrace_linktype_t linktype,
2103                const void *data,
2104                uint16_t len)
2105{
2106        size_t size;
2107        static libtrace_t *deadtrace=NULL;
2108        libtrace_pcapfile_pkt_hdr_t hdr;
2109#ifdef WIN32
2110        struct _timeb tstruct;
2111#else
2112        struct timeval tv;
2113#endif
2114
2115        /* We need a trace to attach the constructed packet to (and it needs
2116         * to be PCAP) */
2117        if (NULL == deadtrace)
2118                deadtrace=trace_create_dead("pcapfile");
2119
2120        /* Fill in the new PCAP header */
2121#ifdef WIN32
2122        _ftime(&tstruct);
2123        hdr.ts_sec=tstruct.time;
2124        hdr.ts_usec=tstruct.millitm * 1000;
2125#else
2126        gettimeofday(&tv,NULL);
2127        hdr.ts_sec=tv.tv_sec;
2128        hdr.ts_usec=tv.tv_usec;
2129#endif
2130
2131        hdr.caplen=len;
2132        hdr.wirelen=len;
2133
2134        /* Now fill in the libtrace packet itself */
2135        assert(deadtrace);
2136        packet->trace=deadtrace;
2137        size=len+sizeof(hdr);
2138        if (size < LIBTRACE_PACKET_BUFSIZE)
2139            size = LIBTRACE_PACKET_BUFSIZE;
2140        if (packet->buf_control==TRACE_CTRL_PACKET) {
2141            packet->buffer = realloc(packet->buffer, size);
2142        }
2143        else {
2144                packet->buffer = malloc(size);
2145        }
2146        packet->buf_control=TRACE_CTRL_PACKET;
2147        packet->header=packet->buffer;
2148        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2149
2150        /* Ugh, memmove - sadly necessary, also beware that we might be
2151         * moving data around within this packet, so ordering is important.
2152         */
2153        memmove(packet->payload, data, (size_t)len);
2154        memmove(packet->header, &hdr, sizeof(hdr));
2155        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2156
2157        trace_clear_cache(packet);
2158}
2159
2160
2161uint64_t trace_get_received_packets(libtrace_t *trace)
2162{
2163        assert(trace);
2164        uint64_t ret;
2165
2166        if (trace->format->get_received_packets) {
2167                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2168                        return ret;
2169        } else if (trace->format->get_statistics) {
2170                struct libtrace_stat_t stat;
2171                stat.magic = LIBTRACE_STAT_MAGIC;
2172                trace_get_statistics(trace, &stat);
2173                if (stat.received_valid)
2174                        return stat.received;
2175        }
2176
2177        // Read the cached value taken before the trace was paused/closed
2178        if(trace->stats && trace->stats->received_valid)
2179                return trace->stats->received;
2180        else
2181                return UINT64_MAX;
2182}
2183
2184uint64_t trace_get_filtered_packets(libtrace_t *trace)
2185{
2186        assert(trace);
2187        int i = 0;
2188        uint64_t lib_filtered = trace->filtered_packets;
2189        for (i = 0; i < trace->perpkt_thread_count; i++) {
2190                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2191        }
2192        if (trace->format->get_filtered_packets) {
2193                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2194                if (trace_filtered == UINT64_MAX)
2195                        return UINT64_MAX;
2196                else
2197                        return trace_filtered + lib_filtered;
2198        } else if (trace->format->get_statistics) {
2199                struct libtrace_stat_t stat;
2200                stat.magic = LIBTRACE_STAT_MAGIC;
2201                trace_get_statistics(trace, &stat);
2202                if (stat.filtered_valid)
2203                        return lib_filtered + stat.filtered;
2204                else
2205                        return UINT64_MAX;
2206        }
2207
2208        // Read the cached value taken before the trace was paused/closed
2209        if(trace->stats && trace->stats->filtered_valid)
2210                return trace->stats->filtered + lib_filtered;
2211        else
2212                return lib_filtered;
2213}
2214
2215uint64_t trace_get_dropped_packets(libtrace_t *trace)
2216{
2217        assert(trace);
2218        uint64_t ret;
2219
2220        if (trace->format->get_dropped_packets) {
2221                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2222                        return ret;
2223        } else if (trace->format->get_statistics) {
2224                struct libtrace_stat_t stat;
2225                stat.magic = LIBTRACE_STAT_MAGIC;
2226                trace_get_statistics(trace, &stat);
2227                if (stat.dropped_valid)
2228                        return stat.dropped;
2229        }
2230
2231        // Read the cached value taken before the trace was paused/closed
2232        if(trace->stats && trace->stats->dropped_valid)
2233                return trace->stats->dropped;
2234        else
2235                return UINT64_MAX;
2236}
2237
2238uint64_t trace_get_accepted_packets(libtrace_t *trace)
2239{
2240        assert(trace);
2241        int i = 0;
2242        uint64_t ret = 0;
2243        /* We always add to a thread's accepted count before dispatching the
2244         * packet to the user. However if the underlying trace is single
2245         * threaded it will also be increasing the global count. So if we
2246         * find perpkt ignore the global count.
2247         */
2248        for (i = 0; i < trace->perpkt_thread_count; i++) {
2249                ret += trace->perpkt_threads[i].accepted_packets;
2250        }
2251        return ret ? ret : trace->accepted_packets;
2252}
2253
2254libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2255{
2256        uint64_t ret = 0;
2257        int i;
2258        assert(trace);
2259        if (stat == NULL) {
2260                if (trace->stats == NULL)
2261                        trace->stats = trace_create_statistics();
2262                stat = trace->stats;
2263        }
2264        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2265               "trace_create_statistics() to allocate statistics");
2266
2267        /* If the trace has paused or finished get the cached results */
2268        if (trace->state == STATE_PAUSED ||
2269            trace->state == STATE_FINISHED ||
2270            trace->state == STATE_FINISHING ||
2271            trace->state == STATE_JOINED) {
2272                if (trace->stats && trace->stats != stat)
2273                        *stat = *trace->stats;
2274                return stat;
2275        }
2276
2277        stat->reserved1 = 0;
2278        stat->reserved2 = 0;
2279#define X(x) stat->x ##_valid = 0;
2280        LIBTRACE_STAT_FIELDS;
2281#undef X
2282        /* Both accepted and filtered are stored against in the library */
2283
2284        /* We always add to a thread's accepted count before dispatching the
2285         * packet to the user. However if the underlying trace is single
2286         * threaded it will also be increasing the global count. So if we
2287         * find perpkt ignore the global count.
2288         */
2289        for (i = 0; i < trace->perpkt_thread_count; i++) {
2290                ret += trace->perpkt_threads[i].accepted_packets;
2291        }
2292
2293        stat->accepted_valid = 1;
2294        stat->accepted = ret ? ret : trace->accepted_packets;
2295
2296        stat->filtered_valid = 1;
2297        stat->filtered = trace->filtered_packets;
2298        for (i = 0; i < trace->perpkt_thread_count; i++) {
2299                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2300        }
2301
2302        if (trace->format->get_statistics) {
2303                trace->format->get_statistics(trace, stat);
2304        }
2305        return stat;
2306}
2307
2308void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2309                                 libtrace_stat_t *stat)
2310{
2311        assert(trace && stat);
2312        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2313               "trace_create_statistics() to allocate statistics");
2314        stat->reserved1 = 0;
2315        stat->reserved2 = 0;
2316#define X(x) stat->x ##_valid= 0;
2317        LIBTRACE_STAT_FIELDS;
2318#undef X
2319        stat->accepted_valid = 1;
2320        stat->accepted = t->accepted_packets;
2321        stat->filtered_valid = 1;
2322        stat->filtered = t->filtered_packets;
2323        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2324                trace->format->get_thread_statistics(trace, t, stat);
2325        }
2326        return;
2327}
2328
2329libtrace_stat_t *trace_create_statistics(void) {
2330        libtrace_stat_t *ret;
2331        ret = malloc(sizeof(libtrace_stat_t));
2332        if (ret) {
2333                memset(ret, 0, sizeof(libtrace_stat_t));
2334                ret->magic = LIBTRACE_STAT_MAGIC;
2335        }
2336        return ret;
2337}
2338
2339void trace_clear_statistics(libtrace_stat_t *s) {
2340        memset(s, 0, sizeof(libtrace_stat_t));
2341        s->magic = LIBTRACE_STAT_MAGIC;
2342}
2343
2344void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2345                         libtrace_stat_t *c) {
2346        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2347               "trace_create_statistics() to allocate statistics");
2348        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2349               "trace_create_statistics() to allocate statistics");
2350        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2351               "trace_create_statistics() to allocate statistics");
2352
2353#define X(x) \
2354        if (a->x ##_valid && b->x ##_valid) { \
2355                c->x ##_valid = 1; \
2356                c->x = a->x - b->x; \
2357        } else {\
2358                c->x ##_valid = 0;\
2359        }
2360        LIBTRACE_STAT_FIELDS
2361#undef X
2362}
2363
2364void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2365                         libtrace_stat_t *c) {
2366        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2367               "trace_create_statistics() to allocate statistics");
2368        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2369               "trace_create_statistics() to allocate statistics");
2370        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2371               "trace_create_statistics() to allocate statistics");
2372
2373#define X(x) \
2374        if (a->x ##_valid&& b->x ##_valid) { \
2375                c->x ##_valid = 1; \
2376                c->x = a->x + b->x; \
2377        } else {\
2378                c->x ##_valid = 0;\
2379        }
2380        LIBTRACE_STAT_FIELDS
2381#undef X
2382}
2383
2384int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2385        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2386               "trace_create_statistics() to allocate statistics");
2387        if (format == NULL)
2388                format = "%s: %"PRIu64"\n";
2389#define xstr(s) str(s)
2390#define str(s) #s
2391#define X(x) \
2392        if (s->x ##_valid) { \
2393                if (fprintf(f, format, xstr(x), s->x) < 0) \
2394                        return -1; \
2395        }
2396        LIBTRACE_STAT_FIELDS
2397#undef X
2398        return 0;
2399}
2400
2401
2402void trace_clear_cache(libtrace_packet_t *packet) {
2403
2404        packet->l2_header = NULL;
2405        packet->l3_header = NULL;
2406        packet->l4_header = NULL;
2407        packet->link_type = 0;
2408        packet->l3_ethertype = 0;
2409        packet->transport_proto = 0;
2410        packet->capture_length = -1;
2411        packet->wire_length = -1;
2412        packet->framing_length = -1;
2413        packet->payload_length = -1;
2414        packet->l2_remaining = 0;
2415        packet->l3_remaining = 0;
2416        packet->l4_remaining = 0;
2417        packet->refcount = 0;
2418}
2419
2420void trace_interrupt(void) {
2421        libtrace_halt = 1;
2422}
2423
2424void register_format(struct libtrace_format_t *f) {
2425        assert(f->next==NULL); /* Can't register a format twice */
2426        f->next=formats_list;
2427        formats_list=f;
2428
2429        /* Now, verify that the format has at least the minimum functionality.
2430         *
2431         * This #if can be changed to a 1 to output warnings about inconsistent
2432         * functions being provided by format modules.  This generally is very
2433         * noisy, as almost all modules don't implement one or more functions
2434         * for various reasons.  This is very useful when checking a new
2435         * format module is sane.
2436         */
2437#if 0
2438        if (f->init_input) {
2439#define REQUIRE(x) \
2440                if (!f->x) \
2441                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2442                REQUIRE(read_packet);
2443                REQUIRE(start_input);
2444                REQUIRE(fin_input);
2445                REQUIRE(get_link_type);
2446                REQUIRE(get_capture_length);
2447                REQUIRE(get_wire_length);
2448                REQUIRE(get_framing_length);
2449                REQUIRE(trace_event);
2450                if (!f->get_erf_timestamp
2451                        && !f->get_seconds
2452                        && !f->get_timeval) {
2453                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2454"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2455                }
2456                if (f->trace_event!=trace_event_trace) {
2457                        /* Theres nothing that a trace file could optimise with
2458                         * config_input
2459                         */
2460                        REQUIRE(pause_input);
2461                        REQUIRE(config_input);
2462                        REQUIRE(get_fd);
2463                }
2464                else {
2465                        if (f->get_fd) {
2466                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2467                                                f->name);
2468                        }
2469                }
2470#undef REQUIRE
2471        }
2472        else {
2473#define REQUIRE(x) \
2474                if (f->x) \
2475                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2476                REQUIRE(read_packet);
2477                REQUIRE(start_input);
2478                REQUIRE(pause_input);
2479                REQUIRE(fin_input);
2480                REQUIRE(get_link_type);
2481                REQUIRE(get_capture_length);
2482                REQUIRE(get_wire_length);
2483                REQUIRE(get_framing_length);
2484                REQUIRE(trace_event);
2485                REQUIRE(get_seconds);
2486                REQUIRE(get_timeval);
2487                REQUIRE(get_erf_timestamp);
2488#undef REQUIRE
2489        }
2490        if (f->init_output) {
2491#define REQUIRE(x) \
2492                if (!f->x) \
2493                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2494                REQUIRE(write_packet);
2495                REQUIRE(start_output);
2496                REQUIRE(config_output);
2497                REQUIRE(fin_output);
2498#undef REQUIRE
2499        }
2500        else {
2501#define REQUIRE(x) \
2502                if (f->x) \
2503                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2504                REQUIRE(write_packet);
2505                REQUIRE(start_output);
2506                REQUIRE(config_output);
2507                REQUIRE(fin_output);
2508#undef REQUIRE
2509        }
2510#endif
2511}
2512
Note: See TracBrowser for help on using the repository browser.