source: lib/trace.c @ bccdffc

develop
Last change on this file since bccdffc was bccdffc, checked in by Shane Alcock <salcock@…>, 2 years ago

Fix issue where reading ERF packets would cause segfaults.

Stupid bug introduced alongside the recent framing length caching.

  • Property mode set to 100644
File size: 72.2 KB
Line 
1/*
2 *
3 * Copyright (c) 2007-2016 The University of Waikato, Hamilton, New Zealand.
4 * All rights reserved.
5 *
6 * This file is part of libtrace.
7 *
8 * This code has been developed by the University of Waikato WAND
9 * research group. For further information please see http://www.wand.net.nz/
10 *
11 * libtrace is free software; you can redistribute it and/or modify
12 * it under the terms of the GNU Lesser General Public License as published by
13 * the Free Software Foundation; either version 3 of the License, or
14 * (at your option) any later version.
15 *
16 * libtrace is distributed in the hope that it will be useful,
17 * but WITHOUT ANY WARRANTY; without even the implied warranty of
18 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 * GNU Lesser General Public License for more details.
20 *
21 * You should have received a copy of the GNU Lesser General Public License
22 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 *
24 *
25 */
26
27#define _GNU_SOURCE
28#include "common.h"
29#include "config.h"
30#include <assert.h>
31#include <errno.h>
32#include <fcntl.h>
33#include <stdio.h>
34#include <stdlib.h>
35#include <string.h>
36#include <sys/stat.h>
37#include <sys/types.h>
38#ifndef WIN32
39#include <sys/socket.h>
40#endif
41#include <stdarg.h>
42#include <sys/param.h>
43
44#ifdef HAVE_LIMITS_H
45#  include <limits.h>
46#endif
47
48#ifdef HAVE_SYS_LIMITS_H
49#  include <sys/limits.h>
50#endif
51
52#ifdef HAVE_NET_IF_ARP_H
53#  include <net/if_arp.h>
54#endif
55
56#ifdef HAVE_NET_IF_H
57#  include <net/if.h>
58#endif
59
60#ifdef HAVE_NETINET_IN_H
61#  include <netinet/in.h>
62#endif
63
64#ifdef HAVE_NET_ETHERNET_H
65#  include <net/ethernet.h>
66#endif
67
68#ifdef HAVE_NETINET_IF_ETHER_H
69#  include <netinet/if_ether.h>
70#endif
71
72#include <time.h>
73#ifdef WIN32
74#include <sys/timeb.h>
75#endif
76
77#include "libtrace.h"
78#include "libtrace_int.h"
79
80#ifdef HAVE_PCAP_BPF_H
81#  include <pcap-bpf.h>
82#else
83#  ifdef HAVE_NET_BPF_H
84#    include <net/bpf.h>
85#  endif
86#endif
87
88
89#include "libtrace_int.h"
90#include "format_helper.h"
91#include "rt_protocol.h"
92
93#include <pthread.h>
94#include <signal.h>
95
96#define MAXOPTS 1024
97
98/* This file contains much of the implementation of the libtrace API itself. */
99
100static struct libtrace_format_t *formats_list = NULL;
101
102volatile int libtrace_halt = 0;
103/* Set once pstart is called used for backwards compatibility reasons */
104int libtrace_parallel = 0;
105
106/* strncpy is not assured to copy the final \0, so we
107 * will use our own one that does
108 */
109static inline void xstrncpy(char *dest, const char *src, size_t n,
110                size_t destlen)
111{
112        size_t slen = destlen - 1;
113        if (n < slen) {
114                slen = n;
115        }
116        strncpy(dest,src,slen);
117        dest[slen]='\0';
118}
119
120static char *xstrndup(const char *src,size_t n)
121{
122        char *ret=(char*)malloc(n+1);
123        if (ret==NULL) {
124                fprintf(stderr,"Out of memory");
125                exit(EXIT_FAILURE);
126        }
127        xstrncpy(ret,src,n,n+1);
128        return ret;
129}
130
131
132/* call all the constructors if they haven't yet all been called */
133static void trace_init(void)
134{
135        struct timeval tv;
136        gettimeofday(&tv, NULL);
137        srand(tv.tv_sec);
138
139        if (!formats_list) {
140                duck_constructor();
141                erf_constructor();
142                tsh_constructor();
143                legacy_constructor();
144                atmhdr_constructor();
145                linuxring_constructor();
146                linuxnative_constructor();
147#ifdef HAVE_LIBPCAP
148                pcap_constructor();
149#endif
150                bpf_constructor();
151                pcapfile_constructor();
152                pcapng_constructor();
153                rt_constructor();
154                ndag_constructor();
155#ifdef HAVE_WANDDER
156                etsilive_constructor();
157#endif
158#ifdef HAVE_DAG
159                dag_constructor();
160#endif
161#ifdef HAVE_DPDK
162                dpdk_constructor();
163                dpdkndag_constructor();
164#endif
165        }
166}
167
168/* Prints help information for libtrace
169 *
170 * Function prints out some basic help information regarding libtrace,
171 * and then prints out the help() function registered with each input module
172 */
173DLLEXPORT void trace_help(void) {
174        struct libtrace_format_t *tmp;
175        trace_init();
176        printf("libtrace %s\n\n",PACKAGE_VERSION);
177        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
178        for(tmp=formats_list;tmp;tmp=tmp->next) {
179                if (tmp->help)
180                        tmp->help();
181        }
182}
183
184#define URI_PROTO_LINE 16U
185
186/* Try to guess which format module is appropriate for a given trace file or
187 * device */
188static void guess_format(libtrace_t *libtrace, const char *filename)
189{
190        struct libtrace_format_t *tmp;
191
192        /* Try and guess based on filename */
193        for(tmp = formats_list; tmp; tmp=tmp->next) {
194                if (tmp->probe_filename && tmp->probe_filename(filename)) {
195                        libtrace->format = tmp;
196                        libtrace->uridata = strdup(filename);
197                        return;
198                }
199        }
200
201        libtrace->io = wandio_create(filename);
202        if (!libtrace->io)
203                return;
204
205        /* Try and guess based on file magic */
206        for(tmp = formats_list; tmp; tmp=tmp->next) {
207                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
208                        libtrace->format = tmp;
209                        libtrace->uridata = strdup(filename);
210                        return;
211                }
212        }
213
214        /* No formats matched -- make sure we clean up the IO object we
215         * used to probe the file magic */
216        wandio_destroy(libtrace->io);
217        return;
218}
219
220/* Creates an input trace from a URI
221 *
222 * @params char * containing a valid libtrace URI
223 * @returns opaque pointer to a libtrace_t
224 *
225 * Some valid URI's are:
226 *  erf:/path/to/erf/file
227 *  erf:/path/to/erf/file.gz
228 *  erf:-                       (stdin)
229 *  dag:/dev/dagcard
230 *  pcapint:pcapinterface               (eg: pcapint:eth0)
231 *  pcapfile:/path/to/pcap/file
232 *  pcapfile:-
233 *  int:interface                       (eg: int:eth0) only on Linux
234 *  rt:hostname
235 *  rt:hostname:port
236 *
237 * If an error occured when attempting to open a trace, NULL is returned
238 * and an error is output to stdout.
239 */
240DLLEXPORT libtrace_t *trace_create(const char *uri) {
241        libtrace_t *libtrace =
242                        (libtrace_t *)malloc(sizeof(libtrace_t));
243        char *scan = 0;
244        const char *uridata = 0;
245
246        trace_init();
247
248        assert(uri && "Passing NULL to trace_create makes me a very sad program");
249
250        if (!libtrace) {
251                /* Out of memory */
252                return NULL;
253        }
254
255        libtrace->err.err_num = TRACE_ERR_NOERROR;
256        libtrace->format=NULL;
257
258        libtrace->event.packet = NULL;
259        libtrace->event.psize = 0;
260        libtrace->event.first_ts = 0.0;
261        libtrace->event.first_now = 0.0;
262        libtrace->event.waiting = false;
263        libtrace->filter = NULL;
264        libtrace->snaplen = 0;
265        libtrace->replayspeedup = 1;
266        libtrace->started=false;
267        libtrace->startcount=0;
268        libtrace->uridata = NULL;
269        libtrace->io = NULL;
270        libtrace->filtered_packets = 0;
271        libtrace->accepted_packets = 0;
272        libtrace->last_packet = NULL;
273       
274        /* Parallel inits */
275        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
276        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
277        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
278        libtrace->state = STATE_NEW;
279        libtrace->perpkt_queue_full = false;
280        libtrace->global_blob = NULL;
281        libtrace->hasher = NULL;
282        libtrace->hasher_data = NULL;
283        libtrace->hasher_owner = HASH_OWNED_EXTERNAL;
284        libtrace_zero_ocache(&libtrace->packet_freelist);
285        libtrace_zero_thread(&libtrace->hasher_thread);
286        libtrace_zero_thread(&libtrace->reporter_thread);
287        libtrace_zero_thread(&libtrace->keepalive_thread);
288        libtrace->reporter_thread.type = THREAD_EMPTY;
289        libtrace->perpkt_thread_count = 0;
290        libtrace->perpkt_threads = NULL;
291        libtrace->tracetime = 0;
292        libtrace->first_packets.first = 0;
293        libtrace->first_packets.count = 0;
294        libtrace->first_packets.packets = NULL;
295        libtrace->stats = NULL;
296        libtrace->pread = NULL;
297        libtrace->sequence_number = 0;
298        ZERO_USER_CONFIG(libtrace->config);
299        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
300        libtrace->perpkt_cbs = NULL;
301        libtrace->reporter_cbs = NULL;
302
303        /* Parse the URI to determine what sort of trace we are dealing with */
304        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
305                /* Could not parse the URI nicely */
306                guess_format(libtrace,uri);
307                if (!libtrace->format) {
308                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
309                        return libtrace;
310                }
311        }
312        else {
313                struct libtrace_format_t *tmp;
314
315                /* Find a format that matches the first part of the URI */
316                for (tmp=formats_list;tmp;tmp=tmp->next) {
317                        if (strlen(scan) == strlen(tmp->name) &&
318                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
319                                        ) {
320                                libtrace->format=tmp;
321                                break;
322                        }
323                }
324
325                if (libtrace->format == 0) {
326                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
327                                        "Unknown format (%s)",scan);
328                        return libtrace;
329                }
330
331                libtrace->uridata = strdup(uridata);
332        }
333        /* libtrace->format now contains the type of uri
334         * libtrace->uridata contains the appropriate data for this
335         */
336
337        /* Call the init_input function for the matching capture format */
338        if (libtrace->format->init_input) {
339                int err=libtrace->format->init_input(libtrace);
340                assert (err==-1 || err==0);
341                if (err==-1) {
342                        /* init_input should call trace_set_err to set the
343                         * error message
344                         */
345                        return libtrace;
346                }
347        } else {
348                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
349                                "Format does not support input (%s)",scan);
350                return libtrace;
351        }
352
353        if (scan)
354                free(scan);
355        libtrace->err.err_num=TRACE_ERR_NOERROR;
356        libtrace->err.problem[0]='\0';
357        return libtrace;
358}
359
360/* Creates a "dummy" trace file that has only the format type set.
361 *
362 * @returns opaque pointer to a (sparsely initialised) libtrace_t
363 *
364 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
365 * with the dummy trace. Its intended purpose is to act as a packet->trace for
366 * libtrace_packet_t's that are not associated with a libtrace_t structure.
367 */
368DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
369        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
370        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
371        char *uridata;
372        struct libtrace_format_t *tmp;
373
374        trace_init();
375
376        libtrace->err.err_num = TRACE_ERR_NOERROR;
377
378        if((uridata = strchr(uri,':')) == NULL) {
379                xstrncpy(scan, uri, strlen(uri), URI_PROTO_LINE);
380        } else {
381                xstrncpy(scan,uri, (size_t)(uridata - uri), URI_PROTO_LINE);
382        }
383
384        libtrace->err.err_num = TRACE_ERR_NOERROR;
385        libtrace->format=NULL;
386
387        libtrace->event.packet = NULL;
388        libtrace->event.psize = 0;
389        libtrace->event.first_ts = 0;
390        libtrace->event.first_now = 0;
391        libtrace->filter = NULL;
392        libtrace->snaplen = 0;
393        libtrace->started=false;
394        libtrace->uridata = NULL;
395        libtrace->io = NULL;
396        libtrace->filtered_packets = 0;
397        libtrace->accepted_packets = 0;
398        libtrace->last_packet = NULL;
399       
400        /* Parallel inits */
401        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
402        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
403        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
404        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
405        libtrace->perpkt_queue_full = false;
406        libtrace->global_blob = NULL;
407        libtrace->hasher = NULL;
408        libtrace_zero_ocache(&libtrace->packet_freelist);
409        libtrace_zero_thread(&libtrace->hasher_thread);
410        libtrace_zero_thread(&libtrace->reporter_thread);
411        libtrace_zero_thread(&libtrace->keepalive_thread);
412        libtrace->reporter_thread.type = THREAD_EMPTY;
413        libtrace->perpkt_thread_count = 0;
414        libtrace->perpkt_threads = NULL;
415        libtrace->tracetime = 0;
416        libtrace->stats = NULL;
417        libtrace->pread = NULL;
418        libtrace->sequence_number = 0;
419        ZERO_USER_CONFIG(libtrace->config);
420        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
421        libtrace->perpkt_cbs = NULL;
422        libtrace->reporter_cbs = NULL;
423        for(tmp=formats_list;tmp;tmp=tmp->next) {
424                if (strlen(scan) == strlen(tmp->name) &&
425                                !strncasecmp(scan,
426                                        tmp->name,
427                                        strlen(scan))) {
428                                libtrace->format=tmp;
429                                break;
430                                }
431        }
432        if (libtrace->format == 0) {
433                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
434                                "Unknown format (%s)",scan);
435        }
436
437        libtrace->format_data = NULL;
438        free(scan);
439        return libtrace;
440
441}
442
443/* Creates an output trace from a URI.
444 *
445 * @param uri   the uri string describing the output format and destination
446 * @returns opaque pointer to a libtrace_output_t
447 *
448 *  If an error occured when attempting to open the output trace, NULL is
449 *  returned and trace_errno is set.
450 */
451
452DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
453        libtrace_out_t *libtrace =
454                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
455
456        char *scan = 0;
457        const char *uridata = 0;
458        struct libtrace_format_t *tmp;
459
460        trace_init();
461
462        libtrace->err.err_num = TRACE_ERR_NOERROR;
463        strcpy(libtrace->err.problem,"Error message set\n");
464        libtrace->format = NULL;
465        libtrace->uridata = NULL;
466
467        /* Parse the URI to determine what capture format we want to write */
468
469        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
470                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
471                                "Bad uri format (%s)",uri);
472                return libtrace;
473        }
474
475        /* Attempt to find the format in the list of supported formats */
476        for(tmp=formats_list;tmp;tmp=tmp->next) {
477                if (strlen(scan) == strlen(tmp->name) &&
478                                !strncasecmp(scan,
479                                        tmp->name,
480                                        strlen(scan))) {
481                                libtrace->format=tmp;
482                                break;
483                                }
484        }
485        free(scan);
486
487        if (libtrace->format == NULL) {
488                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
489                                "Unknown output format (%s)",scan);
490                return libtrace;
491        }
492        libtrace->uridata = strdup(uridata);
493
494        /* libtrace->format now contains the type of uri
495         * libtrace->uridata contains the appropriate data for this
496         */
497
498        if (libtrace->format->init_output) {
499                /* 0 on success, -1 on failure */
500                switch(libtrace->format->init_output(libtrace)) {
501                        case -1: /* failure */
502                                return libtrace;
503                        case 0: /* success */
504                                break;
505                        default:
506                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
507                }
508        } else {
509                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
510                                "Format does not support writing (%s)",scan);
511                return libtrace;
512        }
513
514
515        libtrace->started=false;
516        return libtrace;
517}
518
519/* Start an input trace
520 * @param libtrace      the input trace to start
521 * @returns 0 on success
522 *
523 * This does the work associated with actually starting up
524 * the trace.  it may fail.
525 */
526DLLEXPORT int trace_start(libtrace_t *libtrace)
527{
528        assert(libtrace);
529        if (trace_is_err(libtrace))
530                return -1;
531        if (libtrace->format->start_input) {
532                int ret=libtrace->format->start_input(libtrace);
533                if (ret < 0) {
534                        return ret;
535                }
536        }
537        libtrace->startcount ++;
538        libtrace->started=true;
539        return 0;
540}
541
542/* Start an output trace */
543DLLEXPORT int trace_start_output(libtrace_out_t *libtrace)
544{
545        assert(libtrace);
546        if (libtrace->format->start_output) {
547                int ret=libtrace->format->start_output(libtrace);
548                if (ret < 0) {
549                        return ret;
550                }
551        }
552
553        libtrace->started=true;
554        return 0;
555}
556
557DLLEXPORT int trace_pause(libtrace_t *libtrace)
558{
559        assert(libtrace);
560        if (!libtrace->started) {
561                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
562                return -1;
563        }
564
565        /* Finish the last packet we read - for backwards compatibility */
566        if (!libtrace_parallel && libtrace->last_packet)
567                trace_fin_packet(libtrace->last_packet);
568        assert(libtrace->last_packet == NULL);
569
570        if (libtrace->format->pause_input)
571                libtrace->format->pause_input(libtrace);
572
573        libtrace->started=false;
574        return 0;
575}
576
577DLLEXPORT int trace_config(libtrace_t *libtrace,
578                trace_option_t option,
579                void *value)
580{
581        int ret;
582
583        if (trace_is_err(libtrace)) {
584                return -1;
585        }
586
587        if (option == TRACE_OPTION_HASHER)
588                return trace_set_hasher(libtrace,
589                                        (enum hasher_types) *((int *) value),
590                                        NULL, NULL);
591
592        /* If the capture format supports configuration, try using their
593         * native configuration first */
594        if (libtrace->format->config_input) {
595                ret=libtrace->format->config_input(libtrace,option,value);
596                if (ret==0)
597                        return 0;
598        }
599
600        /* If we get here, either the native configuration failed or the
601         * format did not support configuration. However, libtrace can
602         * deal with some options itself, so give that a go */
603        switch(option) {
604                case TRACE_OPTION_REPLAY_SPEEDUP:
605                        /* Clear the error if there was one */
606                        if (trace_is_err(libtrace)) {
607                                trace_get_err(libtrace);
608                        }
609                        if (*(int*)value<1
610                                || *(int*)value>LIBTRACE_MAX_REPLAY_SPEEDUP) {
611                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
612                                        "Invalid replay speed");
613                        }
614                        libtrace->replayspeedup=*(int*)value;
615                        return 0;
616
617                case TRACE_OPTION_SNAPLEN:
618                        /* Clear the error if there was one */
619                        if (trace_is_err(libtrace)) {
620                                trace_get_err(libtrace);
621                        }
622                        if (*(int*)value<0
623                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
624                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
625                                        "Invalid snap length");
626                        }
627                        libtrace->snaplen=*(int*)value;
628                        return 0;
629                case TRACE_OPTION_FILTER:
630                        /* Clear the error if there was one */
631                        if (trace_is_err(libtrace)) {
632                                trace_get_err(libtrace);
633                        }
634                        libtrace->filter=(libtrace_filter_t *)value;
635                        return 0;
636                case TRACE_OPTION_PROMISC:
637                        if (!trace_is_err(libtrace)) {
638                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
639                                                "Promisc mode is not supported by this format module");
640                        }
641                        return -1;
642                case TRACE_OPTION_META_FREQ:
643                        if (!trace_is_err(libtrace)) {
644                                trace_set_err(libtrace,
645                                                TRACE_ERR_OPTION_UNAVAIL,
646                                                "This format does not support meta-data gathering");
647                        }
648                        return -1;
649                case TRACE_OPTION_EVENT_REALTIME:
650                        if (!trace_is_err(libtrace)) {
651                                trace_set_err(libtrace,
652                                                TRACE_ERR_OPTION_UNAVAIL,
653                                                "This format does not support realtime events");
654                        }
655                        return -1;
656                case TRACE_OPTION_HASHER:
657                        /* Dealt with earlier */
658                        return -1;
659
660        }
661        if (!trace_is_err(libtrace)) {
662                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
663                        "Unknown option %i", option);
664        }
665        return -1;
666}
667
668DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
669        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
670}
671
672DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
673        int tmp = promisc;
674        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
675}
676
677DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
678        return trace_config(trace, TRACE_OPTION_FILTER, filter);
679}
680
681DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
682        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
683}
684
685DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
686        int tmp = realtime;
687        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
688}
689
690DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
691                trace_option_output_t option,
692                void *value) {
693
694        /* Unlike the input options, libtrace does not natively support any of
695         * the output options - the format module must be able to deal with
696         * them. */
697        if (libtrace->format->config_output) {
698                return libtrace->format->config_output(libtrace, option, value);
699        }
700        return -1;
701}
702
703/* Close an input trace file, freeing up any resources it may have been using
704 *
705 */
706DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
707        int i;
708        assert(libtrace);
709
710        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
711        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
712        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
713
714        /* destroy any packets that are still around */
715        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
716                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
717                        if(libtrace->first_packets.packets[i].packet) {
718                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
719                        }
720                }
721                free(libtrace->first_packets.packets);
722                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
723        }
724
725        /* Finish any the last packet we read - for backwards compatibility */
726        if (!libtrace_parallel && libtrace->last_packet) {
727                trace_fin_packet(libtrace->last_packet);
728        }
729        assert(libtrace->last_packet == NULL);
730
731        if (libtrace->format) {
732                if (libtrace->started && libtrace->format->pause_input)
733                        libtrace->format->pause_input(libtrace);
734                if (libtrace->format->fin_input)
735                        libtrace->format->fin_input(libtrace);
736        }
737        /* Need to free things! */
738        if (libtrace->uridata)
739                free(libtrace->uridata);
740
741        if (libtrace->stats)
742                free(libtrace->stats);
743       
744        /* Empty any packet memory */
745        if (libtrace->state != STATE_NEW) {
746                // This has all of our packets
747                libtrace_ocache_destroy(&libtrace->packet_freelist);
748                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
749                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
750                }
751                if (libtrace->hasher_thread.type == THREAD_HASHER)
752                        libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
753                if (libtrace->keepalive_thread.type == THREAD_KEEPALIVE)
754                        libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
755                if (libtrace->reporter_thread.type == THREAD_REPORTER)
756                        libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
757
758
759                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
760                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
761                free(libtrace->perpkt_threads);
762                libtrace->perpkt_threads = NULL;
763                libtrace->perpkt_thread_count = 0;
764
765        }
766
767        if (libtrace->hasher_owner == HASH_OWNED_LIBTRACE) {
768                if (libtrace->hasher_data) {
769                        free(libtrace->hasher_data);
770                }
771        }
772
773
774        if (libtrace->perpkt_cbs)
775                trace_destroy_callback_set(libtrace->perpkt_cbs);
776        if (libtrace->reporter_cbs)
777                trace_destroy_callback_set(libtrace->reporter_cbs);
778
779        if (libtrace->event.packet) {
780                /* Don't use trace_destroy_packet here - there is almost
781                 * certainly going to be another libtrace_packet_t that is
782                 * pointing to the buffer for this packet, so we don't want
783                 * to free it. Rather, it will get freed when the user calls
784                 * trace_destroy_packet on the libtrace_packet_t that they
785                 * own.
786                 *
787                 * All we need to do then is free our packet structure itself.
788                 */
789                 free(libtrace->event.packet);
790        }
791
792        free(libtrace);
793}
794
795
796DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
797        assert(libtrace);
798
799        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
800        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
801        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
802
803        /* Don't call pause_input or fin_input, because we should never have
804         * used this trace to do any reading anyway. Do make sure we free
805         * any format_data that has been created, though. */
806        if (libtrace->format_data)
807                free(libtrace->format_data);
808        free(libtrace);
809}
810/* Close an output trace file, freeing up any resources it may have been using
811 *
812 * @param libtrace      the output trace file to be destroyed
813 */
814DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace)
815{
816        assert(libtrace);
817        if (libtrace->format && libtrace->format->fin_output)
818                libtrace->format->fin_output(libtrace);
819        if (libtrace->uridata)
820                free(libtrace->uridata);
821        free(libtrace);
822}
823
824DLLEXPORT int trace_flush_output(libtrace_out_t *libtrace) {
825        if (!libtrace) {
826                return -1;
827        }
828        if (libtrace->format && libtrace->format->flush_output) {
829                return libtrace->format->flush_output(libtrace);
830        }
831        return 0;
832}
833
834DLLEXPORT libtrace_packet_t *trace_create_packet(void)
835{
836        libtrace_packet_t *packet =
837                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
838
839        if (packet == NULL)
840                return NULL;
841
842        packet->buf_control=TRACE_CTRL_PACKET;
843        packet->which_trace_start = 0;
844        pthread_mutex_init(&(packet->ref_lock), NULL);
845        trace_clear_cache(packet);
846        return packet;
847}
848
849DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
850        libtrace_packet_t *dest;
851
852        if (packet->which_trace_start != packet->trace->startcount) {
853                return NULL;
854        }
855
856        dest = (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
857        if (!dest) {
858                printf("Out of memory constructing packet\n");
859                abort();
860        }
861        dest->trace=packet->trace;
862        dest->buffer=malloc(65536);
863        if (!dest->buffer) {
864                printf("Out of memory allocating buffer memory\n");
865                abort();
866        }
867        dest->header=dest->buffer;
868        dest->payload=(void*)
869                ((char*)dest->buffer+trace_get_framing_length(packet));
870        dest->type=packet->type;
871        dest->buf_control=TRACE_CTRL_PACKET;
872        dest->order = packet->order;
873        dest->hash = packet->hash;
874        dest->error = packet->error;
875        dest->which_trace_start = packet->which_trace_start;
876        /* Reset the cache - better to recalculate than try to convert
877         * the values over to the new packet */
878        trace_clear_cache(dest);
879        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
880         * as much as possible */
881        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
882        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
883
884        return dest;
885}
886
887/** Destroy a packet object
888 */
889DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
890        /* Free any resources possibly associated with the packet */
891        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
892                packet->trace->format->fin_packet(packet);
893        }
894        if (!libtrace_parallel && packet->trace &&
895             packet->trace->last_packet == packet) {
896                packet->trace->last_packet = NULL;
897        }
898       
899        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
900                free(packet->buffer);
901        }
902        pthread_mutex_destroy(&(packet->ref_lock));
903        packet->buf_control=(buf_control_t)'\0';
904                                /* A "bad" value to force an assert
905                                 * if this packet is ever reused
906                                 */
907        free(packet);
908}
909
910/**
911 * Removes any possible data stored againt the trace and releases any data.
912 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
913 * use trace_destroy_packet() for those diabolical purposes.
914 */
915void trace_fin_packet(libtrace_packet_t *packet) {
916        if (packet)
917        {
918                if (packet->trace && packet->trace->format->fin_packet) {
919                        packet->trace->format->fin_packet(packet);
920                }
921
922                if (packet->srcbucket && packet->internalid != 0) {
923                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
924                        libtrace_release_bucket_id(b, packet->internalid);
925                }
926
927                if (packet->trace) {
928                        if (!libtrace_parallel && packet->trace->last_packet == packet)
929                                packet->trace->last_packet = NULL;
930                }
931
932                // No matter what we remove the header and link pointers
933                packet->trace = NULL;
934                packet->header = NULL;
935                packet->payload = NULL;
936
937                if (packet->buf_control != TRACE_CTRL_PACKET)
938                {
939                        packet->buffer = NULL;
940                }
941
942                trace_clear_cache(packet);
943                packet->hash = 0;
944                packet->order = 0;
945                packet->srcbucket = NULL;
946        }
947}
948
949/* Read one packet from the trace into buffer. Note that this function will
950 * block until a packet is read (or EOF is reached).
951 *
952 * @param libtrace      the libtrace opaque pointer
953 * @param packet        the packet opaque pointer
954 * @returns 0 on EOF, negative value on error
955 *
956 */
957DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
958
959        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
960        if (trace_is_err(libtrace))
961                return -1;
962        if (!libtrace->started) {
963                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
964                return -1;
965        }
966        if (!(packet->buf_control==TRACE_CTRL_PACKET
967                    || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
968                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
969                return -1;
970        }
971        assert(packet);
972
973        if (libtrace->format->read_packet) {
974                /* Finalise the packet, freeing any resources the format module
975                 * may have allocated it and zeroing all data associated with it.
976                 */
977                if (packet->trace == libtrace) {
978                        trace_fin_packet(packet);
979                }
980                do {
981                        size_t ret;
982                        int filtret;
983                        if ((ret=is_halted(libtrace)) != (size_t)-1)
984                                return ret;
985                        /* Store the trace we are reading from into the packet opaque
986                         * structure */
987                        packet->trace = libtrace;
988                        packet->which_trace_start = libtrace->startcount;
989                        ret=libtrace->format->read_packet(libtrace,packet);
990                        if (ret==(size_t)READ_MESSAGE ||
991                            ret==(size_t)-1 || ret==0) {
992                                packet->trace = NULL;
993                                return ret;
994                        }
995                        if (libtrace->filter) {
996                                /* If the filter doesn't match, read another
997                                 * packet
998                                 */
999                                filtret = trace_apply_filter(libtrace->filter, packet);
1000                                if (filtret == -1) {
1001                                        /* Error compiling filter, probably */
1002                                        return ~0U;
1003                                }
1004
1005                                if (filtret == 0) {
1006                                        ++libtrace->filtered_packets;
1007                                        trace_fin_packet(packet);
1008                                        continue;
1009                                }
1010                        }
1011                        if (libtrace->snaplen>0) {
1012                                /* Snap the packet */
1013                                trace_set_capture_length(packet,
1014                                                libtrace->snaplen);
1015                        }
1016                        if (!IS_LIBTRACE_META_PACKET(packet)) {
1017                                ++libtrace->accepted_packets;
1018                        }
1019                        if (packet->order == 0) {
1020                                trace_packet_set_order(packet, libtrace->sequence_number);
1021                        }
1022                        ++libtrace->sequence_number;
1023                        if (!libtrace_parallel && packet->trace == libtrace)
1024                                libtrace->last_packet = packet;
1025
1026                        return ret;
1027                } while(1);
1028        }
1029        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
1030        return ~0U;
1031}
1032
1033/* Converts the provided buffer into a libtrace packet of the given type.
1034 *
1035 * Unlike trace_construct_packet, the buffer is expected to begin with the
1036 * appropriate capture format header for the format type that the packet is
1037 * being converted to. This also allows for a packet to be converted into
1038 * just about capture format that is supported by libtrace, provided the
1039 * format header is present in the buffer.
1040 *
1041 * This function is primarily used to convert packets received via the RT
1042 * protocol back into their original capture format. The RT header encapsulates
1043 * the original capture format header, so after removing it the packet must
1044 * have it's header and payload pointers updated and the packet format and type
1045 * changed, amongst other things.
1046 *
1047 * Intended only for internal use at this point - this function is not
1048 * available through the external libtrace API.
1049 */
1050int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
1051                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
1052
1053        assert(packet);
1054        assert(trace);
1055
1056        /* XXX Proper error handling?? */
1057        if (buffer == NULL)
1058                return -1;
1059
1060        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
1061                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
1062                return -1;
1063        }
1064
1065        packet->trace = trace;
1066        if (!libtrace_parallel)
1067                trace->last_packet = packet;
1068        /* Clear packet cache */
1069        trace_clear_cache(packet);
1070
1071        if (trace->format->prepare_packet) {
1072                return trace->format->prepare_packet(trace, packet,
1073                                buffer, rt_type, flags);
1074        }
1075        trace_set_err(trace, TRACE_ERR_UNSUPPORTED,
1076                        "This format does not support preparing packets\n");
1077        return -1;
1078
1079}
1080
1081/* Writes a packet to the specified output trace
1082 *
1083 * @param libtrace      describes the output format, destination, etc.
1084 * @param packet        the packet to be written out
1085 * @returns the number of bytes written, -1 if write failed
1086 */
1087DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1088        assert(libtrace);
1089        assert(packet);
1090        /* Verify the packet is valid */
1091        if (!libtrace->started) {
1092                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1093                        "Trace is not started before trace_write_packet");
1094                return -1;
1095        }
1096
1097        /* Don't try to convert meta-packets across formats */
1098        if (strcmp(libtrace->format->name, packet->trace->format->name) != 0 &&
1099                        IS_LIBTRACE_META_PACKET(packet)) {
1100                return 0;
1101        }
1102
1103        if (libtrace->format->write_packet) {
1104                return libtrace->format->write_packet(libtrace, packet);
1105        }
1106        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1107                "This format does not support writing packets");
1108        return -1;
1109}
1110
1111/* Get a pointer to the first byte of the packet payload */
1112DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1113                libtrace_linktype_t *linktype, uint32_t *remaining) {
1114        int cap_len;
1115        int wire_len;
1116        libtrace_linktype_t ltype;
1117
1118        assert(packet != NULL);
1119        ltype = trace_get_link_type(packet);
1120
1121        if (linktype) {
1122                *linktype = ltype;
1123        }
1124
1125        if (ltype == TRACE_TYPE_CONTENT_INVALID) {
1126                if (remaining) {
1127                        *remaining = 0;
1128                }
1129                return NULL;
1130        }
1131
1132        if (remaining) {
1133                /* I think we should choose the minimum of the capture and
1134                 * wire lengths to be the "remaining" value. If the packet has
1135                 * been padded to increase the capture length, we don't want
1136                 * to allow subsequent protocol decoders to consider the
1137                 * padding as part of the packet.
1138                 *
1139                 * For example, in Auck 4 there is a trace where the IP header
1140                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1141                 * header. Total IP length is 40 bytes. As a result, the
1142                 * legacyatm padding gets treated as the "missing" bytes of
1143                 * the TCP header, which isn't the greatest. We're probably
1144                 * better off returning an incomplete TCP header in that case.
1145                 */
1146
1147                cap_len = trace_get_capture_length(packet);
1148                wire_len = trace_get_wire_length(packet);
1149
1150                assert(cap_len >= 0);
1151
1152                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1153                 * massively negative wire lens. We could assert fail here on
1154                 * them, but we could at least try the capture length instead.
1155                 *
1156                 * You may still run into problems if you try to write that
1157                 * packet, but at least reading should work OK.
1158                 */
1159                if (wire_len < 0)
1160                        *remaining = cap_len;
1161                else if (wire_len < cap_len)
1162                        *remaining = wire_len;
1163                else
1164                        *remaining = cap_len;
1165                /* *remaining = trace_get_capture_length(packet); */
1166        }
1167        return (void *) packet->payload;
1168}
1169
1170
1171/* Get a pointer to the first byte of the packet payload
1172 *
1173 * DEPRECATED - use trace_get_packet_buffer() instead */
1174DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1175        return (void *)packet->payload;
1176}
1177
1178/* Get the current time in DAG time format
1179 * @param packet        a pointer to a libtrace_packet structure
1180 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1181 * past 1970-01-01, the lower 32bits are partial seconds)
1182 */
1183DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1184        if (packet->which_trace_start != packet->trace->startcount) {
1185                return (uint64_t)0;
1186        }
1187
1188        if (packet->trace->format->get_erf_timestamp) {
1189                /* timestamp -> timestamp */
1190                return packet->trace->format->get_erf_timestamp(packet);
1191        } else if (packet->trace->format->get_timespec) {
1192                /* timespec -> timestamp */
1193                struct timespec ts;
1194                ts = packet->trace->format->get_timespec(packet);
1195                return ((((uint64_t)ts.tv_sec) << 32) +
1196                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1197        } else if (packet->trace->format->get_timeval) {
1198                /* timeval -> timestamp */
1199                struct timeval tv;
1200                tv = packet->trace->format->get_timeval(packet);
1201                return ((((uint64_t)tv.tv_sec) << 32) +
1202                                (((uint64_t)tv.tv_usec << 32)/1000000));
1203        } else if (packet->trace->format->get_seconds) {
1204                /* seconds -> timestamp */
1205                double seconds = packet->trace->format->get_seconds(packet);
1206                return (((uint64_t)seconds)<<32)
1207                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1208        }
1209        else {
1210                return (uint64_t)0;
1211        }
1212}
1213
1214/* Get the current time in struct timeval
1215 * @param packet        a pointer to a libtrace_packet structure
1216 *
1217 * @returns time that this packet was seen in a struct timeval
1218 * @author Daniel Lawson
1219 * @author Perry Lorier
1220 */
1221DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1222        struct timeval tv;
1223        uint64_t ts = 0;
1224
1225        if (packet->which_trace_start != packet->trace->startcount) {
1226                tv.tv_sec=-1;
1227                tv.tv_usec=-1;
1228        } else if (packet->trace->format->get_timeval) {
1229                /* timeval -> timeval */
1230                tv = packet->trace->format->get_timeval(packet);
1231        } else if (packet->trace->format->get_erf_timestamp) {
1232                /* timestamp -> timeval */
1233                ts = packet->trace->format->get_erf_timestamp(packet);
1234                tv.tv_sec = ts >> 32;
1235                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1236                if (tv.tv_usec >= 1000000) {
1237                        tv.tv_usec -= 1000000;
1238                        tv.tv_sec += 1;
1239                }
1240        } else if (packet->trace->format->get_timespec) {
1241                struct timespec ts = packet->trace->format->get_timespec(packet);
1242                tv.tv_sec = ts.tv_sec;
1243                tv.tv_usec = ts.tv_nsec/1000;
1244        } else if (packet->trace->format->get_seconds) {
1245                /* seconds -> timeval */
1246                double seconds = packet->trace->format->get_seconds(packet);
1247                tv.tv_sec = (uint32_t)seconds;
1248                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1249        }
1250        else {
1251                tv.tv_sec=-1;
1252                tv.tv_usec=-1;
1253        }
1254
1255    return tv;
1256}
1257
1258DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1259        struct timespec ts;
1260
1261        if (packet->which_trace_start != packet->trace->startcount) {
1262                ts.tv_sec=-1;
1263                ts.tv_nsec=-1;
1264        } else if (packet->trace->format->get_timespec) {
1265                return packet->trace->format->get_timespec(packet);
1266        } else if (packet->trace->format->get_erf_timestamp) {
1267                /* timestamp -> timeval */
1268                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1269                ts.tv_sec = erfts >> 32;
1270                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1271                if (ts.tv_nsec >= 1000000000) {
1272                        ts.tv_nsec -= 1000000000;
1273                        ts.tv_sec += 1;
1274                }
1275        } else if (packet->trace->format->get_timeval) {
1276                /* timeval -> timespec */
1277                struct timeval tv = packet->trace->format->get_timeval(packet);
1278                ts.tv_sec = tv.tv_sec;
1279                ts.tv_nsec = tv.tv_usec*1000;
1280        } else if (packet->trace->format->get_seconds) {
1281                /* seconds -> timespec */
1282                double seconds = packet->trace->format->get_seconds(packet);
1283                ts.tv_sec = (uint32_t)seconds;
1284                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1285        }
1286        else {
1287                ts.tv_sec=-1;
1288                ts.tv_nsec=-1;
1289        }
1290        return ts;
1291}
1292
1293
1294/* Get the current time in floating point seconds
1295 * @param packet        a pointer to a libtrace_packet structure
1296 * @returns time that this packet was seen in 64bit floating point seconds
1297 */
1298DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1299        double seconds = 0.0;
1300
1301        if (packet->which_trace_start != packet->trace->startcount) {
1302                return 0.0;
1303        }
1304
1305        if (packet->trace->format->get_seconds) {
1306                /* seconds->seconds */
1307                seconds = packet->trace->format->get_seconds(packet);
1308        } else if (packet->trace->format->get_erf_timestamp) {
1309                /* timestamp -> seconds */
1310                uint64_t ts = 0;
1311                ts = packet->trace->format->get_erf_timestamp(packet);
1312                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1313        } else if (packet->trace->format->get_timespec) {
1314                /* timespec -> seconds */
1315                struct timespec ts;
1316                ts = packet->trace->format->get_timespec(packet);
1317                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1318        } else if (packet->trace->format->get_timeval) {
1319                /* timeval -> seconds */
1320                struct timeval tv;
1321                tv = packet->trace->format->get_timeval(packet);
1322                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1323        }
1324
1325        return seconds;
1326}
1327
1328DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet)
1329{
1330        /* Cache the capture length */
1331        if (packet->which_trace_start != packet->trace->startcount) {
1332                return ~0U;
1333        }
1334        if (packet->capture_length == -1) {
1335                if (!packet->trace->format->get_capture_length)
1336                        return ~0U;
1337                /* Cast away constness because this is "just" a cache */
1338                ((libtrace_packet_t*)packet)->capture_length =
1339                        packet->trace->format->get_capture_length(packet);
1340        }
1341
1342        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1343
1344        return packet->capture_length;
1345}
1346
1347/* Get the size of the packet as it was seen on the wire.
1348 * @param packet        a pointer to a libtrace_packet structure
1349 *
1350 * @returns the size of the packet as it was on the wire.
1351 * @note Due to the trace being a header capture, or anonymisation this may
1352 * not be the same as the Capture Len.
1353 */
1354DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1355
1356        if (packet->which_trace_start != packet->trace->startcount) {
1357                return ~0U;
1358        }
1359
1360        if (packet->wire_length == -1) {
1361                if (!packet->trace->format->get_wire_length)
1362                        return ~0U;
1363                ((libtrace_packet_t *)packet)->wire_length =
1364                        packet->trace->format->get_wire_length(packet);
1365        }
1366
1367        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1368        return packet->wire_length;
1369
1370}
1371
1372/* Get the length of the capture framing headers.
1373 * @param packet        the packet opaque pointer
1374 * @returns the size of the packet as it was on the wire.
1375 * @note this length corresponds to the difference between the size of a
1376 * captured packet in memory, and the captured length of the packet
1377 */
1378DLLEXPORT SIMPLE_FUNCTION
1379size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1380        if (packet->which_trace_start != packet->trace->startcount) {
1381                return ~0U;
1382        }
1383
1384        if (packet->framing_length >= 0) {
1385                return packet->framing_length;
1386        }
1387
1388        if (packet->trace->format->get_framing_length) {
1389                ((libtrace_packet_t *)packet)->framing_length =
1390                       packet->trace->format->get_framing_length(packet);
1391                return packet->framing_length;
1392        }
1393        return ~0U;
1394}
1395
1396
1397/* Get the type of the link layer
1398 * @param packet        a pointer to a libtrace_packet structure
1399 * @returns libtrace_linktype_t
1400 */
1401DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1402
1403        if (packet->which_trace_start != packet->trace->startcount) {
1404                return TRACE_TYPE_CONTENT_INVALID;
1405        }
1406
1407        if (packet->link_type == 0) {
1408                if (!packet->trace->format->get_link_type)
1409                        return TRACE_TYPE_UNKNOWN;
1410                ((libtrace_packet_t *)packet)->link_type =
1411                        packet->trace->format->get_link_type(packet);
1412        }
1413
1414        return packet->link_type;
1415}
1416
1417/* process a libtrace event
1418 * @param trace the libtrace opaque pointer
1419 * @param packet the libtrace_packet opaque pointer
1420 * @returns
1421 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1422 *  TRACE_EVENT_SLEEP   Next event in seconds
1423 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1424 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1425 * FIXME currently keeps a copy of the packet inside the trace pointer,
1426 * which in turn is stored inside the new packet object...
1427 */
1428DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace,
1429                libtrace_packet_t *packet) {
1430        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1431
1432        if (!trace) {
1433                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1434        }
1435        assert(trace);
1436        assert(packet);
1437
1438        /* Free the last packet */
1439        trace_fin_packet(packet);
1440        /* Store the trace we are reading from into the packet opaque
1441         * structure */
1442        packet->trace = trace;
1443
1444        if (packet->trace->format->trace_event) {
1445                /* Note: incrementing accepted, filtered etc. packet
1446                 * counters is handled by the format-specific
1447                 * function so don't increment them here.
1448                 */
1449                event=packet->trace->format->trace_event(trace,packet);
1450                }
1451        return event;
1452
1453}
1454
1455/** Setup a BPF filter based on pre-compiled byte-code.
1456 * @param bf_insns      A pointer to the start of the byte-code
1457 * @param bf_len        The number of BPF instructions
1458 * @returns             an opaque pointer to a libtrace_filter_t object
1459 * @note                The supplied byte-code is not checked for correctness.
1460 * @author              Scott Raynel
1461 */
1462DLLEXPORT libtrace_filter_t *
1463trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1464{
1465#ifndef HAVE_BPF
1466        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1467        return NULL;
1468#else
1469        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1470                malloc(sizeof(struct libtrace_filter_t));
1471        filter->filter.bf_insns = (struct bpf_insn *)
1472                malloc(sizeof(struct bpf_insn) * bf_len);
1473
1474        memcpy(filter->filter.bf_insns, bf_insns,
1475                        bf_len * sizeof(struct bpf_insn));
1476
1477        filter->filter.bf_len = bf_len;
1478        filter->filterstring = NULL;
1479        filter->jitfilter = NULL;
1480        /* "flag" indicates that the filter member is valid */
1481        filter->flag = 1;
1482
1483        return filter;
1484#endif
1485}
1486
1487/* Create a BPF filter
1488 * @param filterstring a char * containing the bpf filter string
1489 * @returns opaque pointer pointer to a libtrace_filter_t object
1490 */
1491DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1492#ifdef HAVE_BPF
1493        libtrace_filter_t *filter = (libtrace_filter_t*)
1494                                malloc(sizeof(libtrace_filter_t));
1495        filter->filterstring = strdup(filterstring);
1496        filter->jitfilter = NULL;
1497        filter->flag = 0;
1498        return filter;
1499#else
1500        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1501        return NULL;
1502#endif
1503}
1504
1505DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1506{
1507#ifdef HAVE_BPF
1508        free(filter->filterstring);
1509        if (filter->flag)
1510                pcap_freecode(&filter->filter);
1511#ifdef HAVE_LLVM
1512        if (filter->jitfilter)
1513                destroy_program(filter->jitfilter);
1514#endif
1515        free(filter);
1516#else
1517
1518#endif
1519}
1520
1521/* Compile a bpf filter, now we know the link type for the trace that we're
1522 * applying it to.
1523 *
1524 * @internal
1525 *
1526 * @returns -1 on error, 0 on success
1527 */
1528static int trace_bpf_compile(libtrace_filter_t *filter,
1529                const libtrace_packet_t *packet,
1530                void *linkptr,
1531                libtrace_linktype_t linktype    ) {
1532#ifdef HAVE_BPF
1533        /* It just so happens that the underlying libs used by pthread arn't
1534         * thread safe, namely lex/flex thingys, so single threaded compile
1535         * multi threaded running should be safe.
1536         */
1537        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1538        assert(filter);
1539
1540        /* If this isn't a real packet, then fail */
1541        if (!linkptr) {
1542                trace_set_err(packet->trace,
1543                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1544                return -1;
1545        }
1546
1547        if (filter->filterstring && ! filter->flag) {
1548                pcap_t *pcap = NULL;
1549                if (linktype==(libtrace_linktype_t)-1) {
1550                        trace_set_err(packet->trace,
1551                                        TRACE_ERR_BAD_FILTER,
1552                                        "Packet has an unknown linktype");
1553                        return -1;
1554                }
1555                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1556                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1557                                        "Unknown pcap equivalent linktype");
1558                        return -1;
1559                }
1560                assert (pthread_mutex_lock(&mutex) == 0);
1561                /* Make sure not one bet us to this */
1562                if (filter->flag) {
1563                        assert (pthread_mutex_unlock(&mutex) == 0);
1564                        return 1;
1565                }
1566                pcap=(pcap_t *)pcap_open_dead(
1567                                (int)libtrace_to_pcap_dlt(linktype),
1568                                1500U);
1569                /* build filter */
1570                assert(pcap);
1571                if (pcap_compile( pcap, &filter->filter, filter->filterstring,
1572                                        1, 0)) {
1573                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1574                                        "Unable to compile the filter \"%s\": %s",
1575                                        filter->filterstring,
1576                                        pcap_geterr(pcap));
1577                        pcap_close(pcap);
1578                        assert (pthread_mutex_unlock(&mutex) == 0);
1579                        return -1;
1580                }
1581                pcap_close(pcap);
1582                filter->flag=1;
1583                assert (pthread_mutex_unlock(&mutex) == 0);
1584        }
1585        return 0;
1586#else
1587        assert(!"Internal bug: This should never be called when BPF not enabled");
1588        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1589                                "Feature unavailable");
1590        return -1;
1591#endif
1592}
1593
1594DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1595                        const libtrace_packet_t *packet) {
1596#ifdef HAVE_BPF
1597        void *linkptr = 0;
1598        uint32_t clen = 0;
1599        bool free_packet_needed = false;
1600        int ret;
1601        libtrace_linktype_t linktype;
1602        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1603#ifdef HAVE_LLVM
1604        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1605#endif
1606
1607        assert(filter);
1608        assert(packet);
1609
1610        /* Match all non-data packets as we probably want them to pass
1611         * through to the caller */
1612        linktype = trace_get_link_type(packet);
1613
1614        if (linktype == TRACE_TYPE_NONDATA || linktype == TRACE_TYPE_ERF_META)
1615                return 1;
1616
1617        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1618
1619                /* If we cannot get a suitable DLT for the packet, it may
1620                 * be because the packet is encapsulated in a link type that
1621                 * does not correspond to a DLT. Therefore, we should try
1622                 * popping off headers until we either can find a suitable
1623                 * link type or we can't do any more sensible decapsulation. */
1624
1625                /* Copy the packet, as we don't want to trash the one we
1626                 * were passed in */
1627                packet_copy=trace_copy_packet(packet);
1628                free_packet_needed=true;
1629
1630                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1631                        if (!demote_packet(packet_copy)) {
1632                                trace_set_err(packet->trace,
1633                                                TRACE_ERR_NO_CONVERSION,
1634                                                "pcap does not support this linktype so cannot apply BPF filters");
1635                                if (free_packet_needed) {
1636                                        trace_destroy_packet(packet_copy);
1637                                }
1638                                return -1;
1639                        }
1640                        linktype = trace_get_link_type(packet_copy);
1641                }
1642
1643        }
1644
1645        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1646        if (!linkptr) {
1647                if (free_packet_needed) {
1648                        trace_destroy_packet(packet_copy);
1649                }
1650                return 0;
1651        }
1652
1653        /* We need to compile the filter now, because before we didn't know
1654         * what the link type was
1655         */
1656        // Note internal mutex locking used here
1657        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1658                if (free_packet_needed) {
1659                        trace_destroy_packet(packet_copy);
1660                }
1661                return -1;
1662        }
1663
1664        /* If we're jitting, we may need to JIT the BPF code now too */
1665#if HAVE_LLVM
1666        if (!filter->jitfilter) {
1667                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1668                /* Again double check here like the bpf filter */
1669                if(!filter->jitfilter)
1670                /* Looking at compile_program source this appears to be thread safe
1671                 * however if this gets called twice we will leak this memory :(
1672                 * as such lock here anyways */
1673                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1674                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1675        }
1676#endif
1677
1678        assert(filter->flag);
1679        /* Now execute the filter */
1680#if HAVE_LLVM
1681        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1682#else
1683        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1684#endif
1685
1686        /* If we copied the packet earlier, make sure that we free it */
1687        if (free_packet_needed) {
1688                trace_destroy_packet(packet_copy);
1689        }
1690        return ret;
1691#else
1692        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1693        return 0;
1694#endif
1695}
1696
1697/* Set the direction flag, if it has one
1698 * @param packet the packet opaque pointer
1699 * @param direction the new direction (0,1,2,3)
1700 * @returns a signed value containing the direction flag, or -1 if this is not supported
1701 */
1702DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet,
1703                libtrace_direction_t direction)
1704{
1705        assert(packet);
1706        if (packet->trace->format->set_direction) {
1707                return packet->trace->format->set_direction(packet,direction);
1708        }
1709        return (libtrace_direction_t)~0U;
1710}
1711
1712/* Get the direction flag, if it has one
1713 * @param packet a pointer to a libtrace_packet structure
1714 * @returns a signed value containing the direction flag, or -1 if this is not supported
1715 * The direction is defined as 0 for packets originating locally (ie, outbound)
1716 * and 1 for packets originating remotely (ie, inbound).
1717 * Other values are possible, which might be overloaded to mean special things
1718 * for a special trace.
1719 */
1720DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet)
1721{
1722        assert(packet);
1723        if (packet->which_trace_start != packet->trace->startcount) {
1724                return (libtrace_direction_t)~0U;
1725        }
1726        if (packet->trace->format->get_direction) {
1727                return packet->trace->format->get_direction(packet);
1728        }
1729        return (libtrace_direction_t)~0U;
1730}
1731
1732#define ROOT_SERVER(x) ((x) < 512)
1733#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1734#define NONROOT_SERVER(x) ((x) >= 5000)
1735#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1736#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1737#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1738#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1739
1740/* Attempt to deduce the 'server' port
1741 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1742 * @param source the TCP or UDP source port
1743 * @param dest the TCP or UDP destination port
1744 * @returns a hint as to which port is the server port
1745 */
1746DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol,
1747                uint16_t source, uint16_t dest)
1748{
1749        /*
1750         * * If the ports are equal, return DEST
1751         * * Check for well-known ports in the given protocol
1752         * * Root server ports: 0 - 511
1753         * * Root client ports: 512 - 1023
1754         * * non-root client ports: 1024 - 4999
1755         * * non-root server ports: 5000+
1756         * * Check for static ranges: 1024 - 49151
1757         * * Check for dynamic ranges: 49152 - 65535
1758         * * flip a coin.
1759         */
1760
1761        /* equal */
1762        if (source == dest)
1763                return USE_DEST;
1764
1765        /* root server port, 0 - 511 */
1766        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1767                if (source < dest)
1768                        return USE_SOURCE;
1769                return USE_DEST;
1770        }
1771
1772        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1773                return USE_SOURCE;
1774        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1775                return USE_DEST;
1776
1777        /* non-root server */
1778        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1779                if (source < dest)
1780                        return USE_SOURCE;
1781                return USE_DEST;
1782        }
1783        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1784                return USE_SOURCE;
1785        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1786                return USE_DEST;
1787
1788        /* root client */
1789        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1790                if (source < dest)
1791                        return USE_SOURCE;
1792                return USE_DEST;
1793        }
1794        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1795                /* prefer root-client over nonroot-client */
1796                if (NONROOT_CLIENT(dest))
1797                        return USE_SOURCE;
1798                return USE_DEST;
1799        }
1800        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1801                /* prefer root-client over nonroot-client */
1802                if (NONROOT_CLIENT(source))
1803                        return USE_DEST;
1804                return USE_SOURCE;
1805        }
1806
1807        /* nonroot client */
1808        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1809                if (source < dest)
1810                        return USE_SOURCE;
1811                return USE_DEST;
1812        }
1813        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1814                return USE_DEST;
1815        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1816                return USE_SOURCE;
1817
1818        /* dynamic range */
1819        if (DYNAMIC(source) && DYNAMIC(dest)) {
1820                if (source < dest)
1821                        return USE_SOURCE;
1822                return USE_DEST;
1823        }
1824        if (DYNAMIC(source) && !DYNAMIC(dest))
1825                return USE_DEST;
1826        if (!DYNAMIC(source) && DYNAMIC(dest))
1827                return USE_SOURCE;
1828        /*
1829        if (SERVER(source) && CLIENT(dest))
1830                return USE_SOURCE;
1831
1832        if (SERVER(dest) && CLIENT(source))
1833                return USE_DEST;
1834        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1835                return USE_SOURCE;
1836        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1837                return USE_DEST;
1838        */
1839        /* failing that test... */
1840        if (source < dest) {
1841                return USE_SOURCE;
1842        }
1843        return USE_DEST;
1844
1845}
1846
1847/* Truncate the packet at the suggested length
1848 * @param packet        the packet opaque pointer
1849 * @param size          the new length of the packet
1850 * @returns the new size of the packet
1851 * @note size and the return size refer to the network-level payload of the
1852 * packet, and do not include any capture headers. For example, to truncate a
1853 * packet after the IP header, set size to sizeof(ethernet_header) +
1854 * sizeof(ip_header)
1855 * @note If the original network-level payload is smaller than size, then the
1856 * original size is returned and the packet is left unchanged.
1857 */
1858DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1859        assert(packet);
1860
1861        if (packet->trace->format->set_capture_length) {
1862                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1863                return packet->capture_length;
1864        }
1865
1866        return ~0U;
1867}
1868
1869/* Splits a URI into two components - the format component which is seen before
1870 * the ':', and the uridata which follows the ':'.
1871 *
1872 * Returns a pointer to the URI data, but updates the format parameter to
1873 * point to a copy of the format component.
1874 */
1875
1876DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1877        const char *uridata = 0;
1878
1879        if((uridata = strchr(uri,':')) == NULL) {
1880                /* Badly formed URI - needs a : */
1881                return 0;
1882        }
1883
1884        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1885                /* Badly formed URI - uri type is too long */
1886                return 0;
1887        }
1888
1889        /* NOTE: this is allocated memory - it should be freed by the caller
1890         * once they are done with it */
1891        *format=xstrndup(uri, (size_t)(uridata - uri));
1892
1893        /* Push uridata past the delimiter */
1894        uridata++;
1895
1896        return uridata;
1897}
1898
1899enum base_format_t trace_get_format(libtrace_packet_t *packet)
1900{
1901        assert(packet);
1902
1903        return packet->trace->format->type;
1904}
1905
1906DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1907{
1908        libtrace_err_t err = trace->err;
1909        trace->err.err_num = 0; /* "OK" */
1910        trace->err.problem[0]='\0';
1911        return err;
1912}
1913
1914DLLEXPORT bool trace_is_err(libtrace_t *trace)
1915{
1916        return trace->err.err_num != 0;
1917}
1918
1919/* Prints the input error status to standard error and clears the error state */
1920DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1921{
1922        char buf[256];
1923        va_list va;
1924        va_start(va,msg);
1925        vsnprintf(buf,sizeof(buf),msg,va);
1926        va_end(va);
1927        if(trace->err.err_num) {
1928                if (trace->uridata) {
1929                        fprintf(stderr,"%s(%s): %s\n",
1930                                        buf,trace->uridata,trace->err.problem);
1931                } else {
1932                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1933                }
1934        } else {
1935                if (trace->uridata) {
1936                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1937                } else {
1938                        fprintf(stderr,"%s: No error\n", buf);
1939                }
1940        }
1941        trace->err.err_num = 0; /* "OK" */
1942        trace->err.problem[0]='\0';
1943}
1944
1945DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1946{
1947        libtrace_err_t err = trace->err;
1948        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1949        trace->err.problem[0]='\0';
1950        return err;
1951}
1952
1953DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1954{
1955        return trace->err.err_num != 0;
1956}
1957
1958/* Prints the output error status to standard error and clears the error state
1959 */
1960DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1961{
1962        char buf[256];
1963        va_list va;
1964        va_start(va,msg);
1965        vsnprintf(buf,sizeof(buf),msg,va);
1966        va_end(va);
1967        if(trace->err.err_num) {
1968                fprintf(stderr,"%s(%s): %s\n",
1969                                buf,
1970                                trace->uridata?trace->uridata:"no uri",
1971                                trace->err.problem);
1972        } else {
1973                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1974        }
1975        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1976        trace->err.problem[0]='\0';
1977}
1978
1979DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1980{
1981        if (trace->format->seek_erf) {
1982                return trace->format->seek_erf(trace,ts);
1983        }
1984        else {
1985                if (trace->format->seek_timeval) {
1986                        struct timeval tv;
1987#if __BYTE_ORDER == __BIG_ENDIAN
1988                        tv.tv_sec = ts & 0xFFFFFFFF;
1989                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1990#elif __BYTE_ORDER == __LITTLE_ENDIAN
1991                        tv.tv_sec = ts >> 32;
1992                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1993#else
1994#error "What on earth are you running this on?"
1995#endif
1996                        if (tv.tv_usec >= 1000000) {
1997                                tv.tv_usec -= 1000000;
1998                                tv.tv_sec += 1;
1999                        }
2000                        return trace->format->seek_timeval(trace,tv);
2001                }
2002                if (trace->format->seek_seconds) {
2003                        double seconds =
2004                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
2005                        return trace->format->seek_seconds(trace,seconds);
2006                }
2007                trace_set_err(trace,
2008                                TRACE_ERR_OPTION_UNAVAIL,
2009                                "Feature unimplemented");
2010                return -1;
2011        }
2012}
2013
2014DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
2015{
2016        if (trace->format->seek_seconds) {
2017                return trace->format->seek_seconds(trace,seconds);
2018        }
2019        else {
2020                if (trace->format->seek_timeval) {
2021                        struct timeval tv;
2022                        tv.tv_sec = (uint32_t)seconds;
2023                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
2024                        return trace->format->seek_timeval(trace,tv);
2025                }
2026                if (trace->format->seek_erf) {
2027                        uint64_t timestamp =
2028                                ((uint64_t)((uint32_t)seconds) << 32) + \
2029                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
2030                        return trace->format->seek_erf(trace,timestamp);
2031                }
2032                trace_set_err(trace,
2033                                TRACE_ERR_OPTION_UNAVAIL,
2034                                "Feature unimplemented");
2035                return -1;
2036        }
2037}
2038
2039DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
2040{
2041        if (trace->format->seek_timeval) {
2042                return trace->format->seek_timeval(trace,tv);
2043        }
2044        else {
2045                if (trace->format->seek_erf) {
2046                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
2047                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
2048                        return trace->format->seek_erf(trace,timestamp);
2049                }
2050                if (trace->format->seek_seconds) {
2051                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
2052                        return trace->format->seek_seconds(trace,seconds);
2053                }
2054                trace_set_err(trace,
2055                                TRACE_ERR_OPTION_UNAVAIL,
2056                                "Feature unimplemented");
2057                return -1;
2058        }
2059}
2060
2061/* Converts a binary ethernet MAC address into a printable string */
2062DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
2063{
2064        static char staticbuf[18]={0,};
2065        if (!buf)
2066                buf=staticbuf;
2067        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
2068                        addr[0],addr[1],addr[2],
2069                        addr[3],addr[4],addr[5]);
2070        return buf;
2071}
2072
2073/* Converts a printable ethernet MAC address into a binary format */
2074DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
2075{
2076        uint8_t *buf2 = addr;
2077        unsigned int tmp[6];
2078        static uint8_t staticaddr[6];
2079        if (!buf2)
2080                buf2=staticaddr;
2081        sscanf(buf,"%x:%x:%x:%x:%x:%x",
2082                        &tmp[0],&tmp[1],&tmp[2],
2083                        &tmp[3],&tmp[4],&tmp[5]);
2084        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
2085        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
2086        return buf2;
2087}
2088
2089
2090/* Creates a libtrace packet from scratch using the contents of the provided
2091 * buffer as the packet payload.
2092 *
2093 * Unlike trace_prepare_packet(), the buffer should not contain any capture
2094 * format headers; instead this function will add the PCAP header to the
2095 * packet record. This also means only PCAP packets can be constructed using
2096 * this function.
2097 *
2098 */
2099DLLEXPORT
2100void trace_construct_packet(libtrace_packet_t *packet,
2101                libtrace_linktype_t linktype,
2102                const void *data,
2103                uint16_t len)
2104{
2105        size_t size;
2106        static libtrace_t *deadtrace=NULL;
2107        libtrace_pcapfile_pkt_hdr_t hdr;
2108#ifdef WIN32
2109        struct _timeb tstruct;
2110#else
2111        struct timeval tv;
2112#endif
2113
2114        /* We need a trace to attach the constructed packet to (and it needs
2115         * to be PCAP) */
2116        if (NULL == deadtrace)
2117                deadtrace=trace_create_dead("pcapfile");
2118
2119        /* Fill in the new PCAP header */
2120#ifdef WIN32
2121        _ftime(&tstruct);
2122        hdr.ts_sec=tstruct.time;
2123        hdr.ts_usec=tstruct.millitm * 1000;
2124#else
2125        gettimeofday(&tv,NULL);
2126        hdr.ts_sec=tv.tv_sec;
2127        hdr.ts_usec=tv.tv_usec;
2128#endif
2129
2130        hdr.caplen=len;
2131        hdr.wirelen=len;
2132
2133        /* Now fill in the libtrace packet itself */
2134        assert(deadtrace);
2135        packet->trace=deadtrace;
2136        size=len+sizeof(hdr);
2137        if (size < LIBTRACE_PACKET_BUFSIZE)
2138            size = LIBTRACE_PACKET_BUFSIZE;
2139        if (packet->buf_control==TRACE_CTRL_PACKET) {
2140            packet->buffer = realloc(packet->buffer, size);
2141        }
2142        else {
2143                packet->buffer = malloc(size);
2144        }
2145        packet->buf_control=TRACE_CTRL_PACKET;
2146        packet->header=packet->buffer;
2147        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2148
2149        /* Ugh, memmove - sadly necessary, also beware that we might be
2150         * moving data around within this packet, so ordering is important.
2151         */
2152        memmove(packet->payload, data, (size_t)len);
2153        memmove(packet->header, &hdr, sizeof(hdr));
2154        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2155
2156        trace_clear_cache(packet);
2157}
2158
2159
2160uint64_t trace_get_received_packets(libtrace_t *trace)
2161{
2162        assert(trace);
2163        uint64_t ret;
2164
2165        if (trace->format->get_received_packets) {
2166                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2167                        return ret;
2168        } else if (trace->format->get_statistics) {
2169                struct libtrace_stat_t stat;
2170                stat.magic = LIBTRACE_STAT_MAGIC;
2171                trace_get_statistics(trace, &stat);
2172                if (stat.received_valid)
2173                        return stat.received;
2174        }
2175
2176        // Read the cached value taken before the trace was paused/closed
2177        if(trace->stats && trace->stats->received_valid)
2178                return trace->stats->received;
2179        else
2180                return UINT64_MAX;
2181}
2182
2183uint64_t trace_get_filtered_packets(libtrace_t *trace)
2184{
2185        assert(trace);
2186        int i = 0;
2187        uint64_t lib_filtered = trace->filtered_packets;
2188        for (i = 0; i < trace->perpkt_thread_count; i++) {
2189                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2190        }
2191        if (trace->format->get_filtered_packets) {
2192                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2193                if (trace_filtered == UINT64_MAX)
2194                        return UINT64_MAX;
2195                else
2196                        return trace_filtered + lib_filtered;
2197        } else if (trace->format->get_statistics) {
2198                struct libtrace_stat_t stat;
2199                stat.magic = LIBTRACE_STAT_MAGIC;
2200                trace_get_statistics(trace, &stat);
2201                if (stat.filtered_valid)
2202                        return lib_filtered + stat.filtered;
2203                else
2204                        return UINT64_MAX;
2205        }
2206
2207        // Read the cached value taken before the trace was paused/closed
2208        if(trace->stats && trace->stats->filtered_valid)
2209                return trace->stats->filtered + lib_filtered;
2210        else
2211                return lib_filtered;
2212}
2213
2214uint64_t trace_get_dropped_packets(libtrace_t *trace)
2215{
2216        assert(trace);
2217        uint64_t ret;
2218
2219        if (trace->format->get_dropped_packets) {
2220                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2221                        return ret;
2222        } else if (trace->format->get_statistics) {
2223                struct libtrace_stat_t stat;
2224                stat.magic = LIBTRACE_STAT_MAGIC;
2225                trace_get_statistics(trace, &stat);
2226                if (stat.dropped_valid)
2227                        return stat.dropped;
2228        }
2229
2230        // Read the cached value taken before the trace was paused/closed
2231        if(trace->stats && trace->stats->dropped_valid)
2232                return trace->stats->dropped;
2233        else
2234                return UINT64_MAX;
2235}
2236
2237uint64_t trace_get_accepted_packets(libtrace_t *trace)
2238{
2239        assert(trace);
2240        int i = 0;
2241        uint64_t ret = 0;
2242        /* We always add to a thread's accepted count before dispatching the
2243         * packet to the user. However if the underlying trace is single
2244         * threaded it will also be increasing the global count. So if we
2245         * find perpkt ignore the global count.
2246         */
2247        for (i = 0; i < trace->perpkt_thread_count; i++) {
2248                ret += trace->perpkt_threads[i].accepted_packets;
2249        }
2250        return ret ? ret : trace->accepted_packets;
2251}
2252
2253libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2254{
2255        uint64_t ret = 0;
2256        int i;
2257        assert(trace);
2258        if (stat == NULL) {
2259                if (trace->stats == NULL)
2260                        trace->stats = trace_create_statistics();
2261                stat = trace->stats;
2262        }
2263        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2264               "trace_create_statistics() to allocate statistics");
2265
2266        /* If the trace has paused or finished get the cached results */
2267        if (trace->state == STATE_PAUSED ||
2268            trace->state == STATE_FINISHED ||
2269            trace->state == STATE_FINISHING ||
2270            trace->state == STATE_JOINED) {
2271                if (trace->stats && trace->stats != stat)
2272                        *stat = *trace->stats;
2273                return stat;
2274        }
2275
2276        stat->reserved1 = 0;
2277        stat->reserved2 = 0;
2278#define X(x) stat->x ##_valid = 0;
2279        LIBTRACE_STAT_FIELDS;
2280#undef X
2281        /* Both accepted and filtered are stored against in the library */
2282
2283        /* We always add to a thread's accepted count before dispatching the
2284         * packet to the user. However if the underlying trace is single
2285         * threaded it will also be increasing the global count. So if we
2286         * find perpkt ignore the global count.
2287         */
2288        for (i = 0; i < trace->perpkt_thread_count; i++) {
2289                ret += trace->perpkt_threads[i].accepted_packets;
2290        }
2291
2292        stat->accepted_valid = 1;
2293        stat->accepted = ret ? ret : trace->accepted_packets;
2294
2295        stat->filtered_valid = 1;
2296        stat->filtered = trace->filtered_packets;
2297        for (i = 0; i < trace->perpkt_thread_count; i++) {
2298                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2299        }
2300
2301        if (trace->format->get_statistics) {
2302                trace->format->get_statistics(trace, stat);
2303        }
2304        return stat;
2305}
2306
2307void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2308                                 libtrace_stat_t *stat)
2309{
2310        assert(trace && stat);
2311        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2312               "trace_create_statistics() to allocate statistics");
2313        stat->reserved1 = 0;
2314        stat->reserved2 = 0;
2315#define X(x) stat->x ##_valid= 0;
2316        LIBTRACE_STAT_FIELDS;
2317#undef X
2318        stat->accepted_valid = 1;
2319        stat->accepted = t->accepted_packets;
2320        stat->filtered_valid = 1;
2321        stat->filtered = t->filtered_packets;
2322        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2323                trace->format->get_thread_statistics(trace, t, stat);
2324        }
2325        return;
2326}
2327
2328libtrace_stat_t *trace_create_statistics(void) {
2329        libtrace_stat_t *ret;
2330        ret = malloc(sizeof(libtrace_stat_t));
2331        if (ret) {
2332                memset(ret, 0, sizeof(libtrace_stat_t));
2333                ret->magic = LIBTRACE_STAT_MAGIC;
2334        }
2335        return ret;
2336}
2337
2338void trace_clear_statistics(libtrace_stat_t *s) {
2339        memset(s, 0, sizeof(libtrace_stat_t));
2340        s->magic = LIBTRACE_STAT_MAGIC;
2341}
2342
2343void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2344                         libtrace_stat_t *c) {
2345        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2346               "trace_create_statistics() to allocate statistics");
2347        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2348               "trace_create_statistics() to allocate statistics");
2349        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2350               "trace_create_statistics() to allocate statistics");
2351
2352#define X(x) \
2353        if (a->x ##_valid && b->x ##_valid) { \
2354                c->x ##_valid = 1; \
2355                c->x = a->x - b->x; \
2356        } else {\
2357                c->x ##_valid = 0;\
2358        }
2359        LIBTRACE_STAT_FIELDS
2360#undef X
2361}
2362
2363void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2364                         libtrace_stat_t *c) {
2365        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2366               "trace_create_statistics() to allocate statistics");
2367        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2368               "trace_create_statistics() to allocate statistics");
2369        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2370               "trace_create_statistics() to allocate statistics");
2371
2372#define X(x) \
2373        if (a->x ##_valid&& b->x ##_valid) { \
2374                c->x ##_valid = 1; \
2375                c->x = a->x + b->x; \
2376        } else {\
2377                c->x ##_valid = 0;\
2378        }
2379        LIBTRACE_STAT_FIELDS
2380#undef X
2381}
2382
2383int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2384        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2385               "trace_create_statistics() to allocate statistics");
2386        if (format == NULL)
2387                format = "%s: %"PRIu64"\n";
2388#define xstr(s) str(s)
2389#define str(s) #s
2390#define X(x) \
2391        if (s->x ##_valid) { \
2392                if (fprintf(f, format, xstr(x), s->x) < 0) \
2393                        return -1; \
2394        }
2395        LIBTRACE_STAT_FIELDS
2396#undef X
2397        return 0;
2398}
2399
2400
2401void trace_clear_cache(libtrace_packet_t *packet) {
2402
2403        packet->l2_header = NULL;
2404        packet->l3_header = NULL;
2405        packet->l4_header = NULL;
2406        packet->link_type = 0;
2407        packet->l3_ethertype = 0;
2408        packet->transport_proto = 0;
2409        packet->capture_length = -1;
2410        packet->wire_length = -1;
2411        packet->framing_length = -1;
2412        packet->payload_length = -1;
2413        packet->l2_remaining = 0;
2414        packet->l3_remaining = 0;
2415        packet->l4_remaining = 0;
2416        packet->refcount = 0;
2417}
2418
2419void trace_interrupt(void) {
2420        libtrace_halt = 1;
2421}
2422
2423void register_format(struct libtrace_format_t *f) {
2424        assert(f->next==NULL); /* Can't register a format twice */
2425        f->next=formats_list;
2426        formats_list=f;
2427
2428        /* Now, verify that the format has at least the minimum functionality.
2429         *
2430         * This #if can be changed to a 1 to output warnings about inconsistent
2431         * functions being provided by format modules.  This generally is very
2432         * noisy, as almost all modules don't implement one or more functions
2433         * for various reasons.  This is very useful when checking a new
2434         * format module is sane.
2435         */
2436#if 0
2437        if (f->init_input) {
2438#define REQUIRE(x) \
2439                if (!f->x) \
2440                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2441                REQUIRE(read_packet);
2442                REQUIRE(start_input);
2443                REQUIRE(fin_input);
2444                REQUIRE(get_link_type);
2445                REQUIRE(get_capture_length);
2446                REQUIRE(get_wire_length);
2447                REQUIRE(get_framing_length);
2448                REQUIRE(trace_event);
2449                if (!f->get_erf_timestamp
2450                        && !f->get_seconds
2451                        && !f->get_timeval) {
2452                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2453"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2454                }
2455                if (f->trace_event!=trace_event_trace) {
2456                        /* Theres nothing that a trace file could optimise with
2457                         * config_input
2458                         */
2459                        REQUIRE(pause_input);
2460                        REQUIRE(config_input);
2461                        REQUIRE(get_fd);
2462                }
2463                else {
2464                        if (f->get_fd) {
2465                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2466                                                f->name);
2467                        }
2468                }
2469#undef REQUIRE
2470        }
2471        else {
2472#define REQUIRE(x) \
2473                if (f->x) \
2474                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2475                REQUIRE(read_packet);
2476                REQUIRE(start_input);
2477                REQUIRE(pause_input);
2478                REQUIRE(fin_input);
2479                REQUIRE(get_link_type);
2480                REQUIRE(get_capture_length);
2481                REQUIRE(get_wire_length);
2482                REQUIRE(get_framing_length);
2483                REQUIRE(trace_event);
2484                REQUIRE(get_seconds);
2485                REQUIRE(get_timeval);
2486                REQUIRE(get_erf_timestamp);
2487#undef REQUIRE
2488        }
2489        if (f->init_output) {
2490#define REQUIRE(x) \
2491                if (!f->x) \
2492                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2493                REQUIRE(write_packet);
2494                REQUIRE(start_output);
2495                REQUIRE(config_output);
2496                REQUIRE(fin_output);
2497#undef REQUIRE
2498        }
2499        else {
2500#define REQUIRE(x) \
2501                if (f->x) \
2502                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2503                REQUIRE(write_packet);
2504                REQUIRE(start_output);
2505                REQUIRE(config_output);
2506                REQUIRE(fin_output);
2507#undef REQUIRE
2508        }
2509#endif
2510}
2511
Note: See TracBrowser for help on using the repository browser.