source: lib/trace.c @ dc62550

develop
Last change on this file since dc62550 was dc62550, checked in by Jacob van Walraven <jacobvw@…>, 2 years ago

Print a more suitable error when the input URI (file) is not found

  • Property mode set to 100644
File size: 70.5 KB
Line 
1/*
2 *
3 * Copyright (c) 2007-2016 The University of Waikato, Hamilton, New Zealand.
4 * All rights reserved.
5 *
6 * This file is part of libtrace.
7 *
8 * This code has been developed by the University of Waikato WAND
9 * research group. For further information please see http://www.wand.net.nz/
10 *
11 * libtrace is free software; you can redistribute it and/or modify
12 * it under the terms of the GNU Lesser General Public License as published by
13 * the Free Software Foundation; either version 3 of the License, or
14 * (at your option) any later version.
15 *
16 * libtrace is distributed in the hope that it will be useful,
17 * but WITHOUT ANY WARRANTY; without even the implied warranty of
18 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 * GNU Lesser General Public License for more details.
20 *
21 * You should have received a copy of the GNU Lesser General Public License
22 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 *
24 *
25 */
26
27#define _GNU_SOURCE
28#include "common.h"
29#include "config.h"
30#include <assert.h>
31#include <errno.h>
32#include <fcntl.h>
33#include <stdio.h>
34#include <stdlib.h>
35#include <string.h>
36#include <sys/stat.h>
37#include <sys/types.h>
38#ifndef WIN32
39#include <sys/socket.h>
40#endif
41#include <stdarg.h>
42#include <sys/param.h>
43
44#ifdef HAVE_LIMITS_H
45#  include <limits.h>
46#endif
47
48#ifdef HAVE_SYS_LIMITS_H
49#  include <sys/limits.h>
50#endif
51
52#ifdef HAVE_NET_IF_ARP_H
53#  include <net/if_arp.h>
54#endif
55
56#ifdef HAVE_NET_IF_H
57#  include <net/if.h>
58#endif
59
60#ifdef HAVE_NETINET_IN_H
61#  include <netinet/in.h>
62#endif
63
64#ifdef HAVE_NET_ETHERNET_H
65#  include <net/ethernet.h>
66#endif
67
68#ifdef HAVE_NETINET_IF_ETHER_H
69#  include <netinet/if_ether.h>
70#endif
71
72#include <time.h>
73#ifdef WIN32
74#include <sys/timeb.h>
75#endif
76
77#include "libtrace.h"
78#include "libtrace_int.h"
79
80#ifdef HAVE_PCAP_BPF_H
81#  include <pcap-bpf.h>
82#else
83#  ifdef HAVE_NET_BPF_H
84#    include <net/bpf.h>
85#  endif
86#endif
87
88
89#include "libtrace_int.h"
90#include "format_helper.h"
91#include "rt_protocol.h"
92
93#include <pthread.h>
94#include <signal.h>
95
96#define MAXOPTS 1024
97
98/* This file contains much of the implementation of the libtrace API itself. */
99
100static struct libtrace_format_t *formats_list = NULL;
101
102volatile int libtrace_halt = 0;
103/* Set once pstart is called used for backwards compatibility reasons */
104int libtrace_parallel = 0;
105
106/* strncpy is not assured to copy the final \0, so we
107 * will use our own one that does
108 */
109static inline void xstrncpy(char *dest, const char *src, size_t n,
110                size_t destlen)
111{
112        size_t slen = destlen - 1;
113        if (n < slen) {
114                slen = n;
115        }
116        strncpy(dest,src,slen);
117        dest[slen]='\0';
118}
119
120static char *xstrndup(const char *src,size_t n)
121{
122        char *ret=(char*)malloc(n+1);
123        if (ret==NULL) {
124                fprintf(stderr,"Out of memory");
125                exit(EXIT_FAILURE);
126        }
127        xstrncpy(ret,src,n,n+1);
128        return ret;
129}
130
131
132/* call all the constructors if they haven't yet all been called */
133static void trace_init(void)
134{
135        struct timeval tv;
136        gettimeofday(&tv, NULL);
137        srand(tv.tv_sec);
138
139        if (!formats_list) {
140                duck_constructor();
141                erf_constructor();
142                tsh_constructor();
143                legacy_constructor();
144                atmhdr_constructor();
145                linuxring_constructor();
146                linuxnative_constructor();
147#ifdef HAVE_LIBPCAP
148                pcap_constructor();
149#endif
150                bpf_constructor();
151                pcapfile_constructor();
152                pcapng_constructor();
153                rt_constructor();
154                ndag_constructor();
155#ifdef HAVE_WANDDER
156                etsilive_constructor();
157#endif
158#ifdef HAVE_DAG
159                dag_constructor();
160#endif
161#ifdef HAVE_DPDK
162                dpdk_constructor();
163                dpdkndag_constructor();
164#endif
165        }
166}
167
168/* Prints help information for libtrace
169 *
170 * Function prints out some basic help information regarding libtrace,
171 * and then prints out the help() function registered with each input module
172 */
173DLLEXPORT void trace_help(void) {
174        struct libtrace_format_t *tmp;
175        trace_init();
176        printf("libtrace %s\n\n",PACKAGE_VERSION);
177        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
178        for(tmp=formats_list;tmp;tmp=tmp->next) {
179                if (tmp->help)
180                        tmp->help();
181        }
182}
183
184#define URI_PROTO_LINE 16U
185
186/* Try to guess which format module is appropriate for a given trace file or
187 * device */
188static void guess_format(libtrace_t *libtrace, const char *filename)
189{
190        struct libtrace_format_t *tmp;
191
192        /* Try and guess based on filename */
193        for(tmp = formats_list; tmp; tmp=tmp->next) {
194                if (tmp->probe_filename && tmp->probe_filename(filename)) {
195                        libtrace->format = tmp;
196                        libtrace->uridata = strdup(filename);
197                        return;
198                }
199        }
200
201        libtrace->io = wandio_create(filename);
202        if (!libtrace->io)
203                return;
204
205        /* Try and guess based on file magic */
206        for(tmp = formats_list; tmp; tmp=tmp->next) {
207                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
208                        libtrace->format = tmp;
209                        libtrace->uridata = strdup(filename);
210                        return;
211                }
212        }
213
214        /* No formats matched -- make sure we clean up the IO object we
215         * used to probe the file magic */
216        wandio_destroy(libtrace->io);
217        return;
218}
219
220/* Creates an input trace from a URI
221 *
222 * @params char * containing a valid libtrace URI
223 * @returns opaque pointer to a libtrace_t
224 *
225 * Some valid URI's are:
226 *  erf:/path/to/erf/file
227 *  erf:/path/to/erf/file.gz
228 *  erf:-                       (stdin)
229 *  dag:/dev/dagcard
230 *  pcapint:pcapinterface               (eg: pcapint:eth0)
231 *  pcapfile:/path/to/pcap/file
232 *  pcapfile:-
233 *  int:interface                       (eg: int:eth0) only on Linux
234 *  rt:hostname
235 *  rt:hostname:port
236 *
237 * If an error occured when attempting to open a trace, NULL is returned
238 * and an error is output to stdout.
239 */
240DLLEXPORT libtrace_t *trace_create(const char *uri) {
241        libtrace_t *libtrace =
242                        (libtrace_t *)malloc(sizeof(libtrace_t));
243        char *scan = 0;
244        const char *uridata = 0;
245
246        trace_init();
247
248        assert(uri && "Passing NULL to trace_create makes me a very sad program");
249
250        if (!libtrace) {
251                /* Out of memory */
252                return NULL;
253        }
254
255        libtrace->err.err_num = TRACE_ERR_NOERROR;
256        libtrace->format=NULL;
257
258        libtrace->event.packet = NULL;
259        libtrace->event.psize = 0;
260        libtrace->event.first_ts = 0.0;
261        libtrace->event.first_now = 0.0;
262        libtrace->event.waiting = false;
263        libtrace->filter = NULL;
264        libtrace->snaplen = 0;
265        libtrace->replayspeedup = 1;
266        libtrace->started=false;
267        libtrace->uridata = NULL;
268        libtrace->io = NULL;
269        libtrace->filtered_packets = 0;
270        libtrace->accepted_packets = 0;
271        libtrace->last_packet = NULL;
272       
273        /* Parallel inits */
274        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
275        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
276        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
277        libtrace->state = STATE_NEW;
278        libtrace->perpkt_queue_full = false;
279        libtrace->global_blob = NULL;
280        libtrace->hasher = NULL;
281        libtrace->hasher_data = NULL;
282        libtrace->hasher_owner = HASH_OWNED_EXTERNAL;
283        libtrace_zero_ocache(&libtrace->packet_freelist);
284        libtrace_zero_thread(&libtrace->hasher_thread);
285        libtrace_zero_thread(&libtrace->reporter_thread);
286        libtrace_zero_thread(&libtrace->keepalive_thread);
287        libtrace->reporter_thread.type = THREAD_EMPTY;
288        libtrace->perpkt_thread_count = 0;
289        libtrace->perpkt_threads = NULL;
290        libtrace->tracetime = 0;
291        libtrace->first_packets.first = 0;
292        libtrace->first_packets.count = 0;
293        libtrace->first_packets.packets = NULL;
294        libtrace->stats = NULL;
295        libtrace->pread = NULL;
296        libtrace->sequence_number = 0;
297        ZERO_USER_CONFIG(libtrace->config);
298        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
299        libtrace->perpkt_cbs = NULL;
300        libtrace->reporter_cbs = NULL;
301
302        /* Parse the URI to determine what sort of trace we are dealing with */
303        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
304                /* Could not parse the URI nicely */
305                guess_format(libtrace,uri);
306                if (!libtrace->format) {
307                        /* Check if the file exists */
308                        FILE *file;
309                        if(!(file=fopen(uri, "r"))) {
310                                trace_set_err(libtrace,TRACE_ERR_URI_NOT_FOUND,"Unable to find URI (%s)",uri);
311                        } else {
312                                fclose(file);
313                                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
314                        }
315                        return libtrace;
316                }
317        }
318        else {
319                struct libtrace_format_t *tmp;
320
321                /* Find a format that matches the first part of the URI */
322                for (tmp=formats_list;tmp;tmp=tmp->next) {
323                        if (strlen(scan) == strlen(tmp->name) &&
324                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
325                                        ) {
326                                libtrace->format=tmp;
327                                break;
328                        }
329                }
330
331                if (libtrace->format == 0) {
332                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
333                                        "Unknown format (%s)",scan);
334                        return libtrace;
335                }
336
337                libtrace->uridata = strdup(uridata);
338        }
339        /* libtrace->format now contains the type of uri
340         * libtrace->uridata contains the appropriate data for this
341         */
342
343        /* Call the init_input function for the matching capture format */
344        if (libtrace->format->init_input) {
345                int err=libtrace->format->init_input(libtrace);
346                assert (err==-1 || err==0);
347                if (err==-1) {
348                        /* init_input should call trace_set_err to set the
349                         * error message
350                         */
351                        return libtrace;
352                }
353        } else {
354                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
355                                "Format does not support input (%s)",scan);
356                return libtrace;
357        }
358
359        if (scan)
360                free(scan);
361        libtrace->err.err_num=TRACE_ERR_NOERROR;
362        libtrace->err.problem[0]='\0';
363        return libtrace;
364}
365
366/* Creates a "dummy" trace file that has only the format type set.
367 *
368 * @returns opaque pointer to a (sparsely initialised) libtrace_t
369 *
370 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
371 * with the dummy trace. Its intended purpose is to act as a packet->trace for
372 * libtrace_packet_t's that are not associated with a libtrace_t structure.
373 */
374DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
375        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
376        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
377        char *uridata;
378        struct libtrace_format_t *tmp;
379
380        trace_init();
381
382        libtrace->err.err_num = TRACE_ERR_NOERROR;
383
384        if((uridata = strchr(uri,':')) == NULL) {
385                xstrncpy(scan, uri, strlen(uri), URI_PROTO_LINE);
386        } else {
387                xstrncpy(scan,uri, (size_t)(uridata - uri), URI_PROTO_LINE);
388        }
389
390        libtrace->err.err_num = TRACE_ERR_NOERROR;
391        libtrace->format=NULL;
392
393        libtrace->event.packet = NULL;
394        libtrace->event.psize = 0;
395        libtrace->event.first_ts = 0;
396        libtrace->event.first_now = 0;
397        libtrace->filter = NULL;
398        libtrace->snaplen = 0;
399        libtrace->started=false;
400        libtrace->uridata = NULL;
401        libtrace->io = NULL;
402        libtrace->filtered_packets = 0;
403        libtrace->accepted_packets = 0;
404        libtrace->last_packet = NULL;
405       
406        /* Parallel inits */
407        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
408        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
409        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
410        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
411        libtrace->perpkt_queue_full = false;
412        libtrace->global_blob = NULL;
413        libtrace->hasher = NULL;
414        libtrace_zero_ocache(&libtrace->packet_freelist);
415        libtrace_zero_thread(&libtrace->hasher_thread);
416        libtrace_zero_thread(&libtrace->reporter_thread);
417        libtrace_zero_thread(&libtrace->keepalive_thread);
418        libtrace->reporter_thread.type = THREAD_EMPTY;
419        libtrace->perpkt_thread_count = 0;
420        libtrace->perpkt_threads = NULL;
421        libtrace->tracetime = 0;
422        libtrace->stats = NULL;
423        libtrace->pread = NULL;
424        libtrace->sequence_number = 0;
425        ZERO_USER_CONFIG(libtrace->config);
426        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
427        libtrace->perpkt_cbs = NULL;
428        libtrace->reporter_cbs = NULL;
429        for(tmp=formats_list;tmp;tmp=tmp->next) {
430                if (strlen(scan) == strlen(tmp->name) &&
431                                !strncasecmp(scan,
432                                        tmp->name,
433                                        strlen(scan))) {
434                                libtrace->format=tmp;
435                                break;
436                                }
437        }
438        if (libtrace->format == 0) {
439                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
440                                "Unknown format (%s)",scan);
441        }
442
443        libtrace->format_data = NULL;
444        free(scan);
445        return libtrace;
446
447}
448
449/* Creates an output trace from a URI.
450 *
451 * @param uri   the uri string describing the output format and destination
452 * @returns opaque pointer to a libtrace_output_t
453 *
454 *  If an error occured when attempting to open the output trace, NULL is
455 *  returned and trace_errno is set.
456 */
457
458DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
459        libtrace_out_t *libtrace =
460                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
461
462        char *scan = 0;
463        const char *uridata = 0;
464        struct libtrace_format_t *tmp;
465
466        trace_init();
467
468        libtrace->err.err_num = TRACE_ERR_NOERROR;
469        strcpy(libtrace->err.problem,"Error message set\n");
470        libtrace->format = NULL;
471        libtrace->uridata = NULL;
472
473        /* Parse the URI to determine what capture format we want to write */
474
475        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
476                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
477                                "Bad uri format (%s)",uri);
478                return libtrace;
479        }
480
481        /* Attempt to find the format in the list of supported formats */
482        for(tmp=formats_list;tmp;tmp=tmp->next) {
483                if (strlen(scan) == strlen(tmp->name) &&
484                                !strncasecmp(scan,
485                                        tmp->name,
486                                        strlen(scan))) {
487                                libtrace->format=tmp;
488                                break;
489                                }
490        }
491        free(scan);
492
493        if (libtrace->format == NULL) {
494                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
495                                "Unknown output format (%s)",scan);
496                return libtrace;
497        }
498        libtrace->uridata = strdup(uridata);
499
500        /* libtrace->format now contains the type of uri
501         * libtrace->uridata contains the appropriate data for this
502         */
503
504        if (libtrace->format->init_output) {
505                /* 0 on success, -1 on failure */
506                switch(libtrace->format->init_output(libtrace)) {
507                        case -1: /* failure */
508                                return libtrace;
509                        case 0: /* success */
510                                break;
511                        default:
512                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
513                }
514        } else {
515                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
516                                "Format does not support writing (%s)",scan);
517                return libtrace;
518        }
519
520
521        libtrace->started=false;
522        return libtrace;
523}
524
525/* Start an input trace
526 * @param libtrace      the input trace to start
527 * @returns 0 on success
528 *
529 * This does the work associated with actually starting up
530 * the trace.  it may fail.
531 */
532DLLEXPORT int trace_start(libtrace_t *libtrace)
533{
534        assert(libtrace);
535        if (trace_is_err(libtrace))
536                return -1;
537        if (libtrace->format->start_input) {
538                int ret=libtrace->format->start_input(libtrace);
539                if (ret < 0) {
540                        return ret;
541                }
542        }
543
544        libtrace->started=true;
545        return 0;
546}
547
548/* Start an output trace */
549DLLEXPORT int trace_start_output(libtrace_out_t *libtrace)
550{
551        assert(libtrace);
552        if (libtrace->format->start_output) {
553                int ret=libtrace->format->start_output(libtrace);
554                if (ret < 0) {
555                        return ret;
556                }
557        }
558
559        libtrace->started=true;
560        return 0;
561}
562
563DLLEXPORT int trace_pause(libtrace_t *libtrace)
564{
565        assert(libtrace);
566        if (!libtrace->started) {
567                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
568                return -1;
569        }
570
571        /* Finish the last packet we read - for backwards compatibility */
572        if (!libtrace_parallel && libtrace->last_packet)
573                trace_fin_packet(libtrace->last_packet);
574        assert(libtrace->last_packet == NULL);
575
576        if (libtrace->format->pause_input)
577                libtrace->format->pause_input(libtrace);
578
579        libtrace->started=false;
580        return 0;
581}
582
583DLLEXPORT int trace_config(libtrace_t *libtrace,
584                trace_option_t option,
585                void *value)
586{
587        int ret;
588
589        if (trace_is_err(libtrace)) {
590                return -1;
591        }
592
593        if (option == TRACE_OPTION_HASHER)
594                return trace_set_hasher(libtrace,
595                                        (enum hasher_types) *((int *) value),
596                                        NULL, NULL);
597
598        /* If the capture format supports configuration, try using their
599         * native configuration first */
600        if (libtrace->format->config_input) {
601                ret=libtrace->format->config_input(libtrace,option,value);
602                if (ret==0)
603                        return 0;
604        }
605
606        /* If we get here, either the native configuration failed or the
607         * format did not support configuration. However, libtrace can
608         * deal with some options itself, so give that a go */
609        switch(option) {
610                case TRACE_OPTION_REPLAY_SPEEDUP:
611                        /* Clear the error if there was one */
612                        if (trace_is_err(libtrace)) {
613                                trace_get_err(libtrace);
614                        }
615                        if (*(int*)value<1
616                                || *(int*)value>LIBTRACE_MAX_REPLAY_SPEEDUP) {
617                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
618                                        "Invalid replay speed");
619                        }
620                        libtrace->replayspeedup=*(int*)value;
621                        return 0;
622
623                case TRACE_OPTION_SNAPLEN:
624                        /* Clear the error if there was one */
625                        if (trace_is_err(libtrace)) {
626                                trace_get_err(libtrace);
627                        }
628                        if (*(int*)value<0
629                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
630                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
631                                        "Invalid snap length");
632                        }
633                        libtrace->snaplen=*(int*)value;
634                        return 0;
635                case TRACE_OPTION_FILTER:
636                        /* Clear the error if there was one */
637                        if (trace_is_err(libtrace)) {
638                                trace_get_err(libtrace);
639                        }
640                        libtrace->filter=(libtrace_filter_t *)value;
641                        return 0;
642                case TRACE_OPTION_PROMISC:
643                        if (!trace_is_err(libtrace)) {
644                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
645                                                "Promisc mode is not supported by this format module");
646                        }
647                        return -1;
648                case TRACE_OPTION_META_FREQ:
649                        if (!trace_is_err(libtrace)) {
650                                trace_set_err(libtrace,
651                                                TRACE_ERR_OPTION_UNAVAIL,
652                                                "This format does not support meta-data gathering");
653                        }
654                        return -1;
655                case TRACE_OPTION_EVENT_REALTIME:
656                        if (!trace_is_err(libtrace)) {
657                                trace_set_err(libtrace,
658                                                TRACE_ERR_OPTION_UNAVAIL,
659                                                "This format does not support realtime events");
660                        }
661                        return -1;
662                case TRACE_OPTION_HASHER:
663                        /* Dealt with earlier */
664                        return -1;
665
666        }
667        if (!trace_is_err(libtrace)) {
668                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
669                        "Unknown option %i", option);
670        }
671        return -1;
672}
673
674DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
675        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
676}
677
678DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
679        int tmp = promisc;
680        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
681}
682
683DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
684        return trace_config(trace, TRACE_OPTION_FILTER, filter);
685}
686
687DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
688        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
689}
690
691DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
692        int tmp = realtime;
693        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
694}
695
696DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
697                trace_option_output_t option,
698                void *value) {
699
700        /* Unlike the input options, libtrace does not natively support any of
701         * the output options - the format module must be able to deal with
702         * them. */
703        if (libtrace->format->config_output) {
704                return libtrace->format->config_output(libtrace, option, value);
705        }
706        return -1;
707}
708
709/* Close an input trace file, freeing up any resources it may have been using
710 *
711 */
712DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
713        int i;
714        assert(libtrace);
715
716        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
717        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
718        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
719
720        /* destroy any packets that are still around */
721        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
722                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
723                        if(libtrace->first_packets.packets[i].packet) {
724                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
725                        }
726                }
727                free(libtrace->first_packets.packets);
728                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
729        }
730
731        /* Finish any the last packet we read - for backwards compatibility */
732        if (!libtrace_parallel && libtrace->last_packet) {
733                trace_fin_packet(libtrace->last_packet);
734        }
735        assert(libtrace->last_packet == NULL);
736
737        if (libtrace->format) {
738                if (libtrace->started && libtrace->format->pause_input)
739                        libtrace->format->pause_input(libtrace);
740                if (libtrace->format->fin_input)
741                        libtrace->format->fin_input(libtrace);
742        }
743        /* Need to free things! */
744        if (libtrace->uridata)
745                free(libtrace->uridata);
746
747        if (libtrace->stats)
748                free(libtrace->stats);
749       
750        /* Empty any packet memory */
751        if (libtrace->state != STATE_NEW) {
752                // This has all of our packets
753                libtrace_ocache_destroy(&libtrace->packet_freelist);
754                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
755                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
756                }
757                if (libtrace->hasher_thread.type == THREAD_HASHER)
758                        libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
759                if (libtrace->keepalive_thread.type == THREAD_KEEPALIVE)
760                        libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
761                if (libtrace->reporter_thread.type == THREAD_REPORTER)
762                        libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
763
764
765                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
766                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
767                free(libtrace->perpkt_threads);
768                libtrace->perpkt_threads = NULL;
769                libtrace->perpkt_thread_count = 0;
770
771        }
772
773        if (libtrace->hasher_owner == HASH_OWNED_LIBTRACE) {
774                if (libtrace->hasher_data) {
775                        free(libtrace->hasher_data);
776                }
777        }
778
779
780        if (libtrace->perpkt_cbs)
781                trace_destroy_callback_set(libtrace->perpkt_cbs);
782        if (libtrace->reporter_cbs)
783                trace_destroy_callback_set(libtrace->reporter_cbs);
784
785        if (libtrace->event.packet) {
786                /* Don't use trace_destroy_packet here - there is almost
787                 * certainly going to be another libtrace_packet_t that is
788                 * pointing to the buffer for this packet, so we don't want
789                 * to free it. Rather, it will get freed when the user calls
790                 * trace_destroy_packet on the libtrace_packet_t that they
791                 * own.
792                 *
793                 * All we need to do then is free our packet structure itself.
794                 */
795                 free(libtrace->event.packet);
796        }
797
798        free(libtrace);
799}
800
801
802DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
803        assert(libtrace);
804
805        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
806        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
807        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
808
809        /* Don't call pause_input or fin_input, because we should never have
810         * used this trace to do any reading anyway. Do make sure we free
811         * any format_data that has been created, though. */
812        if (libtrace->format_data)
813                free(libtrace->format_data);
814        free(libtrace);
815}
816/* Close an output trace file, freeing up any resources it may have been using
817 *
818 * @param libtrace      the output trace file to be destroyed
819 */
820DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace)
821{
822        assert(libtrace);
823        if (libtrace->format && libtrace->format->fin_output)
824                libtrace->format->fin_output(libtrace);
825        if (libtrace->uridata)
826                free(libtrace->uridata);
827        free(libtrace);
828}
829
830DLLEXPORT int trace_flush_output(libtrace_out_t *libtrace) {
831        if (!libtrace) {
832                return -1;
833        }
834        if (libtrace->format && libtrace->format->flush_output) {
835                return libtrace->format->flush_output(libtrace);
836        }
837        return 0;
838}
839
840DLLEXPORT libtrace_packet_t *trace_create_packet(void)
841{
842        libtrace_packet_t *packet =
843                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
844
845        if (packet == NULL)
846                return NULL;
847
848        packet->buf_control=TRACE_CTRL_PACKET;
849        pthread_mutex_init(&(packet->ref_lock), NULL);
850        trace_clear_cache(packet);
851        return packet;
852}
853
854DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
855        libtrace_packet_t *dest = 
856                (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
857        if (!dest) {
858                printf("Out of memory constructing packet\n");
859                abort();
860        }
861        dest->trace=packet->trace;
862        dest->buffer=malloc(65536);
863        if (!dest->buffer) {
864                printf("Out of memory allocating buffer memory\n");
865                abort();
866        }
867        dest->header=dest->buffer;
868        dest->payload=(void*)
869                ((char*)dest->buffer+trace_get_framing_length(packet));
870        dest->type=packet->type;
871        dest->buf_control=TRACE_CTRL_PACKET;
872        dest->order = packet->order;
873        dest->hash = packet->hash;
874        dest->error = packet->error;
875        /* Reset the cache - better to recalculate than try to convert
876         * the values over to the new packet */
877        trace_clear_cache(dest);
878        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
879         * as much as possible */
880        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
881        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
882
883        return dest;
884}
885
886/** Destroy a packet object
887 */
888DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
889        /* Free any resources possibly associated with the packet */
890        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
891                packet->trace->format->fin_packet(packet);
892        }
893        if (!libtrace_parallel && packet->trace &&
894             packet->trace->last_packet == packet) {
895                packet->trace->last_packet = NULL;
896        }
897       
898        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
899                free(packet->buffer);
900        }
901        pthread_mutex_destroy(&(packet->ref_lock));
902        packet->buf_control=(buf_control_t)'\0';
903                                /* A "bad" value to force an assert
904                                 * if this packet is ever reused
905                                 */
906        free(packet);
907}
908
909/**
910 * Removes any possible data stored againt the trace and releases any data.
911 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
912 * use trace_destroy_packet() for those diabolical purposes.
913 */
914void trace_fin_packet(libtrace_packet_t *packet) {
915        if (packet)
916        {
917                if (packet->trace && packet->trace->format->fin_packet) {
918                        packet->trace->format->fin_packet(packet);
919                }
920
921                if (packet->srcbucket && packet->internalid != 0) {
922                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
923                        libtrace_release_bucket_id(b, packet->internalid);
924                }
925
926                if (packet->trace) {
927                        if (!libtrace_parallel && packet->trace->last_packet == packet)
928                                packet->trace->last_packet = NULL;
929                }
930
931                // No matter what we remove the header and link pointers
932                packet->trace = NULL;
933                packet->header = NULL;
934                packet->payload = NULL;
935
936                if (packet->buf_control != TRACE_CTRL_PACKET)
937                {
938                        packet->buffer = NULL;
939                }
940
941                trace_clear_cache(packet);
942                packet->hash = 0;
943                packet->order = 0;
944                packet->srcbucket = NULL;
945        }
946}
947
948/* Read one packet from the trace into buffer. Note that this function will
949 * block until a packet is read (or EOF is reached).
950 *
951 * @param libtrace      the libtrace opaque pointer
952 * @param packet        the packet opaque pointer
953 * @returns 0 on EOF, negative value on error
954 *
955 */
956DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
957
958        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
959        if (trace_is_err(libtrace))
960                return -1;
961        if (!libtrace->started) {
962                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
963                return -1;
964        }
965        if (!(packet->buf_control==TRACE_CTRL_PACKET
966                    || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
967                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
968                return -1;
969        }
970        assert(packet);
971
972        if (libtrace->format->read_packet) {
973                /* Finalise the packet, freeing any resources the format module
974                 * may have allocated it and zeroing all data associated with it.
975                 */
976                if (packet->trace == libtrace) {
977                        trace_fin_packet(packet);
978                }
979                do {
980                        size_t ret;
981                        int filtret;
982                        if ((ret=is_halted(libtrace)) != (size_t)-1)
983                                return ret;
984                        /* Store the trace we are reading from into the packet opaque
985                         * structure */
986                        packet->trace = libtrace;
987                        ret=libtrace->format->read_packet(libtrace,packet);
988                        if (ret==(size_t)READ_MESSAGE ||
989                            ret==(size_t)-1 || ret==0) {
990                                packet->trace = NULL;
991                                return ret;
992                        }
993                        if (libtrace->filter) {
994                                /* If the filter doesn't match, read another
995                                 * packet
996                                 */
997                                filtret = trace_apply_filter(libtrace->filter, packet);
998                                if (filtret == -1) {
999                                        /* Error compiling filter, probably */
1000                                        return ~0U;
1001                                }
1002
1003                                if (filtret == 0) {
1004                                        ++libtrace->filtered_packets;
1005                                        trace_fin_packet(packet);
1006                                        continue;
1007                                }
1008                        }
1009                        if (libtrace->snaplen>0) {
1010                                /* Snap the packet */
1011                                trace_set_capture_length(packet,
1012                                                libtrace->snaplen);
1013                        }
1014                        if (!IS_LIBTRACE_META_PACKET(packet)) {
1015                                ++libtrace->accepted_packets;
1016                        }
1017                        trace_packet_set_order(packet, libtrace->sequence_number);
1018                        ++libtrace->sequence_number;
1019                        if (!libtrace_parallel && packet->trace == libtrace)
1020                                libtrace->last_packet = packet;
1021
1022                        return ret;
1023                } while(1);
1024        }
1025        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
1026        return ~0U;
1027}
1028
1029/* Converts the provided buffer into a libtrace packet of the given type.
1030 *
1031 * Unlike trace_construct_packet, the buffer is expected to begin with the
1032 * appropriate capture format header for the format type that the packet is
1033 * being converted to. This also allows for a packet to be converted into
1034 * just about capture format that is supported by libtrace, provided the
1035 * format header is present in the buffer.
1036 *
1037 * This function is primarily used to convert packets received via the RT
1038 * protocol back into their original capture format. The RT header encapsulates
1039 * the original capture format header, so after removing it the packet must
1040 * have it's header and payload pointers updated and the packet format and type
1041 * changed, amongst other things.
1042 *
1043 * Intended only for internal use at this point - this function is not
1044 * available through the external libtrace API.
1045 */
1046int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
1047                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
1048
1049        assert(packet);
1050        assert(trace);
1051
1052        /* XXX Proper error handling?? */
1053        if (buffer == NULL)
1054                return -1;
1055
1056        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
1057                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
1058                return -1;
1059        }
1060
1061        packet->trace = trace;
1062        if (!libtrace_parallel)
1063                trace->last_packet = packet;
1064        /* Clear packet cache */
1065        trace_clear_cache(packet);
1066
1067        if (trace->format->prepare_packet) {
1068                return trace->format->prepare_packet(trace, packet,
1069                                buffer, rt_type, flags);
1070        }
1071        trace_set_err(trace, TRACE_ERR_UNSUPPORTED,
1072                        "This format does not support preparing packets\n");
1073        return -1;
1074
1075}
1076
1077/* Writes a packet to the specified output trace
1078 *
1079 * @param libtrace      describes the output format, destination, etc.
1080 * @param packet        the packet to be written out
1081 * @returns the number of bytes written, -1 if write failed
1082 */
1083DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1084        assert(libtrace);
1085        assert(packet);
1086        /* Verify the packet is valid */
1087        if (!libtrace->started) {
1088                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1089                        "Trace is not started before trace_write_packet");
1090                return -1;
1091        }
1092
1093        /* Don't try to convert meta-packets across formats */
1094        if (strcmp(libtrace->format->name, packet->trace->format->name) != 0 &&
1095                        IS_LIBTRACE_META_PACKET(packet)) {
1096                return 0;
1097        }
1098
1099        if (libtrace->format->write_packet) {
1100                return libtrace->format->write_packet(libtrace, packet);
1101        }
1102        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1103                "This format does not support writing packets");
1104        return -1;
1105}
1106
1107/* Get a pointer to the first byte of the packet payload */
1108DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1109                libtrace_linktype_t *linktype, uint32_t *remaining) {
1110        int cap_len;
1111        int wire_len;
1112
1113        assert(packet != NULL);
1114        if (linktype) *linktype = trace_get_link_type(packet);
1115        if (remaining) {
1116                /* I think we should choose the minimum of the capture and
1117                 * wire lengths to be the "remaining" value. If the packet has
1118                 * been padded to increase the capture length, we don't want
1119                 * to allow subsequent protocol decoders to consider the
1120                 * padding as part of the packet.
1121                 *
1122                 * For example, in Auck 4 there is a trace where the IP header
1123                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1124                 * header. Total IP length is 40 bytes. As a result, the
1125                 * legacyatm padding gets treated as the "missing" bytes of
1126                 * the TCP header, which isn't the greatest. We're probably
1127                 * better off returning an incomplete TCP header in that case.
1128                 */
1129
1130                cap_len = trace_get_capture_length(packet);
1131                wire_len = trace_get_wire_length(packet);
1132
1133                assert(cap_len >= 0);
1134
1135                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1136                 * massively negative wire lens. We could assert fail here on
1137                 * them, but we could at least try the capture length instead.
1138                 *
1139                 * You may still run into problems if you try to write that
1140                 * packet, but at least reading should work OK.
1141                 */
1142                if (wire_len < 0)
1143                        *remaining = cap_len;
1144                else if (wire_len < cap_len)
1145                        *remaining = wire_len;
1146                else
1147                        *remaining = cap_len;
1148                /* *remaining = trace_get_capture_length(packet); */
1149        }
1150        return (void *) packet->payload;
1151}
1152
1153
1154/* Get a pointer to the first byte of the packet payload
1155 *
1156 * DEPRECATED - use trace_get_packet_buffer() instead */
1157DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1158        return (void *)packet->payload;
1159}
1160
1161/* Get the current time in DAG time format
1162 * @param packet        a pointer to a libtrace_packet structure
1163 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1164 * past 1970-01-01, the lower 32bits are partial seconds)
1165 */
1166DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1167        if (packet->trace->format->get_erf_timestamp) {
1168                /* timestamp -> timestamp */
1169                return packet->trace->format->get_erf_timestamp(packet);
1170        } else if (packet->trace->format->get_timespec) {
1171                /* timespec -> timestamp */
1172                struct timespec ts;
1173                ts = packet->trace->format->get_timespec(packet);
1174                return ((((uint64_t)ts.tv_sec) << 32) +
1175                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1176        } else if (packet->trace->format->get_timeval) {
1177                /* timeval -> timestamp */
1178                struct timeval tv;
1179                tv = packet->trace->format->get_timeval(packet);
1180                return ((((uint64_t)tv.tv_sec) << 32) +
1181                                (((uint64_t)tv.tv_usec << 32)/1000000));
1182        } else if (packet->trace->format->get_seconds) {
1183                /* seconds -> timestamp */
1184                double seconds = packet->trace->format->get_seconds(packet);
1185                return (((uint64_t)seconds)<<32)
1186                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1187        }
1188        else {
1189                return (uint64_t)0;
1190        }
1191}
1192
1193/* Get the current time in struct timeval
1194 * @param packet        a pointer to a libtrace_packet structure
1195 *
1196 * @returns time that this packet was seen in a struct timeval
1197 * @author Daniel Lawson
1198 * @author Perry Lorier
1199 */
1200DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1201        struct timeval tv;
1202        uint64_t ts = 0;
1203        if (packet->trace->format->get_timeval) {
1204                /* timeval -> timeval */
1205                tv = packet->trace->format->get_timeval(packet);
1206        } else if (packet->trace->format->get_erf_timestamp) {
1207                /* timestamp -> timeval */
1208                ts = packet->trace->format->get_erf_timestamp(packet);
1209                tv.tv_sec = ts >> 32;
1210                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1211                if (tv.tv_usec >= 1000000) {
1212                        tv.tv_usec -= 1000000;
1213                        tv.tv_sec += 1;
1214                }
1215        } else if (packet->trace->format->get_timespec) {
1216                struct timespec ts = packet->trace->format->get_timespec(packet);
1217                tv.tv_sec = ts.tv_sec;
1218                tv.tv_usec = ts.tv_nsec/1000;
1219        } else if (packet->trace->format->get_seconds) {
1220                /* seconds -> timeval */
1221                double seconds = packet->trace->format->get_seconds(packet);
1222                tv.tv_sec = (uint32_t)seconds;
1223                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1224        }
1225        else {
1226                tv.tv_sec=-1;
1227                tv.tv_usec=-1;
1228        }
1229
1230    return tv;
1231}
1232
1233DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1234        struct timespec ts;
1235
1236        if (packet->trace->format->get_timespec) {
1237                return packet->trace->format->get_timespec(packet);
1238        } else if (packet->trace->format->get_erf_timestamp) {
1239                /* timestamp -> timeval */
1240                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1241                ts.tv_sec = erfts >> 32;
1242                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1243                if (ts.tv_nsec >= 1000000000) {
1244                        ts.tv_nsec -= 1000000000;
1245                        ts.tv_sec += 1;
1246                }
1247                return ts;
1248        } else if (packet->trace->format->get_timeval) {
1249                /* timeval -> timespec */
1250                struct timeval tv = packet->trace->format->get_timeval(packet);
1251                ts.tv_sec = tv.tv_sec;
1252                ts.tv_nsec = tv.tv_usec*1000;
1253                return ts;
1254        } else if (packet->trace->format->get_seconds) {
1255                /* seconds -> timespec */
1256                double seconds = packet->trace->format->get_seconds(packet);
1257                ts.tv_sec = (uint32_t)seconds;
1258                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1259                return ts;
1260        }
1261        else {
1262                ts.tv_sec=-1;
1263                ts.tv_nsec=-1;
1264                return ts;
1265        }
1266}
1267
1268
1269/* Get the current time in floating point seconds
1270 * @param packet        a pointer to a libtrace_packet structure
1271 * @returns time that this packet was seen in 64bit floating point seconds
1272 */
1273DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1274        double seconds = 0.0;
1275
1276        if (packet->trace->format->get_seconds) {
1277                /* seconds->seconds */
1278                seconds = packet->trace->format->get_seconds(packet);
1279        } else if (packet->trace->format->get_erf_timestamp) {
1280                /* timestamp -> seconds */
1281                uint64_t ts = 0;
1282                ts = packet->trace->format->get_erf_timestamp(packet);
1283                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1284        } else if (packet->trace->format->get_timespec) {
1285                /* timespec -> seconds */
1286                struct timespec ts;
1287                ts = packet->trace->format->get_timespec(packet);
1288                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1289        } else if (packet->trace->format->get_timeval) {
1290                /* timeval -> seconds */
1291                struct timeval tv;
1292                tv = packet->trace->format->get_timeval(packet);
1293                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1294        }
1295
1296        return seconds;
1297}
1298
1299DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet)
1300{
1301        /* Cache the capture length */
1302        if (packet->capture_length == -1) {
1303                if (!packet->trace->format->get_capture_length)
1304                        return ~0U;
1305                /* Cast away constness because this is "just" a cache */
1306                ((libtrace_packet_t*)packet)->capture_length =
1307                        packet->trace->format->get_capture_length(packet);
1308        }
1309
1310        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1311
1312        return packet->capture_length;
1313}
1314
1315/* Get the size of the packet as it was seen on the wire.
1316 * @param packet        a pointer to a libtrace_packet structure
1317 *
1318 * @returns the size of the packet as it was on the wire.
1319 * @note Due to the trace being a header capture, or anonymisation this may
1320 * not be the same as the Capture Len.
1321 */
1322DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1323
1324        if (packet->wire_length == -1) {
1325                if (!packet->trace->format->get_wire_length)
1326                        return ~0U;
1327                ((libtrace_packet_t *)packet)->wire_length =
1328                        packet->trace->format->get_wire_length(packet);
1329        }
1330
1331        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1332        return packet->wire_length;
1333
1334}
1335
1336/* Get the length of the capture framing headers.
1337 * @param packet        the packet opaque pointer
1338 * @returns the size of the packet as it was on the wire.
1339 * @note this length corresponds to the difference between the size of a
1340 * captured packet in memory, and the captured length of the packet
1341 */
1342DLLEXPORT SIMPLE_FUNCTION
1343size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1344        if (packet->trace->format->get_framing_length) {
1345                return packet->trace->format->get_framing_length(packet);
1346        }
1347        return ~0U;
1348}
1349
1350
1351/* Get the type of the link layer
1352 * @param packet        a pointer to a libtrace_packet structure
1353 * @returns libtrace_linktype_t
1354 */
1355DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1356
1357        if (packet->link_type == 0) {
1358                if (!packet->trace->format->get_link_type)
1359                        return TRACE_TYPE_UNKNOWN;
1360                ((libtrace_packet_t *)packet)->link_type =
1361                        packet->trace->format->get_link_type(packet);
1362        }
1363
1364        return packet->link_type;
1365}
1366
1367/* process a libtrace event
1368 * @param trace the libtrace opaque pointer
1369 * @param packet the libtrace_packet opaque pointer
1370 * @returns
1371 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1372 *  TRACE_EVENT_SLEEP   Next event in seconds
1373 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1374 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1375 * FIXME currently keeps a copy of the packet inside the trace pointer,
1376 * which in turn is stored inside the new packet object...
1377 */
1378DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace,
1379                libtrace_packet_t *packet) {
1380        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1381
1382        if (!trace) {
1383                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1384        }
1385        assert(trace);
1386        assert(packet);
1387
1388        /* Free the last packet */
1389        trace_fin_packet(packet);
1390        /* Store the trace we are reading from into the packet opaque
1391         * structure */
1392        packet->trace = trace;
1393
1394        if (packet->trace->format->trace_event) {
1395                /* Note: incrementing accepted, filtered etc. packet
1396                 * counters is handled by the format-specific
1397                 * function so don't increment them here.
1398                 */
1399                event=packet->trace->format->trace_event(trace,packet);
1400                }
1401        return event;
1402
1403}
1404
1405/** Setup a BPF filter based on pre-compiled byte-code.
1406 * @param bf_insns      A pointer to the start of the byte-code
1407 * @param bf_len        The number of BPF instructions
1408 * @returns             an opaque pointer to a libtrace_filter_t object
1409 * @note                The supplied byte-code is not checked for correctness.
1410 * @author              Scott Raynel
1411 */
1412DLLEXPORT libtrace_filter_t *
1413trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1414{
1415#ifndef HAVE_BPF
1416        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1417        return NULL;
1418#else
1419        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1420                malloc(sizeof(struct libtrace_filter_t));
1421        filter->filter.bf_insns = (struct bpf_insn *)
1422                malloc(sizeof(struct bpf_insn) * bf_len);
1423
1424        memcpy(filter->filter.bf_insns, bf_insns,
1425                        bf_len * sizeof(struct bpf_insn));
1426
1427        filter->filter.bf_len = bf_len;
1428        filter->filterstring = NULL;
1429        filter->jitfilter = NULL;
1430        /* "flag" indicates that the filter member is valid */
1431        filter->flag = 1;
1432
1433        return filter;
1434#endif
1435}
1436
1437/* Create a BPF filter
1438 * @param filterstring a char * containing the bpf filter string
1439 * @returns opaque pointer pointer to a libtrace_filter_t object
1440 */
1441DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1442#ifdef HAVE_BPF
1443        libtrace_filter_t *filter = (libtrace_filter_t*)
1444                                malloc(sizeof(libtrace_filter_t));
1445        filter->filterstring = strdup(filterstring);
1446        filter->jitfilter = NULL;
1447        filter->flag = 0;
1448        return filter;
1449#else
1450        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1451        return NULL;
1452#endif
1453}
1454
1455DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1456{
1457#ifdef HAVE_BPF
1458        free(filter->filterstring);
1459        if (filter->flag)
1460                pcap_freecode(&filter->filter);
1461#ifdef HAVE_LLVM
1462        if (filter->jitfilter)
1463                destroy_program(filter->jitfilter);
1464#endif
1465        free(filter);
1466#else
1467
1468#endif
1469}
1470
1471/* Compile a bpf filter, now we know the link type for the trace that we're
1472 * applying it to.
1473 *
1474 * @internal
1475 *
1476 * @returns -1 on error, 0 on success
1477 */
1478static int trace_bpf_compile(libtrace_filter_t *filter,
1479                const libtrace_packet_t *packet,
1480                void *linkptr,
1481                libtrace_linktype_t linktype    ) {
1482#ifdef HAVE_BPF
1483        /* It just so happens that the underlying libs used by pthread arn't
1484         * thread safe, namely lex/flex thingys, so single threaded compile
1485         * multi threaded running should be safe.
1486         */
1487        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1488        assert(filter);
1489
1490        /* If this isn't a real packet, then fail */
1491        if (!linkptr) {
1492                trace_set_err(packet->trace,
1493                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1494                return -1;
1495        }
1496
1497        if (filter->filterstring && ! filter->flag) {
1498                pcap_t *pcap = NULL;
1499                if (linktype==(libtrace_linktype_t)-1) {
1500                        trace_set_err(packet->trace,
1501                                        TRACE_ERR_BAD_FILTER,
1502                                        "Packet has an unknown linktype");
1503                        return -1;
1504                }
1505                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1506                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1507                                        "Unknown pcap equivalent linktype");
1508                        return -1;
1509                }
1510                assert (pthread_mutex_lock(&mutex) == 0);
1511                /* Make sure not one bet us to this */
1512                if (filter->flag) {
1513                        assert (pthread_mutex_unlock(&mutex) == 0);
1514                        return 1;
1515                }
1516                pcap=(pcap_t *)pcap_open_dead(
1517                                (int)libtrace_to_pcap_dlt(linktype),
1518                                1500U);
1519                /* build filter */
1520                assert(pcap);
1521                if (pcap_compile( pcap, &filter->filter, filter->filterstring,
1522                                        1, 0)) {
1523                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1524                                        "Unable to compile the filter \"%s\": %s",
1525                                        filter->filterstring,
1526                                        pcap_geterr(pcap));
1527                        pcap_close(pcap);
1528                        assert (pthread_mutex_unlock(&mutex) == 0);
1529                        return -1;
1530                }
1531                pcap_close(pcap);
1532                filter->flag=1;
1533                assert (pthread_mutex_unlock(&mutex) == 0);
1534        }
1535        return 0;
1536#else
1537        assert(!"Internal bug: This should never be called when BPF not enabled");
1538        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1539                                "Feature unavailable");
1540        return -1;
1541#endif
1542}
1543
1544DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1545                        const libtrace_packet_t *packet) {
1546#ifdef HAVE_BPF
1547        void *linkptr = 0;
1548        uint32_t clen = 0;
1549        bool free_packet_needed = false;
1550        int ret;
1551        libtrace_linktype_t linktype;
1552        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1553#ifdef HAVE_LLVM
1554        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1555#endif
1556
1557        assert(filter);
1558        assert(packet);
1559
1560        /* Match all non-data packets as we probably want them to pass
1561         * through to the caller */
1562        linktype = trace_get_link_type(packet);
1563
1564        if (linktype == TRACE_TYPE_NONDATA || linktype == TRACE_TYPE_ERF_META)
1565                return 1;
1566
1567        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1568
1569                /* If we cannot get a suitable DLT for the packet, it may
1570                 * be because the packet is encapsulated in a link type that
1571                 * does not correspond to a DLT. Therefore, we should try
1572                 * popping off headers until we either can find a suitable
1573                 * link type or we can't do any more sensible decapsulation. */
1574
1575                /* Copy the packet, as we don't want to trash the one we
1576                 * were passed in */
1577                packet_copy=trace_copy_packet(packet);
1578                free_packet_needed=true;
1579
1580                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1581                        if (!demote_packet(packet_copy)) {
1582                                trace_set_err(packet->trace,
1583                                                TRACE_ERR_NO_CONVERSION,
1584                                                "pcap does not support this linktype so cannot apply BPF filters");
1585                                if (free_packet_needed) {
1586                                        trace_destroy_packet(packet_copy);
1587                                }
1588                                return -1;
1589                        }
1590                        linktype = trace_get_link_type(packet_copy);
1591                }
1592
1593        }
1594
1595        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1596        if (!linkptr) {
1597                if (free_packet_needed) {
1598                        trace_destroy_packet(packet_copy);
1599                }
1600                return 0;
1601        }
1602
1603        /* We need to compile the filter now, because before we didn't know
1604         * what the link type was
1605         */
1606        // Note internal mutex locking used here
1607        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1608                if (free_packet_needed) {
1609                        trace_destroy_packet(packet_copy);
1610                }
1611                return -1;
1612        }
1613
1614        /* If we're jitting, we may need to JIT the BPF code now too */
1615#if HAVE_LLVM
1616        if (!filter->jitfilter) {
1617                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1618                /* Again double check here like the bpf filter */
1619                if(!filter->jitfilter)
1620                /* Looking at compile_program source this appears to be thread safe
1621                 * however if this gets called twice we will leak this memory :(
1622                 * as such lock here anyways */
1623                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1624                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1625        }
1626#endif
1627
1628        assert(filter->flag);
1629        /* Now execute the filter */
1630#if HAVE_LLVM
1631        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1632#else
1633        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1634#endif
1635
1636        /* If we copied the packet earlier, make sure that we free it */
1637        if (free_packet_needed) {
1638                trace_destroy_packet(packet_copy);
1639        }
1640        return ret;
1641#else
1642        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1643        return 0;
1644#endif
1645}
1646
1647/* Set the direction flag, if it has one
1648 * @param packet the packet opaque pointer
1649 * @param direction the new direction (0,1,2,3)
1650 * @returns a signed value containing the direction flag, or -1 if this is not supported
1651 */
1652DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet,
1653                libtrace_direction_t direction)
1654{
1655        assert(packet);
1656        if (packet->trace->format->set_direction) {
1657                return packet->trace->format->set_direction(packet,direction);
1658        }
1659        return (libtrace_direction_t)~0U;
1660}
1661
1662/* Get the direction flag, if it has one
1663 * @param packet a pointer to a libtrace_packet structure
1664 * @returns a signed value containing the direction flag, or -1 if this is not supported
1665 * The direction is defined as 0 for packets originating locally (ie, outbound)
1666 * and 1 for packets originating remotely (ie, inbound).
1667 * Other values are possible, which might be overloaded to mean special things
1668 * for a special trace.
1669 */
1670DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet)
1671{
1672        assert(packet);
1673        if (packet->trace->format->get_direction) {
1674                return packet->trace->format->get_direction(packet);
1675        }
1676        return (libtrace_direction_t)~0U;
1677}
1678
1679#define ROOT_SERVER(x) ((x) < 512)
1680#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1681#define NONROOT_SERVER(x) ((x) >= 5000)
1682#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1683#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1684#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1685#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1686
1687/* Attempt to deduce the 'server' port
1688 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1689 * @param source the TCP or UDP source port
1690 * @param dest the TCP or UDP destination port
1691 * @returns a hint as to which port is the server port
1692 */
1693DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol,
1694                uint16_t source, uint16_t dest)
1695{
1696        /*
1697         * * If the ports are equal, return DEST
1698         * * Check for well-known ports in the given protocol
1699         * * Root server ports: 0 - 511
1700         * * Root client ports: 512 - 1023
1701         * * non-root client ports: 1024 - 4999
1702         * * non-root server ports: 5000+
1703         * * Check for static ranges: 1024 - 49151
1704         * * Check for dynamic ranges: 49152 - 65535
1705         * * flip a coin.
1706         */
1707
1708        /* equal */
1709        if (source == dest)
1710                return USE_DEST;
1711
1712        /* root server port, 0 - 511 */
1713        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1714                if (source < dest)
1715                        return USE_SOURCE;
1716                return USE_DEST;
1717        }
1718
1719        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1720                return USE_SOURCE;
1721        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1722                return USE_DEST;
1723
1724        /* non-root server */
1725        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1726                if (source < dest)
1727                        return USE_SOURCE;
1728                return USE_DEST;
1729        }
1730        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1731                return USE_SOURCE;
1732        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1733                return USE_DEST;
1734
1735        /* root client */
1736        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1737                if (source < dest)
1738                        return USE_SOURCE;
1739                return USE_DEST;
1740        }
1741        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1742                /* prefer root-client over nonroot-client */
1743                if (NONROOT_CLIENT(dest))
1744                        return USE_SOURCE;
1745                return USE_DEST;
1746        }
1747        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1748                /* prefer root-client over nonroot-client */
1749                if (NONROOT_CLIENT(source))
1750                        return USE_DEST;
1751                return USE_SOURCE;
1752        }
1753
1754        /* nonroot client */
1755        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1756                if (source < dest)
1757                        return USE_SOURCE;
1758                return USE_DEST;
1759        }
1760        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1761                return USE_DEST;
1762        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1763                return USE_SOURCE;
1764
1765        /* dynamic range */
1766        if (DYNAMIC(source) && DYNAMIC(dest)) {
1767                if (source < dest)
1768                        return USE_SOURCE;
1769                return USE_DEST;
1770        }
1771        if (DYNAMIC(source) && !DYNAMIC(dest))
1772                return USE_DEST;
1773        if (!DYNAMIC(source) && DYNAMIC(dest))
1774                return USE_SOURCE;
1775        /*
1776        if (SERVER(source) && CLIENT(dest))
1777                return USE_SOURCE;
1778
1779        if (SERVER(dest) && CLIENT(source))
1780                return USE_DEST;
1781        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1782                return USE_SOURCE;
1783        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1784                return USE_DEST;
1785        */
1786        /* failing that test... */
1787        if (source < dest) {
1788                return USE_SOURCE;
1789        }
1790        return USE_DEST;
1791
1792}
1793
1794/* Truncate the packet at the suggested length
1795 * @param packet        the packet opaque pointer
1796 * @param size          the new length of the packet
1797 * @returns the new size of the packet
1798 * @note size and the return size refer to the network-level payload of the
1799 * packet, and do not include any capture headers. For example, to truncate a
1800 * packet after the IP header, set size to sizeof(ethernet_header) +
1801 * sizeof(ip_header)
1802 * @note If the original network-level payload is smaller than size, then the
1803 * original size is returned and the packet is left unchanged.
1804 */
1805DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1806        assert(packet);
1807
1808        if (packet->trace->format->set_capture_length) {
1809                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1810                return packet->capture_length;
1811        }
1812
1813        return ~0U;
1814}
1815
1816/* Splits a URI into two components - the format component which is seen before
1817 * the ':', and the uridata which follows the ':'.
1818 *
1819 * Returns a pointer to the URI data, but updates the format parameter to
1820 * point to a copy of the format component.
1821 */
1822
1823DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1824        const char *uridata = 0;
1825
1826        if((uridata = strchr(uri,':')) == NULL) {
1827                /* Badly formed URI - needs a : */
1828                return 0;
1829        }
1830
1831        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1832                /* Badly formed URI - uri type is too long */
1833                return 0;
1834        }
1835
1836        /* NOTE: this is allocated memory - it should be freed by the caller
1837         * once they are done with it */
1838        *format=xstrndup(uri, (size_t)(uridata - uri));
1839
1840        /* Push uridata past the delimiter */
1841        uridata++;
1842
1843        return uridata;
1844}
1845
1846enum base_format_t trace_get_format(libtrace_packet_t *packet)
1847{
1848        assert(packet);
1849
1850        return packet->trace->format->type;
1851}
1852
1853DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1854{
1855        libtrace_err_t err = trace->err;
1856        trace->err.err_num = 0; /* "OK" */
1857        trace->err.problem[0]='\0';
1858        return err;
1859}
1860
1861DLLEXPORT bool trace_is_err(libtrace_t *trace)
1862{
1863        return trace->err.err_num != 0;
1864}
1865
1866/* Prints the input error status to standard error and clears the error state */
1867DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1868{
1869        char buf[256];
1870        va_list va;
1871        va_start(va,msg);
1872        vsnprintf(buf,sizeof(buf),msg,va);
1873        va_end(va);
1874        if(trace->err.err_num) {
1875                if (trace->uridata) {
1876                        fprintf(stderr,"%s(%s): %s\n",
1877                                        buf,trace->uridata,trace->err.problem);
1878                } else {
1879                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1880                }
1881        } else {
1882                if (trace->uridata) {
1883                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1884                } else {
1885                        fprintf(stderr,"%s: No error\n", buf);
1886                }
1887        }
1888        trace->err.err_num = 0; /* "OK" */
1889        trace->err.problem[0]='\0';
1890}
1891
1892DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1893{
1894        libtrace_err_t err = trace->err;
1895        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1896        trace->err.problem[0]='\0';
1897        return err;
1898}
1899
1900DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1901{
1902        return trace->err.err_num != 0;
1903}
1904
1905/* Prints the output error status to standard error and clears the error state
1906 */
1907DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1908{
1909        char buf[256];
1910        va_list va;
1911        va_start(va,msg);
1912        vsnprintf(buf,sizeof(buf),msg,va);
1913        va_end(va);
1914        if(trace->err.err_num) {
1915                fprintf(stderr,"%s(%s): %s\n",
1916                                buf,
1917                                trace->uridata?trace->uridata:"no uri",
1918                                trace->err.problem);
1919        } else {
1920                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1921        }
1922        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1923        trace->err.problem[0]='\0';
1924}
1925
1926DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1927{
1928        if (trace->format->seek_erf) {
1929                return trace->format->seek_erf(trace,ts);
1930        }
1931        else {
1932                if (trace->format->seek_timeval) {
1933                        struct timeval tv;
1934#if __BYTE_ORDER == __BIG_ENDIAN
1935                        tv.tv_sec = ts & 0xFFFFFFFF;
1936                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1937#elif __BYTE_ORDER == __LITTLE_ENDIAN
1938                        tv.tv_sec = ts >> 32;
1939                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1940#else
1941#error "What on earth are you running this on?"
1942#endif
1943                        if (tv.tv_usec >= 1000000) {
1944                                tv.tv_usec -= 1000000;
1945                                tv.tv_sec += 1;
1946                        }
1947                        return trace->format->seek_timeval(trace,tv);
1948                }
1949                if (trace->format->seek_seconds) {
1950                        double seconds =
1951                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1952                        return trace->format->seek_seconds(trace,seconds);
1953                }
1954                trace_set_err(trace,
1955                                TRACE_ERR_OPTION_UNAVAIL,
1956                                "Feature unimplemented");
1957                return -1;
1958        }
1959}
1960
1961DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1962{
1963        if (trace->format->seek_seconds) {
1964                return trace->format->seek_seconds(trace,seconds);
1965        }
1966        else {
1967                if (trace->format->seek_timeval) {
1968                        struct timeval tv;
1969                        tv.tv_sec = (uint32_t)seconds;
1970                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1971                        return trace->format->seek_timeval(trace,tv);
1972                }
1973                if (trace->format->seek_erf) {
1974                        uint64_t timestamp =
1975                                ((uint64_t)((uint32_t)seconds) << 32) + \
1976                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1977                        return trace->format->seek_erf(trace,timestamp);
1978                }
1979                trace_set_err(trace,
1980                                TRACE_ERR_OPTION_UNAVAIL,
1981                                "Feature unimplemented");
1982                return -1;
1983        }
1984}
1985
1986DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1987{
1988        if (trace->format->seek_timeval) {
1989                return trace->format->seek_timeval(trace,tv);
1990        }
1991        else {
1992                if (trace->format->seek_erf) {
1993                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1994                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1995                        return trace->format->seek_erf(trace,timestamp);
1996                }
1997                if (trace->format->seek_seconds) {
1998                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1999                        return trace->format->seek_seconds(trace,seconds);
2000                }
2001                trace_set_err(trace,
2002                                TRACE_ERR_OPTION_UNAVAIL,
2003                                "Feature unimplemented");
2004                return -1;
2005        }
2006}
2007
2008/* Converts a binary ethernet MAC address into a printable string */
2009DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
2010{
2011        static char staticbuf[18]={0,};
2012        if (!buf)
2013                buf=staticbuf;
2014        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
2015                        addr[0],addr[1],addr[2],
2016                        addr[3],addr[4],addr[5]);
2017        return buf;
2018}
2019
2020/* Converts a printable ethernet MAC address into a binary format */
2021DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
2022{
2023        uint8_t *buf2 = addr;
2024        unsigned int tmp[6];
2025        static uint8_t staticaddr[6];
2026        if (!buf2)
2027                buf2=staticaddr;
2028        sscanf(buf,"%x:%x:%x:%x:%x:%x",
2029                        &tmp[0],&tmp[1],&tmp[2],
2030                        &tmp[3],&tmp[4],&tmp[5]);
2031        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
2032        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
2033        return buf2;
2034}
2035
2036
2037/* Creates a libtrace packet from scratch using the contents of the provided
2038 * buffer as the packet payload.
2039 *
2040 * Unlike trace_prepare_packet(), the buffer should not contain any capture
2041 * format headers; instead this function will add the PCAP header to the
2042 * packet record. This also means only PCAP packets can be constructed using
2043 * this function.
2044 *
2045 */
2046DLLEXPORT
2047void trace_construct_packet(libtrace_packet_t *packet,
2048                libtrace_linktype_t linktype,
2049                const void *data,
2050                uint16_t len)
2051{
2052        size_t size;
2053        static libtrace_t *deadtrace=NULL;
2054        libtrace_pcapfile_pkt_hdr_t hdr;
2055#ifdef WIN32
2056        struct _timeb tstruct;
2057#else
2058        struct timeval tv;
2059#endif
2060
2061        /* We need a trace to attach the constructed packet to (and it needs
2062         * to be PCAP) */
2063        if (NULL == deadtrace)
2064                deadtrace=trace_create_dead("pcapfile");
2065
2066        /* Fill in the new PCAP header */
2067#ifdef WIN32
2068        _ftime(&tstruct);
2069        hdr.ts_sec=tstruct.time;
2070        hdr.ts_usec=tstruct.millitm * 1000;
2071#else
2072        gettimeofday(&tv,NULL);
2073        hdr.ts_sec=tv.tv_sec;
2074        hdr.ts_usec=tv.tv_usec;
2075#endif
2076
2077        hdr.caplen=len;
2078        hdr.wirelen=len;
2079
2080        /* Now fill in the libtrace packet itself */
2081        assert(deadtrace);
2082        packet->trace=deadtrace;
2083        size=len+sizeof(hdr);
2084        if (size < LIBTRACE_PACKET_BUFSIZE)
2085            size = LIBTRACE_PACKET_BUFSIZE;
2086        if (packet->buf_control==TRACE_CTRL_PACKET) {
2087            packet->buffer = realloc(packet->buffer, size);
2088        }
2089        else {
2090                packet->buffer = malloc(size);
2091        }
2092        packet->buf_control=TRACE_CTRL_PACKET;
2093        packet->header=packet->buffer;
2094        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2095
2096        /* Ugh, memmove - sadly necessary, also beware that we might be
2097         * moving data around within this packet, so ordering is important.
2098         */
2099        memmove(packet->payload, data, (size_t)len);
2100        memmove(packet->header, &hdr, sizeof(hdr));
2101        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2102
2103        trace_clear_cache(packet);
2104}
2105
2106
2107uint64_t trace_get_received_packets(libtrace_t *trace)
2108{
2109        assert(trace);
2110        uint64_t ret;
2111
2112        if (trace->format->get_received_packets) {
2113                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2114                        return ret;
2115        } else if (trace->format->get_statistics) {
2116                struct libtrace_stat_t stat;
2117                stat.magic = LIBTRACE_STAT_MAGIC;
2118                trace_get_statistics(trace, &stat);
2119                if (stat.received_valid)
2120                        return stat.received;
2121        }
2122
2123        // Read the cached value taken before the trace was paused/closed
2124        if(trace->stats && trace->stats->received_valid)
2125                return trace->stats->received;
2126        else
2127                return UINT64_MAX;
2128}
2129
2130uint64_t trace_get_filtered_packets(libtrace_t *trace)
2131{
2132        assert(trace);
2133        int i = 0;
2134        uint64_t lib_filtered = trace->filtered_packets;
2135        for (i = 0; i < trace->perpkt_thread_count; i++) {
2136                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2137        }
2138        if (trace->format->get_filtered_packets) {
2139                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2140                if (trace_filtered == UINT64_MAX)
2141                        return UINT64_MAX;
2142                else
2143                        return trace_filtered + lib_filtered;
2144        } else if (trace->format->get_statistics) {
2145                struct libtrace_stat_t stat;
2146                stat.magic = LIBTRACE_STAT_MAGIC;
2147                trace_get_statistics(trace, &stat);
2148                if (stat.filtered_valid)
2149                        return lib_filtered + stat.filtered;
2150                else
2151                        return UINT64_MAX;
2152        }
2153
2154        // Read the cached value taken before the trace was paused/closed
2155        if(trace->stats && trace->stats->filtered_valid)
2156                return trace->stats->filtered + lib_filtered;
2157        else
2158                return lib_filtered;
2159}
2160
2161uint64_t trace_get_dropped_packets(libtrace_t *trace)
2162{
2163        assert(trace);
2164        uint64_t ret;
2165
2166        if (trace->format->get_dropped_packets) {
2167                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2168                        return ret;
2169        } else if (trace->format->get_statistics) {
2170                struct libtrace_stat_t stat;
2171                stat.magic = LIBTRACE_STAT_MAGIC;
2172                trace_get_statistics(trace, &stat);
2173                if (stat.dropped_valid)
2174                        return stat.dropped;
2175        }
2176
2177        // Read the cached value taken before the trace was paused/closed
2178        if(trace->stats && trace->stats->dropped_valid)
2179                return trace->stats->dropped;
2180        else
2181                return UINT64_MAX;
2182}
2183
2184uint64_t trace_get_accepted_packets(libtrace_t *trace)
2185{
2186        assert(trace);
2187        int i = 0;
2188        uint64_t ret = 0;
2189        /* We always add to a thread's accepted count before dispatching the
2190         * packet to the user. However if the underlying trace is single
2191         * threaded it will also be increasing the global count. So if we
2192         * find perpkt ignore the global count.
2193         */
2194        for (i = 0; i < trace->perpkt_thread_count; i++) {
2195                ret += trace->perpkt_threads[i].accepted_packets;
2196        }
2197        return ret ? ret : trace->accepted_packets;
2198}
2199
2200libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2201{
2202        uint64_t ret = 0;
2203        int i;
2204        assert(trace);
2205        if (stat == NULL) {
2206                if (trace->stats == NULL)
2207                        trace->stats = trace_create_statistics();
2208                stat = trace->stats;
2209        }
2210        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2211               "trace_create_statistics() to allocate statistics");
2212
2213        /* If the trace has paused or finished get the cached results */
2214        if (trace->state == STATE_PAUSED ||
2215            trace->state == STATE_FINISHED ||
2216            trace->state == STATE_FINISHING ||
2217            trace->state == STATE_JOINED) {
2218                if (trace->stats && trace->stats != stat)
2219                        *stat = *trace->stats;
2220                return stat;
2221        }
2222
2223        stat->reserved1 = 0;
2224        stat->reserved2 = 0;
2225#define X(x) stat->x ##_valid = 0;
2226        LIBTRACE_STAT_FIELDS;
2227#undef X
2228        /* Both accepted and filtered are stored against in the library */
2229
2230        /* We always add to a thread's accepted count before dispatching the
2231         * packet to the user. However if the underlying trace is single
2232         * threaded it will also be increasing the global count. So if we
2233         * find perpkt ignore the global count.
2234         */
2235        for (i = 0; i < trace->perpkt_thread_count; i++) {
2236                ret += trace->perpkt_threads[i].accepted_packets;
2237        }
2238
2239        stat->accepted_valid = 1;
2240        stat->accepted = ret ? ret : trace->accepted_packets;
2241
2242        stat->filtered_valid = 1;
2243        stat->filtered = trace->filtered_packets;
2244        for (i = 0; i < trace->perpkt_thread_count; i++) {
2245                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2246        }
2247
2248        if (trace->format->get_statistics) {
2249                trace->format->get_statistics(trace, stat);
2250        }
2251        return stat;
2252}
2253
2254void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2255                                 libtrace_stat_t *stat)
2256{
2257        assert(trace && stat);
2258        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2259               "trace_create_statistics() to allocate statistics");
2260        stat->reserved1 = 0;
2261        stat->reserved2 = 0;
2262#define X(x) stat->x ##_valid= 0;
2263        LIBTRACE_STAT_FIELDS;
2264#undef X
2265        stat->accepted_valid = 1;
2266        stat->accepted = t->accepted_packets;
2267        stat->filtered_valid = 1;
2268        stat->filtered = t->filtered_packets;
2269        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2270                trace->format->get_thread_statistics(trace, t, stat);
2271        }
2272        return;
2273}
2274
2275libtrace_stat_t *trace_create_statistics(void) {
2276        libtrace_stat_t *ret;
2277        ret = malloc(sizeof(libtrace_stat_t));
2278        if (ret) {
2279                memset(ret, 0, sizeof(libtrace_stat_t));
2280                ret->magic = LIBTRACE_STAT_MAGIC;
2281        }
2282        return ret;
2283}
2284
2285void trace_clear_statistics(libtrace_stat_t *s) {
2286        memset(s, 0, sizeof(libtrace_stat_t));
2287        s->magic = LIBTRACE_STAT_MAGIC;
2288}
2289
2290void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2291                         libtrace_stat_t *c) {
2292        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2293               "trace_create_statistics() to allocate statistics");
2294        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2295               "trace_create_statistics() to allocate statistics");
2296        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2297               "trace_create_statistics() to allocate statistics");
2298
2299#define X(x) \
2300        if (a->x ##_valid && b->x ##_valid) { \
2301                c->x ##_valid = 1; \
2302                c->x = a->x - b->x; \
2303        } else {\
2304                c->x ##_valid = 0;\
2305        }
2306        LIBTRACE_STAT_FIELDS
2307#undef X
2308}
2309
2310void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2311                         libtrace_stat_t *c) {
2312        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2313               "trace_create_statistics() to allocate statistics");
2314        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2315               "trace_create_statistics() to allocate statistics");
2316        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2317               "trace_create_statistics() to allocate statistics");
2318
2319#define X(x) \
2320        if (a->x ##_valid&& b->x ##_valid) { \
2321                c->x ##_valid = 1; \
2322                c->x = a->x + b->x; \
2323        } else {\
2324                c->x ##_valid = 0;\
2325        }
2326        LIBTRACE_STAT_FIELDS
2327#undef X
2328}
2329
2330int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2331        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2332               "trace_create_statistics() to allocate statistics");
2333        if (format == NULL)
2334                format = "%s: %"PRIu64"\n";
2335#define xstr(s) str(s)
2336#define str(s) #s
2337#define X(x) \
2338        if (s->x ##_valid) { \
2339                if (fprintf(f, format, xstr(x), s->x) < 0) \
2340                        return -1; \
2341        }
2342        LIBTRACE_STAT_FIELDS
2343#undef X
2344        return 0;
2345}
2346
2347
2348void trace_clear_cache(libtrace_packet_t *packet) {
2349
2350        packet->l2_header = NULL;
2351        packet->l3_header = NULL;
2352        packet->l4_header = NULL;
2353        packet->link_type = 0;
2354        packet->l3_ethertype = 0;
2355        packet->transport_proto = 0;
2356        packet->capture_length = -1;
2357        packet->wire_length = -1;
2358        packet->payload_length = -1;
2359        packet->l2_remaining = 0;
2360        packet->l3_remaining = 0;
2361        packet->l4_remaining = 0;
2362        packet->refcount = 0;
2363
2364}
2365
2366void trace_interrupt(void) {
2367        libtrace_halt = 1;
2368}
2369
2370void register_format(struct libtrace_format_t *f) {
2371        assert(f->next==NULL); /* Can't register a format twice */
2372        f->next=formats_list;
2373        formats_list=f;
2374
2375        /* Now, verify that the format has at least the minimum functionality.
2376         *
2377         * This #if can be changed to a 1 to output warnings about inconsistent
2378         * functions being provided by format modules.  This generally is very
2379         * noisy, as almost all modules don't implement one or more functions
2380         * for various reasons.  This is very useful when checking a new
2381         * format module is sane.
2382         */
2383#if 0
2384        if (f->init_input) {
2385#define REQUIRE(x) \
2386                if (!f->x) \
2387                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2388                REQUIRE(read_packet);
2389                REQUIRE(start_input);
2390                REQUIRE(fin_input);
2391                REQUIRE(get_link_type);
2392                REQUIRE(get_capture_length);
2393                REQUIRE(get_wire_length);
2394                REQUIRE(get_framing_length);
2395                REQUIRE(trace_event);
2396                if (!f->get_erf_timestamp
2397                        && !f->get_seconds
2398                        && !f->get_timeval) {
2399                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2400"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2401                }
2402                if (f->trace_event!=trace_event_trace) {
2403                        /* Theres nothing that a trace file could optimise with
2404                         * config_input
2405                         */
2406                        REQUIRE(pause_input);
2407                        REQUIRE(config_input);
2408                        REQUIRE(get_fd);
2409                }
2410                else {
2411                        if (f->get_fd) {
2412                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2413                                                f->name);
2414                        }
2415                }
2416#undef REQUIRE
2417        }
2418        else {
2419#define REQUIRE(x) \
2420                if (f->x) \
2421                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2422                REQUIRE(read_packet);
2423                REQUIRE(start_input);
2424                REQUIRE(pause_input);
2425                REQUIRE(fin_input);
2426                REQUIRE(get_link_type);
2427                REQUIRE(get_capture_length);
2428                REQUIRE(get_wire_length);
2429                REQUIRE(get_framing_length);
2430                REQUIRE(trace_event);
2431                REQUIRE(get_seconds);
2432                REQUIRE(get_timeval);
2433                REQUIRE(get_erf_timestamp);
2434#undef REQUIRE
2435        }
2436        if (f->init_output) {
2437#define REQUIRE(x) \
2438                if (!f->x) \
2439                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2440                REQUIRE(write_packet);
2441                REQUIRE(start_output);
2442                REQUIRE(config_output);
2443                REQUIRE(fin_output);
2444#undef REQUIRE
2445        }
2446        else {
2447#define REQUIRE(x) \
2448                if (f->x) \
2449                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2450                REQUIRE(write_packet);
2451                REQUIRE(start_output);
2452                REQUIRE(config_output);
2453                REQUIRE(fin_output);
2454#undef REQUIRE
2455        }
2456#endif
2457}
2458
Note: See TracBrowser for help on using the repository browser.