source: lib/trace.c @ c862ad1

cachetimestampsdevelopringdecrementfixringperformance
Last change on this file since c862ad1 was c862ad1, checked in by Shane Alcock <salcock@…>, 3 years ago

Only replace packet->order if the format has not set it already.

This was breaking our timestamp "caching" in format_etsilive, by
replacing packet->order with an internal sequence number that is
intended for packets which do not yet have a suitable order value
assigned to them.

  • Property mode set to 100644
File size: 70.4 KB
Line 
1/*
2 *
3 * Copyright (c) 2007-2016 The University of Waikato, Hamilton, New Zealand.
4 * All rights reserved.
5 *
6 * This file is part of libtrace.
7 *
8 * This code has been developed by the University of Waikato WAND
9 * research group. For further information please see http://www.wand.net.nz/
10 *
11 * libtrace is free software; you can redistribute it and/or modify
12 * it under the terms of the GNU Lesser General Public License as published by
13 * the Free Software Foundation; either version 3 of the License, or
14 * (at your option) any later version.
15 *
16 * libtrace is distributed in the hope that it will be useful,
17 * but WITHOUT ANY WARRANTY; without even the implied warranty of
18 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 * GNU Lesser General Public License for more details.
20 *
21 * You should have received a copy of the GNU Lesser General Public License
22 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 *
24 *
25 */
26
27#define _GNU_SOURCE
28#include "common.h"
29#include "config.h"
30#include <assert.h>
31#include <errno.h>
32#include <fcntl.h>
33#include <stdio.h>
34#include <stdlib.h>
35#include <string.h>
36#include <sys/stat.h>
37#include <sys/types.h>
38#ifndef WIN32
39#include <sys/socket.h>
40#endif
41#include <stdarg.h>
42#include <sys/param.h>
43
44#ifdef HAVE_LIMITS_H
45#  include <limits.h>
46#endif
47
48#ifdef HAVE_SYS_LIMITS_H
49#  include <sys/limits.h>
50#endif
51
52#ifdef HAVE_NET_IF_ARP_H
53#  include <net/if_arp.h>
54#endif
55
56#ifdef HAVE_NET_IF_H
57#  include <net/if.h>
58#endif
59
60#ifdef HAVE_NETINET_IN_H
61#  include <netinet/in.h>
62#endif
63
64#ifdef HAVE_NET_ETHERNET_H
65#  include <net/ethernet.h>
66#endif
67
68#ifdef HAVE_NETINET_IF_ETHER_H
69#  include <netinet/if_ether.h>
70#endif
71
72#include <time.h>
73#ifdef WIN32
74#include <sys/timeb.h>
75#endif
76
77#include "libtrace.h"
78#include "libtrace_int.h"
79
80#ifdef HAVE_PCAP_BPF_H
81#  include <pcap-bpf.h>
82#else
83#  ifdef HAVE_NET_BPF_H
84#    include <net/bpf.h>
85#  endif
86#endif
87
88
89#include "libtrace_int.h"
90#include "format_helper.h"
91#include "rt_protocol.h"
92
93#include <pthread.h>
94#include <signal.h>
95
96#define MAXOPTS 1024
97
98/* This file contains much of the implementation of the libtrace API itself. */
99
100static struct libtrace_format_t *formats_list = NULL;
101
102volatile int libtrace_halt = 0;
103/* Set once pstart is called used for backwards compatibility reasons */
104int libtrace_parallel = 0;
105
106/* strncpy is not assured to copy the final \0, so we
107 * will use our own one that does
108 */
109static inline void xstrncpy(char *dest, const char *src, size_t n,
110                size_t destlen)
111{
112        size_t slen = destlen - 1;
113        if (n < slen) {
114                slen = n;
115        }
116        strncpy(dest,src,slen);
117        dest[slen]='\0';
118}
119
120static char *xstrndup(const char *src,size_t n)
121{
122        char *ret=(char*)malloc(n+1);
123        if (ret==NULL) {
124                fprintf(stderr,"Out of memory");
125                exit(EXIT_FAILURE);
126        }
127        xstrncpy(ret,src,n,n+1);
128        return ret;
129}
130
131
132/* call all the constructors if they haven't yet all been called */
133static void trace_init(void)
134{
135        struct timeval tv;
136        gettimeofday(&tv, NULL);
137        srand(tv.tv_sec);
138
139        if (!formats_list) {
140                duck_constructor();
141                erf_constructor();
142                tsh_constructor();
143                legacy_constructor();
144                atmhdr_constructor();
145                linuxring_constructor();
146                linuxnative_constructor();
147#ifdef HAVE_LIBPCAP
148                pcap_constructor();
149#endif
150                bpf_constructor();
151                pcapfile_constructor();
152                pcapng_constructor();
153                rt_constructor();
154                ndag_constructor();
155#ifdef HAVE_WANDDER
156                etsilive_constructor();
157#endif
158#ifdef HAVE_DAG
159                dag_constructor();
160#endif
161#ifdef HAVE_DPDK
162                dpdk_constructor();
163                dpdkndag_constructor();
164#endif
165        }
166}
167
168/* Prints help information for libtrace
169 *
170 * Function prints out some basic help information regarding libtrace,
171 * and then prints out the help() function registered with each input module
172 */
173DLLEXPORT void trace_help(void) {
174        struct libtrace_format_t *tmp;
175        trace_init();
176        printf("libtrace %s\n\n",PACKAGE_VERSION);
177        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
178        for(tmp=formats_list;tmp;tmp=tmp->next) {
179                if (tmp->help)
180                        tmp->help();
181        }
182}
183
184#define URI_PROTO_LINE 16U
185
186/* Try to guess which format module is appropriate for a given trace file or
187 * device */
188static void guess_format(libtrace_t *libtrace, const char *filename)
189{
190        struct libtrace_format_t *tmp;
191
192        /* Try and guess based on filename */
193        for(tmp = formats_list; tmp; tmp=tmp->next) {
194                if (tmp->probe_filename && tmp->probe_filename(filename)) {
195                        libtrace->format = tmp;
196                        libtrace->uridata = strdup(filename);
197                        return;
198                }
199        }
200
201        libtrace->io = wandio_create(filename);
202        if (!libtrace->io)
203                return;
204
205        /* Try and guess based on file magic */
206        for(tmp = formats_list; tmp; tmp=tmp->next) {
207                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
208                        libtrace->format = tmp;
209                        libtrace->uridata = strdup(filename);
210                        return;
211                }
212        }
213
214        /* No formats matched -- make sure we clean up the IO object we
215         * used to probe the file magic */
216        wandio_destroy(libtrace->io);
217        return;
218}
219
220/* Creates an input trace from a URI
221 *
222 * @params char * containing a valid libtrace URI
223 * @returns opaque pointer to a libtrace_t
224 *
225 * Some valid URI's are:
226 *  erf:/path/to/erf/file
227 *  erf:/path/to/erf/file.gz
228 *  erf:-                       (stdin)
229 *  dag:/dev/dagcard
230 *  pcapint:pcapinterface               (eg: pcapint:eth0)
231 *  pcapfile:/path/to/pcap/file
232 *  pcapfile:-
233 *  int:interface                       (eg: int:eth0) only on Linux
234 *  rt:hostname
235 *  rt:hostname:port
236 *
237 * If an error occured when attempting to open a trace, NULL is returned
238 * and an error is output to stdout.
239 */
240DLLEXPORT libtrace_t *trace_create(const char *uri) {
241        libtrace_t *libtrace =
242                        (libtrace_t *)malloc(sizeof(libtrace_t));
243        char *scan = 0;
244        const char *uridata = 0;
245
246        trace_init();
247
248        assert(uri && "Passing NULL to trace_create makes me a very sad program");
249
250        if (!libtrace) {
251                /* Out of memory */
252                return NULL;
253        }
254
255        libtrace->err.err_num = TRACE_ERR_NOERROR;
256        libtrace->format=NULL;
257
258        libtrace->event.packet = NULL;
259        libtrace->event.psize = 0;
260        libtrace->event.first_ts = 0.0;
261        libtrace->event.first_now = 0.0;
262        libtrace->event.waiting = false;
263        libtrace->filter = NULL;
264        libtrace->snaplen = 0;
265        libtrace->replayspeedup = 1;
266        libtrace->started=false;
267        libtrace->uridata = NULL;
268        libtrace->io = NULL;
269        libtrace->filtered_packets = 0;
270        libtrace->accepted_packets = 0;
271        libtrace->last_packet = NULL;
272       
273        /* Parallel inits */
274        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
275        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
276        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
277        libtrace->state = STATE_NEW;
278        libtrace->perpkt_queue_full = false;
279        libtrace->global_blob = NULL;
280        libtrace->hasher = NULL;
281        libtrace->hasher_data = NULL;
282        libtrace->hasher_owner = HASH_OWNED_EXTERNAL;
283        libtrace_zero_ocache(&libtrace->packet_freelist);
284        libtrace_zero_thread(&libtrace->hasher_thread);
285        libtrace_zero_thread(&libtrace->reporter_thread);
286        libtrace_zero_thread(&libtrace->keepalive_thread);
287        libtrace->reporter_thread.type = THREAD_EMPTY;
288        libtrace->perpkt_thread_count = 0;
289        libtrace->perpkt_threads = NULL;
290        libtrace->tracetime = 0;
291        libtrace->first_packets.first = 0;
292        libtrace->first_packets.count = 0;
293        libtrace->first_packets.packets = NULL;
294        libtrace->stats = NULL;
295        libtrace->pread = NULL;
296        libtrace->sequence_number = 0;
297        ZERO_USER_CONFIG(libtrace->config);
298        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
299        libtrace->perpkt_cbs = NULL;
300        libtrace->reporter_cbs = NULL;
301
302        /* Parse the URI to determine what sort of trace we are dealing with */
303        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
304                /* Could not parse the URI nicely */
305                guess_format(libtrace,uri);
306                if (!libtrace->format) {
307                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
308                        return libtrace;
309                }
310        }
311        else {
312                struct libtrace_format_t *tmp;
313
314                /* Find a format that matches the first part of the URI */
315                for (tmp=formats_list;tmp;tmp=tmp->next) {
316                        if (strlen(scan) == strlen(tmp->name) &&
317                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
318                                        ) {
319                                libtrace->format=tmp;
320                                break;
321                        }
322                }
323
324                if (libtrace->format == 0) {
325                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
326                                        "Unknown format (%s)",scan);
327                        return libtrace;
328                }
329
330                libtrace->uridata = strdup(uridata);
331        }
332        /* libtrace->format now contains the type of uri
333         * libtrace->uridata contains the appropriate data for this
334         */
335
336        /* Call the init_input function for the matching capture format */
337        if (libtrace->format->init_input) {
338                int err=libtrace->format->init_input(libtrace);
339                assert (err==-1 || err==0);
340                if (err==-1) {
341                        /* init_input should call trace_set_err to set the
342                         * error message
343                         */
344                        return libtrace;
345                }
346        } else {
347                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
348                                "Format does not support input (%s)",scan);
349                return libtrace;
350        }
351
352        if (scan)
353                free(scan);
354        libtrace->err.err_num=TRACE_ERR_NOERROR;
355        libtrace->err.problem[0]='\0';
356        return libtrace;
357}
358
359/* Creates a "dummy" trace file that has only the format type set.
360 *
361 * @returns opaque pointer to a (sparsely initialised) libtrace_t
362 *
363 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
364 * with the dummy trace. Its intended purpose is to act as a packet->trace for
365 * libtrace_packet_t's that are not associated with a libtrace_t structure.
366 */
367DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
368        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
369        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
370        char *uridata;
371        struct libtrace_format_t *tmp;
372
373        trace_init();
374
375        libtrace->err.err_num = TRACE_ERR_NOERROR;
376
377        if((uridata = strchr(uri,':')) == NULL) {
378                xstrncpy(scan, uri, strlen(uri), URI_PROTO_LINE);
379        } else {
380                xstrncpy(scan,uri, (size_t)(uridata - uri), URI_PROTO_LINE);
381        }
382
383        libtrace->err.err_num = TRACE_ERR_NOERROR;
384        libtrace->format=NULL;
385
386        libtrace->event.packet = NULL;
387        libtrace->event.psize = 0;
388        libtrace->event.first_ts = 0;
389        libtrace->event.first_now = 0;
390        libtrace->filter = NULL;
391        libtrace->snaplen = 0;
392        libtrace->started=false;
393        libtrace->uridata = NULL;
394        libtrace->io = NULL;
395        libtrace->filtered_packets = 0;
396        libtrace->accepted_packets = 0;
397        libtrace->last_packet = NULL;
398       
399        /* Parallel inits */
400        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
401        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
402        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
403        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
404        libtrace->perpkt_queue_full = false;
405        libtrace->global_blob = NULL;
406        libtrace->hasher = NULL;
407        libtrace_zero_ocache(&libtrace->packet_freelist);
408        libtrace_zero_thread(&libtrace->hasher_thread);
409        libtrace_zero_thread(&libtrace->reporter_thread);
410        libtrace_zero_thread(&libtrace->keepalive_thread);
411        libtrace->reporter_thread.type = THREAD_EMPTY;
412        libtrace->perpkt_thread_count = 0;
413        libtrace->perpkt_threads = NULL;
414        libtrace->tracetime = 0;
415        libtrace->stats = NULL;
416        libtrace->pread = NULL;
417        libtrace->sequence_number = 0;
418        ZERO_USER_CONFIG(libtrace->config);
419        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
420        libtrace->perpkt_cbs = NULL;
421        libtrace->reporter_cbs = NULL;
422        for(tmp=formats_list;tmp;tmp=tmp->next) {
423                if (strlen(scan) == strlen(tmp->name) &&
424                                !strncasecmp(scan,
425                                        tmp->name,
426                                        strlen(scan))) {
427                                libtrace->format=tmp;
428                                break;
429                                }
430        }
431        if (libtrace->format == 0) {
432                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
433                                "Unknown format (%s)",scan);
434        }
435
436        libtrace->format_data = NULL;
437        free(scan);
438        return libtrace;
439
440}
441
442/* Creates an output trace from a URI.
443 *
444 * @param uri   the uri string describing the output format and destination
445 * @returns opaque pointer to a libtrace_output_t
446 *
447 *  If an error occured when attempting to open the output trace, NULL is
448 *  returned and trace_errno is set.
449 */
450
451DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
452        libtrace_out_t *libtrace =
453                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
454
455        char *scan = 0;
456        const char *uridata = 0;
457        struct libtrace_format_t *tmp;
458
459        trace_init();
460
461        libtrace->err.err_num = TRACE_ERR_NOERROR;
462        strcpy(libtrace->err.problem,"Error message set\n");
463        libtrace->format = NULL;
464        libtrace->uridata = NULL;
465
466        /* Parse the URI to determine what capture format we want to write */
467
468        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
469                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
470                                "Bad uri format (%s)",uri);
471                return libtrace;
472        }
473
474        /* Attempt to find the format in the list of supported formats */
475        for(tmp=formats_list;tmp;tmp=tmp->next) {
476                if (strlen(scan) == strlen(tmp->name) &&
477                                !strncasecmp(scan,
478                                        tmp->name,
479                                        strlen(scan))) {
480                                libtrace->format=tmp;
481                                break;
482                                }
483        }
484        free(scan);
485
486        if (libtrace->format == NULL) {
487                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
488                                "Unknown output format (%s)",scan);
489                return libtrace;
490        }
491        libtrace->uridata = strdup(uridata);
492
493        /* libtrace->format now contains the type of uri
494         * libtrace->uridata contains the appropriate data for this
495         */
496
497        if (libtrace->format->init_output) {
498                /* 0 on success, -1 on failure */
499                switch(libtrace->format->init_output(libtrace)) {
500                        case -1: /* failure */
501                                return libtrace;
502                        case 0: /* success */
503                                break;
504                        default:
505                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
506                }
507        } else {
508                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
509                                "Format does not support writing (%s)",scan);
510                return libtrace;
511        }
512
513
514        libtrace->started=false;
515        return libtrace;
516}
517
518/* Start an input trace
519 * @param libtrace      the input trace to start
520 * @returns 0 on success
521 *
522 * This does the work associated with actually starting up
523 * the trace.  it may fail.
524 */
525DLLEXPORT int trace_start(libtrace_t *libtrace)
526{
527        assert(libtrace);
528        if (trace_is_err(libtrace))
529                return -1;
530        if (libtrace->format->start_input) {
531                int ret=libtrace->format->start_input(libtrace);
532                if (ret < 0) {
533                        return ret;
534                }
535        }
536
537        libtrace->started=true;
538        return 0;
539}
540
541/* Start an output trace */
542DLLEXPORT int trace_start_output(libtrace_out_t *libtrace)
543{
544        assert(libtrace);
545        if (libtrace->format->start_output) {
546                int ret=libtrace->format->start_output(libtrace);
547                if (ret < 0) {
548                        return ret;
549                }
550        }
551
552        libtrace->started=true;
553        return 0;
554}
555
556DLLEXPORT int trace_pause(libtrace_t *libtrace)
557{
558        assert(libtrace);
559        if (!libtrace->started) {
560                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
561                return -1;
562        }
563
564        /* Finish the last packet we read - for backwards compatibility */
565        if (!libtrace_parallel && libtrace->last_packet)
566                trace_fin_packet(libtrace->last_packet);
567        assert(libtrace->last_packet == NULL);
568
569        if (libtrace->format->pause_input)
570                libtrace->format->pause_input(libtrace);
571
572        libtrace->started=false;
573        return 0;
574}
575
576DLLEXPORT int trace_config(libtrace_t *libtrace,
577                trace_option_t option,
578                void *value)
579{
580        int ret;
581
582        if (trace_is_err(libtrace)) {
583                return -1;
584        }
585
586        if (option == TRACE_OPTION_HASHER)
587                return trace_set_hasher(libtrace,
588                                        (enum hasher_types) *((int *) value),
589                                        NULL, NULL);
590
591        /* If the capture format supports configuration, try using their
592         * native configuration first */
593        if (libtrace->format->config_input) {
594                ret=libtrace->format->config_input(libtrace,option,value);
595                if (ret==0)
596                        return 0;
597        }
598
599        /* If we get here, either the native configuration failed or the
600         * format did not support configuration. However, libtrace can
601         * deal with some options itself, so give that a go */
602        switch(option) {
603                case TRACE_OPTION_REPLAY_SPEEDUP:
604                        /* Clear the error if there was one */
605                        if (trace_is_err(libtrace)) {
606                                trace_get_err(libtrace);
607                        }
608                        if (*(int*)value<1
609                                || *(int*)value>LIBTRACE_MAX_REPLAY_SPEEDUP) {
610                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
611                                        "Invalid replay speed");
612                        }
613                        libtrace->replayspeedup=*(int*)value;
614                        return 0;
615
616                case TRACE_OPTION_SNAPLEN:
617                        /* Clear the error if there was one */
618                        if (trace_is_err(libtrace)) {
619                                trace_get_err(libtrace);
620                        }
621                        if (*(int*)value<0
622                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
623                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
624                                        "Invalid snap length");
625                        }
626                        libtrace->snaplen=*(int*)value;
627                        return 0;
628                case TRACE_OPTION_FILTER:
629                        /* Clear the error if there was one */
630                        if (trace_is_err(libtrace)) {
631                                trace_get_err(libtrace);
632                        }
633                        libtrace->filter=(libtrace_filter_t *)value;
634                        return 0;
635                case TRACE_OPTION_PROMISC:
636                        if (!trace_is_err(libtrace)) {
637                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
638                                                "Promisc mode is not supported by this format module");
639                        }
640                        return -1;
641                case TRACE_OPTION_META_FREQ:
642                        if (!trace_is_err(libtrace)) {
643                                trace_set_err(libtrace,
644                                                TRACE_ERR_OPTION_UNAVAIL,
645                                                "This format does not support meta-data gathering");
646                        }
647                        return -1;
648                case TRACE_OPTION_EVENT_REALTIME:
649                        if (!trace_is_err(libtrace)) {
650                                trace_set_err(libtrace,
651                                                TRACE_ERR_OPTION_UNAVAIL,
652                                                "This format does not support realtime events");
653                        }
654                        return -1;
655                case TRACE_OPTION_HASHER:
656                        /* Dealt with earlier */
657                        return -1;
658
659        }
660        if (!trace_is_err(libtrace)) {
661                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
662                        "Unknown option %i", option);
663        }
664        return -1;
665}
666
667DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
668        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
669}
670
671DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
672        int tmp = promisc;
673        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
674}
675
676DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
677        return trace_config(trace, TRACE_OPTION_FILTER, filter);
678}
679
680DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
681        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
682}
683
684DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
685        int tmp = realtime;
686        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
687}
688
689DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
690                trace_option_output_t option,
691                void *value) {
692
693        /* Unlike the input options, libtrace does not natively support any of
694         * the output options - the format module must be able to deal with
695         * them. */
696        if (libtrace->format->config_output) {
697                return libtrace->format->config_output(libtrace, option, value);
698        }
699        return -1;
700}
701
702/* Close an input trace file, freeing up any resources it may have been using
703 *
704 */
705DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
706        int i;
707        assert(libtrace);
708
709        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
710        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
711        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
712
713        /* destroy any packets that are still around */
714        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
715                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
716                        if(libtrace->first_packets.packets[i].packet) {
717                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
718                        }
719                }
720                free(libtrace->first_packets.packets);
721                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
722        }
723
724        /* Finish any the last packet we read - for backwards compatibility */
725        if (!libtrace_parallel && libtrace->last_packet) {
726                trace_fin_packet(libtrace->last_packet);
727        }
728        assert(libtrace->last_packet == NULL);
729
730        if (libtrace->format) {
731                if (libtrace->started && libtrace->format->pause_input)
732                        libtrace->format->pause_input(libtrace);
733                if (libtrace->format->fin_input)
734                        libtrace->format->fin_input(libtrace);
735        }
736        /* Need to free things! */
737        if (libtrace->uridata)
738                free(libtrace->uridata);
739
740        if (libtrace->stats)
741                free(libtrace->stats);
742       
743        /* Empty any packet memory */
744        if (libtrace->state != STATE_NEW) {
745                // This has all of our packets
746                libtrace_ocache_destroy(&libtrace->packet_freelist);
747                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
748                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
749                }
750                if (libtrace->hasher_thread.type == THREAD_HASHER)
751                        libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
752                if (libtrace->keepalive_thread.type == THREAD_KEEPALIVE)
753                        libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
754                if (libtrace->reporter_thread.type == THREAD_REPORTER)
755                        libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
756
757
758                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
759                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
760                free(libtrace->perpkt_threads);
761                libtrace->perpkt_threads = NULL;
762                libtrace->perpkt_thread_count = 0;
763
764        }
765
766        if (libtrace->hasher_owner == HASH_OWNED_LIBTRACE) {
767                if (libtrace->hasher_data) {
768                        free(libtrace->hasher_data);
769                }
770        }
771
772
773        if (libtrace->perpkt_cbs)
774                trace_destroy_callback_set(libtrace->perpkt_cbs);
775        if (libtrace->reporter_cbs)
776                trace_destroy_callback_set(libtrace->reporter_cbs);
777
778        if (libtrace->event.packet) {
779                /* Don't use trace_destroy_packet here - there is almost
780                 * certainly going to be another libtrace_packet_t that is
781                 * pointing to the buffer for this packet, so we don't want
782                 * to free it. Rather, it will get freed when the user calls
783                 * trace_destroy_packet on the libtrace_packet_t that they
784                 * own.
785                 *
786                 * All we need to do then is free our packet structure itself.
787                 */
788                 free(libtrace->event.packet);
789        }
790
791        free(libtrace);
792}
793
794
795DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
796        assert(libtrace);
797
798        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
799        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
800        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
801
802        /* Don't call pause_input or fin_input, because we should never have
803         * used this trace to do any reading anyway. Do make sure we free
804         * any format_data that has been created, though. */
805        if (libtrace->format_data)
806                free(libtrace->format_data);
807        free(libtrace);
808}
809/* Close an output trace file, freeing up any resources it may have been using
810 *
811 * @param libtrace      the output trace file to be destroyed
812 */
813DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace)
814{
815        assert(libtrace);
816        if (libtrace->format && libtrace->format->fin_output)
817                libtrace->format->fin_output(libtrace);
818        if (libtrace->uridata)
819                free(libtrace->uridata);
820        free(libtrace);
821}
822
823DLLEXPORT int trace_flush_output(libtrace_out_t *libtrace) {
824        if (!libtrace) {
825                return -1;
826        }
827        if (libtrace->format && libtrace->format->flush_output) {
828                return libtrace->format->flush_output(libtrace);
829        }
830        return 0;
831}
832
833DLLEXPORT libtrace_packet_t *trace_create_packet(void)
834{
835        libtrace_packet_t *packet =
836                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
837
838        if (packet == NULL)
839                return NULL;
840
841        packet->buf_control=TRACE_CTRL_PACKET;
842        pthread_mutex_init(&(packet->ref_lock), NULL);
843        trace_clear_cache(packet);
844        return packet;
845}
846
847DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
848        libtrace_packet_t *dest = 
849                (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
850        if (!dest) {
851                printf("Out of memory constructing packet\n");
852                abort();
853        }
854        dest->trace=packet->trace;
855        dest->buffer=malloc(65536);
856        if (!dest->buffer) {
857                printf("Out of memory allocating buffer memory\n");
858                abort();
859        }
860        dest->header=dest->buffer;
861        dest->payload=(void*)
862                ((char*)dest->buffer+trace_get_framing_length(packet));
863        dest->type=packet->type;
864        dest->buf_control=TRACE_CTRL_PACKET;
865        dest->order = packet->order;
866        dest->hash = packet->hash;
867        dest->error = packet->error;
868        /* Reset the cache - better to recalculate than try to convert
869         * the values over to the new packet */
870        trace_clear_cache(dest);
871        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
872         * as much as possible */
873        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
874        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
875
876        return dest;
877}
878
879/** Destroy a packet object
880 */
881DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
882        /* Free any resources possibly associated with the packet */
883        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
884                packet->trace->format->fin_packet(packet);
885        }
886        if (!libtrace_parallel && packet->trace &&
887             packet->trace->last_packet == packet) {
888                packet->trace->last_packet = NULL;
889        }
890       
891        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
892                free(packet->buffer);
893        }
894        pthread_mutex_destroy(&(packet->ref_lock));
895        packet->buf_control=(buf_control_t)'\0';
896                                /* A "bad" value to force an assert
897                                 * if this packet is ever reused
898                                 */
899        free(packet);
900}
901
902/**
903 * Removes any possible data stored againt the trace and releases any data.
904 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
905 * use trace_destroy_packet() for those diabolical purposes.
906 */
907void trace_fin_packet(libtrace_packet_t *packet) {
908        if (packet)
909        {
910                if (packet->trace && packet->trace->format->fin_packet) {
911                        packet->trace->format->fin_packet(packet);
912                }
913
914                if (packet->srcbucket && packet->internalid != 0) {
915                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
916                        libtrace_release_bucket_id(b, packet->internalid);
917                }
918
919                if (packet->trace) {
920                        if (!libtrace_parallel && packet->trace->last_packet == packet)
921                                packet->trace->last_packet = NULL;
922                }
923
924                // No matter what we remove the header and link pointers
925                packet->trace = NULL;
926                packet->header = NULL;
927                packet->payload = NULL;
928
929                if (packet->buf_control != TRACE_CTRL_PACKET)
930                {
931                        packet->buffer = NULL;
932                }
933
934                trace_clear_cache(packet);
935                packet->hash = 0;
936                packet->order = 0;
937                packet->srcbucket = NULL;
938        }
939}
940
941/* Read one packet from the trace into buffer. Note that this function will
942 * block until a packet is read (or EOF is reached).
943 *
944 * @param libtrace      the libtrace opaque pointer
945 * @param packet        the packet opaque pointer
946 * @returns 0 on EOF, negative value on error
947 *
948 */
949DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
950
951        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
952        if (trace_is_err(libtrace))
953                return -1;
954        if (!libtrace->started) {
955                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
956                return -1;
957        }
958        if (!(packet->buf_control==TRACE_CTRL_PACKET
959                    || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
960                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
961                return -1;
962        }
963        assert(packet);
964
965        if (libtrace->format->read_packet) {
966                /* Finalise the packet, freeing any resources the format module
967                 * may have allocated it and zeroing all data associated with it.
968                 */
969                if (packet->trace == libtrace) {
970                        trace_fin_packet(packet);
971                }
972                do {
973                        size_t ret;
974                        int filtret;
975                        if ((ret=is_halted(libtrace)) != (size_t)-1)
976                                return ret;
977                        /* Store the trace we are reading from into the packet opaque
978                         * structure */
979                        packet->trace = libtrace;
980                        ret=libtrace->format->read_packet(libtrace,packet);
981                        if (ret==(size_t)READ_MESSAGE ||
982                            ret==(size_t)-1 || ret==0) {
983                                packet->trace = NULL;
984                                return ret;
985                        }
986                        if (libtrace->filter) {
987                                /* If the filter doesn't match, read another
988                                 * packet
989                                 */
990                                filtret = trace_apply_filter(libtrace->filter, packet);
991                                if (filtret == -1) {
992                                        /* Error compiling filter, probably */
993                                        return ~0U;
994                                }
995
996                                if (filtret == 0) {
997                                        ++libtrace->filtered_packets;
998                                        trace_fin_packet(packet);
999                                        continue;
1000                                }
1001                        }
1002                        if (libtrace->snaplen>0) {
1003                                /* Snap the packet */
1004                                trace_set_capture_length(packet,
1005                                                libtrace->snaplen);
1006                        }
1007                        if (!IS_LIBTRACE_META_PACKET(packet)) {
1008                                ++libtrace->accepted_packets;
1009                        }
1010                        if (packet->order == 0) {
1011                                trace_packet_set_order(packet, libtrace->sequence_number);
1012                        }
1013                        ++libtrace->sequence_number;
1014                        if (!libtrace_parallel && packet->trace == libtrace)
1015                                libtrace->last_packet = packet;
1016
1017                        return ret;
1018                } while(1);
1019        }
1020        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
1021        return ~0U;
1022}
1023
1024/* Converts the provided buffer into a libtrace packet of the given type.
1025 *
1026 * Unlike trace_construct_packet, the buffer is expected to begin with the
1027 * appropriate capture format header for the format type that the packet is
1028 * being converted to. This also allows for a packet to be converted into
1029 * just about capture format that is supported by libtrace, provided the
1030 * format header is present in the buffer.
1031 *
1032 * This function is primarily used to convert packets received via the RT
1033 * protocol back into their original capture format. The RT header encapsulates
1034 * the original capture format header, so after removing it the packet must
1035 * have it's header and payload pointers updated and the packet format and type
1036 * changed, amongst other things.
1037 *
1038 * Intended only for internal use at this point - this function is not
1039 * available through the external libtrace API.
1040 */
1041int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
1042                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
1043
1044        assert(packet);
1045        assert(trace);
1046
1047        /* XXX Proper error handling?? */
1048        if (buffer == NULL)
1049                return -1;
1050
1051        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
1052                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
1053                return -1;
1054        }
1055
1056        packet->trace = trace;
1057        if (!libtrace_parallel)
1058                trace->last_packet = packet;
1059        /* Clear packet cache */
1060        trace_clear_cache(packet);
1061
1062        if (trace->format->prepare_packet) {
1063                return trace->format->prepare_packet(trace, packet,
1064                                buffer, rt_type, flags);
1065        }
1066        trace_set_err(trace, TRACE_ERR_UNSUPPORTED,
1067                        "This format does not support preparing packets\n");
1068        return -1;
1069
1070}
1071
1072/* Writes a packet to the specified output trace
1073 *
1074 * @param libtrace      describes the output format, destination, etc.
1075 * @param packet        the packet to be written out
1076 * @returns the number of bytes written, -1 if write failed
1077 */
1078DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1079        assert(libtrace);
1080        assert(packet);
1081        /* Verify the packet is valid */
1082        if (!libtrace->started) {
1083                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1084                        "Trace is not started before trace_write_packet");
1085                return -1;
1086        }
1087
1088        /* Don't try to convert meta-packets across formats */
1089        if (strcmp(libtrace->format->name, packet->trace->format->name) != 0 &&
1090                        IS_LIBTRACE_META_PACKET(packet)) {
1091                return 0;
1092        }
1093
1094        if (libtrace->format->write_packet) {
1095                return libtrace->format->write_packet(libtrace, packet);
1096        }
1097        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1098                "This format does not support writing packets");
1099        return -1;
1100}
1101
1102/* Get a pointer to the first byte of the packet payload */
1103DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1104                libtrace_linktype_t *linktype, uint32_t *remaining) {
1105        int cap_len;
1106        int wire_len;
1107
1108        assert(packet != NULL);
1109        if (linktype) *linktype = trace_get_link_type(packet);
1110        if (remaining) {
1111                /* I think we should choose the minimum of the capture and
1112                 * wire lengths to be the "remaining" value. If the packet has
1113                 * been padded to increase the capture length, we don't want
1114                 * to allow subsequent protocol decoders to consider the
1115                 * padding as part of the packet.
1116                 *
1117                 * For example, in Auck 4 there is a trace where the IP header
1118                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1119                 * header. Total IP length is 40 bytes. As a result, the
1120                 * legacyatm padding gets treated as the "missing" bytes of
1121                 * the TCP header, which isn't the greatest. We're probably
1122                 * better off returning an incomplete TCP header in that case.
1123                 */
1124
1125                cap_len = trace_get_capture_length(packet);
1126                wire_len = trace_get_wire_length(packet);
1127
1128                assert(cap_len >= 0);
1129
1130                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1131                 * massively negative wire lens. We could assert fail here on
1132                 * them, but we could at least try the capture length instead.
1133                 *
1134                 * You may still run into problems if you try to write that
1135                 * packet, but at least reading should work OK.
1136                 */
1137                if (wire_len < 0)
1138                        *remaining = cap_len;
1139                else if (wire_len < cap_len)
1140                        *remaining = wire_len;
1141                else
1142                        *remaining = cap_len;
1143                /* *remaining = trace_get_capture_length(packet); */
1144        }
1145        return (void *) packet->payload;
1146}
1147
1148
1149/* Get a pointer to the first byte of the packet payload
1150 *
1151 * DEPRECATED - use trace_get_packet_buffer() instead */
1152DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1153        return (void *)packet->payload;
1154}
1155
1156/* Get the current time in DAG time format
1157 * @param packet        a pointer to a libtrace_packet structure
1158 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1159 * past 1970-01-01, the lower 32bits are partial seconds)
1160 */
1161DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1162        if (packet->trace->format->get_erf_timestamp) {
1163                /* timestamp -> timestamp */
1164                return packet->trace->format->get_erf_timestamp(packet);
1165        } else if (packet->trace->format->get_timespec) {
1166                /* timespec -> timestamp */
1167                struct timespec ts;
1168                ts = packet->trace->format->get_timespec(packet);
1169                return ((((uint64_t)ts.tv_sec) << 32) +
1170                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1171        } else if (packet->trace->format->get_timeval) {
1172                /* timeval -> timestamp */
1173                struct timeval tv;
1174                tv = packet->trace->format->get_timeval(packet);
1175                return ((((uint64_t)tv.tv_sec) << 32) +
1176                                (((uint64_t)tv.tv_usec << 32)/1000000));
1177        } else if (packet->trace->format->get_seconds) {
1178                /* seconds -> timestamp */
1179                double seconds = packet->trace->format->get_seconds(packet);
1180                return (((uint64_t)seconds)<<32)
1181                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1182        }
1183        else {
1184                return (uint64_t)0;
1185        }
1186}
1187
1188/* Get the current time in struct timeval
1189 * @param packet        a pointer to a libtrace_packet structure
1190 *
1191 * @returns time that this packet was seen in a struct timeval
1192 * @author Daniel Lawson
1193 * @author Perry Lorier
1194 */
1195DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1196        struct timeval tv;
1197        uint64_t ts = 0;
1198        if (packet->trace->format->get_timeval) {
1199                /* timeval -> timeval */
1200                tv = packet->trace->format->get_timeval(packet);
1201        } else if (packet->trace->format->get_erf_timestamp) {
1202                /* timestamp -> timeval */
1203                ts = packet->trace->format->get_erf_timestamp(packet);
1204                tv.tv_sec = ts >> 32;
1205                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1206                if (tv.tv_usec >= 1000000) {
1207                        tv.tv_usec -= 1000000;
1208                        tv.tv_sec += 1;
1209                }
1210        } else if (packet->trace->format->get_timespec) {
1211                struct timespec ts = packet->trace->format->get_timespec(packet);
1212                tv.tv_sec = ts.tv_sec;
1213                tv.tv_usec = ts.tv_nsec/1000;
1214        } else if (packet->trace->format->get_seconds) {
1215                /* seconds -> timeval */
1216                double seconds = packet->trace->format->get_seconds(packet);
1217                tv.tv_sec = (uint32_t)seconds;
1218                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1219        }
1220        else {
1221                tv.tv_sec=-1;
1222                tv.tv_usec=-1;
1223        }
1224
1225    return tv;
1226}
1227
1228DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1229        struct timespec ts;
1230
1231        if (packet->trace->format->get_timespec) {
1232                return packet->trace->format->get_timespec(packet);
1233        } else if (packet->trace->format->get_erf_timestamp) {
1234                /* timestamp -> timeval */
1235                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1236                ts.tv_sec = erfts >> 32;
1237                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1238                if (ts.tv_nsec >= 1000000000) {
1239                        ts.tv_nsec -= 1000000000;
1240                        ts.tv_sec += 1;
1241                }
1242                return ts;
1243        } else if (packet->trace->format->get_timeval) {
1244                /* timeval -> timespec */
1245                struct timeval tv = packet->trace->format->get_timeval(packet);
1246                ts.tv_sec = tv.tv_sec;
1247                ts.tv_nsec = tv.tv_usec*1000;
1248                return ts;
1249        } else if (packet->trace->format->get_seconds) {
1250                /* seconds -> timespec */
1251                double seconds = packet->trace->format->get_seconds(packet);
1252                ts.tv_sec = (uint32_t)seconds;
1253                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1254                return ts;
1255        }
1256        else {
1257                ts.tv_sec=-1;
1258                ts.tv_nsec=-1;
1259                return ts;
1260        }
1261}
1262
1263
1264/* Get the current time in floating point seconds
1265 * @param packet        a pointer to a libtrace_packet structure
1266 * @returns time that this packet was seen in 64bit floating point seconds
1267 */
1268DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1269        double seconds = 0.0;
1270
1271        if (packet->trace->format->get_seconds) {
1272                /* seconds->seconds */
1273                seconds = packet->trace->format->get_seconds(packet);
1274        } else if (packet->trace->format->get_erf_timestamp) {
1275                /* timestamp -> seconds */
1276                uint64_t ts = 0;
1277                ts = packet->trace->format->get_erf_timestamp(packet);
1278                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1279        } else if (packet->trace->format->get_timespec) {
1280                /* timespec -> seconds */
1281                struct timespec ts;
1282                ts = packet->trace->format->get_timespec(packet);
1283                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1284        } else if (packet->trace->format->get_timeval) {
1285                /* timeval -> seconds */
1286                struct timeval tv;
1287                tv = packet->trace->format->get_timeval(packet);
1288                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1289        }
1290
1291        return seconds;
1292}
1293
1294DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet)
1295{
1296        /* Cache the capture length */
1297        if (packet->capture_length == -1) {
1298                if (!packet->trace->format->get_capture_length)
1299                        return ~0U;
1300                /* Cast away constness because this is "just" a cache */
1301                ((libtrace_packet_t*)packet)->capture_length =
1302                        packet->trace->format->get_capture_length(packet);
1303        }
1304
1305        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1306
1307        return packet->capture_length;
1308}
1309
1310/* Get the size of the packet as it was seen on the wire.
1311 * @param packet        a pointer to a libtrace_packet structure
1312 *
1313 * @returns the size of the packet as it was on the wire.
1314 * @note Due to the trace being a header capture, or anonymisation this may
1315 * not be the same as the Capture Len.
1316 */
1317DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1318
1319        if (packet->wire_length == -1) {
1320                if (!packet->trace->format->get_wire_length)
1321                        return ~0U;
1322                ((libtrace_packet_t *)packet)->wire_length =
1323                        packet->trace->format->get_wire_length(packet);
1324        }
1325
1326        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1327        return packet->wire_length;
1328
1329}
1330
1331/* Get the length of the capture framing headers.
1332 * @param packet        the packet opaque pointer
1333 * @returns the size of the packet as it was on the wire.
1334 * @note this length corresponds to the difference between the size of a
1335 * captured packet in memory, and the captured length of the packet
1336 */
1337DLLEXPORT SIMPLE_FUNCTION
1338size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1339        if (packet->trace->format->get_framing_length) {
1340                return packet->trace->format->get_framing_length(packet);
1341        }
1342        return ~0U;
1343}
1344
1345
1346/* Get the type of the link layer
1347 * @param packet        a pointer to a libtrace_packet structure
1348 * @returns libtrace_linktype_t
1349 */
1350DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1351
1352        if (packet->link_type == 0) {
1353                if (!packet->trace->format->get_link_type)
1354                        return TRACE_TYPE_UNKNOWN;
1355                ((libtrace_packet_t *)packet)->link_type =
1356                        packet->trace->format->get_link_type(packet);
1357        }
1358
1359        return packet->link_type;
1360}
1361
1362/* process a libtrace event
1363 * @param trace the libtrace opaque pointer
1364 * @param packet the libtrace_packet opaque pointer
1365 * @returns
1366 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1367 *  TRACE_EVENT_SLEEP   Next event in seconds
1368 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1369 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1370 * FIXME currently keeps a copy of the packet inside the trace pointer,
1371 * which in turn is stored inside the new packet object...
1372 */
1373DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace,
1374                libtrace_packet_t *packet) {
1375        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1376
1377        if (!trace) {
1378                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1379        }
1380        assert(trace);
1381        assert(packet);
1382
1383        /* Free the last packet */
1384        trace_fin_packet(packet);
1385        /* Store the trace we are reading from into the packet opaque
1386         * structure */
1387        packet->trace = trace;
1388
1389        if (packet->trace->format->trace_event) {
1390                /* Note: incrementing accepted, filtered etc. packet
1391                 * counters is handled by the format-specific
1392                 * function so don't increment them here.
1393                 */
1394                event=packet->trace->format->trace_event(trace,packet);
1395                }
1396        return event;
1397
1398}
1399
1400/** Setup a BPF filter based on pre-compiled byte-code.
1401 * @param bf_insns      A pointer to the start of the byte-code
1402 * @param bf_len        The number of BPF instructions
1403 * @returns             an opaque pointer to a libtrace_filter_t object
1404 * @note                The supplied byte-code is not checked for correctness.
1405 * @author              Scott Raynel
1406 */
1407DLLEXPORT libtrace_filter_t *
1408trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1409{
1410#ifndef HAVE_BPF
1411        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1412        return NULL;
1413#else
1414        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1415                malloc(sizeof(struct libtrace_filter_t));
1416        filter->filter.bf_insns = (struct bpf_insn *)
1417                malloc(sizeof(struct bpf_insn) * bf_len);
1418
1419        memcpy(filter->filter.bf_insns, bf_insns,
1420                        bf_len * sizeof(struct bpf_insn));
1421
1422        filter->filter.bf_len = bf_len;
1423        filter->filterstring = NULL;
1424        filter->jitfilter = NULL;
1425        /* "flag" indicates that the filter member is valid */
1426        filter->flag = 1;
1427
1428        return filter;
1429#endif
1430}
1431
1432/* Create a BPF filter
1433 * @param filterstring a char * containing the bpf filter string
1434 * @returns opaque pointer pointer to a libtrace_filter_t object
1435 */
1436DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1437#ifdef HAVE_BPF
1438        libtrace_filter_t *filter = (libtrace_filter_t*)
1439                                malloc(sizeof(libtrace_filter_t));
1440        filter->filterstring = strdup(filterstring);
1441        filter->jitfilter = NULL;
1442        filter->flag = 0;
1443        return filter;
1444#else
1445        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1446        return NULL;
1447#endif
1448}
1449
1450DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1451{
1452#ifdef HAVE_BPF
1453        free(filter->filterstring);
1454        if (filter->flag)
1455                pcap_freecode(&filter->filter);
1456#ifdef HAVE_LLVM
1457        if (filter->jitfilter)
1458                destroy_program(filter->jitfilter);
1459#endif
1460        free(filter);
1461#else
1462
1463#endif
1464}
1465
1466/* Compile a bpf filter, now we know the link type for the trace that we're
1467 * applying it to.
1468 *
1469 * @internal
1470 *
1471 * @returns -1 on error, 0 on success
1472 */
1473static int trace_bpf_compile(libtrace_filter_t *filter,
1474                const libtrace_packet_t *packet,
1475                void *linkptr,
1476                libtrace_linktype_t linktype    ) {
1477#ifdef HAVE_BPF
1478        /* It just so happens that the underlying libs used by pthread arn't
1479         * thread safe, namely lex/flex thingys, so single threaded compile
1480         * multi threaded running should be safe.
1481         */
1482        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1483        assert(filter);
1484
1485        /* If this isn't a real packet, then fail */
1486        if (!linkptr) {
1487                trace_set_err(packet->trace,
1488                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1489                return -1;
1490        }
1491
1492        if (filter->filterstring && ! filter->flag) {
1493                pcap_t *pcap = NULL;
1494                if (linktype==(libtrace_linktype_t)-1) {
1495                        trace_set_err(packet->trace,
1496                                        TRACE_ERR_BAD_FILTER,
1497                                        "Packet has an unknown linktype");
1498                        return -1;
1499                }
1500                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1501                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1502                                        "Unknown pcap equivalent linktype");
1503                        return -1;
1504                }
1505                assert (pthread_mutex_lock(&mutex) == 0);
1506                /* Make sure not one bet us to this */
1507                if (filter->flag) {
1508                        assert (pthread_mutex_unlock(&mutex) == 0);
1509                        return 1;
1510                }
1511                pcap=(pcap_t *)pcap_open_dead(
1512                                (int)libtrace_to_pcap_dlt(linktype),
1513                                1500U);
1514                /* build filter */
1515                assert(pcap);
1516                if (pcap_compile( pcap, &filter->filter, filter->filterstring,
1517                                        1, 0)) {
1518                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1519                                        "Unable to compile the filter \"%s\": %s",
1520                                        filter->filterstring,
1521                                        pcap_geterr(pcap));
1522                        pcap_close(pcap);
1523                        assert (pthread_mutex_unlock(&mutex) == 0);
1524                        return -1;
1525                }
1526                pcap_close(pcap);
1527                filter->flag=1;
1528                assert (pthread_mutex_unlock(&mutex) == 0);
1529        }
1530        return 0;
1531#else
1532        assert(!"Internal bug: This should never be called when BPF not enabled");
1533        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1534                                "Feature unavailable");
1535        return -1;
1536#endif
1537}
1538
1539DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1540                        const libtrace_packet_t *packet) {
1541#ifdef HAVE_BPF
1542        void *linkptr = 0;
1543        uint32_t clen = 0;
1544        bool free_packet_needed = false;
1545        int ret;
1546        libtrace_linktype_t linktype;
1547        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1548#ifdef HAVE_LLVM
1549        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1550#endif
1551
1552        assert(filter);
1553        assert(packet);
1554
1555        /* Match all non-data packets as we probably want them to pass
1556         * through to the caller */
1557        linktype = trace_get_link_type(packet);
1558
1559        if (linktype == TRACE_TYPE_NONDATA || linktype == TRACE_TYPE_ERF_META)
1560                return 1;
1561
1562        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1563
1564                /* If we cannot get a suitable DLT for the packet, it may
1565                 * be because the packet is encapsulated in a link type that
1566                 * does not correspond to a DLT. Therefore, we should try
1567                 * popping off headers until we either can find a suitable
1568                 * link type or we can't do any more sensible decapsulation. */
1569
1570                /* Copy the packet, as we don't want to trash the one we
1571                 * were passed in */
1572                packet_copy=trace_copy_packet(packet);
1573                free_packet_needed=true;
1574
1575                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1576                        if (!demote_packet(packet_copy)) {
1577                                trace_set_err(packet->trace,
1578                                                TRACE_ERR_NO_CONVERSION,
1579                                                "pcap does not support this linktype so cannot apply BPF filters");
1580                                if (free_packet_needed) {
1581                                        trace_destroy_packet(packet_copy);
1582                                }
1583                                return -1;
1584                        }
1585                        linktype = trace_get_link_type(packet_copy);
1586                }
1587
1588        }
1589
1590        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1591        if (!linkptr) {
1592                if (free_packet_needed) {
1593                        trace_destroy_packet(packet_copy);
1594                }
1595                return 0;
1596        }
1597
1598        /* We need to compile the filter now, because before we didn't know
1599         * what the link type was
1600         */
1601        // Note internal mutex locking used here
1602        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1603                if (free_packet_needed) {
1604                        trace_destroy_packet(packet_copy);
1605                }
1606                return -1;
1607        }
1608
1609        /* If we're jitting, we may need to JIT the BPF code now too */
1610#if HAVE_LLVM
1611        if (!filter->jitfilter) {
1612                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1613                /* Again double check here like the bpf filter */
1614                if(!filter->jitfilter)
1615                /* Looking at compile_program source this appears to be thread safe
1616                 * however if this gets called twice we will leak this memory :(
1617                 * as such lock here anyways */
1618                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1619                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1620        }
1621#endif
1622
1623        assert(filter->flag);
1624        /* Now execute the filter */
1625#if HAVE_LLVM
1626        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1627#else
1628        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1629#endif
1630
1631        /* If we copied the packet earlier, make sure that we free it */
1632        if (free_packet_needed) {
1633                trace_destroy_packet(packet_copy);
1634        }
1635        return ret;
1636#else
1637        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1638        return 0;
1639#endif
1640}
1641
1642/* Set the direction flag, if it has one
1643 * @param packet the packet opaque pointer
1644 * @param direction the new direction (0,1,2,3)
1645 * @returns a signed value containing the direction flag, or -1 if this is not supported
1646 */
1647DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet,
1648                libtrace_direction_t direction)
1649{
1650        assert(packet);
1651        if (packet->trace->format->set_direction) {
1652                return packet->trace->format->set_direction(packet,direction);
1653        }
1654        return (libtrace_direction_t)~0U;
1655}
1656
1657/* Get the direction flag, if it has one
1658 * @param packet a pointer to a libtrace_packet structure
1659 * @returns a signed value containing the direction flag, or -1 if this is not supported
1660 * The direction is defined as 0 for packets originating locally (ie, outbound)
1661 * and 1 for packets originating remotely (ie, inbound).
1662 * Other values are possible, which might be overloaded to mean special things
1663 * for a special trace.
1664 */
1665DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet)
1666{
1667        assert(packet);
1668        if (packet->trace->format->get_direction) {
1669                return packet->trace->format->get_direction(packet);
1670        }
1671        return (libtrace_direction_t)~0U;
1672}
1673
1674#define ROOT_SERVER(x) ((x) < 512)
1675#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1676#define NONROOT_SERVER(x) ((x) >= 5000)
1677#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1678#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1679#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1680#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1681
1682/* Attempt to deduce the 'server' port
1683 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1684 * @param source the TCP or UDP source port
1685 * @param dest the TCP or UDP destination port
1686 * @returns a hint as to which port is the server port
1687 */
1688DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol,
1689                uint16_t source, uint16_t dest)
1690{
1691        /*
1692         * * If the ports are equal, return DEST
1693         * * Check for well-known ports in the given protocol
1694         * * Root server ports: 0 - 511
1695         * * Root client ports: 512 - 1023
1696         * * non-root client ports: 1024 - 4999
1697         * * non-root server ports: 5000+
1698         * * Check for static ranges: 1024 - 49151
1699         * * Check for dynamic ranges: 49152 - 65535
1700         * * flip a coin.
1701         */
1702
1703        /* equal */
1704        if (source == dest)
1705                return USE_DEST;
1706
1707        /* root server port, 0 - 511 */
1708        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1709                if (source < dest)
1710                        return USE_SOURCE;
1711                return USE_DEST;
1712        }
1713
1714        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1715                return USE_SOURCE;
1716        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1717                return USE_DEST;
1718
1719        /* non-root server */
1720        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1721                if (source < dest)
1722                        return USE_SOURCE;
1723                return USE_DEST;
1724        }
1725        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1726                return USE_SOURCE;
1727        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1728                return USE_DEST;
1729
1730        /* root client */
1731        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1732                if (source < dest)
1733                        return USE_SOURCE;
1734                return USE_DEST;
1735        }
1736        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1737                /* prefer root-client over nonroot-client */
1738                if (NONROOT_CLIENT(dest))
1739                        return USE_SOURCE;
1740                return USE_DEST;
1741        }
1742        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1743                /* prefer root-client over nonroot-client */
1744                if (NONROOT_CLIENT(source))
1745                        return USE_DEST;
1746                return USE_SOURCE;
1747        }
1748
1749        /* nonroot client */
1750        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1751                if (source < dest)
1752                        return USE_SOURCE;
1753                return USE_DEST;
1754        }
1755        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1756                return USE_DEST;
1757        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1758                return USE_SOURCE;
1759
1760        /* dynamic range */
1761        if (DYNAMIC(source) && DYNAMIC(dest)) {
1762                if (source < dest)
1763                        return USE_SOURCE;
1764                return USE_DEST;
1765        }
1766        if (DYNAMIC(source) && !DYNAMIC(dest))
1767                return USE_DEST;
1768        if (!DYNAMIC(source) && DYNAMIC(dest))
1769                return USE_SOURCE;
1770        /*
1771        if (SERVER(source) && CLIENT(dest))
1772                return USE_SOURCE;
1773
1774        if (SERVER(dest) && CLIENT(source))
1775                return USE_DEST;
1776        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1777                return USE_SOURCE;
1778        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1779                return USE_DEST;
1780        */
1781        /* failing that test... */
1782        if (source < dest) {
1783                return USE_SOURCE;
1784        }
1785        return USE_DEST;
1786
1787}
1788
1789/* Truncate the packet at the suggested length
1790 * @param packet        the packet opaque pointer
1791 * @param size          the new length of the packet
1792 * @returns the new size of the packet
1793 * @note size and the return size refer to the network-level payload of the
1794 * packet, and do not include any capture headers. For example, to truncate a
1795 * packet after the IP header, set size to sizeof(ethernet_header) +
1796 * sizeof(ip_header)
1797 * @note If the original network-level payload is smaller than size, then the
1798 * original size is returned and the packet is left unchanged.
1799 */
1800DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1801        assert(packet);
1802
1803        if (packet->trace->format->set_capture_length) {
1804                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1805                return packet->capture_length;
1806        }
1807
1808        return ~0U;
1809}
1810
1811/* Splits a URI into two components - the format component which is seen before
1812 * the ':', and the uridata which follows the ':'.
1813 *
1814 * Returns a pointer to the URI data, but updates the format parameter to
1815 * point to a copy of the format component.
1816 */
1817
1818DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1819        const char *uridata = 0;
1820
1821        if((uridata = strchr(uri,':')) == NULL) {
1822                /* Badly formed URI - needs a : */
1823                return 0;
1824        }
1825
1826        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1827                /* Badly formed URI - uri type is too long */
1828                return 0;
1829        }
1830
1831        /* NOTE: this is allocated memory - it should be freed by the caller
1832         * once they are done with it */
1833        *format=xstrndup(uri, (size_t)(uridata - uri));
1834
1835        /* Push uridata past the delimiter */
1836        uridata++;
1837
1838        return uridata;
1839}
1840
1841enum base_format_t trace_get_format(libtrace_packet_t *packet)
1842{
1843        assert(packet);
1844
1845        return packet->trace->format->type;
1846}
1847
1848DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1849{
1850        libtrace_err_t err = trace->err;
1851        trace->err.err_num = 0; /* "OK" */
1852        trace->err.problem[0]='\0';
1853        return err;
1854}
1855
1856DLLEXPORT bool trace_is_err(libtrace_t *trace)
1857{
1858        return trace->err.err_num != 0;
1859}
1860
1861/* Prints the input error status to standard error and clears the error state */
1862DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1863{
1864        char buf[256];
1865        va_list va;
1866        va_start(va,msg);
1867        vsnprintf(buf,sizeof(buf),msg,va);
1868        va_end(va);
1869        if(trace->err.err_num) {
1870                if (trace->uridata) {
1871                        fprintf(stderr,"%s(%s): %s\n",
1872                                        buf,trace->uridata,trace->err.problem);
1873                } else {
1874                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1875                }
1876        } else {
1877                if (trace->uridata) {
1878                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1879                } else {
1880                        fprintf(stderr,"%s: No error\n", buf);
1881                }
1882        }
1883        trace->err.err_num = 0; /* "OK" */
1884        trace->err.problem[0]='\0';
1885}
1886
1887DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1888{
1889        libtrace_err_t err = trace->err;
1890        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1891        trace->err.problem[0]='\0';
1892        return err;
1893}
1894
1895DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1896{
1897        return trace->err.err_num != 0;
1898}
1899
1900/* Prints the output error status to standard error and clears the error state
1901 */
1902DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1903{
1904        char buf[256];
1905        va_list va;
1906        va_start(va,msg);
1907        vsnprintf(buf,sizeof(buf),msg,va);
1908        va_end(va);
1909        if(trace->err.err_num) {
1910                fprintf(stderr,"%s(%s): %s\n",
1911                                buf,
1912                                trace->uridata?trace->uridata:"no uri",
1913                                trace->err.problem);
1914        } else {
1915                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1916        }
1917        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1918        trace->err.problem[0]='\0';
1919}
1920
1921DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1922{
1923        if (trace->format->seek_erf) {
1924                return trace->format->seek_erf(trace,ts);
1925        }
1926        else {
1927                if (trace->format->seek_timeval) {
1928                        struct timeval tv;
1929#if __BYTE_ORDER == __BIG_ENDIAN
1930                        tv.tv_sec = ts & 0xFFFFFFFF;
1931                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1932#elif __BYTE_ORDER == __LITTLE_ENDIAN
1933                        tv.tv_sec = ts >> 32;
1934                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1935#else
1936#error "What on earth are you running this on?"
1937#endif
1938                        if (tv.tv_usec >= 1000000) {
1939                                tv.tv_usec -= 1000000;
1940                                tv.tv_sec += 1;
1941                        }
1942                        return trace->format->seek_timeval(trace,tv);
1943                }
1944                if (trace->format->seek_seconds) {
1945                        double seconds =
1946                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1947                        return trace->format->seek_seconds(trace,seconds);
1948                }
1949                trace_set_err(trace,
1950                                TRACE_ERR_OPTION_UNAVAIL,
1951                                "Feature unimplemented");
1952                return -1;
1953        }
1954}
1955
1956DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1957{
1958        if (trace->format->seek_seconds) {
1959                return trace->format->seek_seconds(trace,seconds);
1960        }
1961        else {
1962                if (trace->format->seek_timeval) {
1963                        struct timeval tv;
1964                        tv.tv_sec = (uint32_t)seconds;
1965                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1966                        return trace->format->seek_timeval(trace,tv);
1967                }
1968                if (trace->format->seek_erf) {
1969                        uint64_t timestamp =
1970                                ((uint64_t)((uint32_t)seconds) << 32) + \
1971                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1972                        return trace->format->seek_erf(trace,timestamp);
1973                }
1974                trace_set_err(trace,
1975                                TRACE_ERR_OPTION_UNAVAIL,
1976                                "Feature unimplemented");
1977                return -1;
1978        }
1979}
1980
1981DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1982{
1983        if (trace->format->seek_timeval) {
1984                return trace->format->seek_timeval(trace,tv);
1985        }
1986        else {
1987                if (trace->format->seek_erf) {
1988                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1989                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1990                        return trace->format->seek_erf(trace,timestamp);
1991                }
1992                if (trace->format->seek_seconds) {
1993                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1994                        return trace->format->seek_seconds(trace,seconds);
1995                }
1996                trace_set_err(trace,
1997                                TRACE_ERR_OPTION_UNAVAIL,
1998                                "Feature unimplemented");
1999                return -1;
2000        }
2001}
2002
2003/* Converts a binary ethernet MAC address into a printable string */
2004DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
2005{
2006        static char staticbuf[18]={0,};
2007        if (!buf)
2008                buf=staticbuf;
2009        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
2010                        addr[0],addr[1],addr[2],
2011                        addr[3],addr[4],addr[5]);
2012        return buf;
2013}
2014
2015/* Converts a printable ethernet MAC address into a binary format */
2016DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
2017{
2018        uint8_t *buf2 = addr;
2019        unsigned int tmp[6];
2020        static uint8_t staticaddr[6];
2021        if (!buf2)
2022                buf2=staticaddr;
2023        sscanf(buf,"%x:%x:%x:%x:%x:%x",
2024                        &tmp[0],&tmp[1],&tmp[2],
2025                        &tmp[3],&tmp[4],&tmp[5]);
2026        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
2027        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
2028        return buf2;
2029}
2030
2031
2032/* Creates a libtrace packet from scratch using the contents of the provided
2033 * buffer as the packet payload.
2034 *
2035 * Unlike trace_prepare_packet(), the buffer should not contain any capture
2036 * format headers; instead this function will add the PCAP header to the
2037 * packet record. This also means only PCAP packets can be constructed using
2038 * this function.
2039 *
2040 */
2041DLLEXPORT
2042void trace_construct_packet(libtrace_packet_t *packet,
2043                libtrace_linktype_t linktype,
2044                const void *data,
2045                uint16_t len)
2046{
2047        size_t size;
2048        static libtrace_t *deadtrace=NULL;
2049        libtrace_pcapfile_pkt_hdr_t hdr;
2050#ifdef WIN32
2051        struct _timeb tstruct;
2052#else
2053        struct timeval tv;
2054#endif
2055
2056        /* We need a trace to attach the constructed packet to (and it needs
2057         * to be PCAP) */
2058        if (NULL == deadtrace)
2059                deadtrace=trace_create_dead("pcapfile");
2060
2061        /* Fill in the new PCAP header */
2062#ifdef WIN32
2063        _ftime(&tstruct);
2064        hdr.ts_sec=tstruct.time;
2065        hdr.ts_usec=tstruct.millitm * 1000;
2066#else
2067        gettimeofday(&tv,NULL);
2068        hdr.ts_sec=tv.tv_sec;
2069        hdr.ts_usec=tv.tv_usec;
2070#endif
2071
2072        hdr.caplen=len;
2073        hdr.wirelen=len;
2074
2075        /* Now fill in the libtrace packet itself */
2076        assert(deadtrace);
2077        packet->trace=deadtrace;
2078        size=len+sizeof(hdr);
2079        if (size < LIBTRACE_PACKET_BUFSIZE)
2080            size = LIBTRACE_PACKET_BUFSIZE;
2081        if (packet->buf_control==TRACE_CTRL_PACKET) {
2082            packet->buffer = realloc(packet->buffer, size);
2083        }
2084        else {
2085                packet->buffer = malloc(size);
2086        }
2087        packet->buf_control=TRACE_CTRL_PACKET;
2088        packet->header=packet->buffer;
2089        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2090
2091        /* Ugh, memmove - sadly necessary, also beware that we might be
2092         * moving data around within this packet, so ordering is important.
2093         */
2094        memmove(packet->payload, data, (size_t)len);
2095        memmove(packet->header, &hdr, sizeof(hdr));
2096        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2097
2098        trace_clear_cache(packet);
2099}
2100
2101
2102uint64_t trace_get_received_packets(libtrace_t *trace)
2103{
2104        assert(trace);
2105        uint64_t ret;
2106
2107        if (trace->format->get_received_packets) {
2108                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2109                        return ret;
2110        } else if (trace->format->get_statistics) {
2111                struct libtrace_stat_t stat;
2112                stat.magic = LIBTRACE_STAT_MAGIC;
2113                trace_get_statistics(trace, &stat);
2114                if (stat.received_valid)
2115                        return stat.received;
2116        }
2117
2118        // Read the cached value taken before the trace was paused/closed
2119        if(trace->stats && trace->stats->received_valid)
2120                return trace->stats->received;
2121        else
2122                return UINT64_MAX;
2123}
2124
2125uint64_t trace_get_filtered_packets(libtrace_t *trace)
2126{
2127        assert(trace);
2128        int i = 0;
2129        uint64_t lib_filtered = trace->filtered_packets;
2130        for (i = 0; i < trace->perpkt_thread_count; i++) {
2131                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2132        }
2133        if (trace->format->get_filtered_packets) {
2134                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2135                if (trace_filtered == UINT64_MAX)
2136                        return UINT64_MAX;
2137                else
2138                        return trace_filtered + lib_filtered;
2139        } else if (trace->format->get_statistics) {
2140                struct libtrace_stat_t stat;
2141                stat.magic = LIBTRACE_STAT_MAGIC;
2142                trace_get_statistics(trace, &stat);
2143                if (stat.filtered_valid)
2144                        return lib_filtered + stat.filtered;
2145                else
2146                        return UINT64_MAX;
2147        }
2148
2149        // Read the cached value taken before the trace was paused/closed
2150        if(trace->stats && trace->stats->filtered_valid)
2151                return trace->stats->filtered + lib_filtered;
2152        else
2153                return lib_filtered;
2154}
2155
2156uint64_t trace_get_dropped_packets(libtrace_t *trace)
2157{
2158        assert(trace);
2159        uint64_t ret;
2160
2161        if (trace->format->get_dropped_packets) {
2162                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2163                        return ret;
2164        } else if (trace->format->get_statistics) {
2165                struct libtrace_stat_t stat;
2166                stat.magic = LIBTRACE_STAT_MAGIC;
2167                trace_get_statistics(trace, &stat);
2168                if (stat.dropped_valid)
2169                        return stat.dropped;
2170        }
2171
2172        // Read the cached value taken before the trace was paused/closed
2173        if(trace->stats && trace->stats->dropped_valid)
2174                return trace->stats->dropped;
2175        else
2176                return UINT64_MAX;
2177}
2178
2179uint64_t trace_get_accepted_packets(libtrace_t *trace)
2180{
2181        assert(trace);
2182        int i = 0;
2183        uint64_t ret = 0;
2184        /* We always add to a thread's accepted count before dispatching the
2185         * packet to the user. However if the underlying trace is single
2186         * threaded it will also be increasing the global count. So if we
2187         * find perpkt ignore the global count.
2188         */
2189        for (i = 0; i < trace->perpkt_thread_count; i++) {
2190                ret += trace->perpkt_threads[i].accepted_packets;
2191        }
2192        return ret ? ret : trace->accepted_packets;
2193}
2194
2195libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2196{
2197        uint64_t ret = 0;
2198        int i;
2199        assert(trace);
2200        if (stat == NULL) {
2201                if (trace->stats == NULL)
2202                        trace->stats = trace_create_statistics();
2203                stat = trace->stats;
2204        }
2205        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2206               "trace_create_statistics() to allocate statistics");
2207
2208        /* If the trace has paused or finished get the cached results */
2209        if (trace->state == STATE_PAUSED ||
2210            trace->state == STATE_FINISHED ||
2211            trace->state == STATE_FINISHING ||
2212            trace->state == STATE_JOINED) {
2213                if (trace->stats && trace->stats != stat)
2214                        *stat = *trace->stats;
2215                return stat;
2216        }
2217
2218        stat->reserved1 = 0;
2219        stat->reserved2 = 0;
2220#define X(x) stat->x ##_valid = 0;
2221        LIBTRACE_STAT_FIELDS;
2222#undef X
2223        /* Both accepted and filtered are stored against in the library */
2224
2225        /* We always add to a thread's accepted count before dispatching the
2226         * packet to the user. However if the underlying trace is single
2227         * threaded it will also be increasing the global count. So if we
2228         * find perpkt ignore the global count.
2229         */
2230        for (i = 0; i < trace->perpkt_thread_count; i++) {
2231                ret += trace->perpkt_threads[i].accepted_packets;
2232        }
2233
2234        stat->accepted_valid = 1;
2235        stat->accepted = ret ? ret : trace->accepted_packets;
2236
2237        stat->filtered_valid = 1;
2238        stat->filtered = trace->filtered_packets;
2239        for (i = 0; i < trace->perpkt_thread_count; i++) {
2240                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2241        }
2242
2243        if (trace->format->get_statistics) {
2244                trace->format->get_statistics(trace, stat);
2245        }
2246        return stat;
2247}
2248
2249void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2250                                 libtrace_stat_t *stat)
2251{
2252        assert(trace && stat);
2253        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2254               "trace_create_statistics() to allocate statistics");
2255        stat->reserved1 = 0;
2256        stat->reserved2 = 0;
2257#define X(x) stat->x ##_valid= 0;
2258        LIBTRACE_STAT_FIELDS;
2259#undef X
2260        stat->accepted_valid = 1;
2261        stat->accepted = t->accepted_packets;
2262        stat->filtered_valid = 1;
2263        stat->filtered = t->filtered_packets;
2264        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2265                trace->format->get_thread_statistics(trace, t, stat);
2266        }
2267        return;
2268}
2269
2270libtrace_stat_t *trace_create_statistics(void) {
2271        libtrace_stat_t *ret;
2272        ret = malloc(sizeof(libtrace_stat_t));
2273        if (ret) {
2274                memset(ret, 0, sizeof(libtrace_stat_t));
2275                ret->magic = LIBTRACE_STAT_MAGIC;
2276        }
2277        return ret;
2278}
2279
2280void trace_clear_statistics(libtrace_stat_t *s) {
2281        memset(s, 0, sizeof(libtrace_stat_t));
2282        s->magic = LIBTRACE_STAT_MAGIC;
2283}
2284
2285void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2286                         libtrace_stat_t *c) {
2287        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2288               "trace_create_statistics() to allocate statistics");
2289        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2290               "trace_create_statistics() to allocate statistics");
2291        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2292               "trace_create_statistics() to allocate statistics");
2293
2294#define X(x) \
2295        if (a->x ##_valid && b->x ##_valid) { \
2296                c->x ##_valid = 1; \
2297                c->x = a->x - b->x; \
2298        } else {\
2299                c->x ##_valid = 0;\
2300        }
2301        LIBTRACE_STAT_FIELDS
2302#undef X
2303}
2304
2305void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2306                         libtrace_stat_t *c) {
2307        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2308               "trace_create_statistics() to allocate statistics");
2309        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2310               "trace_create_statistics() to allocate statistics");
2311        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2312               "trace_create_statistics() to allocate statistics");
2313
2314#define X(x) \
2315        if (a->x ##_valid&& b->x ##_valid) { \
2316                c->x ##_valid = 1; \
2317                c->x = a->x + b->x; \
2318        } else {\
2319                c->x ##_valid = 0;\
2320        }
2321        LIBTRACE_STAT_FIELDS
2322#undef X
2323}
2324
2325int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2326        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2327               "trace_create_statistics() to allocate statistics");
2328        if (format == NULL)
2329                format = "%s: %"PRIu64"\n";
2330#define xstr(s) str(s)
2331#define str(s) #s
2332#define X(x) \
2333        if (s->x ##_valid) { \
2334                if (fprintf(f, format, xstr(x), s->x) < 0) \
2335                        return -1; \
2336        }
2337        LIBTRACE_STAT_FIELDS
2338#undef X
2339        return 0;
2340}
2341
2342
2343void trace_clear_cache(libtrace_packet_t *packet) {
2344
2345        packet->l2_header = NULL;
2346        packet->l3_header = NULL;
2347        packet->l4_header = NULL;
2348        packet->link_type = 0;
2349        packet->l3_ethertype = 0;
2350        packet->transport_proto = 0;
2351        packet->capture_length = -1;
2352        packet->wire_length = -1;
2353        packet->payload_length = -1;
2354        packet->l2_remaining = 0;
2355        packet->l3_remaining = 0;
2356        packet->l4_remaining = 0;
2357        packet->refcount = 0;
2358
2359}
2360
2361void trace_interrupt(void) {
2362        libtrace_halt = 1;
2363}
2364
2365void register_format(struct libtrace_format_t *f) {
2366        assert(f->next==NULL); /* Can't register a format twice */
2367        f->next=formats_list;
2368        formats_list=f;
2369
2370        /* Now, verify that the format has at least the minimum functionality.
2371         *
2372         * This #if can be changed to a 1 to output warnings about inconsistent
2373         * functions being provided by format modules.  This generally is very
2374         * noisy, as almost all modules don't implement one or more functions
2375         * for various reasons.  This is very useful when checking a new
2376         * format module is sane.
2377         */
2378#if 0
2379        if (f->init_input) {
2380#define REQUIRE(x) \
2381                if (!f->x) \
2382                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2383                REQUIRE(read_packet);
2384                REQUIRE(start_input);
2385                REQUIRE(fin_input);
2386                REQUIRE(get_link_type);
2387                REQUIRE(get_capture_length);
2388                REQUIRE(get_wire_length);
2389                REQUIRE(get_framing_length);
2390                REQUIRE(trace_event);
2391                if (!f->get_erf_timestamp
2392                        && !f->get_seconds
2393                        && !f->get_timeval) {
2394                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2395"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2396                }
2397                if (f->trace_event!=trace_event_trace) {
2398                        /* Theres nothing that a trace file could optimise with
2399                         * config_input
2400                         */
2401                        REQUIRE(pause_input);
2402                        REQUIRE(config_input);
2403                        REQUIRE(get_fd);
2404                }
2405                else {
2406                        if (f->get_fd) {
2407                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2408                                                f->name);
2409                        }
2410                }
2411#undef REQUIRE
2412        }
2413        else {
2414#define REQUIRE(x) \
2415                if (f->x) \
2416                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2417                REQUIRE(read_packet);
2418                REQUIRE(start_input);
2419                REQUIRE(pause_input);
2420                REQUIRE(fin_input);
2421                REQUIRE(get_link_type);
2422                REQUIRE(get_capture_length);
2423                REQUIRE(get_wire_length);
2424                REQUIRE(get_framing_length);
2425                REQUIRE(trace_event);
2426                REQUIRE(get_seconds);
2427                REQUIRE(get_timeval);
2428                REQUIRE(get_erf_timestamp);
2429#undef REQUIRE
2430        }
2431        if (f->init_output) {
2432#define REQUIRE(x) \
2433                if (!f->x) \
2434                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2435                REQUIRE(write_packet);
2436                REQUIRE(start_output);
2437                REQUIRE(config_output);
2438                REQUIRE(fin_output);
2439#undef REQUIRE
2440        }
2441        else {
2442#define REQUIRE(x) \
2443                if (f->x) \
2444                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2445                REQUIRE(write_packet);
2446                REQUIRE(start_output);
2447                REQUIRE(config_output);
2448                REQUIRE(fin_output);
2449#undef REQUIRE
2450        }
2451#endif
2452}
2453
Note: See TracBrowser for help on using the repository browser.