source: lib/trace.c @ ed5b2ce

cachetimestampsdevelopdpdk-ndagetsilivendag_formatrc-4.0.2rc-4.0.3rc-4.0.4ringdecrementfixringperformance
Last change on this file since ed5b2ce was ed5b2ce, checked in by Shane Alcock <salcock@…>, 4 years ago

Add support for reading pcapng traces

Also added special macro: IS_LIBTRACE_META_PACKET()
This macro can be used to easily recognise if a "packet" is a
genuine packet record or a meta record (such as a pcapng interface
block or an RT control message).

  • Property mode set to 100644
File size: 68.7 KB
Line 
1/*
2 *
3 * Copyright (c) 2007-2016 The University of Waikato, Hamilton, New Zealand.
4 * All rights reserved.
5 *
6 * This file is part of libtrace.
7 *
8 * This code has been developed by the University of Waikato WAND
9 * research group. For further information please see http://www.wand.net.nz/
10 *
11 * libtrace is free software; you can redistribute it and/or modify
12 * it under the terms of the GNU Lesser General Public License as published by
13 * the Free Software Foundation; either version 3 of the License, or
14 * (at your option) any later version.
15 *
16 * libtrace is distributed in the hope that it will be useful,
17 * but WITHOUT ANY WARRANTY; without even the implied warranty of
18 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 * GNU Lesser General Public License for more details.
20 *
21 * You should have received a copy of the GNU Lesser General Public License
22 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 *
24 *
25 */
26
27#define _GNU_SOURCE
28#include "common.h"
29#include "config.h"
30#include <assert.h>
31#include <errno.h>
32#include <fcntl.h>
33#include <stdio.h>
34#include <stdlib.h>
35#include <string.h>
36#include <sys/stat.h>
37#include <sys/types.h>
38#ifndef WIN32
39#include <sys/socket.h>
40#endif
41#include <stdarg.h>
42#include <sys/param.h>
43
44#ifdef HAVE_LIMITS_H
45#  include <limits.h>
46#endif
47
48#ifdef HAVE_SYS_LIMITS_H
49#  include <sys/limits.h>
50#endif
51
52#ifdef HAVE_NET_IF_ARP_H
53#  include <net/if_arp.h>
54#endif
55
56#ifdef HAVE_NET_IF_H
57#  include <net/if.h>
58#endif
59
60#ifdef HAVE_NETINET_IN_H
61#  include <netinet/in.h>
62#endif
63
64#ifdef HAVE_NET_ETHERNET_H
65#  include <net/ethernet.h>
66#endif
67
68#ifdef HAVE_NETINET_IF_ETHER_H
69#  include <netinet/if_ether.h>
70#endif
71
72#include <time.h>
73#ifdef WIN32
74#include <sys/timeb.h>
75#endif
76
77#include "libtrace.h"
78#include "libtrace_int.h"
79
80#ifdef HAVE_PCAP_BPF_H
81#  include <pcap-bpf.h>
82#else
83#  ifdef HAVE_NET_BPF_H
84#    include <net/bpf.h>
85#  endif
86#endif
87
88
89#include "libtrace_int.h"
90#include "format_helper.h"
91#include "rt_protocol.h"
92
93#include <pthread.h>
94#include <signal.h>
95
96#define MAXOPTS 1024
97
98/* This file contains much of the implementation of the libtrace API itself. */
99
100static struct libtrace_format_t *formats_list = NULL;
101
102volatile int libtrace_halt = 0;
103/* Set once pstart is called used for backwards compatibility reasons */
104int libtrace_parallel = 0;
105
106/* strncpy is not assured to copy the final \0, so we
107 * will use our own one that does
108 */
109static void xstrncpy(char *dest, const char *src, size_t n)
110{
111        strncpy(dest,src,n);
112        dest[n]='\0';
113}
114
115static char *xstrndup(const char *src,size_t n)
116{
117        char *ret=(char*)malloc(n+1);
118        if (ret==NULL) {
119                fprintf(stderr,"Out of memory");
120                exit(EXIT_FAILURE);
121        }
122        xstrncpy(ret,src,n);
123        return ret;
124}
125
126
127/* call all the constructors if they haven't yet all been called */
128static void trace_init(void)
129{
130        struct timeval tv;
131        gettimeofday(&tv, NULL);
132        srand(tv.tv_sec);
133
134        if (!formats_list) {
135                duck_constructor();
136                erf_constructor();
137                tsh_constructor();
138                legacy_constructor();
139                atmhdr_constructor();
140                linuxring_constructor();
141                linuxnative_constructor();
142#ifdef HAVE_LIBPCAP
143                pcap_constructor();
144#endif
145                bpf_constructor();
146                pcapfile_constructor();
147                pcapng_constructor();
148                rt_constructor();
149#ifdef HAVE_DAG
150                dag_constructor();
151#endif
152#ifdef HAVE_DPDK
153        dpdk_constructor();
154#endif
155        }
156}
157
158/* Prints help information for libtrace
159 *
160 * Function prints out some basic help information regarding libtrace,
161 * and then prints out the help() function registered with each input module
162 */
163DLLEXPORT void trace_help(void) {
164        struct libtrace_format_t *tmp;
165        trace_init();
166        printf("libtrace %s\n\n",PACKAGE_VERSION);
167        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
168        for(tmp=formats_list;tmp;tmp=tmp->next) {
169                if (tmp->help)
170                        tmp->help();
171        }
172}
173
174#define URI_PROTO_LINE 16U
175
176/* Try to guess which format module is appropriate for a given trace file or
177 * device */
178static void guess_format(libtrace_t *libtrace, const char *filename)
179{
180        struct libtrace_format_t *tmp;
181
182        /* Try and guess based on filename */
183        for(tmp = formats_list; tmp; tmp=tmp->next) {
184                if (tmp->probe_filename && tmp->probe_filename(filename)) {
185                        libtrace->format = tmp;
186                        libtrace->uridata = strdup(filename);
187                        return;
188                }
189        }
190
191        libtrace->io = wandio_create(filename);
192        if (!libtrace->io)
193                return;
194
195        /* Try and guess based on file magic */
196        for(tmp = formats_list; tmp; tmp=tmp->next) {
197                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
198                        libtrace->format = tmp;
199                        libtrace->uridata = strdup(filename);
200                        return;
201                }
202        }
203
204        /* No formats matched -- make sure we clean up the IO object we
205         * used to probe the file magic */
206        wandio_destroy(libtrace->io);
207        return;
208}
209
210/* Creates an input trace from a URI
211 *
212 * @params char * containing a valid libtrace URI
213 * @returns opaque pointer to a libtrace_t
214 *
215 * Some valid URI's are:
216 *  erf:/path/to/erf/file
217 *  erf:/path/to/erf/file.gz
218 *  erf:-                       (stdin)
219 *  dag:/dev/dagcard
220 *  pcapint:pcapinterface               (eg: pcapint:eth0)
221 *  pcapfile:/path/to/pcap/file
222 *  pcapfile:-
223 *  int:interface                       (eg: int:eth0) only on Linux
224 *  rt:hostname
225 *  rt:hostname:port
226 *
227 * If an error occured when attempting to open a trace, NULL is returned
228 * and an error is output to stdout.
229 */
230DLLEXPORT libtrace_t *trace_create(const char *uri) {
231        libtrace_t *libtrace =
232                        (libtrace_t *)malloc(sizeof(libtrace_t));
233        char *scan = 0;
234        const char *uridata = 0;
235
236        trace_init();
237
238        assert(uri && "Passing NULL to trace_create makes me a very sad program");
239
240        if (!libtrace) {
241                /* Out of memory */
242                return NULL;
243        }
244
245        libtrace->err.err_num = TRACE_ERR_NOERROR;
246        libtrace->format=NULL;
247
248        libtrace->event.tdelta = 0.0;
249        libtrace->event.packet = NULL;
250        libtrace->event.psize = 0;
251        libtrace->event.trace_last_ts = 0.0;
252        libtrace->event.waiting = false;
253        libtrace->filter = NULL;
254        libtrace->snaplen = 0;
255        libtrace->started=false;
256        libtrace->uridata = NULL;
257        libtrace->io = NULL;
258        libtrace->filtered_packets = 0;
259        libtrace->accepted_packets = 0;
260        libtrace->last_packet = NULL;
261       
262        /* Parallel inits */
263        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
264        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
265        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
266        libtrace->state = STATE_NEW;
267        libtrace->perpkt_queue_full = false;
268        libtrace->global_blob = NULL;
269        libtrace->hasher = NULL;
270        libtrace->hasher_data = NULL;
271        libtrace_zero_ocache(&libtrace->packet_freelist);
272        libtrace_zero_thread(&libtrace->hasher_thread);
273        libtrace_zero_thread(&libtrace->reporter_thread);
274        libtrace_zero_thread(&libtrace->keepalive_thread);
275        libtrace->reporter_thread.type = THREAD_EMPTY;
276        libtrace->perpkt_thread_count = 0;
277        libtrace->perpkt_threads = NULL;
278        libtrace->tracetime = 0;
279        libtrace->first_packets.first = 0;
280        libtrace->first_packets.count = 0;
281        libtrace->first_packets.packets = NULL;
282        libtrace->stats = NULL;
283        libtrace->pread = NULL;
284        libtrace->sequence_number = 0;
285        ZERO_USER_CONFIG(libtrace->config);
286        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
287        libtrace->perpkt_cbs = NULL;
288        libtrace->reporter_cbs = NULL;
289
290        /* Parse the URI to determine what sort of trace we are dealing with */
291        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
292                /* Could not parse the URI nicely */
293                guess_format(libtrace,uri);
294                if (!libtrace->format) {
295                        trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
296                        return libtrace;
297                }
298        }
299        else {
300                struct libtrace_format_t *tmp;
301
302                /* Find a format that matches the first part of the URI */
303                for (tmp=formats_list;tmp;tmp=tmp->next) {
304                        if (strlen(scan) == strlen(tmp->name) &&
305                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
306                                        ) {
307                                libtrace->format=tmp;
308                                break;
309                        }
310                }
311
312                if (libtrace->format == 0) {
313                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
314                                        "Unknown format (%s)",scan);
315                        return libtrace;
316                }
317
318                libtrace->uridata = strdup(uridata);
319        }
320        /* libtrace->format now contains the type of uri
321         * libtrace->uridata contains the appropriate data for this
322         */
323
324        /* Call the init_input function for the matching capture format */
325        if (libtrace->format->init_input) {
326                int err=libtrace->format->init_input(libtrace);
327                assert (err==-1 || err==0);
328                if (err==-1) {
329                        /* init_input should call trace_set_err to set the
330                         * error message
331                         */
332                        return libtrace;
333                }
334        } else {
335                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
336                                "Format does not support input (%s)",scan);
337                return libtrace;
338        }
339
340        if (scan)
341                free(scan);
342        libtrace->err.err_num=TRACE_ERR_NOERROR;
343        libtrace->err.problem[0]='\0';
344        return libtrace;
345}
346
347/* Creates a "dummy" trace file that has only the format type set.
348 *
349 * @returns opaque pointer to a (sparsely initialised) libtrace_t
350 *
351 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
352 * with the dummy trace. Its intended purpose is to act as a packet->trace for
353 * libtrace_packet_t's that are not associated with a libtrace_t structure.
354 */
355DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
356        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
357        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
358        char *uridata;
359        struct libtrace_format_t *tmp;
360
361        trace_init();
362
363        libtrace->err.err_num = TRACE_ERR_NOERROR;
364
365        if((uridata = strchr(uri,':')) == NULL) {
366                xstrncpy(scan, uri, strlen(uri));
367        } else {
368                xstrncpy(scan,uri, (size_t)(uridata - uri));
369        }
370
371        libtrace->err.err_num = TRACE_ERR_NOERROR;
372        libtrace->format=NULL;
373
374        libtrace->event.tdelta = 0.0;
375        libtrace->event.packet = NULL;
376        libtrace->event.psize = 0;
377        libtrace->event.trace_last_ts = 0.0;
378        libtrace->filter = NULL;
379        libtrace->snaplen = 0;
380        libtrace->started=false;
381        libtrace->uridata = NULL;
382        libtrace->io = NULL;
383        libtrace->filtered_packets = 0;
384        libtrace->accepted_packets = 0;
385        libtrace->last_packet = NULL;
386       
387        /* Parallel inits */
388        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
389        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
390        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
391        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
392        libtrace->perpkt_queue_full = false;
393        libtrace->global_blob = NULL;
394        libtrace->hasher = NULL;
395        libtrace_zero_ocache(&libtrace->packet_freelist);
396        libtrace_zero_thread(&libtrace->hasher_thread);
397        libtrace_zero_thread(&libtrace->reporter_thread);
398        libtrace_zero_thread(&libtrace->keepalive_thread);
399        libtrace->reporter_thread.type = THREAD_EMPTY;
400        libtrace->perpkt_thread_count = 0;
401        libtrace->perpkt_threads = NULL;
402        libtrace->tracetime = 0;
403        libtrace->stats = NULL;
404        libtrace->pread = NULL;
405        libtrace->sequence_number = 0;
406        ZERO_USER_CONFIG(libtrace->config);
407        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
408        libtrace->perpkt_cbs = NULL;
409        libtrace->reporter_cbs = NULL;
410        for(tmp=formats_list;tmp;tmp=tmp->next) {
411                if (strlen(scan) == strlen(tmp->name) &&
412                                !strncasecmp(scan,
413                                        tmp->name,
414                                        strlen(scan))) {
415                                libtrace->format=tmp;
416                                break;
417                                }
418        }
419        if (libtrace->format == 0) {
420                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
421                                "Unknown format (%s)",scan);
422        }
423
424        libtrace->format_data = NULL;
425        free(scan);
426        return libtrace;
427
428}
429
430/* Creates an output trace from a URI.
431 *
432 * @param uri   the uri string describing the output format and destination
433 * @returns opaque pointer to a libtrace_output_t
434 *
435 *  If an error occured when attempting to open the output trace, NULL is
436 *  returned and trace_errno is set.
437 */
438
439DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
440        libtrace_out_t *libtrace =
441                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
442
443        char *scan = 0;
444        const char *uridata = 0;
445        struct libtrace_format_t *tmp;
446
447        trace_init();
448
449        libtrace->err.err_num = TRACE_ERR_NOERROR;
450        strcpy(libtrace->err.problem,"Error message set\n");
451        libtrace->format = NULL;
452        libtrace->uridata = NULL;
453
454        /* Parse the URI to determine what capture format we want to write */
455
456        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
457                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
458                                "Bad uri format (%s)",uri);
459                return libtrace;
460        }
461
462        /* Attempt to find the format in the list of supported formats */
463        for(tmp=formats_list;tmp;tmp=tmp->next) {
464                if (strlen(scan) == strlen(tmp->name) &&
465                                !strncasecmp(scan,
466                                        tmp->name,
467                                        strlen(scan))) {
468                                libtrace->format=tmp;
469                                break;
470                                }
471        }
472        free(scan);
473
474        if (libtrace->format == NULL) {
475                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
476                                "Unknown output format (%s)",scan);
477                return libtrace;
478        }
479        libtrace->uridata = strdup(uridata);
480
481        /* libtrace->format now contains the type of uri
482         * libtrace->uridata contains the appropriate data for this
483         */
484
485        if (libtrace->format->init_output) {
486                /* 0 on success, -1 on failure */
487                switch(libtrace->format->init_output(libtrace)) {
488                        case -1: /* failure */
489                                return libtrace;
490                        case 0: /* success */
491                                break;
492                        default:
493                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
494                }
495        } else {
496                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
497                                "Format does not support writing (%s)",scan);
498                return libtrace;
499        }
500
501
502        libtrace->started=false;
503        return libtrace;
504}
505
506/* Start an input trace
507 * @param libtrace      the input trace to start
508 * @returns 0 on success
509 *
510 * This does the work associated with actually starting up
511 * the trace.  it may fail.
512 */
513DLLEXPORT int trace_start(libtrace_t *libtrace)
514{
515        assert(libtrace);
516        if (trace_is_err(libtrace))
517                return -1;
518        if (libtrace->format->start_input) {
519                int ret=libtrace->format->start_input(libtrace);
520                if (ret < 0) {
521                        return ret;
522                }
523        }
524
525        libtrace->started=true;
526        return 0;
527}
528
529/* Start an output trace */
530DLLEXPORT int trace_start_output(libtrace_out_t *libtrace)
531{
532        assert(libtrace);
533        if (libtrace->format->start_output) {
534                int ret=libtrace->format->start_output(libtrace);
535                if (ret < 0) {
536                        return ret;
537                }
538        }
539
540        libtrace->started=true;
541        return 0;
542}
543
544DLLEXPORT int trace_pause(libtrace_t *libtrace)
545{
546        assert(libtrace);
547        if (!libtrace->started) {
548                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
549                return -1;
550        }
551
552        /* Finish the last packet we read - for backwards compatibility */
553        if (!libtrace_parallel && libtrace->last_packet)
554                trace_fin_packet(libtrace->last_packet);
555        assert(libtrace->last_packet == NULL);
556
557        if (libtrace->format->pause_input)
558                libtrace->format->pause_input(libtrace);
559
560        libtrace->started=false;
561        return 0;
562}
563
564DLLEXPORT int trace_config(libtrace_t *libtrace,
565                trace_option_t option,
566                void *value)
567{
568        int ret;
569
570        if (trace_is_err(libtrace)) {
571                return -1;
572        }
573
574        if (option == TRACE_OPTION_HASHER)
575                return trace_set_hasher(libtrace,
576                                        (enum hasher_types) *((int *) value),
577                                        NULL, NULL);
578
579        /* If the capture format supports configuration, try using their
580         * native configuration first */
581        if (libtrace->format->config_input) {
582                ret=libtrace->format->config_input(libtrace,option,value);
583                if (ret==0)
584                        return 0;
585        }
586
587        /* If we get here, either the native configuration failed or the
588         * format did not support configuration. However, libtrace can
589         * deal with some options itself, so give that a go */
590        switch(option) {
591                case TRACE_OPTION_SNAPLEN:
592                        /* Clear the error if there was one */
593                        if (trace_is_err(libtrace)) {
594                                trace_get_err(libtrace);
595                        }
596                        if (*(int*)value<0
597                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
598                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
599                                        "Invalid snap length");
600                        }
601                        libtrace->snaplen=*(int*)value;
602                        return 0;
603                case TRACE_OPTION_FILTER:
604                        /* Clear the error if there was one */
605                        if (trace_is_err(libtrace)) {
606                                trace_get_err(libtrace);
607                        }
608                        libtrace->filter=(libtrace_filter_t *)value;
609                        return 0;
610                case TRACE_OPTION_PROMISC:
611                        if (!trace_is_err(libtrace)) {
612                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
613                                                "Promisc mode is not supported by this format module");
614                        }
615                        return -1;
616                case TRACE_OPTION_META_FREQ:
617                        if (!trace_is_err(libtrace)) {
618                                trace_set_err(libtrace,
619                                                TRACE_ERR_OPTION_UNAVAIL,
620                                                "This format does not support meta-data gathering");
621                        }
622                        return -1;
623                case TRACE_OPTION_EVENT_REALTIME:
624                        if (!trace_is_err(libtrace)) {
625                                trace_set_err(libtrace,
626                                                TRACE_ERR_OPTION_UNAVAIL,
627                                                "This format does not support realtime events");
628                        }
629                        return -1;
630                case TRACE_OPTION_HASHER:
631                        /* Dealt with earlier */
632                        return -1;
633
634        }
635        if (!trace_is_err(libtrace)) {
636                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
637                        "Unknown option %i", option);
638        }
639        return -1;
640}
641
642DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
643        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
644}
645
646DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
647        int tmp = promisc;
648        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
649}
650
651DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
652        return trace_config(trace, TRACE_OPTION_FILTER, filter);
653}
654
655DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
656        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
657}
658
659DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
660        int tmp = realtime;
661        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
662}
663
664DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
665                trace_option_output_t option,
666                void *value) {
667
668        /* Unlike the input options, libtrace does not natively support any of
669         * the output options - the format module must be able to deal with
670         * them. */
671        if (libtrace->format->config_output) {
672                return libtrace->format->config_output(libtrace, option, value);
673        }
674        return -1;
675}
676
677/* Close an input trace file, freeing up any resources it may have been using
678 *
679 */
680DLLEXPORT void trace_destroy(libtrace_t *libtrace) {
681        int i;
682        assert(libtrace);
683
684        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
685        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
686        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
687
688        /* destroy any packets that are still around */
689        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
690                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
691                        if(libtrace->first_packets.packets[i].packet) {
692                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
693                        }
694                }
695                free(libtrace->first_packets.packets);
696                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
697        }
698
699        /* Finish any the last packet we read - for backwards compatibility */
700        if (!libtrace_parallel && libtrace->last_packet) {
701                trace_fin_packet(libtrace->last_packet);
702        }
703        assert(libtrace->last_packet == NULL);
704
705        if (libtrace->format) {
706                if (libtrace->started && libtrace->format->pause_input)
707                        libtrace->format->pause_input(libtrace);
708                if (libtrace->format->fin_input)
709                        libtrace->format->fin_input(libtrace);
710        }
711        /* Need to free things! */
712        if (libtrace->uridata)
713                free(libtrace->uridata);
714
715        if (libtrace->stats)
716                free(libtrace->stats);
717       
718        /* Empty any packet memory */
719        if (libtrace->state != STATE_NEW) {
720                // This has all of our packets
721                libtrace_ocache_destroy(&libtrace->packet_freelist);
722                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
723                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
724                }
725                libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
726                libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
727                libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
728
729
730                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
731                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
732                free(libtrace->perpkt_threads);
733                libtrace->perpkt_threads = NULL;
734                libtrace->perpkt_thread_count = 0;
735
736        }
737
738        if (libtrace->perpkt_cbs)
739                trace_destroy_callback_set(libtrace->perpkt_cbs);
740        if (libtrace->reporter_cbs)
741                trace_destroy_callback_set(libtrace->reporter_cbs);
742
743        if (libtrace->event.packet) {
744                /* Don't use trace_destroy_packet here - there is almost
745                 * certainly going to be another libtrace_packet_t that is
746                 * pointing to the buffer for this packet, so we don't want
747                 * to free it. Rather, it will get freed when the user calls
748                 * trace_destroy_packet on the libtrace_packet_t that they
749                 * own.
750                 *
751                 * All we need to do then is free our packet structure itself.
752                 */
753                 free(libtrace->event.packet);
754        }
755
756        free(libtrace);
757}
758
759
760DLLEXPORT void trace_destroy_dead(libtrace_t *libtrace) {
761        assert(libtrace);
762
763        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
764        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
765        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
766
767        /* Don't call pause_input or fin_input, because we should never have
768         * used this trace to do any reading anyway. Do make sure we free
769         * any format_data that has been created, though. */
770        if (libtrace->format_data)
771                free(libtrace->format_data);
772        free(libtrace);
773}
774/* Close an output trace file, freeing up any resources it may have been using
775 *
776 * @param libtrace      the output trace file to be destroyed
777 */
778DLLEXPORT void trace_destroy_output(libtrace_out_t *libtrace)
779{
780        assert(libtrace);
781        if (libtrace->format && libtrace->format->fin_output)
782                libtrace->format->fin_output(libtrace);
783        if (libtrace->uridata)
784                free(libtrace->uridata);
785        free(libtrace);
786}
787
788DLLEXPORT libtrace_packet_t *trace_create_packet(void)
789{
790        libtrace_packet_t *packet =
791                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
792
793        if (packet == NULL)
794                return NULL;
795
796        packet->buf_control=TRACE_CTRL_PACKET;
797        trace_clear_cache(packet);
798        return packet;
799}
800
801DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
802        libtrace_packet_t *dest = 
803                (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
804        if (!dest) {
805                printf("Out of memory constructing packet\n");
806                abort();
807        }
808        dest->trace=packet->trace;
809        dest->buffer=malloc(65536);
810        if (!dest->buffer) {
811                printf("Out of memory allocating buffer memory\n");
812                abort();
813        }
814        dest->header=dest->buffer;
815        dest->payload=(void*)
816                ((char*)dest->buffer+trace_get_framing_length(packet));
817        dest->type=packet->type;
818        dest->buf_control=TRACE_CTRL_PACKET;
819        dest->order = packet->order;
820        dest->hash = packet->hash;
821        dest->error = packet->error;
822        /* Reset the cache - better to recalculate than try to convert
823         * the values over to the new packet */
824        trace_clear_cache(dest);
825        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
826         * as much as possible */
827        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
828        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
829
830        return dest;
831}
832
833/** Destroy a packet object
834 */
835DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
836        /* Free any resources possibly associated with the packet */
837        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
838                packet->trace->format->fin_packet(packet);
839        }
840        if (!libtrace_parallel && packet->trace &&
841             packet->trace->last_packet == packet) {
842                packet->trace->last_packet = NULL;
843        }
844       
845        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
846                free(packet->buffer);
847        }
848        packet->buf_control=(buf_control_t)'\0';
849                                /* A "bad" value to force an assert
850                                 * if this packet is ever reused
851                                 */
852        free(packet);
853}
854
855/**
856 * Removes any possible data stored againt the trace and releases any data.
857 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
858 * use trace_destroy_packet() for those diabolical purposes.
859 */
860void trace_fin_packet(libtrace_packet_t *packet) {
861        if (packet)
862        {
863                if (packet->trace && packet->trace->format->fin_packet) {
864                        packet->trace->format->fin_packet(packet);
865                }
866
867                if (packet->srcbucket && packet->internalid != 0) {
868                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
869                        libtrace_release_bucket_id(b, packet->internalid);
870                }
871
872                if (packet->trace) {
873                        if (!libtrace_parallel && packet->trace->last_packet == packet)
874                                packet->trace->last_packet = NULL;
875                }
876
877                // No matter what we remove the header and link pointers
878                packet->trace = NULL;
879                packet->header = NULL;
880                packet->payload = NULL;
881
882                if (packet->buf_control != TRACE_CTRL_PACKET)
883                {
884                        packet->buffer = NULL;
885                }
886
887                trace_clear_cache(packet);
888                packet->hash = 0;
889                packet->order = 0;
890                packet->srcbucket = NULL;
891        }
892}
893
894/* Read one packet from the trace into buffer. Note that this function will
895 * block until a packet is read (or EOF is reached).
896 *
897 * @param libtrace      the libtrace opaque pointer
898 * @param packet        the packet opaque pointer
899 * @returns 0 on EOF, negative value on error
900 *
901 */
902DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
903
904        assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");
905        if (trace_is_err(libtrace))
906                return -1;
907        if (!libtrace->started) {
908                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
909                return -1;
910        }
911        if (!(packet->buf_control==TRACE_CTRL_PACKET
912                    || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
913                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
914                return -1;
915        }
916        assert(packet);
917
918        if (libtrace->format->read_packet) {
919                /* Finalise the packet, freeing any resources the format module
920                 * may have allocated it and zeroing all data associated with it.
921                 */
922                if (packet->trace == libtrace) {
923                        trace_fin_packet(packet);
924                }
925                do {
926                        size_t ret;
927                        int filtret;
928                        if ((ret=is_halted(libtrace)) != (size_t)-1)
929                                return ret;
930                        /* Store the trace we are reading from into the packet opaque
931                         * structure */
932                        packet->trace = libtrace;
933                        ret=libtrace->format->read_packet(libtrace,packet);
934                        if (ret==(size_t)READ_MESSAGE ||
935                            ret==(size_t)-1 || ret==0) {
936                                packet->trace = NULL;
937                                return ret;
938                        }
939                        if (libtrace->filter) {
940                                /* If the filter doesn't match, read another
941                                 * packet
942                                 */
943                                filtret = trace_apply_filter(libtrace->filter, packet);
944                                if (filtret == -1) {
945                                        /* Error compiling filter, probably */
946                                        return ~0U;
947                                }
948
949                                if (filtret == 0) {
950                                        ++libtrace->filtered_packets;
951                                        trace_fin_packet(packet);
952                                        continue;
953                                }
954                        }
955                        if (libtrace->snaplen>0) {
956                                /* Snap the packet */
957                                trace_set_capture_length(packet,
958                                                libtrace->snaplen);
959                        }
960                        if (!IS_LIBTRACE_META_PACKET(packet)) {
961                                ++libtrace->accepted_packets;
962                        }
963                        trace_packet_set_order(packet, libtrace->sequence_number);
964                        ++libtrace->sequence_number;
965                        if (!libtrace_parallel && packet->trace == libtrace)
966                                libtrace->last_packet = packet;
967
968                        return ret;
969                } while(1);
970        }
971        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
972        return ~0U;
973}
974
975/* Converts the provided buffer into a libtrace packet of the given type.
976 *
977 * Unlike trace_construct_packet, the buffer is expected to begin with the
978 * appropriate capture format header for the format type that the packet is
979 * being converted to. This also allows for a packet to be converted into
980 * just about capture format that is supported by libtrace, provided the
981 * format header is present in the buffer.
982 *
983 * This function is primarily used to convert packets received via the RT
984 * protocol back into their original capture format. The RT header encapsulates
985 * the original capture format header, so after removing it the packet must
986 * have it's header and payload pointers updated and the packet format and type
987 * changed, amongst other things.
988 *
989 * Intended only for internal use at this point - this function is not
990 * available through the external libtrace API.
991 */
992int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
993                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
994
995        assert(packet);
996        assert(trace);
997
998        /* XXX Proper error handling?? */
999        if (buffer == NULL)
1000                return -1;
1001
1002        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
1003                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
1004                return -1;
1005        }
1006
1007        packet->trace = trace;
1008        if (!libtrace_parallel)
1009                trace->last_packet = packet;
1010        /* Clear packet cache */
1011        trace_clear_cache(packet);
1012
1013        if (trace->format->prepare_packet) {
1014                return trace->format->prepare_packet(trace, packet,
1015                                buffer, rt_type, flags);
1016        }
1017        trace_set_err(trace, TRACE_ERR_UNSUPPORTED,
1018                        "This format does not support preparing packets\n");
1019        return -1;
1020
1021}
1022
1023/* Writes a packet to the specified output trace
1024 *
1025 * @param libtrace      describes the output format, destination, etc.
1026 * @param packet        the packet to be written out
1027 * @returns the number of bytes written, -1 if write failed
1028 */
1029DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1030        assert(libtrace);
1031        assert(packet);
1032        /* Verify the packet is valid */
1033        if (!libtrace->started) {
1034                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1035                        "Trace is not started before trace_write_packet");
1036                return -1;
1037        }
1038
1039        /* Don't try to convert meta-packets across formats */
1040        if (strcmp(libtrace->format->name, packet->trace->format->name) != 0 &&
1041                        IS_LIBTRACE_META_PACKET(packet)) {
1042                return 0;
1043        }
1044
1045        if (libtrace->format->write_packet) {
1046                return libtrace->format->write_packet(libtrace, packet);
1047        }
1048        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1049                "This format does not support writing packets");
1050        return -1;
1051}
1052
1053/* Get a pointer to the first byte of the packet payload */
1054DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1055                libtrace_linktype_t *linktype, uint32_t *remaining) {
1056        int cap_len;
1057        int wire_len;
1058
1059        assert(packet != NULL);
1060        if (linktype) *linktype = trace_get_link_type(packet);
1061        if (remaining) {
1062                /* I think we should choose the minimum of the capture and
1063                 * wire lengths to be the "remaining" value. If the packet has
1064                 * been padded to increase the capture length, we don't want
1065                 * to allow subsequent protocol decoders to consider the
1066                 * padding as part of the packet.
1067                 *
1068                 * For example, in Auck 4 there is a trace where the IP header
1069                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1070                 * header. Total IP length is 40 bytes. As a result, the
1071                 * legacyatm padding gets treated as the "missing" bytes of
1072                 * the TCP header, which isn't the greatest. We're probably
1073                 * better off returning an incomplete TCP header in that case.
1074                 */
1075
1076                cap_len = trace_get_capture_length(packet);
1077                wire_len = trace_get_wire_length(packet);
1078
1079                assert(cap_len >= 0);
1080
1081                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1082                 * massively negative wire lens. We could assert fail here on
1083                 * them, but we could at least try the capture length instead.
1084                 *
1085                 * You may still run into problems if you try to write that
1086                 * packet, but at least reading should work OK.
1087                 */
1088                if (wire_len < 0)
1089                        *remaining = cap_len;
1090                else if (wire_len < cap_len)
1091                        *remaining = wire_len;
1092                else
1093                        *remaining = cap_len;
1094                /* *remaining = trace_get_capture_length(packet); */
1095        }
1096        return (void *) packet->payload;
1097}
1098
1099
1100/* Get a pointer to the first byte of the packet payload
1101 *
1102 * DEPRECATED - use trace_get_packet_buffer() instead */
1103DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1104        return (void *)packet->payload;
1105}
1106
1107/* Get the current time in DAG time format
1108 * @param packet        a pointer to a libtrace_packet structure
1109 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1110 * past 1970-01-01, the lower 32bits are partial seconds)
1111 */
1112DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1113        if (packet->trace->format->get_erf_timestamp) {
1114                /* timestamp -> timestamp */
1115                return packet->trace->format->get_erf_timestamp(packet);
1116        } else if (packet->trace->format->get_timespec) {
1117                /* timespec -> timestamp */
1118                struct timespec ts;
1119                ts = packet->trace->format->get_timespec(packet);
1120                return ((((uint64_t)ts.tv_sec) << 32) +
1121                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1122        } else if (packet->trace->format->get_timeval) {
1123                /* timeval -> timestamp */
1124                struct timeval tv;
1125                tv = packet->trace->format->get_timeval(packet);
1126                return ((((uint64_t)tv.tv_sec) << 32) +
1127                                (((uint64_t)tv.tv_usec << 32)/1000000));
1128        } else if (packet->trace->format->get_seconds) {
1129                /* seconds -> timestamp */
1130                double seconds = packet->trace->format->get_seconds(packet);
1131                return (((uint64_t)seconds)<<32)
1132                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1133        }
1134        else {
1135                return (uint64_t)0;
1136        }
1137}
1138
1139/* Get the current time in struct timeval
1140 * @param packet        a pointer to a libtrace_packet structure
1141 *
1142 * @returns time that this packet was seen in a struct timeval
1143 * @author Daniel Lawson
1144 * @author Perry Lorier
1145 */
1146DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1147        struct timeval tv;
1148        uint64_t ts = 0;
1149        if (packet->trace->format->get_timeval) {
1150                /* timeval -> timeval */
1151                tv = packet->trace->format->get_timeval(packet);
1152        } else if (packet->trace->format->get_erf_timestamp) {
1153                /* timestamp -> timeval */
1154                ts = packet->trace->format->get_erf_timestamp(packet);
1155                tv.tv_sec = ts >> 32;
1156                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1157                if (tv.tv_usec >= 1000000) {
1158                        tv.tv_usec -= 1000000;
1159                        tv.tv_sec += 1;
1160                }
1161        } else if (packet->trace->format->get_timespec) {
1162                struct timespec ts = packet->trace->format->get_timespec(packet);
1163                tv.tv_sec = ts.tv_sec;
1164                tv.tv_usec = ts.tv_nsec/1000;
1165        } else if (packet->trace->format->get_seconds) {
1166                /* seconds -> timeval */
1167                double seconds = packet->trace->format->get_seconds(packet);
1168                tv.tv_sec = (uint32_t)seconds;
1169                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1170        }
1171        else {
1172                tv.tv_sec=-1;
1173                tv.tv_usec=-1;
1174        }
1175
1176    return tv;
1177}
1178
1179DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1180        struct timespec ts;
1181
1182        if (packet->trace->format->get_timespec) {
1183                return packet->trace->format->get_timespec(packet);
1184        } else if (packet->trace->format->get_erf_timestamp) {
1185                /* timestamp -> timeval */
1186                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1187                ts.tv_sec = erfts >> 32;
1188                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1189                if (ts.tv_nsec >= 1000000000) {
1190                        ts.tv_nsec -= 1000000000;
1191                        ts.tv_sec += 1;
1192                }
1193                return ts;
1194        } else if (packet->trace->format->get_timeval) {
1195                /* timeval -> timespec */
1196                struct timeval tv = packet->trace->format->get_timeval(packet);
1197                ts.tv_sec = tv.tv_sec;
1198                ts.tv_nsec = tv.tv_usec*1000;
1199                return ts;
1200        } else if (packet->trace->format->get_seconds) {
1201                /* seconds -> timespec */
1202                double seconds = packet->trace->format->get_seconds(packet);
1203                ts.tv_sec = (uint32_t)seconds;
1204                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1205                return ts;
1206        }
1207        else {
1208                ts.tv_sec=-1;
1209                ts.tv_nsec=-1;
1210                return ts;
1211        }
1212}
1213
1214
1215/* Get the current time in floating point seconds
1216 * @param packet        a pointer to a libtrace_packet structure
1217 * @returns time that this packet was seen in 64bit floating point seconds
1218 */
1219DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1220        double seconds = 0.0;
1221
1222        if (packet->trace->format->get_seconds) {
1223                /* seconds->seconds */
1224                seconds = packet->trace->format->get_seconds(packet);
1225        } else if (packet->trace->format->get_erf_timestamp) {
1226                /* timestamp -> seconds */
1227                uint64_t ts = 0;
1228                ts = packet->trace->format->get_erf_timestamp(packet);
1229                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1230        } else if (packet->trace->format->get_timespec) {
1231                /* timespec -> seconds */
1232                struct timespec ts;
1233                ts = packet->trace->format->get_timespec(packet);
1234                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1235        } else if (packet->trace->format->get_timeval) {
1236                /* timeval -> seconds */
1237                struct timeval tv;
1238                tv = packet->trace->format->get_timeval(packet);
1239                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1240        }
1241
1242        return seconds;
1243}
1244
1245DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet)
1246{
1247        /* Cache the capture length */
1248        if (packet->capture_length == -1) {
1249                if (!packet->trace->format->get_capture_length)
1250                        return ~0U;
1251                /* Cast away constness because this is "just" a cache */
1252                ((libtrace_packet_t*)packet)->capture_length =
1253                        packet->trace->format->get_capture_length(packet);
1254        }
1255
1256        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1257
1258        return packet->capture_length;
1259}
1260
1261/* Get the size of the packet as it was seen on the wire.
1262 * @param packet        a pointer to a libtrace_packet structure
1263 *
1264 * @returns the size of the packet as it was on the wire.
1265 * @note Due to the trace being a header capture, or anonymisation this may
1266 * not be the same as the Capture Len.
1267 */
1268DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1269
1270        if (packet->wire_length == -1) {
1271                if (!packet->trace->format->get_wire_length)
1272                        return ~0U;
1273                ((libtrace_packet_t *)packet)->wire_length =
1274                        packet->trace->format->get_wire_length(packet);
1275        }
1276
1277        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1278        return packet->wire_length;
1279
1280}
1281
1282/* Get the length of the capture framing headers.
1283 * @param packet        the packet opaque pointer
1284 * @returns the size of the packet as it was on the wire.
1285 * @note this length corresponds to the difference between the size of a
1286 * captured packet in memory, and the captured length of the packet
1287 */
1288DLLEXPORT SIMPLE_FUNCTION
1289size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1290        if (packet->trace->format->get_framing_length) {
1291                return packet->trace->format->get_framing_length(packet);
1292        }
1293        return ~0U;
1294}
1295
1296
1297/* Get the type of the link layer
1298 * @param packet        a pointer to a libtrace_packet structure
1299 * @returns libtrace_linktype_t
1300 */
1301DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1302
1303        if (packet->link_type == 0) {
1304                if (!packet->trace->format->get_link_type)
1305                        return TRACE_TYPE_UNKNOWN;
1306                ((libtrace_packet_t *)packet)->link_type =
1307                        packet->trace->format->get_link_type(packet);
1308        }
1309
1310        return packet->link_type;
1311}
1312
1313/* process a libtrace event
1314 * @param trace the libtrace opaque pointer
1315 * @param packet the libtrace_packet opaque pointer
1316 * @returns
1317 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1318 *  TRACE_EVENT_SLEEP   Next event in seconds
1319 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1320 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1321 * FIXME currently keeps a copy of the packet inside the trace pointer,
1322 * which in turn is stored inside the new packet object...
1323 */
1324DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace,
1325                libtrace_packet_t *packet) {
1326        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1327
1328        if (!trace) {
1329                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1330        }
1331        assert(trace);
1332        assert(packet);
1333
1334        /* Free the last packet */
1335        trace_fin_packet(packet);
1336        /* Store the trace we are reading from into the packet opaque
1337         * structure */
1338        packet->trace = trace;
1339
1340        if (packet->trace->format->trace_event) {
1341                /* Note: incrementing accepted, filtered etc. packet
1342                 * counters is handled by the format-specific
1343                 * function so don't increment them here.
1344                 */
1345                event=packet->trace->format->trace_event(trace,packet);
1346                }
1347        return event;
1348
1349}
1350
1351/** Setup a BPF filter based on pre-compiled byte-code.
1352 * @param bf_insns      A pointer to the start of the byte-code
1353 * @param bf_len        The number of BPF instructions
1354 * @returns             an opaque pointer to a libtrace_filter_t object
1355 * @note                The supplied byte-code is not checked for correctness.
1356 * @author              Scott Raynel
1357 */
1358DLLEXPORT libtrace_filter_t *
1359trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1360{
1361#ifndef HAVE_BPF
1362        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1363        return NULL;
1364#else
1365        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1366                malloc(sizeof(struct libtrace_filter_t));
1367        filter->filter.bf_insns = (struct bpf_insn *)
1368                malloc(sizeof(struct bpf_insn) * bf_len);
1369
1370        memcpy(filter->filter.bf_insns, bf_insns,
1371                        bf_len * sizeof(struct bpf_insn));
1372
1373        filter->filter.bf_len = bf_len;
1374        filter->filterstring = NULL;
1375        filter->jitfilter = NULL;
1376        /* "flag" indicates that the filter member is valid */
1377        filter->flag = 1;
1378
1379        return filter;
1380#endif
1381}
1382
1383/* Create a BPF filter
1384 * @param filterstring a char * containing the bpf filter string
1385 * @returns opaque pointer pointer to a libtrace_filter_t object
1386 */
1387DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1388#ifdef HAVE_BPF
1389        libtrace_filter_t *filter = (libtrace_filter_t*)
1390                                malloc(sizeof(libtrace_filter_t));
1391        filter->filterstring = strdup(filterstring);
1392        filter->jitfilter = NULL;
1393        filter->flag = 0;
1394        return filter;
1395#else
1396        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1397        return NULL;
1398#endif
1399}
1400
1401DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1402{
1403#ifdef HAVE_BPF
1404        free(filter->filterstring);
1405        if (filter->flag)
1406                pcap_freecode(&filter->filter);
1407#ifdef HAVE_LLVM
1408        if (filter->jitfilter)
1409                destroy_program(filter->jitfilter);
1410#endif
1411        free(filter);
1412#else
1413
1414#endif
1415}
1416
1417/* Compile a bpf filter, now we know the link type for the trace that we're
1418 * applying it to.
1419 *
1420 * @internal
1421 *
1422 * @returns -1 on error, 0 on success
1423 */
1424static int trace_bpf_compile(libtrace_filter_t *filter,
1425                const libtrace_packet_t *packet,
1426                void *linkptr,
1427                libtrace_linktype_t linktype    ) {
1428#ifdef HAVE_BPF
1429        /* It just so happens that the underlying libs used by pthread arn't
1430         * thread safe, namely lex/flex thingys, so single threaded compile
1431         * multi threaded running should be safe.
1432         */
1433        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1434        assert(filter);
1435
1436        /* If this isn't a real packet, then fail */
1437        if (!linkptr) {
1438                trace_set_err(packet->trace,
1439                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1440                return -1;
1441        }
1442
1443        if (filter->filterstring && ! filter->flag) {
1444                pcap_t *pcap = NULL;
1445                if (linktype==(libtrace_linktype_t)-1) {
1446                        trace_set_err(packet->trace,
1447                                        TRACE_ERR_BAD_FILTER,
1448                                        "Packet has an unknown linktype");
1449                        return -1;
1450                }
1451                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1452                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1453                                        "Unknown pcap equivalent linktype");
1454                        return -1;
1455                }
1456                assert (pthread_mutex_lock(&mutex) == 0);
1457                /* Make sure not one bet us to this */
1458                if (filter->flag) {
1459                        assert (pthread_mutex_unlock(&mutex) == 0);
1460                        return 1;
1461                }
1462                pcap=(pcap_t *)pcap_open_dead(
1463                                (int)libtrace_to_pcap_dlt(linktype),
1464                                1500U);
1465                /* build filter */
1466                assert(pcap);
1467                if (pcap_compile( pcap, &filter->filter, filter->filterstring,
1468                                        1, 0)) {
1469                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1470                                        "Unable to compile the filter \"%s\": %s",
1471                                        filter->filterstring,
1472                                        pcap_geterr(pcap));
1473                        pcap_close(pcap);
1474                        assert (pthread_mutex_unlock(&mutex) == 0);
1475                        return -1;
1476                }
1477                pcap_close(pcap);
1478                filter->flag=1;
1479                assert (pthread_mutex_unlock(&mutex) == 0);
1480        }
1481        return 0;
1482#else
1483        assert(!"Internal bug: This should never be called when BPF not enabled");
1484        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1485                                "Feature unavailable");
1486        return -1;
1487#endif
1488}
1489
1490DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1491                        const libtrace_packet_t *packet) {
1492#ifdef HAVE_BPF
1493        void *linkptr = 0;
1494        uint32_t clen = 0;
1495        bool free_packet_needed = false;
1496        int ret;
1497        libtrace_linktype_t linktype;
1498        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1499#ifdef HAVE_LLVM
1500        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1501#endif
1502
1503        assert(filter);
1504        assert(packet);
1505
1506        /* Match all non-data packets as we probably want them to pass
1507         * through to the caller */
1508        linktype = trace_get_link_type(packet);
1509
1510        if (linktype == TRACE_TYPE_NONDATA)
1511                return 1;
1512
1513        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1514
1515                /* If we cannot get a suitable DLT for the packet, it may
1516                 * be because the packet is encapsulated in a link type that
1517                 * does not correspond to a DLT. Therefore, we should try
1518                 * popping off headers until we either can find a suitable
1519                 * link type or we can't do any more sensible decapsulation. */
1520
1521                /* Copy the packet, as we don't want to trash the one we
1522                 * were passed in */
1523                packet_copy=trace_copy_packet(packet);
1524                free_packet_needed=true;
1525
1526                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1527                        if (!demote_packet(packet_copy)) {
1528                                trace_set_err(packet->trace,
1529                                                TRACE_ERR_NO_CONVERSION,
1530                                                "pcap does not support this format");
1531                                if (free_packet_needed) {
1532                                        trace_destroy_packet(packet_copy);
1533                                }
1534                                return -1;
1535                        }
1536                        linktype = trace_get_link_type(packet_copy);
1537                }
1538
1539        }
1540
1541        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1542        if (!linkptr) {
1543                if (free_packet_needed) {
1544                        trace_destroy_packet(packet_copy);
1545                }
1546                return 0;
1547        }
1548
1549        /* We need to compile the filter now, because before we didn't know
1550         * what the link type was
1551         */
1552        // Note internal mutex locking used here
1553        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1554                if (free_packet_needed) {
1555                        trace_destroy_packet(packet_copy);
1556                }
1557                return -1;
1558        }
1559
1560        /* If we're jitting, we may need to JIT the BPF code now too */
1561#if HAVE_LLVM
1562        if (!filter->jitfilter) {
1563                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1564                /* Again double check here like the bpf filter */
1565                if(!filter->jitfilter)
1566                /* Looking at compile_program source this appears to be thread safe
1567                 * however if this gets called twice we will leak this memory :(
1568                 * as such lock here anyways */
1569                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1570                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1571        }
1572#endif
1573
1574        assert(filter->flag);
1575        /* Now execute the filter */
1576#if HAVE_LLVM
1577        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1578#else
1579        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1580#endif
1581
1582        /* If we copied the packet earlier, make sure that we free it */
1583        if (free_packet_needed) {
1584                trace_destroy_packet(packet_copy);
1585        }
1586        return ret;
1587#else
1588        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1589        return 0;
1590#endif
1591}
1592
1593/* Set the direction flag, if it has one
1594 * @param packet the packet opaque pointer
1595 * @param direction the new direction (0,1,2,3)
1596 * @returns a signed value containing the direction flag, or -1 if this is not supported
1597 */
1598DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet,
1599                libtrace_direction_t direction)
1600{
1601        assert(packet);
1602        if (packet->trace->format->set_direction) {
1603                return packet->trace->format->set_direction(packet,direction);
1604        }
1605        return (libtrace_direction_t)~0U;
1606}
1607
1608/* Get the direction flag, if it has one
1609 * @param packet a pointer to a libtrace_packet structure
1610 * @returns a signed value containing the direction flag, or -1 if this is not supported
1611 * The direction is defined as 0 for packets originating locally (ie, outbound)
1612 * and 1 for packets originating remotely (ie, inbound).
1613 * Other values are possible, which might be overloaded to mean special things
1614 * for a special trace.
1615 */
1616DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet)
1617{
1618        assert(packet);
1619        if (packet->trace->format->get_direction) {
1620                return packet->trace->format->get_direction(packet);
1621        }
1622        return (libtrace_direction_t)~0U;
1623}
1624
1625#define ROOT_SERVER(x) ((x) < 512)
1626#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1627#define NONROOT_SERVER(x) ((x) >= 5000)
1628#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1629#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1630#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1631#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1632
1633/* Attempt to deduce the 'server' port
1634 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1635 * @param source the TCP or UDP source port
1636 * @param dest the TCP or UDP destination port
1637 * @returns a hint as to which port is the server port
1638 */
1639DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol,
1640                uint16_t source, uint16_t dest)
1641{
1642        /*
1643         * * If the ports are equal, return DEST
1644         * * Check for well-known ports in the given protocol
1645         * * Root server ports: 0 - 511
1646         * * Root client ports: 512 - 1023
1647         * * non-root client ports: 1024 - 4999
1648         * * non-root server ports: 5000+
1649         * * Check for static ranges: 1024 - 49151
1650         * * Check for dynamic ranges: 49152 - 65535
1651         * * flip a coin.
1652         */
1653
1654        /* equal */
1655        if (source == dest)
1656                return USE_DEST;
1657
1658        /* root server port, 0 - 511 */
1659        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1660                if (source < dest)
1661                        return USE_SOURCE;
1662                return USE_DEST;
1663        }
1664
1665        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1666                return USE_SOURCE;
1667        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1668                return USE_DEST;
1669
1670        /* non-root server */
1671        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1672                if (source < dest)
1673                        return USE_SOURCE;
1674                return USE_DEST;
1675        }
1676        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1677                return USE_SOURCE;
1678        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1679                return USE_DEST;
1680
1681        /* root client */
1682        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1683                if (source < dest)
1684                        return USE_SOURCE;
1685                return USE_DEST;
1686        }
1687        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1688                /* prefer root-client over nonroot-client */
1689                if (NONROOT_CLIENT(dest))
1690                        return USE_SOURCE;
1691                return USE_DEST;
1692        }
1693        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1694                /* prefer root-client over nonroot-client */
1695                if (NONROOT_CLIENT(source))
1696                        return USE_DEST;
1697                return USE_SOURCE;
1698        }
1699
1700        /* nonroot client */
1701        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1702                if (source < dest)
1703                        return USE_SOURCE;
1704                return USE_DEST;
1705        }
1706        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1707                return USE_DEST;
1708        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1709                return USE_SOURCE;
1710
1711        /* dynamic range */
1712        if (DYNAMIC(source) && DYNAMIC(dest)) {
1713                if (source < dest)
1714                        return USE_SOURCE;
1715                return USE_DEST;
1716        }
1717        if (DYNAMIC(source) && !DYNAMIC(dest))
1718                return USE_DEST;
1719        if (!DYNAMIC(source) && DYNAMIC(dest))
1720                return USE_SOURCE;
1721        /*
1722        if (SERVER(source) && CLIENT(dest))
1723                return USE_SOURCE;
1724
1725        if (SERVER(dest) && CLIENT(source))
1726                return USE_DEST;
1727        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1728                return USE_SOURCE;
1729        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1730                return USE_DEST;
1731        */
1732        /* failing that test... */
1733        if (source < dest) {
1734                return USE_SOURCE;
1735        }
1736        return USE_DEST;
1737
1738}
1739
1740/* Truncate the packet at the suggested length
1741 * @param packet        the packet opaque pointer
1742 * @param size          the new length of the packet
1743 * @returns the new size of the packet
1744 * @note size and the return size refer to the network-level payload of the
1745 * packet, and do not include any capture headers. For example, to truncate a
1746 * packet after the IP header, set size to sizeof(ethernet_header) +
1747 * sizeof(ip_header)
1748 * @note If the original network-level payload is smaller than size, then the
1749 * original size is returned and the packet is left unchanged.
1750 */
1751DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1752        assert(packet);
1753
1754        if (packet->trace->format->set_capture_length) {
1755                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1756                return packet->capture_length;
1757        }
1758
1759        return ~0U;
1760}
1761
1762/* Splits a URI into two components - the format component which is seen before
1763 * the ':', and the uridata which follows the ':'.
1764 *
1765 * Returns a pointer to the URI data, but updates the format parameter to
1766 * point to a copy of the format component.
1767 */
1768
1769DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1770        const char *uridata = 0;
1771
1772        if((uridata = strchr(uri,':')) == NULL) {
1773                /* Badly formed URI - needs a : */
1774                return 0;
1775        }
1776
1777        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1778                /* Badly formed URI - uri type is too long */
1779                return 0;
1780        }
1781
1782        /* NOTE: this is allocated memory - it should be freed by the caller
1783         * once they are done with it */
1784        *format=xstrndup(uri, (size_t)(uridata - uri));
1785
1786        /* Push uridata past the delimiter */
1787        uridata++;
1788
1789        return uridata;
1790}
1791
1792enum base_format_t trace_get_format(libtrace_packet_t *packet)
1793{
1794        assert(packet);
1795
1796        return packet->trace->format->type;
1797}
1798
1799DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1800{
1801        libtrace_err_t err = trace->err;
1802        trace->err.err_num = 0; /* "OK" */
1803        trace->err.problem[0]='\0';
1804        return err;
1805}
1806
1807DLLEXPORT bool trace_is_err(libtrace_t *trace)
1808{
1809        return trace->err.err_num != 0;
1810}
1811
1812/* Prints the input error status to standard error and clears the error state */
1813DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1814{
1815        char buf[256];
1816        va_list va;
1817        va_start(va,msg);
1818        vsnprintf(buf,sizeof(buf),msg,va);
1819        va_end(va);
1820        if(trace->err.err_num) {
1821                if (trace->uridata) {
1822                        fprintf(stderr,"%s(%s): %s\n",
1823                                        buf,trace->uridata,trace->err.problem);
1824                } else {
1825                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1826                }
1827        } else {
1828                if (trace->uridata) {
1829                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1830                } else {
1831                        fprintf(stderr,"%s: No error\n", buf);
1832                }
1833        }
1834        trace->err.err_num = 0; /* "OK" */
1835        trace->err.problem[0]='\0';
1836}
1837
1838DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
1839{
1840        libtrace_err_t err = trace->err;
1841        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1842        trace->err.problem[0]='\0';
1843        return err;
1844}
1845
1846DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
1847{
1848        return trace->err.err_num != 0;
1849}
1850
1851/* Prints the output error status to standard error and clears the error state
1852 */
1853DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
1854{
1855        char buf[256];
1856        va_list va;
1857        va_start(va,msg);
1858        vsnprintf(buf,sizeof(buf),msg,va);
1859        va_end(va);
1860        if(trace->err.err_num) {
1861                fprintf(stderr,"%s(%s): %s\n",
1862                                buf,
1863                                trace->uridata?trace->uridata:"no uri",
1864                                trace->err.problem);
1865        } else {
1866                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1867        }
1868        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
1869        trace->err.problem[0]='\0';
1870}
1871
1872DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
1873{
1874        if (trace->format->seek_erf) {
1875                return trace->format->seek_erf(trace,ts);
1876        }
1877        else {
1878                if (trace->format->seek_timeval) {
1879                        struct timeval tv;
1880#if __BYTE_ORDER == __BIG_ENDIAN
1881                        tv.tv_sec = ts & 0xFFFFFFFF;
1882                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
1883#elif __BYTE_ORDER == __LITTLE_ENDIAN
1884                        tv.tv_sec = ts >> 32;
1885                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1886#else
1887#error "What on earth are you running this on?"
1888#endif
1889                        if (tv.tv_usec >= 1000000) {
1890                                tv.tv_usec -= 1000000;
1891                                tv.tv_sec += 1;
1892                        }
1893                        return trace->format->seek_timeval(trace,tv);
1894                }
1895                if (trace->format->seek_seconds) {
1896                        double seconds =
1897                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1898                        return trace->format->seek_seconds(trace,seconds);
1899                }
1900                trace_set_err(trace,
1901                                TRACE_ERR_OPTION_UNAVAIL,
1902                                "Feature unimplemented");
1903                return -1;
1904        }
1905}
1906
1907DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
1908{
1909        if (trace->format->seek_seconds) {
1910                return trace->format->seek_seconds(trace,seconds);
1911        }
1912        else {
1913                if (trace->format->seek_timeval) {
1914                        struct timeval tv;
1915                        tv.tv_sec = (uint32_t)seconds;
1916                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1917                        return trace->format->seek_timeval(trace,tv);
1918                }
1919                if (trace->format->seek_erf) {
1920                        uint64_t timestamp =
1921                                ((uint64_t)((uint32_t)seconds) << 32) + \
1922                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
1923                        return trace->format->seek_erf(trace,timestamp);
1924                }
1925                trace_set_err(trace,
1926                                TRACE_ERR_OPTION_UNAVAIL,
1927                                "Feature unimplemented");
1928                return -1;
1929        }
1930}
1931
1932DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
1933{
1934        if (trace->format->seek_timeval) {
1935                return trace->format->seek_timeval(trace,tv);
1936        }
1937        else {
1938                if (trace->format->seek_erf) {
1939                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
1940                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
1941                        return trace->format->seek_erf(trace,timestamp);
1942                }
1943                if (trace->format->seek_seconds) {
1944                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
1945                        return trace->format->seek_seconds(trace,seconds);
1946                }
1947                trace_set_err(trace,
1948                                TRACE_ERR_OPTION_UNAVAIL,
1949                                "Feature unimplemented");
1950                return -1;
1951        }
1952}
1953
1954/* Converts a binary ethernet MAC address into a printable string */
1955DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
1956{
1957        static char staticbuf[18]={0,};
1958        if (!buf)
1959                buf=staticbuf;
1960        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
1961                        addr[0],addr[1],addr[2],
1962                        addr[3],addr[4],addr[5]);
1963        return buf;
1964}
1965
1966/* Converts a printable ethernet MAC address into a binary format */
1967DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
1968{
1969        uint8_t *buf2 = addr;
1970        unsigned int tmp[6];
1971        static uint8_t staticaddr[6];
1972        if (!buf2)
1973                buf2=staticaddr;
1974        sscanf(buf,"%x:%x:%x:%x:%x:%x",
1975                        &tmp[0],&tmp[1],&tmp[2],
1976                        &tmp[3],&tmp[4],&tmp[5]);
1977        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
1978        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
1979        return buf2;
1980}
1981
1982
1983/* Creates a libtrace packet from scratch using the contents of the provided
1984 * buffer as the packet payload.
1985 *
1986 * Unlike trace_prepare_packet(), the buffer should not contain any capture
1987 * format headers; instead this function will add the PCAP header to the
1988 * packet record. This also means only PCAP packets can be constructed using
1989 * this function.
1990 *
1991 */
1992DLLEXPORT
1993void trace_construct_packet(libtrace_packet_t *packet,
1994                libtrace_linktype_t linktype,
1995                const void *data,
1996                uint16_t len)
1997{
1998        size_t size;
1999        static libtrace_t *deadtrace=NULL;
2000        libtrace_pcapfile_pkt_hdr_t hdr;
2001#ifdef WIN32
2002        struct _timeb tstruct;
2003#else
2004        struct timeval tv;
2005#endif
2006
2007        /* We need a trace to attach the constructed packet to (and it needs
2008         * to be PCAP) */
2009        if (NULL == deadtrace)
2010                deadtrace=trace_create_dead("pcapfile");
2011
2012        /* Fill in the new PCAP header */
2013#ifdef WIN32
2014        _ftime(&tstruct);
2015        hdr.ts_sec=tstruct.time;
2016        hdr.ts_usec=tstruct.millitm * 1000;
2017#else
2018        gettimeofday(&tv,NULL);
2019        hdr.ts_sec=tv.tv_sec;
2020        hdr.ts_usec=tv.tv_usec;
2021#endif
2022
2023        hdr.caplen=len;
2024        hdr.wirelen=len;
2025
2026        /* Now fill in the libtrace packet itself */
2027        assert(deadtrace);
2028        packet->trace=deadtrace;
2029        size=len+sizeof(hdr);
2030        if (size < LIBTRACE_PACKET_BUFSIZE)
2031            size = LIBTRACE_PACKET_BUFSIZE;
2032        if (packet->buf_control==TRACE_CTRL_PACKET) {
2033            packet->buffer = realloc(packet->buffer, size);
2034        }
2035        else {
2036                packet->buffer = malloc(size);
2037        }
2038        packet->buf_control=TRACE_CTRL_PACKET;
2039        packet->header=packet->buffer;
2040        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2041
2042        /* Ugh, memmove - sadly necessary, also beware that we might be
2043         * moving data around within this packet, so ordering is important.
2044         */
2045        memmove(packet->payload, data, (size_t)len);
2046        memmove(packet->header, &hdr, sizeof(hdr));
2047        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2048
2049        trace_clear_cache(packet);
2050}
2051
2052
2053uint64_t trace_get_received_packets(libtrace_t *trace)
2054{
2055        assert(trace);
2056        uint64_t ret;
2057
2058        if (trace->format->get_received_packets) {
2059                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2060                        return ret;
2061        } else if (trace->format->get_statistics) {
2062                struct libtrace_stat_t stat;
2063                stat.magic = LIBTRACE_STAT_MAGIC;
2064                trace_get_statistics(trace, &stat);
2065                if (stat.received_valid)
2066                        return stat.received;
2067        }
2068
2069        // Read the cached value taken before the trace was paused/closed
2070        if(trace->stats && trace->stats->received_valid)
2071                return trace->stats->received;
2072        else
2073                return UINT64_MAX;
2074}
2075
2076uint64_t trace_get_filtered_packets(libtrace_t *trace)
2077{
2078        assert(trace);
2079        int i = 0;
2080        uint64_t lib_filtered = trace->filtered_packets;
2081        for (i = 0; i < trace->perpkt_thread_count; i++) {
2082                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2083        }
2084        if (trace->format->get_filtered_packets) {
2085                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2086                if (trace_filtered == UINT64_MAX)
2087                        return UINT64_MAX;
2088                else
2089                        return trace_filtered + lib_filtered;
2090        } else if (trace->format->get_statistics) {
2091                struct libtrace_stat_t stat;
2092                stat.magic = LIBTRACE_STAT_MAGIC;
2093                trace_get_statistics(trace, &stat);
2094                if (stat.filtered_valid)
2095                        return lib_filtered + stat.filtered;
2096                else
2097                        return UINT64_MAX;
2098        }
2099
2100        // Read the cached value taken before the trace was paused/closed
2101        if(trace->stats && trace->stats->filtered_valid)
2102                return trace->stats->filtered + lib_filtered;
2103        else
2104                return lib_filtered;
2105}
2106
2107uint64_t trace_get_dropped_packets(libtrace_t *trace)
2108{
2109        assert(trace);
2110        uint64_t ret;
2111
2112        if (trace->format->get_dropped_packets) {
2113                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2114                        return ret;
2115        } else if (trace->format->get_statistics) {
2116                struct libtrace_stat_t stat;
2117                stat.magic = LIBTRACE_STAT_MAGIC;
2118                trace_get_statistics(trace, &stat);
2119                if (stat.dropped_valid)
2120                        return stat.dropped;
2121        }
2122
2123        // Read the cached value taken before the trace was paused/closed
2124        if(trace->stats && trace->stats->dropped_valid)
2125                return trace->stats->dropped;
2126        else
2127                return UINT64_MAX;
2128}
2129
2130uint64_t trace_get_accepted_packets(libtrace_t *trace)
2131{
2132        assert(trace);
2133        int i = 0;
2134        uint64_t ret = 0;
2135        /* We always add to a thread's accepted count before dispatching the
2136         * packet to the user. However if the underlying trace is single
2137         * threaded it will also be increasing the global count. So if we
2138         * find perpkt ignore the global count.
2139         */
2140        for (i = 0; i < trace->perpkt_thread_count; i++) {
2141                ret += trace->perpkt_threads[i].accepted_packets;
2142        }
2143        return ret ? ret : trace->accepted_packets;
2144}
2145
2146libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2147{
2148        uint64_t ret = 0;
2149        int i;
2150        assert(trace);
2151        if (stat == NULL) {
2152                if (trace->stats == NULL)
2153                        trace->stats = trace_create_statistics();
2154                stat = trace->stats;
2155        }
2156        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2157               "trace_create_statistics() to allocate statistics");
2158
2159        /* If the trace has paused or finished get the cached results */
2160        if (trace->state == STATE_PAUSED ||
2161            trace->state == STATE_FINISHED ||
2162            trace->state == STATE_FINISHING ||
2163            trace->state == STATE_JOINED) {
2164                if (trace->stats && trace->stats != stat)
2165                        *stat = *trace->stats;
2166                return stat;
2167        }
2168
2169        stat->reserved1 = 0;
2170        stat->reserved2 = 0;
2171#define X(x) stat->x ##_valid = 0;
2172        LIBTRACE_STAT_FIELDS;
2173#undef X
2174        /* Both accepted and filtered are stored against in the library */
2175
2176        /* We always add to a thread's accepted count before dispatching the
2177         * packet to the user. However if the underlying trace is single
2178         * threaded it will also be increasing the global count. So if we
2179         * find perpkt ignore the global count.
2180         */
2181        for (i = 0; i < trace->perpkt_thread_count; i++) {
2182                ret += trace->perpkt_threads[i].accepted_packets;
2183        }
2184
2185        stat->accepted_valid = 1;
2186        stat->accepted = ret ? ret : trace->accepted_packets;
2187
2188        stat->filtered_valid = 1;
2189        stat->filtered = trace->filtered_packets;
2190        for (i = 0; i < trace->perpkt_thread_count; i++) {
2191                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2192        }
2193
2194        if (trace->format->get_statistics) {
2195                trace->format->get_statistics(trace, stat);
2196        }
2197        return stat;
2198}
2199
2200void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2201                                 libtrace_stat_t *stat)
2202{
2203        assert(trace && stat);
2204        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2205               "trace_create_statistics() to allocate statistics");
2206        stat->reserved1 = 0;
2207        stat->reserved2 = 0;
2208#define X(x) stat->x ##_valid= 0;
2209        LIBTRACE_STAT_FIELDS;
2210#undef X
2211        stat->accepted_valid = 1;
2212        stat->accepted = t->accepted_packets;
2213        stat->filtered_valid = 1;
2214        stat->filtered = t->filtered_packets;
2215        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2216                trace->format->get_thread_statistics(trace, t, stat);
2217        }
2218        return;
2219}
2220
2221libtrace_stat_t *trace_create_statistics(void) {
2222        libtrace_stat_t *ret;
2223        ret = malloc(sizeof(libtrace_stat_t));
2224        if (ret) {
2225                memset(ret, 0, sizeof(libtrace_stat_t));
2226                ret->magic = LIBTRACE_STAT_MAGIC;
2227        }
2228        return ret;
2229}
2230
2231void trace_clear_statistics(libtrace_stat_t *s) {
2232        memset(s, 0, sizeof(libtrace_stat_t));
2233        s->magic = LIBTRACE_STAT_MAGIC;
2234}
2235
2236void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2237                         libtrace_stat_t *c) {
2238        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2239               "trace_create_statistics() to allocate statistics");
2240        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2241               "trace_create_statistics() to allocate statistics");
2242        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2243               "trace_create_statistics() to allocate statistics");
2244
2245#define X(x) \
2246        if (a->x ##_valid && b->x ##_valid) { \
2247                c->x ##_valid = 1; \
2248                c->x = a->x - b->x; \
2249        } else {\
2250                c->x ##_valid = 0;\
2251        }
2252        LIBTRACE_STAT_FIELDS
2253#undef X
2254}
2255
2256void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2257                         libtrace_stat_t *c) {
2258        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2259               "trace_create_statistics() to allocate statistics");
2260        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2261               "trace_create_statistics() to allocate statistics");
2262        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2263               "trace_create_statistics() to allocate statistics");
2264
2265#define X(x) \
2266        if (a->x ##_valid&& b->x ##_valid) { \
2267                c->x ##_valid = 1; \
2268                c->x = a->x + b->x; \
2269        } else {\
2270                c->x ##_valid = 0;\
2271        }
2272        LIBTRACE_STAT_FIELDS
2273#undef X
2274}
2275
2276int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2277        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2278               "trace_create_statistics() to allocate statistics");
2279        if (format == NULL)
2280                format = "%s: %"PRIu64"\n";
2281#define xstr(s) str(s)
2282#define str(s) #s
2283#define X(x) \
2284        if (s->x ##_valid) { \
2285                if (fprintf(f, format, xstr(x), s->x) < 0) \
2286                        return -1; \
2287        }
2288        LIBTRACE_STAT_FIELDS
2289#undef X
2290        return 0;
2291}
2292
2293
2294void trace_clear_cache(libtrace_packet_t *packet) {
2295
2296        packet->l2_header = NULL;
2297        packet->l3_header = NULL;
2298        packet->l4_header = NULL;
2299        packet->link_type = 0;
2300        packet->l3_ethertype = 0;
2301        packet->transport_proto = 0;
2302        packet->capture_length = -1;
2303        packet->wire_length = -1;
2304        packet->payload_length = -1;
2305        packet->l2_remaining = 0;
2306        packet->l3_remaining = 0;
2307        packet->l4_remaining = 0;
2308
2309}
2310
2311void trace_interrupt(void) {
2312        libtrace_halt = 1;
2313}
2314
2315void register_format(struct libtrace_format_t *f) {
2316        assert(f->next==NULL); /* Can't register a format twice */
2317        f->next=formats_list;
2318        formats_list=f;
2319
2320        /* Now, verify that the format has at least the minimum functionality.
2321         *
2322         * This #if can be changed to a 1 to output warnings about inconsistent
2323         * functions being provided by format modules.  This generally is very
2324         * noisy, as almost all modules don't implement one or more functions
2325         * for various reasons.  This is very useful when checking a new
2326         * format module is sane.
2327         */
2328#if 0
2329        if (f->init_input) {
2330#define REQUIRE(x) \
2331                if (!f->x) \
2332                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2333                REQUIRE(read_packet);
2334                REQUIRE(start_input);
2335                REQUIRE(fin_input);
2336                REQUIRE(get_link_type);
2337                REQUIRE(get_capture_length);
2338                REQUIRE(get_wire_length);
2339                REQUIRE(get_framing_length);
2340                REQUIRE(trace_event);
2341                if (!f->get_erf_timestamp
2342                        && !f->get_seconds
2343                        && !f->get_timeval) {
2344                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2345"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2346                }
2347                if (f->trace_event!=trace_event_trace) {
2348                        /* Theres nothing that a trace file could optimise with
2349                         * config_input
2350                         */
2351                        REQUIRE(pause_input);
2352                        REQUIRE(config_input);
2353                        REQUIRE(get_fd);
2354                }
2355                else {
2356                        if (f->get_fd) {
2357                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2358                                                f->name);
2359                        }
2360                }
2361#undef REQUIRE
2362        }
2363        else {
2364#define REQUIRE(x) \
2365                if (f->x) \
2366                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2367                REQUIRE(read_packet);
2368                REQUIRE(start_input);
2369                REQUIRE(pause_input);
2370                REQUIRE(fin_input);
2371                REQUIRE(get_link_type);
2372                REQUIRE(get_capture_length);
2373                REQUIRE(get_wire_length);
2374                REQUIRE(get_framing_length);
2375                REQUIRE(trace_event);
2376                REQUIRE(get_seconds);
2377                REQUIRE(get_timeval);
2378                REQUIRE(get_erf_timestamp);
2379#undef REQUIRE
2380        }
2381        if (f->init_output) {
2382#define REQUIRE(x) \
2383                if (!f->x) \
2384                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2385                REQUIRE(write_packet);
2386                REQUIRE(start_output);
2387                REQUIRE(config_output);
2388                REQUIRE(fin_output);
2389#undef REQUIRE
2390        }
2391        else {
2392#define REQUIRE(x) \
2393                if (f->x) \
2394                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2395                REQUIRE(write_packet);
2396                REQUIRE(start_output);
2397                REQUIRE(config_output);
2398                REQUIRE(fin_output);
2399#undef REQUIRE
2400        }
2401#endif
2402}
2403
Note: See TracBrowser for help on using the repository browser.