source: lib/trace.c @ 2dc1d9b

develop
Last change on this file since 2dc1d9b was 2dc1d9b, checked in by Jacob Van Walraven <jcv9@…>, 2 years ago

Add more informative errors instead of using assertions everywhere

  • Property mode set to 100644
File size: 73.5 KB
Line 
1/*
2 *
3 * Copyright (c) 2007-2016 The University of Waikato, Hamilton, New Zealand.
4 * All rights reserved.
5 *
6 * This file is part of libtrace.
7 *
8 * This code has been developed by the University of Waikato WAND
9 * research group. For further information please see http://www.wand.net.nz/
10 *
11 * libtrace is free software; you can redistribute it and/or modify
12 * it under the terms of the GNU Lesser General Public License as published by
13 * the Free Software Foundation; either version 3 of the License, or
14 * (at your option) any later version.
15 *
16 * libtrace is distributed in the hope that it will be useful,
17 * but WITHOUT ANY WARRANTY; without even the implied warranty of
18 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 * GNU Lesser General Public License for more details.
20 *
21 * You should have received a copy of the GNU Lesser General Public License
22 * along with this program.  If not, see <http://www.gnu.org/licenses/>.
23 *
24 *
25 */
26
27#define _GNU_SOURCE
28#include "common.h"
29#include "config.h"
30#include <assert.h>
31#include <errno.h>
32#include <fcntl.h>
33#include <stdio.h>
34#include <stdlib.h>
35#include <string.h>
36#include <sys/stat.h>
37#include <sys/types.h>
38#ifndef WIN32
39#include <sys/socket.h>
40#endif
41#include <stdarg.h>
42#include <sys/param.h>
43
44#ifdef HAVE_LIMITS_H
45#  include <limits.h>
46#endif
47
48#ifdef HAVE_SYS_LIMITS_H
49#  include <sys/limits.h>
50#endif
51
52#ifdef HAVE_NET_IF_ARP_H
53#  include <net/if_arp.h>
54#endif
55
56#ifdef HAVE_NET_IF_H
57#  include <net/if.h>
58#endif
59
60#ifdef HAVE_NETINET_IN_H
61#  include <netinet/in.h>
62#endif
63
64#ifdef HAVE_NET_ETHERNET_H
65#  include <net/ethernet.h>
66#endif
67
68#ifdef HAVE_NETINET_IF_ETHER_H
69#  include <netinet/if_ether.h>
70#endif
71
72#include <time.h>
73#ifdef WIN32
74#include <sys/timeb.h>
75#endif
76
77#include "libtrace.h"
78#include "libtrace_int.h"
79
80#ifdef HAVE_PCAP_BPF_H
81#  include <pcap-bpf.h>
82#else
83#  ifdef HAVE_NET_BPF_H
84#    include <net/bpf.h>
85#  endif
86#endif
87
88
89#include "libtrace_int.h"
90#include "format_helper.h"
91#include "rt_protocol.h"
92
93#include <pthread.h>
94#include <signal.h>
95
96#define MAXOPTS 1024
97
98/* This file contains much of the implementation of the libtrace API itself. */
99
100static struct libtrace_format_t *formats_list = NULL;
101
102volatile int libtrace_halt = 0;
103/* Set once pstart is called used for backwards compatibility reasons */
104int libtrace_parallel = 0;
105
106/* strncpy is not assured to copy the final \0, so we
107 * will use our own one that does
108 */
109static inline void xstrncpy(char *dest, const char *src, size_t n,
110                size_t destlen)
111{
112        size_t slen = destlen - 1;
113        if (n < slen) {
114                slen = n;
115        }
116        strncpy(dest,src,slen);
117        dest[slen]='\0';
118}
119
120static char *xstrndup(const char *src,size_t n)
121{
122        char *ret=(char*)malloc(n+1);
123        if (ret==NULL) {
124                fprintf(stderr,"Out of memory");
125                exit(EXIT_FAILURE);
126        }
127        xstrncpy(ret,src,n,n+1);
128        return ret;
129}
130
131
132/* call all the constructors if they haven't yet all been called */
133__attribute__((constructor))
134static void trace_init(void)
135{
136        struct timeval tv;
137        gettimeofday(&tv, NULL);
138        srand(tv.tv_sec);
139
140        if (!formats_list) {
141                duck_constructor();
142                erf_constructor();
143                tsh_constructor();
144                legacy_constructor();
145                atmhdr_constructor();
146                linuxring_constructor();
147                linuxnative_constructor();
148#ifdef HAVE_LIBPCAP
149                pcap_constructor();
150#endif
151                bpf_constructor();
152                pcapfile_constructor();
153                pcapng_constructor();
154                rt_constructor();
155                ndag_constructor();
156#ifdef HAVE_WANDDER
157                etsilive_constructor();
158#endif
159#ifdef HAVE_DAG
160                dag_constructor();
161#endif
162#ifdef HAVE_DPDK
163                dpdk_constructor();
164                dpdkndag_constructor();
165#endif
166        }
167}
168
169/* Prints help information for libtrace
170 *
171 * Function prints out some basic help information regarding libtrace,
172 * and then prints out the help() function registered with each input module
173 */
174DLLEXPORT void trace_help(void) {
175        struct libtrace_format_t *tmp;
176        trace_init();
177        printf("libtrace %s\n\n",PACKAGE_VERSION);
178        printf("Following this are a list of the format modules supported in this build of libtrace\n\n");
179        for(tmp=formats_list;tmp;tmp=tmp->next) {
180                if (tmp->help)
181                        tmp->help();
182        }
183}
184
185#define URI_PROTO_LINE 16U
186
187/* Try to guess which format module is appropriate for a given trace file or
188 * device */
189static void guess_format(libtrace_t *libtrace, const char *filename)
190{
191        struct libtrace_format_t *tmp;
192
193        /* Try and guess based on filename */
194        for(tmp = formats_list; tmp; tmp=tmp->next) {
195                if (tmp->probe_filename && tmp->probe_filename(filename)) {
196                        libtrace->format = tmp;
197                        libtrace->uridata = strdup(filename);
198                        return;
199                }
200        }
201
202        libtrace->io = wandio_create(filename);
203        if (!libtrace->io)
204                return;
205
206        /* Try and guess based on file magic */
207        for(tmp = formats_list; tmp; tmp=tmp->next) {
208                if (tmp->probe_magic && tmp->probe_magic(libtrace->io)) {
209                        libtrace->format = tmp;
210                        libtrace->uridata = strdup(filename);
211                        return;
212                }
213        }
214
215        /* No formats matched -- make sure we clean up the IO object we
216         * used to probe the file magic */
217        wandio_destroy(libtrace->io);
218        return;
219}
220
221/* Creates an input trace from a URI
222 *
223 * @params char * containing a valid libtrace URI
224 * @returns opaque pointer to a libtrace_t
225 *
226 * Some valid URI's are:
227 *  erf:/path/to/erf/file
228 *  erf:/path/to/erf/file.gz
229 *  erf:-                       (stdin)
230 *  dag:/dev/dagcard
231 *  pcapint:pcapinterface               (eg: pcapint:eth0)
232 *  pcapfile:/path/to/pcap/file
233 *  pcapfile:-
234 *  int:interface                       (eg: int:eth0) only on Linux
235 *  rt:hostname
236 *  rt:hostname:port
237 *
238 * If an error occured when attempting to open a trace, NULL is returned
239 * and an error is output to stdout.
240 */
241DLLEXPORT libtrace_t *trace_create(const char *uri) {
242        libtrace_t *libtrace =
243                        (libtrace_t *)malloc(sizeof(libtrace_t));
244        char *scan = 0;
245        const char *uridata = 0;
246
247        trace_init();
248
249        if (!libtrace) {
250                /* Out of memory */
251                return NULL;
252        }
253
254        /*assert(uri && "Passing NULL to trace_create makes me a very sad program");*/
255        if(!uri) {
256                trace_set_err(libtrace, TRACE_ERR_URI_NULL, "Passing NULL to trace_create makes me a very sad program");
257                return libtrace;
258        }
259
260        libtrace->err.err_num = TRACE_ERR_NOERROR;
261        libtrace->format=NULL;
262
263        libtrace->event.packet = NULL;
264        libtrace->event.psize = 0;
265        libtrace->event.first_ts = 0.0;
266        libtrace->event.first_now = 0.0;
267        libtrace->event.waiting = false;
268        libtrace->filter = NULL;
269        libtrace->snaplen = 0;
270        libtrace->replayspeedup = 1;
271        libtrace->started=false;
272        libtrace->startcount=0;
273        libtrace->uridata = NULL;
274        libtrace->io = NULL;
275        libtrace->filtered_packets = 0;
276        libtrace->accepted_packets = 0;
277        libtrace->last_packet = NULL;
278       
279        /* Parallel inits */
280        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
281        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
282        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
283        libtrace->state = STATE_NEW;
284        libtrace->perpkt_queue_full = false;
285        libtrace->global_blob = NULL;
286        libtrace->hasher = NULL;
287        libtrace->hasher_data = NULL;
288        libtrace->hasher_owner = HASH_OWNED_EXTERNAL;
289        libtrace_zero_ocache(&libtrace->packet_freelist);
290        libtrace_zero_thread(&libtrace->hasher_thread);
291        libtrace_zero_thread(&libtrace->reporter_thread);
292        libtrace_zero_thread(&libtrace->keepalive_thread);
293        libtrace->reporter_thread.type = THREAD_EMPTY;
294        libtrace->perpkt_thread_count = 0;
295        libtrace->perpkt_threads = NULL;
296        libtrace->tracetime = 0;
297        libtrace->first_packets.first = 0;
298        libtrace->first_packets.count = 0;
299        libtrace->first_packets.packets = NULL;
300        libtrace->stats = NULL;
301        libtrace->pread = NULL;
302        libtrace->sequence_number = 0;
303        ZERO_USER_CONFIG(libtrace->config);
304        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
305        libtrace->perpkt_cbs = NULL;
306        libtrace->reporter_cbs = NULL;
307
308        /* Parse the URI to determine what sort of trace we are dealing with */
309        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
310                /* Could not parse the URI nicely */
311                guess_format(libtrace,uri);
312                if (!libtrace->format) {
313                        /* Check if the file exists */
314                        FILE *file;
315                        if(!(file=fopen(uri, "r"))) {
316                                trace_set_err(libtrace,TRACE_ERR_URI_NOT_FOUND,"Unable to find URI (%s)",uri);
317                        } else {
318                                fclose(file);
319                                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,"Unable to guess format (%s)",uri);
320                        }
321                        return libtrace;
322                }
323        }
324        else {
325                struct libtrace_format_t *tmp;
326
327                /* Find a format that matches the first part of the URI */
328                for (tmp=formats_list;tmp;tmp=tmp->next) {
329                        if (strlen(scan) == strlen(tmp->name) &&
330                                        strncasecmp(scan, tmp->name, strlen(scan)) == 0
331                                        ) {
332                                libtrace->format=tmp;
333                                break;
334                        }
335                }
336
337                if (libtrace->format == 0) {
338                        trace_set_err(libtrace, TRACE_ERR_BAD_FORMAT,
339                                        "Unknown format (%s)",scan);
340                        return libtrace;
341                }
342
343                libtrace->uridata = strdup(uridata);
344        }
345        /* libtrace->format now contains the type of uri
346         * libtrace->uridata contains the appropriate data for this
347         */
348
349        /* Call the init_input function for the matching capture format */
350        if (libtrace->format->init_input) {
351                int err=libtrace->format->init_input(libtrace);
352                assert (err==-1 || err==0);
353                if (err==-1) {
354                        /* init_input should call trace_set_err to set the
355                         * error message
356                         */
357                        return libtrace;
358                }
359        } else {
360                trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,
361                                "Format does not support input (%s)",scan);
362                return libtrace;
363        }
364
365        if (scan)
366                free(scan);
367        libtrace->err.err_num=TRACE_ERR_NOERROR;
368        libtrace->err.problem[0]='\0';
369        return libtrace;
370}
371
372/* Creates a "dummy" trace file that has only the format type set.
373 *
374 * @returns opaque pointer to a (sparsely initialised) libtrace_t
375 *
376 * IMPORTANT: Do not attempt to call trace_read_packet or other such functions
377 * with the dummy trace. Its intended purpose is to act as a packet->trace for
378 * libtrace_packet_t's that are not associated with a libtrace_t structure.
379 */
380DLLEXPORT libtrace_t * trace_create_dead (const char *uri) {
381        libtrace_t *libtrace = (libtrace_t *) malloc(sizeof(libtrace_t));
382        char *scan = (char *)calloc(sizeof(char),URI_PROTO_LINE);
383        char *uridata;
384        struct libtrace_format_t *tmp;
385
386        trace_init();
387
388        libtrace->err.err_num = TRACE_ERR_NOERROR;
389
390        if((uridata = strchr(uri,':')) == NULL) {
391                xstrncpy(scan, uri, strlen(uri), URI_PROTO_LINE);
392        } else {
393                xstrncpy(scan,uri, (size_t)(uridata - uri), URI_PROTO_LINE);
394        }
395
396        libtrace->err.err_num = TRACE_ERR_NOERROR;
397        libtrace->format=NULL;
398
399        libtrace->event.packet = NULL;
400        libtrace->event.psize = 0;
401        libtrace->event.first_ts = 0;
402        libtrace->event.first_now = 0;
403        libtrace->filter = NULL;
404        libtrace->snaplen = 0;
405        libtrace->started=false;
406        libtrace->uridata = NULL;
407        libtrace->io = NULL;
408        libtrace->filtered_packets = 0;
409        libtrace->accepted_packets = 0;
410        libtrace->last_packet = NULL;
411       
412        /* Parallel inits */
413        ASSERT_RET(pthread_mutex_init(&libtrace->libtrace_lock, NULL), == 0);
414        ASSERT_RET(pthread_mutex_init(&libtrace->read_packet_lock, NULL), == 0);
415        ASSERT_RET(pthread_cond_init(&libtrace->perpkt_cond, NULL), == 0);
416        libtrace->state = STATE_NEW; // TODO MAYBE DEAD
417        libtrace->perpkt_queue_full = false;
418        libtrace->global_blob = NULL;
419        libtrace->hasher = NULL;
420        libtrace_zero_ocache(&libtrace->packet_freelist);
421        libtrace_zero_thread(&libtrace->hasher_thread);
422        libtrace_zero_thread(&libtrace->reporter_thread);
423        libtrace_zero_thread(&libtrace->keepalive_thread);
424        libtrace->reporter_thread.type = THREAD_EMPTY;
425        libtrace->perpkt_thread_count = 0;
426        libtrace->perpkt_threads = NULL;
427        libtrace->tracetime = 0;
428        libtrace->stats = NULL;
429        libtrace->pread = NULL;
430        libtrace->sequence_number = 0;
431        ZERO_USER_CONFIG(libtrace->config);
432        memset(&libtrace->combiner, 0, sizeof(libtrace->combiner));
433        libtrace->perpkt_cbs = NULL;
434        libtrace->reporter_cbs = NULL;
435        for(tmp=formats_list;tmp;tmp=tmp->next) {
436                if (strlen(scan) == strlen(tmp->name) &&
437                                !strncasecmp(scan,
438                                        tmp->name,
439                                        strlen(scan))) {
440                                libtrace->format=tmp;
441                                break;
442                                }
443        }
444        if (libtrace->format == 0) {
445                trace_set_err(libtrace,TRACE_ERR_BAD_FORMAT,
446                                "Unknown format (%s)",scan);
447        }
448
449        libtrace->format_data = NULL;
450        free(scan);
451        return libtrace;
452
453}
454
455/* Creates an output trace from a URI.
456 *
457 * @param uri   the uri string describing the output format and destination
458 * @returns opaque pointer to a libtrace_output_t
459 *
460 *  If an error occured when attempting to open the output trace, NULL is
461 *  returned and trace_errno is set.
462 */
463
464DLLEXPORT libtrace_out_t *trace_create_output(const char *uri) {
465        libtrace_out_t *libtrace =
466                        (libtrace_out_t*)malloc(sizeof(libtrace_out_t));
467
468        char *scan = 0;
469        const char *uridata = 0;
470        struct libtrace_format_t *tmp;
471
472        trace_init();
473
474        libtrace->err.err_num = TRACE_ERR_NOERROR;
475        strcpy(libtrace->err.problem,"Error message set\n");
476        libtrace->format = NULL;
477        libtrace->uridata = NULL;
478
479        /* Parse the URI to determine what capture format we want to write */
480
481        if ((uridata = trace_parse_uri(uri, &scan)) == 0) {
482                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
483                                "Bad uri format (%s)",uri);
484                return libtrace;
485        }
486
487        /* Attempt to find the format in the list of supported formats */
488        for(tmp=formats_list;tmp;tmp=tmp->next) {
489                if (strlen(scan) == strlen(tmp->name) &&
490                                !strncasecmp(scan,
491                                        tmp->name,
492                                        strlen(scan))) {
493                                libtrace->format=tmp;
494                                break;
495                                }
496        }
497        free(scan);
498
499        if (libtrace->format == NULL) {
500                trace_set_err_out(libtrace,TRACE_ERR_BAD_FORMAT,
501                                "Unknown output format (%s)",scan);
502                return libtrace;
503        }
504        libtrace->uridata = strdup(uridata);
505
506        /* libtrace->format now contains the type of uri
507         * libtrace->uridata contains the appropriate data for this
508         */
509
510        if (libtrace->format->init_output) {
511                /* 0 on success, -1 on failure */
512                switch(libtrace->format->init_output(libtrace)) {
513                        case -1: /* failure */
514                                return libtrace;
515                        case 0: /* success */
516                                break;
517                        default:
518                                assert(!"Internal error: init_output() should return -1 for failure, or 0 for success");
519                }
520        } else {
521                trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
522                                "Format does not support writing (%s)",scan);
523                return libtrace;
524        }
525
526
527        libtrace->started=false;
528        return libtrace;
529}
530
531/* Start an input trace
532 * @param libtrace      the input trace to start
533 * @returns 0 on success
534 *
535 * This does the work associated with actually starting up
536 * the trace.  it may fail.
537 */
538DLLEXPORT int trace_start(libtrace_t *libtrace)
539{
540        /*assert(libtrace);*/
541        if(!libtrace) {
542                return TRACE_ERR_NULL_TRACE;
543        }
544
545        if (trace_is_err(libtrace))
546                return -1;
547        if (libtrace->format->start_input) {
548                int ret=libtrace->format->start_input(libtrace);
549                if (ret < 0) {
550                        return ret;
551                }
552        }
553        libtrace->startcount ++;
554        libtrace->started=true;
555        return 0;
556}
557
558/* Start an output trace */
559DLLEXPORT int trace_start_output(libtrace_out_t *libtrace)
560{
561        /*assert(libtrace);*/
562        if(!libtrace) {
563                return TRACE_ERR_NULL_TRACE;
564        }
565        if (libtrace->format->start_output) {
566                int ret=libtrace->format->start_output(libtrace);
567                if (ret < 0) {
568                        return ret;
569                }
570        }
571
572        libtrace->started=true;
573        return 0;
574}
575
576DLLEXPORT int trace_pause(libtrace_t *libtrace)
577{
578        /*assert(libtrace);*/
579        if(!libtrace) {
580                return TRACE_ERR_NULL_TRACE;
581        }
582        if (!libtrace->started) {
583                trace_set_err(libtrace,TRACE_ERR_BAD_STATE, "You must call trace_start() before calling trace_pause()");
584                return -1;
585        }
586
587        /* Finish the last packet we read - for backwards compatibility */
588        if (!libtrace_parallel && libtrace->last_packet)
589                trace_fin_packet(libtrace->last_packet);
590        /*assert(libtrace->last_packet == NULL);*/
591        if(libtrace->last_packet != NULL) {
592                trace_set_err(libtrace, TRACE_ERR_PAUSE_FIN, "Unable to remove all data stored against the trace in trace_pause()");
593                return -1;
594        }
595
596        if (libtrace->format->pause_input)
597                libtrace->format->pause_input(libtrace);
598
599        libtrace->started=false;
600        return 0;
601}
602
603DLLEXPORT int trace_config(libtrace_t *libtrace,
604                trace_option_t option,
605                void *value)
606{
607        int ret;
608
609        if (trace_is_err(libtrace)) {
610                return -1;
611        }
612
613        if (option == TRACE_OPTION_HASHER)
614                return trace_set_hasher(libtrace,
615                                        (enum hasher_types) *((int *) value),
616                                        NULL, NULL);
617
618        /* If the capture format supports configuration, try using their
619         * native configuration first */
620        if (libtrace->format->config_input) {
621                ret=libtrace->format->config_input(libtrace,option,value);
622                if (ret==0)
623                        return 0;
624        }
625
626        /* If we get here, either the native configuration failed or the
627         * format did not support configuration. However, libtrace can
628         * deal with some options itself, so give that a go */
629        switch(option) {
630                case TRACE_OPTION_REPLAY_SPEEDUP:
631                        /* Clear the error if there was one */
632                        if (trace_is_err(libtrace)) {
633                                trace_get_err(libtrace);
634                        }
635                        if (*(int*)value<1
636                                || *(int*)value>LIBTRACE_MAX_REPLAY_SPEEDUP) {
637                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
638                                        "Invalid replay speed");
639                        }
640                        libtrace->replayspeedup=*(int*)value;
641                        return 0;
642
643                case TRACE_OPTION_SNAPLEN:
644                        /* Clear the error if there was one */
645                        if (trace_is_err(libtrace)) {
646                                trace_get_err(libtrace);
647                        }
648                        if (*(int*)value<0
649                                || *(int*)value>LIBTRACE_PACKET_BUFSIZE) {
650                                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,
651                                        "Invalid snap length");
652                        }
653                        libtrace->snaplen=*(int*)value;
654                        return 0;
655                case TRACE_OPTION_FILTER:
656                        /* Clear the error if there was one */
657                        if (trace_is_err(libtrace)) {
658                                trace_get_err(libtrace);
659                        }
660                        libtrace->filter=(libtrace_filter_t *)value;
661                        return 0;
662                case TRACE_OPTION_PROMISC:
663                        if (!trace_is_err(libtrace)) {
664                                trace_set_err(libtrace,TRACE_ERR_OPTION_UNAVAIL,
665                                                "Promisc mode is not supported by this format module");
666                        }
667                        return -1;
668                case TRACE_OPTION_META_FREQ:
669                        if (!trace_is_err(libtrace)) {
670                                trace_set_err(libtrace,
671                                                TRACE_ERR_OPTION_UNAVAIL,
672                                                "This format does not support meta-data gathering");
673                        }
674                        return -1;
675                case TRACE_OPTION_EVENT_REALTIME:
676                        if (!trace_is_err(libtrace)) {
677                                trace_set_err(libtrace,
678                                                TRACE_ERR_OPTION_UNAVAIL,
679                                                "This format does not support realtime events");
680                        }
681                        return -1;
682                case TRACE_OPTION_HASHER:
683                        /* Dealt with earlier */
684                        return -1;
685
686        }
687        if (!trace_is_err(libtrace)) {
688                trace_set_err(libtrace,TRACE_ERR_UNKNOWN_OPTION,
689                        "Unknown option %i", option);
690        }
691        return -1;
692}
693
694DLLEXPORT int trace_set_snaplen(libtrace_t *trace, int snaplen) {
695        return trace_config(trace, TRACE_OPTION_SNAPLEN, &snaplen);
696}
697
698DLLEXPORT int trace_set_promisc(libtrace_t *trace, bool promisc) {
699        int tmp = promisc;
700        return trace_config(trace, TRACE_OPTION_PROMISC, &tmp);
701}
702
703DLLEXPORT int trace_set_filter(libtrace_t *trace, libtrace_filter_t *filter) {
704        return trace_config(trace, TRACE_OPTION_FILTER, filter);
705}
706
707DLLEXPORT int trace_set_meta_freq(libtrace_t *trace, int freq) {
708        return trace_config(trace, TRACE_OPTION_META_FREQ, &freq);
709}
710
711DLLEXPORT int trace_set_event_realtime(libtrace_t *trace, bool realtime) {
712        int tmp = realtime;
713        return trace_config(trace, TRACE_OPTION_EVENT_REALTIME, &tmp);
714}
715
716DLLEXPORT int trace_config_output(libtrace_out_t *libtrace, 
717                trace_option_output_t option,
718                void *value) {
719
720        /* Unlike the input options, libtrace does not natively support any of
721         * the output options - the format module must be able to deal with
722         * them. */
723        if (libtrace->format->config_output) {
724                return libtrace->format->config_output(libtrace, option, value);
725        }
726        return -1;
727}
728
729/* Close an input trace file, freeing up any resources it may have been using
730 *
731 */
732DLLEXPORT int trace_destroy(libtrace_t *libtrace) {
733        int i;
734
735        /*assert(libtrace);*/
736        if(!libtrace) {
737                return TRACE_ERR_NULL_TRACE;
738        }
739
740        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
741        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
742        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
743
744        /* destroy any packets that are still around */
745        if (libtrace->state != STATE_NEW && libtrace->first_packets.packets) {
746                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
747                        if(libtrace->first_packets.packets[i].packet) {
748                                trace_destroy_packet(libtrace->first_packets.packets[i].packet);
749                        }
750                }
751                free(libtrace->first_packets.packets);
752                ASSERT_RET(pthread_spin_destroy(&libtrace->first_packets.lock), == 0);
753        }
754
755        /* Finish any the last packet we read - for backwards compatibility */
756        if (!libtrace_parallel && libtrace->last_packet) {
757                trace_fin_packet(libtrace->last_packet);
758        }
759        assert(libtrace->last_packet == NULL);
760
761        if (libtrace->format) {
762                if (libtrace->started && libtrace->format->pause_input)
763                        libtrace->format->pause_input(libtrace);
764                if (libtrace->format->fin_input)
765                        libtrace->format->fin_input(libtrace);
766        }
767        /* Need to free things! */
768        if (libtrace->uridata)
769                free(libtrace->uridata);
770
771        if (libtrace->stats)
772                free(libtrace->stats);
773       
774        /* Empty any packet memory */
775        if (libtrace->state != STATE_NEW) {
776                // This has all of our packets
777                libtrace_ocache_destroy(&libtrace->packet_freelist);
778                for (i = 0; i < libtrace->perpkt_thread_count; ++i) {
779                        libtrace_message_queue_destroy(&libtrace->perpkt_threads[i].messages);
780                }
781                if (libtrace->hasher_thread.type == THREAD_HASHER)
782                        libtrace_message_queue_destroy(&libtrace->hasher_thread.messages);
783                if (libtrace->keepalive_thread.type == THREAD_KEEPALIVE)
784                        libtrace_message_queue_destroy(&libtrace->keepalive_thread.messages);
785                if (libtrace->reporter_thread.type == THREAD_REPORTER)
786                        libtrace_message_queue_destroy(&libtrace->reporter_thread.messages);
787
788
789                if (libtrace->combiner.destroy && libtrace->reporter_cbs)
790                        libtrace->combiner.destroy(libtrace, &libtrace->combiner);
791                free(libtrace->perpkt_threads);
792                libtrace->perpkt_threads = NULL;
793                libtrace->perpkt_thread_count = 0;
794
795        }
796
797        if (libtrace->hasher_owner == HASH_OWNED_LIBTRACE) {
798                if (libtrace->hasher_data) {
799                        free(libtrace->hasher_data);
800                }
801        }
802
803
804        if (libtrace->perpkt_cbs)
805                trace_destroy_callback_set(libtrace->perpkt_cbs);
806        if (libtrace->reporter_cbs)
807                trace_destroy_callback_set(libtrace->reporter_cbs);
808
809        if (libtrace->event.packet) {
810                /* Don't use trace_destroy_packet here - there is almost
811                 * certainly going to be another libtrace_packet_t that is
812                 * pointing to the buffer for this packet, so we don't want
813                 * to free it. Rather, it will get freed when the user calls
814                 * trace_destroy_packet on the libtrace_packet_t that they
815                 * own.
816                 *
817                 * All we need to do then is free our packet structure itself.
818                 */
819                 free(libtrace->event.packet);
820        }
821
822        free(libtrace);
823
824        return 0;
825}
826
827
828DLLEXPORT int trace_destroy_dead(libtrace_t *libtrace) {
829        /*assert(libtrace);*/
830        if(!libtrace) {
831                return TRACE_ERR_NULL_TRACE;
832        }
833
834        ASSERT_RET(pthread_mutex_destroy(&libtrace->libtrace_lock), == 0);
835        ASSERT_RET(pthread_mutex_destroy(&libtrace->read_packet_lock), == 0);
836        ASSERT_RET(pthread_cond_destroy(&libtrace->perpkt_cond), == 0);
837
838        /* Don't call pause_input or fin_input, because we should never have
839         * used this trace to do any reading anyway. Do make sure we free
840         * any format_data that has been created, though. */
841        if (libtrace->format_data)
842                free(libtrace->format_data);
843        free(libtrace);
844
845        return 0;
846}
847/* Close an output trace file, freeing up any resources it may have been using
848 *
849 * @param libtrace      the output trace file to be destroyed
850 */
851DLLEXPORT int trace_destroy_output(libtrace_out_t *libtrace) {
852        /*assert(libtrace);*/
853        if(!libtrace) {
854                return TRACE_ERR_NULL_TRACE;
855        }
856        if (libtrace->format && libtrace->format->fin_output)
857                libtrace->format->fin_output(libtrace);
858        if (libtrace->uridata)
859                free(libtrace->uridata);
860        free(libtrace);
861
862        return 0;
863}
864
865DLLEXPORT int trace_flush_output(libtrace_out_t *libtrace) {
866        if (!libtrace) {
867                return TRACE_ERR_NULL_TRACE;
868        }
869        if (libtrace->format && libtrace->format->flush_output) {
870                return libtrace->format->flush_output(libtrace);
871        }
872        return 0;
873}
874
875DLLEXPORT libtrace_packet_t *trace_create_packet(void)
876{
877        libtrace_packet_t *packet =
878                (libtrace_packet_t*)calloc((size_t)1,sizeof(libtrace_packet_t));
879
880        if (packet == NULL)
881                return NULL;
882
883        packet->buf_control=TRACE_CTRL_PACKET;
884        packet->which_trace_start = 0;
885        pthread_mutex_init(&(packet->ref_lock), NULL);
886        trace_clear_cache(packet);
887        return packet;
888}
889
890DLLEXPORT libtrace_packet_t *trace_copy_packet(const libtrace_packet_t *packet) {
891        libtrace_packet_t *dest;
892
893        if (packet->which_trace_start != packet->trace->startcount) {
894                return NULL;
895        }
896
897        dest = (libtrace_packet_t *)calloc((size_t)1, sizeof(libtrace_packet_t));
898        if (!dest) {
899                printf("Out of memory constructing packet\n");
900                abort();
901        }
902        dest->trace=packet->trace;
903        dest->buffer=malloc(65536);
904        if (!dest->buffer) {
905                printf("Out of memory allocating buffer memory\n");
906                abort();
907        }
908        dest->header=dest->buffer;
909        dest->payload=(void*)
910                ((char*)dest->buffer+trace_get_framing_length(packet));
911        dest->type=packet->type;
912        dest->buf_control=TRACE_CTRL_PACKET;
913        dest->order = packet->order;
914        dest->hash = packet->hash;
915        dest->error = packet->error;
916        dest->which_trace_start = packet->which_trace_start;
917        /* Reset the cache - better to recalculate than try to convert
918         * the values over to the new packet */
919        trace_clear_cache(dest);
920        /* Ooooh nasty memcpys! This is why we want to avoid copying packets
921         * as much as possible */
922        memcpy(dest->header,packet->header,trace_get_framing_length(packet));
923        memcpy(dest->payload,packet->payload,trace_get_capture_length(packet));
924
925        return dest;
926}
927
928/** Destroy a packet object
929 */
930DLLEXPORT void trace_destroy_packet(libtrace_packet_t *packet) {
931        /* Free any resources possibly associated with the packet */
932        if (libtrace_parallel && packet->trace && packet->trace->format->fin_packet) {
933                packet->trace->format->fin_packet(packet);
934        }
935        if (!libtrace_parallel && packet->trace &&
936             packet->trace->last_packet == packet) {
937                packet->trace->last_packet = NULL;
938        }
939
940        if (packet->buf_control == TRACE_CTRL_PACKET && packet->buffer) {
941                free(packet->buffer);
942        }
943        pthread_mutex_destroy(&(packet->ref_lock));
944        packet->buf_control=(buf_control_t)'\0';
945                                /* A "bad" value to force an assert
946                                 * if this packet is ever reused
947                                 */
948        free(packet);
949}
950
951/**
952 * Removes any possible data stored againt the trace and releases any data.
953 * This will not destroy a reusable good malloc'd buffer (TRACE_CTRL_PACKET)
954 * use trace_destroy_packet() for those diabolical purposes.
955 */
956void trace_fin_packet(libtrace_packet_t *packet) {
957        if (packet)
958        {
959                if (packet->trace && packet->trace->format->fin_packet) {
960                        packet->trace->format->fin_packet(packet);
961                }
962
963                if (packet->srcbucket && packet->internalid != 0) {
964                        libtrace_bucket_t *b = (libtrace_bucket_t *)packet->srcbucket;
965                        libtrace_release_bucket_id(b, packet->internalid);
966                }
967
968                if (packet->trace) {
969                        if (!libtrace_parallel && packet->trace->last_packet == packet)
970                                packet->trace->last_packet = NULL;
971                }
972
973                // No matter what we remove the header and link pointers
974                packet->trace = NULL;
975                packet->header = NULL;
976                packet->payload = NULL;
977
978                if (packet->buf_control != TRACE_CTRL_PACKET)
979                {
980                        packet->buffer = NULL;
981                }
982
983                trace_clear_cache(packet);
984                packet->hash = 0;
985                packet->order = 0;
986                packet->srcbucket = NULL;
987        }
988}
989
990/* Read one packet from the trace into buffer. Note that this function will
991 * block until a packet is read (or EOF is reached).
992 *
993 * @param libtrace      the libtrace opaque pointer
994 * @param packet        the packet opaque pointer
995 * @returns 0 on EOF, negative value on error
996 *
997 */
998DLLEXPORT int trace_read_packet(libtrace_t *libtrace, libtrace_packet_t *packet) {
999
1000        /*assert(libtrace && "You called trace_read_packet() with a NULL libtrace parameter!\n");*/
1001        if (!libtrace) {
1002                return TRACE_ERR_NULL_TRACE;
1003        }
1004        if (trace_is_err(libtrace))
1005                return -1;
1006        if (!libtrace->started) {
1007                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"You must call libtrace_start() before trace_read_packet()\n");
1008                return -1;
1009        }
1010        if (!(packet->buf_control==TRACE_CTRL_PACKET
1011                    || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
1012                trace_set_err(libtrace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
1013                return -1;
1014        }
1015        /*assert(packet);*/
1016        if (!packet) {
1017                return TRACE_ERR_NULL_PACKET;
1018        }
1019
1020        if (libtrace->format->read_packet) {
1021                /* Finalise the packet, freeing any resources the format module
1022                 * may have allocated it and zeroing all data associated with it.
1023                 */
1024                if (packet->trace == libtrace) {
1025                        trace_fin_packet(packet);
1026                }
1027                do {
1028                        size_t ret;
1029                        int filtret;
1030                        if ((ret=is_halted(libtrace)) != (size_t)-1)
1031                                return ret;
1032                        /* Store the trace we are reading from into the packet opaque
1033                         * structure */
1034                        packet->trace = libtrace;
1035                        packet->which_trace_start = libtrace->startcount;
1036                        ret=libtrace->format->read_packet(libtrace,packet);
1037                        if (ret==(size_t)READ_MESSAGE ||
1038                            ret==(size_t)-1 || ret==0) {
1039                                packet->trace = NULL;
1040                                return ret;
1041                        }
1042                        if (libtrace->filter) {
1043                                /* If the filter doesn't match, read another
1044                                 * packet
1045                                 */
1046                                filtret = trace_apply_filter(libtrace->filter, packet);
1047                                if (filtret == -1) {
1048                                        /* Error compiling filter, probably */
1049                                        return ~0U;
1050                                }
1051
1052                                if (filtret == 0) {
1053                                        ++libtrace->filtered_packets;
1054                                        trace_fin_packet(packet);
1055                                        continue;
1056                                }
1057                        }
1058                        if (libtrace->snaplen>0) {
1059                                /* Snap the packet */
1060                                trace_set_capture_length(packet,
1061                                                libtrace->snaplen);
1062                        }
1063                        if (!IS_LIBTRACE_META_PACKET(packet)) {
1064                                ++libtrace->accepted_packets;
1065                        }
1066                        if (packet->order == 0) {
1067                                trace_packet_set_order(packet, libtrace->sequence_number);
1068                        }
1069                        ++libtrace->sequence_number;
1070                        if (!libtrace_parallel && packet->trace == libtrace)
1071                                libtrace->last_packet = packet;
1072
1073                        return ret;
1074                } while(1);
1075        }
1076        trace_set_err(libtrace,TRACE_ERR_UNSUPPORTED,"This format does not support reading packets\n");
1077        return ~0U;
1078}
1079
1080/* Converts the provided buffer into a libtrace packet of the given type.
1081 *
1082 * Unlike trace_construct_packet, the buffer is expected to begin with the
1083 * appropriate capture format header for the format type that the packet is
1084 * being converted to. This also allows for a packet to be converted into
1085 * just about capture format that is supported by libtrace, provided the
1086 * format header is present in the buffer.
1087 *
1088 * This function is primarily used to convert packets received via the RT
1089 * protocol back into their original capture format. The RT header encapsulates
1090 * the original capture format header, so after removing it the packet must
1091 * have it's header and payload pointers updated and the packet format and type
1092 * changed, amongst other things.
1093 *
1094 * Intended only for internal use at this point - this function is not
1095 * available through the external libtrace API.
1096 */
1097int trace_prepare_packet(libtrace_t *trace, libtrace_packet_t *packet,
1098                void *buffer, libtrace_rt_types_t rt_type, uint32_t flags) {
1099
1100        /*assert(packet);*/
1101        if (!packet) {
1102                return TRACE_ERR_NULL_PACKET;
1103        }
1104        /*assert(trace);*/
1105        if (!trace) {
1106                return TRACE_ERR_NULL_TRACE;
1107        }
1108
1109        /* XXX Proper error handling?? */
1110        if (buffer == NULL)
1111                return -1;
1112
1113        if (!(packet->buf_control==TRACE_CTRL_PACKET || packet->buf_control==TRACE_CTRL_EXTERNAL)) {
1114                trace_set_err(trace,TRACE_ERR_BAD_STATE,"Packet passed to trace_read_packet() is invalid\n");
1115                return -1;
1116        }
1117
1118        packet->trace = trace;
1119        if (!libtrace_parallel)
1120                trace->last_packet = packet;
1121        /* Clear packet cache */
1122        trace_clear_cache(packet);
1123
1124        if (trace->format->prepare_packet) {
1125                return trace->format->prepare_packet(trace, packet,
1126                                buffer, rt_type, flags);
1127        }
1128        trace_set_err(trace, TRACE_ERR_UNSUPPORTED,
1129                        "This format does not support preparing packets\n");
1130        return -1;
1131
1132}
1133
1134/* Writes a packet to the specified output trace
1135 *
1136 * @param libtrace      describes the output format, destination, etc.
1137 * @param packet        the packet to be written out
1138 * @returns the number of bytes written, -1 if write failed
1139 */
1140DLLEXPORT int trace_write_packet(libtrace_out_t *libtrace, libtrace_packet_t *packet) {
1141        /*assert(libtrace);*/
1142        if (!libtrace) {
1143                return TRACE_ERR_NULL_TRACE;
1144        }
1145        /*assert(packet);*/
1146        if (!packet) {
1147                return TRACE_ERR_NULL_PACKET;
1148        }
1149        /* Verify the packet is valid */
1150        if (!libtrace->started) {
1151                trace_set_err_out(libtrace,TRACE_ERR_BAD_STATE,
1152                        "You must call trace_start() before calling trace_write_packet()");
1153                return -1;
1154        }
1155
1156        /* Don't try to convert meta-packets across formats */
1157        if (strcmp(libtrace->format->name, packet->trace->format->name) != 0 &&
1158                        IS_LIBTRACE_META_PACKET(packet)) {
1159                return 0;
1160        }
1161
1162        if (libtrace->format->write_packet) {
1163                return libtrace->format->write_packet(libtrace, packet);
1164        }
1165        trace_set_err_out(libtrace,TRACE_ERR_UNSUPPORTED,
1166                "This format does not support writing packets");
1167        return -1;
1168}
1169
1170/* Get a pointer to the first byte of the packet payload */
1171DLLEXPORT void *trace_get_packet_buffer(const libtrace_packet_t *packet,
1172                libtrace_linktype_t *linktype, uint32_t *remaining) {
1173        int cap_len;
1174        int wire_len;
1175        libtrace_linktype_t ltype;
1176
1177        /*assert(packet != NULL);*/
1178        if (!packet) {
1179                return NULL;
1180        }
1181        ltype = trace_get_link_type(packet);
1182
1183        if (linktype) {
1184                *linktype = ltype;
1185        }
1186
1187        if (ltype == TRACE_TYPE_CONTENT_INVALID) {
1188                if (remaining) {
1189                        *remaining = 0;
1190                }
1191                return NULL;
1192        }
1193
1194        if (remaining) {
1195                /* I think we should choose the minimum of the capture and
1196                 * wire lengths to be the "remaining" value. If the packet has
1197                 * been padded to increase the capture length, we don't want
1198                 * to allow subsequent protocol decoders to consider the
1199                 * padding as part of the packet.
1200                 *
1201                 * For example, in Auck 4 there is a trace where the IP header
1202                 * length is incorrect (24 bytes) followed by a 20 byte TCP
1203                 * header. Total IP length is 40 bytes. As a result, the
1204                 * legacyatm padding gets treated as the "missing" bytes of
1205                 * the TCP header, which isn't the greatest. We're probably
1206                 * better off returning an incomplete TCP header in that case.
1207                 */
1208
1209                cap_len = trace_get_capture_length(packet);
1210                wire_len = trace_get_wire_length(packet);
1211
1212                assert(cap_len >= 0);
1213
1214                /* There is the odd corrupt packet, e.g. in IPLS II, that have
1215                 * massively negative wire lens. We could assert fail here on
1216                 * them, but we could at least try the capture length instead.
1217                 *
1218                 * You may still run into problems if you try to write that
1219                 * packet, but at least reading should work OK.
1220                 */
1221                if (wire_len < 0)
1222                        *remaining = cap_len;
1223                else if (wire_len < cap_len)
1224                        *remaining = wire_len;
1225                else
1226                        *remaining = cap_len;
1227                /* *remaining = trace_get_capture_length(packet); */
1228        }
1229        return (void *) packet->payload;
1230}
1231
1232
1233/* Get a pointer to the first byte of the packet payload
1234 *
1235 * DEPRECATED - use trace_get_packet_buffer() instead */
1236DLLEXPORT void *trace_get_link(const libtrace_packet_t *packet) {
1237        return (void *)packet->payload;
1238}
1239
1240/* Get the current time in DAG time format
1241 * @param packet        a pointer to a libtrace_packet structure
1242 * @returns a 64 bit timestamp in DAG ERF format (upper 32 bits are the seconds
1243 * past 1970-01-01, the lower 32bits are partial seconds)
1244 */
1245DLLEXPORT uint64_t trace_get_erf_timestamp(const libtrace_packet_t *packet) {
1246        if (packet->which_trace_start != packet->trace->startcount) {
1247                return (uint64_t)0;
1248        }
1249
1250        if (packet->trace->format->get_erf_timestamp) {
1251                /* timestamp -> timestamp */
1252                return packet->trace->format->get_erf_timestamp(packet);
1253        } else if (packet->trace->format->get_timespec) {
1254                /* timespec -> timestamp */
1255                struct timespec ts;
1256                ts = packet->trace->format->get_timespec(packet);
1257                return ((((uint64_t)ts.tv_sec) << 32) +
1258                                (((uint64_t)ts.tv_nsec << 32)/1000000000));
1259        } else if (packet->trace->format->get_timeval) {
1260                /* timeval -> timestamp */
1261                struct timeval tv;
1262                tv = packet->trace->format->get_timeval(packet);
1263                return ((((uint64_t)tv.tv_sec) << 32) +
1264                                (((uint64_t)tv.tv_usec << 32)/1000000));
1265        } else if (packet->trace->format->get_seconds) {
1266                /* seconds -> timestamp */
1267                double seconds = packet->trace->format->get_seconds(packet);
1268                return (((uint64_t)seconds)<<32)
1269                          + (uint64_t)((seconds-(uint64_t)seconds)*UINT_MAX);
1270        }
1271        else {
1272                return (uint64_t)0;
1273        }
1274}
1275
1276/* Get the current time in struct timeval
1277 * @param packet        a pointer to a libtrace_packet structure
1278 *
1279 * @returns time that this packet was seen in a struct timeval
1280 * @author Daniel Lawson
1281 * @author Perry Lorier
1282 */
1283DLLEXPORT struct timeval trace_get_timeval(const libtrace_packet_t *packet) {
1284        struct timeval tv;
1285        uint64_t ts = 0;
1286
1287        if (packet->which_trace_start != packet->trace->startcount) {
1288                tv.tv_sec=-1;
1289                tv.tv_usec=-1;
1290        } else if (packet->trace->format->get_timeval) {
1291                /* timeval -> timeval */
1292                tv = packet->trace->format->get_timeval(packet);
1293        } else if (packet->trace->format->get_erf_timestamp) {
1294                /* timestamp -> timeval */
1295                ts = packet->trace->format->get_erf_timestamp(packet);
1296                tv.tv_sec = ts >> 32;
1297                tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
1298                if (tv.tv_usec >= 1000000) {
1299                        tv.tv_usec -= 1000000;
1300                        tv.tv_sec += 1;
1301                }
1302        } else if (packet->trace->format->get_timespec) {
1303                struct timespec ts = packet->trace->format->get_timespec(packet);
1304                tv.tv_sec = ts.tv_sec;
1305                tv.tv_usec = ts.tv_nsec/1000;
1306        } else if (packet->trace->format->get_seconds) {
1307                /* seconds -> timeval */
1308                double seconds = packet->trace->format->get_seconds(packet);
1309                tv.tv_sec = (uint32_t)seconds;
1310                tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
1311        }
1312        else {
1313                tv.tv_sec=-1;
1314                tv.tv_usec=-1;
1315        }
1316
1317    return tv;
1318}
1319
1320DLLEXPORT struct timespec trace_get_timespec(const libtrace_packet_t *packet) {
1321        struct timespec ts;
1322
1323        if (packet->which_trace_start != packet->trace->startcount) {
1324                ts.tv_sec=-1;
1325                ts.tv_nsec=-1;
1326        } else if (packet->trace->format->get_timespec) {
1327                return packet->trace->format->get_timespec(packet);
1328        } else if (packet->trace->format->get_erf_timestamp) {
1329                /* timestamp -> timeval */
1330                uint64_t erfts = packet->trace->format->get_erf_timestamp(packet);
1331                ts.tv_sec = erfts >> 32;
1332                ts.tv_nsec = ((erfts&0xFFFFFFFF)*1000000000)>>32;
1333                if (ts.tv_nsec >= 1000000000) {
1334                        ts.tv_nsec -= 1000000000;
1335                        ts.tv_sec += 1;
1336                }
1337        } else if (packet->trace->format->get_timeval) {
1338                /* timeval -> timespec */
1339                struct timeval tv = packet->trace->format->get_timeval(packet);
1340                ts.tv_sec = tv.tv_sec;
1341                ts.tv_nsec = tv.tv_usec*1000;
1342        } else if (packet->trace->format->get_seconds) {
1343                /* seconds -> timespec */
1344                double seconds = packet->trace->format->get_seconds(packet);
1345                ts.tv_sec = (uint32_t)seconds;
1346                ts.tv_nsec = (long)(((seconds - ts.tv_sec) * 1000000000)/UINT_MAX);
1347        }
1348        else {
1349                ts.tv_sec=-1;
1350                ts.tv_nsec=-1;
1351        }
1352        return ts;
1353}
1354
1355
1356/* Get the current time in floating point seconds
1357 * @param packet        a pointer to a libtrace_packet structure
1358 * @returns time that this packet was seen in 64bit floating point seconds
1359 */
1360DLLEXPORT double trace_get_seconds(const libtrace_packet_t *packet) {
1361        double seconds = 0.0;
1362
1363        if (packet->which_trace_start != packet->trace->startcount) {
1364                return 0.0;
1365        }
1366
1367        if (packet->trace->format->get_seconds) {
1368                /* seconds->seconds */
1369                seconds = packet->trace->format->get_seconds(packet);
1370        } else if (packet->trace->format->get_erf_timestamp) {
1371                /* timestamp -> seconds */
1372                uint64_t ts = 0;
1373                ts = packet->trace->format->get_erf_timestamp(packet);
1374                seconds =  (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
1375        } else if (packet->trace->format->get_timespec) {
1376                /* timespec -> seconds */
1377                struct timespec ts;
1378                ts = packet->trace->format->get_timespec(packet);
1379                seconds = ts.tv_sec + ((ts.tv_nsec * 1.0) / 1000000000);
1380        } else if (packet->trace->format->get_timeval) {
1381                /* timeval -> seconds */
1382                struct timeval tv;
1383                tv = packet->trace->format->get_timeval(packet);
1384                seconds = tv.tv_sec + ((tv.tv_usec * 1.0) / 1000000);
1385        }
1386
1387        return seconds;
1388}
1389
1390DLLEXPORT size_t trace_get_capture_length(const libtrace_packet_t *packet)
1391{
1392        /* Cache the capture length */
1393        if (packet->which_trace_start != packet->trace->startcount) {
1394                return ~0U;
1395        }
1396        if (packet->capture_length == -1) {
1397                if (!packet->trace->format->get_capture_length)
1398                        return ~0U;
1399                /* Cast away constness because this is "just" a cache */
1400                ((libtrace_packet_t*)packet)->capture_length =
1401                        packet->trace->format->get_capture_length(packet);
1402        }
1403
1404        assert(packet->capture_length < LIBTRACE_PACKET_BUFSIZE);
1405
1406        return packet->capture_length;
1407}
1408
1409/* Get the size of the packet as it was seen on the wire.
1410 * @param packet        a pointer to a libtrace_packet structure
1411 *
1412 * @returns the size of the packet as it was on the wire.
1413 * @note Due to the trace being a header capture, or anonymisation this may
1414 * not be the same as the Capture Len.
1415 */
1416DLLEXPORT size_t trace_get_wire_length(const libtrace_packet_t *packet){
1417
1418        if (packet->which_trace_start != packet->trace->startcount) {
1419                return ~0U;
1420        }
1421
1422        if (packet->wire_length == -1) {
1423                if (!packet->trace->format->get_wire_length)
1424                        return ~0U;
1425                ((libtrace_packet_t *)packet)->wire_length =
1426                        packet->trace->format->get_wire_length(packet);
1427        }
1428
1429        assert(packet->wire_length < LIBTRACE_PACKET_BUFSIZE);
1430        return packet->wire_length;
1431
1432}
1433
1434/* Get the length of the capture framing headers.
1435 * @param packet        the packet opaque pointer
1436 * @returns the size of the packet as it was on the wire.
1437 * @note this length corresponds to the difference between the size of a
1438 * captured packet in memory, and the captured length of the packet
1439 */
1440DLLEXPORT SIMPLE_FUNCTION
1441size_t trace_get_framing_length(const libtrace_packet_t *packet) {
1442        if (packet->which_trace_start != packet->trace->startcount) {
1443                return ~0U;
1444        }
1445
1446        if (packet->framing_length >= 0) {
1447                return packet->framing_length;
1448        }
1449
1450        if (packet->trace->format->get_framing_length) {
1451                ((libtrace_packet_t *)packet)->framing_length =
1452                       packet->trace->format->get_framing_length(packet);
1453                return packet->framing_length;
1454        }
1455        return ~0U;
1456}
1457
1458
1459/* Get the type of the link layer
1460 * @param packet        a pointer to a libtrace_packet structure
1461 * @returns libtrace_linktype_t
1462 */
1463DLLEXPORT libtrace_linktype_t trace_get_link_type(const libtrace_packet_t *packet ) {
1464
1465        if (packet->which_trace_start != packet->trace->startcount) {
1466                return TRACE_TYPE_CONTENT_INVALID;
1467        }
1468
1469        if (packet->link_type == 0) {
1470                if (!packet->trace->format->get_link_type)
1471                        return TRACE_TYPE_UNKNOWN;
1472                ((libtrace_packet_t *)packet)->link_type =
1473                        packet->trace->format->get_link_type(packet);
1474        }
1475
1476        return packet->link_type;
1477}
1478
1479/* process a libtrace event
1480 * @param trace the libtrace opaque pointer
1481 * @param packet the libtrace_packet opaque pointer
1482 * @returns
1483 *  TRACE_EVENT_IOWAIT  Waiting on I/O on fd
1484 *  TRACE_EVENT_SLEEP   Next event in seconds
1485 *  TRACE_EVENT_PACKET  Packet arrived in buffer with size size
1486 *  TRACE_EVENT_TERMINATE Trace terminated (perhaps with an error condition)
1487 * FIXME currently keeps a copy of the packet inside the trace pointer,
1488 * which in turn is stored inside the new packet object...
1489 */
1490DLLEXPORT libtrace_eventobj_t trace_event(libtrace_t *trace,
1491                libtrace_packet_t *packet) {
1492        libtrace_eventobj_t event = {TRACE_EVENT_IOWAIT,0,0.0,0};
1493
1494        if (!trace) {
1495                fprintf(stderr,"You called trace_event() with a NULL trace object!\n");
1496        }
1497        assert(trace);
1498        assert(packet);
1499
1500        /* Free the last packet */
1501        trace_fin_packet(packet);
1502        /* Store the trace we are reading from into the packet opaque
1503         * structure */
1504        packet->trace = trace;
1505
1506        if (packet->trace->format->trace_event) {
1507                /* Note: incrementing accepted, filtered etc. packet
1508                 * counters is handled by the format-specific
1509                 * function so don't increment them here.
1510                 */
1511                event=packet->trace->format->trace_event(trace,packet);
1512                }
1513        return event;
1514
1515}
1516
1517/** Setup a BPF filter based on pre-compiled byte-code.
1518 * @param bf_insns      A pointer to the start of the byte-code
1519 * @param bf_len        The number of BPF instructions
1520 * @returns             an opaque pointer to a libtrace_filter_t object
1521 * @note                The supplied byte-code is not checked for correctness.
1522 * @author              Scott Raynel
1523 */
1524DLLEXPORT libtrace_filter_t *
1525trace_create_filter_from_bytecode(void *bf_insns, unsigned int bf_len)
1526{
1527#ifndef HAVE_BPF
1528        fprintf(stderr, "This version of libtrace does not have BPF support\n");
1529        return NULL;
1530#else
1531        struct libtrace_filter_t *filter = (struct libtrace_filter_t *)
1532                malloc(sizeof(struct libtrace_filter_t));
1533        filter->filter.bf_insns = (struct bpf_insn *)
1534                malloc(sizeof(struct bpf_insn) * bf_len);
1535
1536        memcpy(filter->filter.bf_insns, bf_insns,
1537                        bf_len * sizeof(struct bpf_insn));
1538
1539        filter->filter.bf_len = bf_len;
1540        filter->filterstring = NULL;
1541        filter->jitfilter = NULL;
1542        /* "flag" indicates that the filter member is valid */
1543        filter->flag = 1;
1544
1545        return filter;
1546#endif
1547}
1548
1549/* Create a BPF filter
1550 * @param filterstring a char * containing the bpf filter string
1551 * @returns opaque pointer pointer to a libtrace_filter_t object
1552 */
1553DLLEXPORT libtrace_filter_t *trace_create_filter(const char *filterstring) {
1554#ifdef HAVE_BPF
1555        libtrace_filter_t *filter = (libtrace_filter_t*)
1556                                malloc(sizeof(libtrace_filter_t));
1557        filter->filterstring = strdup(filterstring);
1558        filter->jitfilter = NULL;
1559        filter->flag = 0;
1560        return filter;
1561#else
1562        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1563        return NULL;
1564#endif
1565}
1566
1567DLLEXPORT void trace_destroy_filter(libtrace_filter_t *filter)
1568{
1569#ifdef HAVE_BPF
1570        free(filter->filterstring);
1571        if (filter->flag)
1572                pcap_freecode(&filter->filter);
1573#ifdef HAVE_LLVM
1574        if (filter->jitfilter)
1575                destroy_program(filter->jitfilter);
1576#endif
1577        free(filter);
1578#else
1579
1580#endif
1581}
1582
1583/* Compile a bpf filter, now we know the link type for the trace that we're
1584 * applying it to.
1585 *
1586 * @internal
1587 *
1588 * @returns -1 on error, 0 on success
1589 */
1590static int trace_bpf_compile(libtrace_filter_t *filter,
1591                const libtrace_packet_t *packet,
1592                void *linkptr,
1593                libtrace_linktype_t linktype    ) {
1594#ifdef HAVE_BPF
1595        /* It just so happens that the underlying libs used by pthread arn't
1596         * thread safe, namely lex/flex thingys, so single threaded compile
1597         * multi threaded running should be safe.
1598         */
1599        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1600        assert(filter);
1601
1602        /* If this isn't a real packet, then fail */
1603        if (!linkptr) {
1604                trace_set_err(packet->trace,
1605                                TRACE_ERR_BAD_FILTER,"Packet has no payload");
1606                return -1;
1607        }
1608
1609        if (filter->filterstring && ! filter->flag) {
1610                pcap_t *pcap = NULL;
1611                if (linktype==(libtrace_linktype_t)-1) {
1612                        trace_set_err(packet->trace,
1613                                        TRACE_ERR_BAD_FILTER,
1614                                        "Packet has an unknown linktype");
1615                        return -1;
1616                }
1617                if (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1618                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1619                                        "Unknown pcap equivalent linktype");
1620                        return -1;
1621                }
1622                assert (pthread_mutex_lock(&mutex) == 0);
1623                /* Make sure not one bet us to this */
1624                if (filter->flag) {
1625                        assert (pthread_mutex_unlock(&mutex) == 0);
1626                        return 1;
1627                }
1628                pcap=(pcap_t *)pcap_open_dead(
1629                                (int)libtrace_to_pcap_dlt(linktype),
1630                                1500U);
1631                /* build filter */
1632                assert(pcap);
1633                if (pcap_compile( pcap, &filter->filter, filter->filterstring,
1634                                        1, 0)) {
1635                        trace_set_err(packet->trace,TRACE_ERR_BAD_FILTER,
1636                                        "Unable to compile the filter \"%s\": %s",
1637                                        filter->filterstring,
1638                                        pcap_geterr(pcap));
1639                        pcap_close(pcap);
1640                        assert (pthread_mutex_unlock(&mutex) == 0);
1641                        return -1;
1642                }
1643                pcap_close(pcap);
1644                filter->flag=1;
1645                assert (pthread_mutex_unlock(&mutex) == 0);
1646        }
1647        return 0;
1648#else
1649        assert(!"Internal bug: This should never be called when BPF not enabled");
1650        trace_set_err(packet->trace,TRACE_ERR_OPTION_UNAVAIL,
1651                                "Feature unavailable");
1652        return -1;
1653#endif
1654}
1655
1656DLLEXPORT int trace_apply_filter(libtrace_filter_t *filter,
1657                        const libtrace_packet_t *packet) {
1658#ifdef HAVE_BPF
1659        void *linkptr = 0;
1660        uint32_t clen = 0;
1661        bool free_packet_needed = false;
1662        int ret;
1663        libtrace_linktype_t linktype;
1664        libtrace_packet_t *packet_copy = (libtrace_packet_t*)packet;
1665#ifdef HAVE_LLVM
1666        static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
1667#endif
1668
1669        assert(filter);
1670        assert(packet);
1671
1672        /* Match all non-data packets as we probably want them to pass
1673         * through to the caller */
1674        linktype = trace_get_link_type(packet);
1675
1676        if (linktype == TRACE_TYPE_NONDATA || linktype == TRACE_TYPE_ERF_META)
1677                return 1;
1678
1679        if (libtrace_to_pcap_dlt(linktype)==TRACE_DLT_ERROR) {
1680
1681                /* If we cannot get a suitable DLT for the packet, it may
1682                 * be because the packet is encapsulated in a link type that
1683                 * does not correspond to a DLT. Therefore, we should try
1684                 * popping off headers until we either can find a suitable
1685                 * link type or we can't do any more sensible decapsulation. */
1686
1687                /* Copy the packet, as we don't want to trash the one we
1688                 * were passed in */
1689                packet_copy=trace_copy_packet(packet);
1690                free_packet_needed=true;
1691
1692                while (libtrace_to_pcap_dlt(linktype) == TRACE_DLT_ERROR) {
1693                        if (!demote_packet(packet_copy)) {
1694                                trace_set_err(packet->trace,
1695                                                TRACE_ERR_NO_CONVERSION,
1696                                                "pcap does not support this linktype so cannot apply BPF filters");
1697                                if (free_packet_needed) {
1698                                        trace_destroy_packet(packet_copy);
1699                                }
1700                                return -1;
1701                        }
1702                        linktype = trace_get_link_type(packet_copy);
1703                }
1704
1705        }
1706
1707        linkptr = trace_get_packet_buffer(packet_copy,NULL,&clen);
1708        if (!linkptr) {
1709                if (free_packet_needed) {
1710                        trace_destroy_packet(packet_copy);
1711                }
1712                return 0;
1713        }
1714
1715        /* We need to compile the filter now, because before we didn't know
1716         * what the link type was
1717         */
1718        // Note internal mutex locking used here
1719        if (trace_bpf_compile(filter,packet_copy,linkptr,linktype)==-1) {
1720                if (free_packet_needed) {
1721                        trace_destroy_packet(packet_copy);
1722                }
1723                return -1;
1724        }
1725
1726        /* If we're jitting, we may need to JIT the BPF code now too */
1727#if HAVE_LLVM
1728        if (!filter->jitfilter) {
1729                ASSERT_RET(pthread_mutex_lock(&mutex), == 0);
1730                /* Again double check here like the bpf filter */
1731                if(!filter->jitfilter)
1732                /* Looking at compile_program source this appears to be thread safe
1733                 * however if this gets called twice we will leak this memory :(
1734                 * as such lock here anyways */
1735                        filter->jitfilter = compile_program(filter->filter.bf_insns, filter->filter.bf_len);
1736                ASSERT_RET(pthread_mutex_unlock(&mutex), == 0);
1737        }
1738#endif
1739
1740        assert(filter->flag);
1741        /* Now execute the filter */
1742#if HAVE_LLVM
1743        ret=filter->jitfilter->bpf_run((unsigned char *)linkptr, clen);
1744#else
1745        ret=bpf_filter(filter->filter.bf_insns,(u_char*)linkptr,(unsigned int)clen,(unsigned int)clen);
1746#endif
1747
1748        /* If we copied the packet earlier, make sure that we free it */
1749        if (free_packet_needed) {
1750                trace_destroy_packet(packet_copy);
1751        }
1752        return ret;
1753#else
1754        fprintf(stderr,"This version of libtrace does not have bpf filter support\n");
1755        return 0;
1756#endif
1757}
1758
1759/* Set the direction flag, if it has one
1760 * @param packet the packet opaque pointer
1761 * @param direction the new direction (0,1,2,3)
1762 * @returns a signed value containing the direction flag, or -1 if this is not supported
1763 */
1764DLLEXPORT libtrace_direction_t trace_set_direction(libtrace_packet_t *packet,
1765                libtrace_direction_t direction)
1766{
1767        assert(packet);
1768        if (packet->trace->format->set_direction) {
1769                return packet->trace->format->set_direction(packet,direction);
1770        }
1771        return (libtrace_direction_t)~0U;
1772}
1773
1774/* Get the direction flag, if it has one
1775 * @param packet a pointer to a libtrace_packet structure
1776 * @returns a signed value containing the direction flag, or -1 if this is not supported
1777 * The direction is defined as 0 for packets originating locally (ie, outbound)
1778 * and 1 for packets originating remotely (ie, inbound).
1779 * Other values are possible, which might be overloaded to mean special things
1780 * for a special trace.
1781 */
1782DLLEXPORT libtrace_direction_t trace_get_direction(const libtrace_packet_t *packet)
1783{
1784        assert(packet);
1785        if (packet->which_trace_start != packet->trace->startcount) {
1786                return (libtrace_direction_t)~0U;
1787        }
1788        if (packet->trace->format->get_direction) {
1789                return packet->trace->format->get_direction(packet);
1790        }
1791        return (libtrace_direction_t)~0U;
1792}
1793
1794#define ROOT_SERVER(x) ((x) < 512)
1795#define ROOT_CLIENT(x) ((512 <= (x)) && ((x) < 1024))
1796#define NONROOT_SERVER(x) ((x) >= 5000)
1797#define NONROOT_CLIENT(x) ((1024 <= (x)) && ((x) < 5000))
1798#define DYNAMIC(x) ((49152 < (x)) && ((x) < 65535))
1799#define SERVER(x) ROOT_SERVER(x) || NONROOT_SERVER(x)
1800#define CLIENT(x) ROOT_CLIENT(x) || NONROOT_CLIENT(x)
1801
1802/* Attempt to deduce the 'server' port
1803 * @param protocol the IP protocol (eg, 6 or 17 for TCP or UDP)
1804 * @param source the TCP or UDP source port
1805 * @param dest the TCP or UDP destination port
1806 * @returns a hint as to which port is the server port
1807 */
1808DLLEXPORT int8_t trace_get_server_port(UNUSED uint8_t protocol,
1809                uint16_t source, uint16_t dest)
1810{
1811        /*
1812         * * If the ports are equal, return DEST
1813         * * Check for well-known ports in the given protocol
1814         * * Root server ports: 0 - 511
1815         * * Root client ports: 512 - 1023
1816         * * non-root client ports: 1024 - 4999
1817         * * non-root server ports: 5000+
1818         * * Check for static ranges: 1024 - 49151
1819         * * Check for dynamic ranges: 49152 - 65535
1820         * * flip a coin.
1821         */
1822
1823        /* equal */
1824        if (source == dest)
1825                return USE_DEST;
1826
1827        /* root server port, 0 - 511 */
1828        if (ROOT_SERVER(source) && ROOT_SERVER(dest)) {
1829                if (source < dest)
1830                        return USE_SOURCE;
1831                return USE_DEST;
1832        }
1833
1834        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1835                return USE_SOURCE;
1836        if (!ROOT_SERVER(source) && ROOT_SERVER(dest))
1837                return USE_DEST;
1838
1839        /* non-root server */
1840        if (NONROOT_SERVER(source) && NONROOT_SERVER(dest)) {
1841                if (source < dest)
1842                        return USE_SOURCE;
1843                return USE_DEST;
1844        }
1845        if (NONROOT_SERVER(source) && !NONROOT_SERVER(dest))
1846                return USE_SOURCE;
1847        if (!NONROOT_SERVER(source) && NONROOT_SERVER(dest))
1848                return USE_DEST;
1849
1850        /* root client */
1851        if (ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1852                if (source < dest)
1853                        return USE_SOURCE;
1854                return USE_DEST;
1855        }
1856        if (ROOT_CLIENT(source) && !ROOT_CLIENT(dest)) {
1857                /* prefer root-client over nonroot-client */
1858                if (NONROOT_CLIENT(dest))
1859                        return USE_SOURCE;
1860                return USE_DEST;
1861        }
1862        if (!ROOT_CLIENT(source) && ROOT_CLIENT(dest)) {
1863                /* prefer root-client over nonroot-client */
1864                if (NONROOT_CLIENT(source))
1865                        return USE_DEST;
1866                return USE_SOURCE;
1867        }
1868
1869        /* nonroot client */
1870        if (NONROOT_CLIENT(source) && NONROOT_CLIENT(dest)) {
1871                if (source < dest)
1872                        return USE_SOURCE;
1873                return USE_DEST;
1874        }
1875        if (NONROOT_CLIENT(source) && !NONROOT_CLIENT(dest))
1876                return USE_DEST;
1877        if (!NONROOT_CLIENT(source) && NONROOT_CLIENT(dest))
1878                return USE_SOURCE;
1879
1880        /* dynamic range */
1881        if (DYNAMIC(source) && DYNAMIC(dest)) {
1882                if (source < dest)
1883                        return USE_SOURCE;
1884                return USE_DEST;
1885        }
1886        if (DYNAMIC(source) && !DYNAMIC(dest))
1887                return USE_DEST;
1888        if (!DYNAMIC(source) && DYNAMIC(dest))
1889                return USE_SOURCE;
1890        /*
1891        if (SERVER(source) && CLIENT(dest))
1892                return USE_SOURCE;
1893
1894        if (SERVER(dest) && CLIENT(source))
1895                return USE_DEST;
1896        if (ROOT_SERVER(source) && !ROOT_SERVER(dest))
1897                return USE_SOURCE;
1898        if (ROOT_SERVER(dest) && !ROOT_SERVER(source))
1899                return USE_DEST;
1900        */
1901        /* failing that test... */
1902        if (source < dest) {
1903                return USE_SOURCE;
1904        }
1905        return USE_DEST;
1906
1907}
1908
1909/* Truncate the packet at the suggested length
1910 * @param packet        the packet opaque pointer
1911 * @param size          the new length of the packet
1912 * @returns the new size of the packet
1913 * @note size and the return size refer to the network-level payload of the
1914 * packet, and do not include any capture headers. For example, to truncate a
1915 * packet after the IP header, set size to sizeof(ethernet_header) +
1916 * sizeof(ip_header)
1917 * @note If the original network-level payload is smaller than size, then the
1918 * original size is returned and the packet is left unchanged.
1919 */
1920DLLEXPORT size_t trace_set_capture_length(libtrace_packet_t *packet, size_t size) {
1921        assert(packet);
1922
1923        if (packet->trace->format->set_capture_length) {
1924                packet->capture_length = packet->trace->format->set_capture_length(packet,size);
1925                return packet->capture_length;
1926        }
1927
1928        return ~0U;
1929}
1930
1931/* Splits a URI into two components - the format component which is seen before
1932 * the ':', and the uridata which follows the ':'.
1933 *
1934 * Returns a pointer to the URI data, but updates the format parameter to
1935 * point to a copy of the format component.
1936 */
1937
1938DLLEXPORT const char * trace_parse_uri(const char *uri, char **format) {
1939        const char *uridata = 0;
1940
1941        if((uridata = strchr(uri,':')) == NULL) {
1942                /* Badly formed URI - needs a : */
1943                return 0;
1944        }
1945
1946        if ((unsigned)(uridata - uri) > URI_PROTO_LINE) {
1947                /* Badly formed URI - uri type is too long */
1948                return 0;
1949        }
1950
1951        /* NOTE: this is allocated memory - it should be freed by the caller
1952         * once they are done with it */
1953        *format=xstrndup(uri, (size_t)(uridata - uri));
1954
1955        /* Push uridata past the delimiter */
1956        uridata++;
1957
1958        return uridata;
1959}
1960
1961enum base_format_t trace_get_format(libtrace_packet_t *packet)
1962{
1963        assert(packet);
1964
1965        return packet->trace->format->type;
1966}
1967
1968DLLEXPORT libtrace_err_t trace_get_err(libtrace_t *trace)
1969{
1970        libtrace_err_t err = trace->err;
1971        trace->err.err_num = 0; /* "OK" */
1972        trace->err.problem[0]='\0';
1973        return err;
1974}
1975
1976DLLEXPORT bool trace_is_err(libtrace_t *trace)
1977{
1978        return trace->err.err_num != 0;
1979}
1980
1981/* Prints the input error status to standard error and clears the error state */
1982DLLEXPORT void trace_perror(libtrace_t *trace,const char *msg,...)
1983{
1984        char buf[256];
1985        va_list va;
1986        va_start(va,msg);
1987        vsnprintf(buf,sizeof(buf),msg,va);
1988        va_end(va);
1989        if(trace->err.err_num) {
1990                if (trace->uridata) {
1991                        fprintf(stderr,"%s(%s): %s\n",
1992                                        buf,trace->uridata,trace->err.problem);
1993                } else {
1994                        fprintf(stderr,"%s: %s\n", buf, trace->err.problem);
1995                }
1996        } else {
1997                if (trace->uridata) {
1998                        fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
1999                } else {
2000                        fprintf(stderr,"%s: No error\n", buf);
2001                }
2002        }
2003        trace->err.err_num = 0; /* "OK" */
2004        trace->err.problem[0]='\0';
2005}
2006
2007DLLEXPORT libtrace_err_t trace_get_err_output(libtrace_out_t *trace)
2008{
2009        libtrace_err_t err = trace->err;
2010        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
2011        trace->err.problem[0]='\0';
2012        return err;
2013}
2014
2015DLLEXPORT bool trace_is_err_output(libtrace_out_t *trace)
2016{
2017        return trace->err.err_num != 0;
2018}
2019
2020/* Prints the output error status to standard error and clears the error state
2021 */
2022DLLEXPORT void trace_perror_output(libtrace_out_t *trace,const char *msg,...)
2023{
2024        char buf[256];
2025        va_list va;
2026        va_start(va,msg);
2027        vsnprintf(buf,sizeof(buf),msg,va);
2028        va_end(va);
2029        if(trace->err.err_num) {
2030                fprintf(stderr,"%s(%s): %s\n",
2031                                buf,
2032                                trace->uridata?trace->uridata:"no uri",
2033                                trace->err.problem);
2034        } else {
2035                fprintf(stderr,"%s(%s): No error\n",buf,trace->uridata);
2036        }
2037        trace->err.err_num = TRACE_ERR_NOERROR; /* "OK" */
2038        trace->err.problem[0]='\0';
2039}
2040
2041DLLEXPORT int trace_seek_erf_timestamp(libtrace_t *trace, uint64_t ts)
2042{
2043        if (trace->format->seek_erf) {
2044                return trace->format->seek_erf(trace,ts);
2045        }
2046        else {
2047                if (trace->format->seek_timeval) {
2048                        struct timeval tv;
2049#if __BYTE_ORDER == __BIG_ENDIAN
2050                        tv.tv_sec = ts & 0xFFFFFFFF;
2051                        tv.tv_usec = ((ts >> 32) * 1000000) & 0xFFFFFFFF;
2052#elif __BYTE_ORDER == __LITTLE_ENDIAN
2053                        tv.tv_sec = ts >> 32;
2054                        tv.tv_usec = ((ts&0xFFFFFFFF)*1000000)>>32;
2055#else
2056#error "What on earth are you running this on?"
2057#endif
2058                        if (tv.tv_usec >= 1000000) {
2059                                tv.tv_usec -= 1000000;
2060                                tv.tv_sec += 1;
2061                        }
2062                        return trace->format->seek_timeval(trace,tv);
2063                }
2064                if (trace->format->seek_seconds) {
2065                        double seconds =
2066                                (ts>>32) + ((ts & UINT_MAX)*1.0 / UINT_MAX);
2067                        return trace->format->seek_seconds(trace,seconds);
2068                }
2069                trace_set_err(trace,
2070                                TRACE_ERR_OPTION_UNAVAIL,
2071                                "Feature unimplemented");
2072                return -1;
2073        }
2074}
2075
2076DLLEXPORT int trace_seek_seconds(libtrace_t *trace, double seconds)
2077{
2078        if (trace->format->seek_seconds) {
2079                return trace->format->seek_seconds(trace,seconds);
2080        }
2081        else {
2082                if (trace->format->seek_timeval) {
2083                        struct timeval tv;
2084                        tv.tv_sec = (uint32_t)seconds;
2085                        tv.tv_usec = (uint32_t)(((seconds - tv.tv_sec) * 1000000)/UINT_MAX);
2086                        return trace->format->seek_timeval(trace,tv);
2087                }
2088                if (trace->format->seek_erf) {
2089                        uint64_t timestamp =
2090                                ((uint64_t)((uint32_t)seconds) << 32) + \
2091                            (uint64_t)(( seconds - (uint32_t)seconds   ) * UINT_MAX);
2092                        return trace->format->seek_erf(trace,timestamp);
2093                }
2094                trace_set_err(trace,
2095                                TRACE_ERR_OPTION_UNAVAIL,
2096                                "Feature unimplemented");
2097                return -1;
2098        }
2099}
2100
2101DLLEXPORT int trace_seek_timeval(libtrace_t *trace, struct timeval tv)
2102{
2103        if (trace->format->seek_timeval) {
2104                return trace->format->seek_timeval(trace,tv);
2105        }
2106        else {
2107                if (trace->format->seek_erf) {
2108                        uint64_t timestamp = ((((uint64_t)tv.tv_sec) << 32) + \
2109                                (((uint64_t)tv.tv_usec * UINT_MAX)/1000000));
2110                        return trace->format->seek_erf(trace,timestamp);
2111                }
2112                if (trace->format->seek_seconds) {
2113                        double seconds = tv.tv_sec + ((tv.tv_usec * 1.0)/1000000);
2114                        return trace->format->seek_seconds(trace,seconds);
2115                }
2116                trace_set_err(trace,
2117                                TRACE_ERR_OPTION_UNAVAIL,
2118                                "Feature unimplemented");
2119                return -1;
2120        }
2121}
2122
2123/* Converts a binary ethernet MAC address into a printable string */
2124DLLEXPORT char *trace_ether_ntoa(const uint8_t *addr, char *buf)
2125{
2126        static char staticbuf[18]={0,};
2127        if (!buf)
2128                buf=staticbuf;
2129        snprintf(buf,(size_t)18,"%02x:%02x:%02x:%02x:%02x:%02x",
2130                        addr[0],addr[1],addr[2],
2131                        addr[3],addr[4],addr[5]);
2132        return buf;
2133}
2134
2135/* Converts a printable ethernet MAC address into a binary format */
2136DLLEXPORT uint8_t *trace_ether_aton(const char *buf, uint8_t *addr)
2137{
2138        uint8_t *buf2 = addr;
2139        unsigned int tmp[6];
2140        static uint8_t staticaddr[6];
2141        if (!buf2)
2142                buf2=staticaddr;
2143        sscanf(buf,"%x:%x:%x:%x:%x:%x",
2144                        &tmp[0],&tmp[1],&tmp[2],
2145                        &tmp[3],&tmp[4],&tmp[5]);
2146        buf2[0]=tmp[0]; buf2[1]=tmp[1]; buf2[2]=tmp[2];
2147        buf2[3]=tmp[3]; buf2[4]=tmp[4]; buf2[5]=tmp[5];
2148        return buf2;
2149}
2150
2151
2152/* Creates a libtrace packet from scratch using the contents of the provided
2153 * buffer as the packet payload.
2154 *
2155 * Unlike trace_prepare_packet(), the buffer should not contain any capture
2156 * format headers; instead this function will add the PCAP header to the
2157 * packet record. This also means only PCAP packets can be constructed using
2158 * this function.
2159 *
2160 */
2161DLLEXPORT
2162void trace_construct_packet(libtrace_packet_t *packet,
2163                libtrace_linktype_t linktype,
2164                const void *data,
2165                uint16_t len)
2166{
2167        size_t size;
2168        static libtrace_t *deadtrace=NULL;
2169        libtrace_pcapfile_pkt_hdr_t hdr;
2170#ifdef WIN32
2171        struct _timeb tstruct;
2172#else
2173        struct timeval tv;
2174#endif
2175
2176        /* We need a trace to attach the constructed packet to (and it needs
2177         * to be PCAP) */
2178        if (NULL == deadtrace)
2179                deadtrace=trace_create_dead("pcapfile");
2180
2181        /* Fill in the new PCAP header */
2182#ifdef WIN32
2183        _ftime(&tstruct);
2184        hdr.ts_sec=tstruct.time;
2185        hdr.ts_usec=tstruct.millitm * 1000;
2186#else
2187        gettimeofday(&tv,NULL);
2188        hdr.ts_sec=tv.tv_sec;
2189        hdr.ts_usec=tv.tv_usec;
2190#endif
2191
2192        hdr.caplen=len;
2193        hdr.wirelen=len;
2194
2195        /* Now fill in the libtrace packet itself */
2196        assert(deadtrace);
2197        packet->trace=deadtrace;
2198        size=len+sizeof(hdr);
2199        if (size < LIBTRACE_PACKET_BUFSIZE)
2200            size = LIBTRACE_PACKET_BUFSIZE;
2201        if (packet->buf_control==TRACE_CTRL_PACKET) {
2202            packet->buffer = realloc(packet->buffer, size);
2203        }
2204        else {
2205                packet->buffer = malloc(size);
2206        }
2207        packet->buf_control=TRACE_CTRL_PACKET;
2208        packet->header=packet->buffer;
2209        packet->payload=(void*)((char*)packet->buffer+sizeof(hdr));
2210
2211        /* Ugh, memmove - sadly necessary, also beware that we might be
2212         * moving data around within this packet, so ordering is important.
2213         */
2214        memmove(packet->payload, data, (size_t)len);
2215        memmove(packet->header, &hdr, sizeof(hdr));
2216        packet->type=pcap_linktype_to_rt(libtrace_to_pcap_linktype(linktype));
2217
2218        trace_clear_cache(packet);
2219}
2220
2221
2222uint64_t trace_get_received_packets(libtrace_t *trace)
2223{
2224        assert(trace);
2225        uint64_t ret;
2226
2227        if (trace->format->get_received_packets) {
2228                if ((ret = trace->format->get_received_packets(trace)) != UINT64_MAX)
2229                        return ret;
2230        } else if (trace->format->get_statistics) {
2231                struct libtrace_stat_t stat;
2232                stat.magic = LIBTRACE_STAT_MAGIC;
2233                trace_get_statistics(trace, &stat);
2234                if (stat.received_valid)
2235                        return stat.received;
2236        }
2237
2238        // Read the cached value taken before the trace was paused/closed
2239        if(trace->stats && trace->stats->received_valid)
2240                return trace->stats->received;
2241        else
2242                return UINT64_MAX;
2243}
2244
2245uint64_t trace_get_filtered_packets(libtrace_t *trace)
2246{
2247        assert(trace);
2248        int i = 0;
2249        uint64_t lib_filtered = trace->filtered_packets;
2250        for (i = 0; i < trace->perpkt_thread_count; i++) {
2251                lib_filtered += trace->perpkt_threads[i].filtered_packets;
2252        }
2253        if (trace->format->get_filtered_packets) {
2254                uint64_t trace_filtered = trace->format->get_filtered_packets(trace);
2255                if (trace_filtered == UINT64_MAX)
2256                        return UINT64_MAX;
2257                else
2258                        return trace_filtered + lib_filtered;
2259        } else if (trace->format->get_statistics) {
2260                struct libtrace_stat_t stat;
2261                stat.magic = LIBTRACE_STAT_MAGIC;
2262                trace_get_statistics(trace, &stat);
2263                if (stat.filtered_valid)
2264                        return lib_filtered + stat.filtered;
2265                else
2266                        return UINT64_MAX;
2267        }
2268
2269        // Read the cached value taken before the trace was paused/closed
2270        if(trace->stats && trace->stats->filtered_valid)
2271                return trace->stats->filtered + lib_filtered;
2272        else
2273                return lib_filtered;
2274}
2275
2276uint64_t trace_get_dropped_packets(libtrace_t *trace)
2277{
2278        assert(trace);
2279        uint64_t ret;
2280
2281        if (trace->format->get_dropped_packets) {
2282                if ((ret = trace->format->get_dropped_packets(trace)) != UINT64_MAX)
2283                        return ret;
2284        } else if (trace->format->get_statistics) {
2285                struct libtrace_stat_t stat;
2286                stat.magic = LIBTRACE_STAT_MAGIC;
2287                trace_get_statistics(trace, &stat);
2288                if (stat.dropped_valid)
2289                        return stat.dropped;
2290        }
2291
2292        // Read the cached value taken before the trace was paused/closed
2293        if(trace->stats && trace->stats->dropped_valid)
2294                return trace->stats->dropped;
2295        else
2296                return UINT64_MAX;
2297}
2298
2299uint64_t trace_get_accepted_packets(libtrace_t *trace)
2300{
2301        assert(trace);
2302        int i = 0;
2303        uint64_t ret = 0;
2304        /* We always add to a thread's accepted count before dispatching the
2305         * packet to the user. However if the underlying trace is single
2306         * threaded it will also be increasing the global count. So if we
2307         * find perpkt ignore the global count.
2308         */
2309        for (i = 0; i < trace->perpkt_thread_count; i++) {
2310                ret += trace->perpkt_threads[i].accepted_packets;
2311        }
2312        return ret ? ret : trace->accepted_packets;
2313}
2314
2315libtrace_stat_t *trace_get_statistics(libtrace_t *trace, libtrace_stat_t *stat)
2316{
2317        uint64_t ret = 0;
2318        int i;
2319        assert(trace);
2320        if (stat == NULL) {
2321                if (trace->stats == NULL)
2322                        trace->stats = trace_create_statistics();
2323                stat = trace->stats;
2324        }
2325        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2326               "trace_create_statistics() to allocate statistics");
2327
2328        /* If the trace has paused or finished get the cached results */
2329        if (trace->state == STATE_PAUSED ||
2330            trace->state == STATE_FINISHED ||
2331            trace->state == STATE_FINISHING ||
2332            trace->state == STATE_JOINED) {
2333                if (trace->stats && trace->stats != stat)
2334                        *stat = *trace->stats;
2335                return stat;
2336        }
2337
2338        stat->reserved1 = 0;
2339        stat->reserved2 = 0;
2340#define X(x) stat->x ##_valid = 0;
2341        LIBTRACE_STAT_FIELDS;
2342#undef X
2343        /* Both accepted and filtered are stored against in the library */
2344
2345        /* We always add to a thread's accepted count before dispatching the
2346         * packet to the user. However if the underlying trace is single
2347         * threaded it will also be increasing the global count. So if we
2348         * find perpkt ignore the global count.
2349         */
2350        for (i = 0; i < trace->perpkt_thread_count; i++) {
2351                ret += trace->perpkt_threads[i].accepted_packets;
2352        }
2353
2354        stat->accepted_valid = 1;
2355        stat->accepted = ret ? ret : trace->accepted_packets;
2356
2357        stat->filtered_valid = 1;
2358        stat->filtered = trace->filtered_packets;
2359        for (i = 0; i < trace->perpkt_thread_count; i++) {
2360                stat->filtered += trace->perpkt_threads[i].filtered_packets;
2361        }
2362
2363        if (trace->format->get_statistics) {
2364                trace->format->get_statistics(trace, stat);
2365        }
2366        return stat;
2367}
2368
2369void trace_get_thread_statistics(libtrace_t *trace, libtrace_thread_t *t,
2370                                 libtrace_stat_t *stat)
2371{
2372        assert(trace && stat);
2373        assert(stat->magic == LIBTRACE_STAT_MAGIC && "Please use"
2374               "trace_create_statistics() to allocate statistics");
2375        stat->reserved1 = 0;
2376        stat->reserved2 = 0;
2377#define X(x) stat->x ##_valid= 0;
2378        LIBTRACE_STAT_FIELDS;
2379#undef X
2380        stat->accepted_valid = 1;
2381        stat->accepted = t->accepted_packets;
2382        stat->filtered_valid = 1;
2383        stat->filtered = t->filtered_packets;
2384        if (!trace_has_dedicated_hasher(trace) && trace->format->get_thread_statistics) {
2385                trace->format->get_thread_statistics(trace, t, stat);
2386        }
2387        return;
2388}
2389
2390libtrace_stat_t *trace_create_statistics(void) {
2391        libtrace_stat_t *ret;
2392        ret = malloc(sizeof(libtrace_stat_t));
2393        if (ret) {
2394                memset(ret, 0, sizeof(libtrace_stat_t));
2395                ret->magic = LIBTRACE_STAT_MAGIC;
2396        }
2397        return ret;
2398}
2399
2400void trace_clear_statistics(libtrace_stat_t *s) {
2401        memset(s, 0, sizeof(libtrace_stat_t));
2402        s->magic = LIBTRACE_STAT_MAGIC;
2403}
2404
2405void trace_subtract_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2406                         libtrace_stat_t *c) {
2407        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2408               "trace_create_statistics() to allocate statistics");
2409        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2410               "trace_create_statistics() to allocate statistics");
2411        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2412               "trace_create_statistics() to allocate statistics");
2413
2414#define X(x) \
2415        if (a->x ##_valid && b->x ##_valid) { \
2416                c->x ##_valid = 1; \
2417                c->x = a->x - b->x; \
2418        } else {\
2419                c->x ##_valid = 0;\
2420        }
2421        LIBTRACE_STAT_FIELDS
2422#undef X
2423}
2424
2425void trace_add_statistics(const libtrace_stat_t *a, const libtrace_stat_t *b,
2426                         libtrace_stat_t *c) {
2427        assert(a->magic == LIBTRACE_STAT_MAGIC && "Please use"
2428               "trace_create_statistics() to allocate statistics");
2429        assert(b->magic == LIBTRACE_STAT_MAGIC && "Please use"
2430               "trace_create_statistics() to allocate statistics");
2431        assert(c->magic == LIBTRACE_STAT_MAGIC && "Please use"
2432               "trace_create_statistics() to allocate statistics");
2433
2434#define X(x) \
2435        if (a->x ##_valid&& b->x ##_valid) { \
2436                c->x ##_valid = 1; \
2437                c->x = a->x + b->x; \
2438        } else {\
2439                c->x ##_valid = 0;\
2440        }
2441        LIBTRACE_STAT_FIELDS
2442#undef X
2443}
2444
2445int trace_print_statistics(const libtrace_stat_t *s, FILE *f, const char *format) {
2446        assert(s->magic == LIBTRACE_STAT_MAGIC && "Please use"
2447               "trace_create_statistics() to allocate statistics");
2448        if (format == NULL)
2449                format = "%s: %"PRIu64"\n";
2450#define xstr(s) str(s)
2451#define str(s) #s
2452#define X(x) \
2453        if (s->x ##_valid) { \
2454                if (fprintf(f, format, xstr(x), s->x) < 0) \
2455                        return -1; \
2456        }
2457        LIBTRACE_STAT_FIELDS
2458#undef X
2459        return 0;
2460}
2461
2462
2463void trace_clear_cache(libtrace_packet_t *packet) {
2464
2465        packet->l2_header = NULL;
2466        packet->l3_header = NULL;
2467        packet->l4_header = NULL;
2468        packet->link_type = 0;
2469        packet->l3_ethertype = 0;
2470        packet->transport_proto = 0;
2471        packet->capture_length = -1;
2472        packet->wire_length = -1;
2473        packet->framing_length = -1;
2474        packet->payload_length = -1;
2475        packet->l2_remaining = 0;
2476        packet->l3_remaining = 0;
2477        packet->l4_remaining = 0;
2478        packet->refcount = 0;
2479}
2480
2481void trace_interrupt(void) {
2482        libtrace_halt = 1;
2483}
2484
2485void register_format(struct libtrace_format_t *f) {
2486        assert(f->next==NULL); /* Can't register a format twice */
2487        f->next=formats_list;
2488        formats_list=f;
2489
2490        /* Now, verify that the format has at least the minimum functionality.
2491         *
2492         * This #if can be changed to a 1 to output warnings about inconsistent
2493         * functions being provided by format modules.  This generally is very
2494         * noisy, as almost all modules don't implement one or more functions
2495         * for various reasons.  This is very useful when checking a new
2496         * format module is sane.
2497         */
2498#if 0
2499        if (f->init_input) {
2500#define REQUIRE(x) \
2501                if (!f->x) \
2502                        fprintf(stderr,"%s: Input format should provide " #x "\n",f->name)
2503                REQUIRE(read_packet);
2504                REQUIRE(start_input);
2505                REQUIRE(fin_input);
2506                REQUIRE(get_link_type);
2507                REQUIRE(get_capture_length);
2508                REQUIRE(get_wire_length);
2509                REQUIRE(get_framing_length);
2510                REQUIRE(trace_event);
2511                if (!f->get_erf_timestamp
2512                        && !f->get_seconds
2513                        && !f->get_timeval) {
2514                        fprintf(stderr,"%s: A trace format capable of input, should provide at least one of\n"
2515"get_erf_timestamp, get_seconds or trace_timeval\n",f->name);
2516                }
2517                if (f->trace_event!=trace_event_trace) {
2518                        /* Theres nothing that a trace file could optimise with
2519                         * config_input
2520                         */
2521                        REQUIRE(pause_input);
2522                        REQUIRE(config_input);
2523                        REQUIRE(get_fd);
2524                }
2525                else {
2526                        if (f->get_fd) {
2527                                fprintf(stderr,"%s: Unnecessary get_fd\n",
2528                                                f->name);
2529                        }
2530                }
2531#undef REQUIRE
2532        }
2533        else {
2534#define REQUIRE(x) \
2535                if (f->x) \
2536                        fprintf(stderr,"%s: Non Input format shouldn't need " #x "\n",f->name)
2537                REQUIRE(read_packet);
2538                REQUIRE(start_input);
2539                REQUIRE(pause_input);
2540                REQUIRE(fin_input);
2541                REQUIRE(get_link_type);
2542                REQUIRE(get_capture_length);
2543                REQUIRE(get_wire_length);
2544                REQUIRE(get_framing_length);
2545                REQUIRE(trace_event);
2546                REQUIRE(get_seconds);
2547                REQUIRE(get_timeval);
2548                REQUIRE(get_erf_timestamp);
2549#undef REQUIRE
2550        }
2551        if (f->init_output) {
2552#define REQUIRE(x) \
2553                if (!f->x) \
2554                        fprintf(stderr,"%s: Output format should provide " #x "\n",f->name)
2555                REQUIRE(write_packet);
2556                REQUIRE(start_output);
2557                REQUIRE(config_output);
2558                REQUIRE(fin_output);
2559#undef REQUIRE
2560        }
2561        else {
2562#define REQUIRE(x) \
2563                if (f->x) \
2564                        fprintf(stderr,"%s: Non Output format shouldn't need " #x "\n",f->name)
2565                REQUIRE(write_packet);
2566                REQUIRE(start_output);
2567                REQUIRE(config_output);
2568                REQUIRE(fin_output);
2569#undef REQUIRE
2570        }
2571#endif
2572}
2573
Note: See TracBrowser for help on using the repository browser.