当前位置: 首页 >> 应用软件 >> 网络相关 >> apache中的文件与目录(2)
 

apache中的文件与目录(2)

作者:flydish1234 at sina.com.cn      来源:     发表时间:2006-03-06     浏览次数:      字号:    

e_t rv;

    apr_size_t bytes_read;
 
    if (*nbytes <= 0) {
        *nbytes = 0;
        return APR_SUCCESS;
    }
 
    {
        bytes_read = 0;
        if (thefile->ungetchar != -1) {
            bytes_read = 1;
            *(char *)buf = (char)thefile->ungetchar;
            buf = (char *)buf + 1;
            (*nbytes)--;
            thefile->ungetchar = -1;
            if (*nbytes == 0) {
                *nbytes = bytes_read;
                return APR_SUCCESS;
            }
        }
 
        do {
            rv = read(thefile->filedes, buf, *nbytes);      u
        } while (rv == -1 && errno == EINTR);
#ifdef USE_WAIT_FOR_IO
        if (rv == -1 &&
            (errno == EAGAIN || errno == EWOULDBLOCK) &&
            thefile->timeout != 0) {
            apr_status_t arv = apr_wait_for_io_or_timeout(thefile, NULL, 1);
            if (arv != APR_SUCCESS) {               v
                *nbytes = bytes_read;
                return arv;
            }
            else {
                do {
                    rv = read(thefile->filedes, buf, *nbytes);
                } while (rv == -1 && errno == EINTR);
            }
        } 
#endif
        *nbytes = bytes_read;
        if (rv == 0) {
            thefile->eof_hit = TRUE;                   w
            return APR_EOF;
        }
 
        if (rv > 0) {
            *nbytes += rv;                              x
            return APR_SUCCESS;
        }
        return errno;
    }
}
读取的主要操作就是调用标准的文件读操作read,文件中读取的数据直接保存到输出缓冲区buf中,确实没有进行任何的内部缓存。
第一次读取结束后,函数将根据读取的返回值做进一步的处理:
返回EINTR,见代码u
返回EINTR意味着读取操作被中断信号无意打断,而不是读取操作本身出现任何问题,因此此时必须无条件重新启动读操作,这就是将读操作放在循环中的原因之一,代码见。
返回EAGAIN或者EWOULDBLOCK,见代码v
读操作发生失败的另外一个可能性就是文件暂时不可用,因此此时应该稍等片刻再尝试,这种情况通常会返回EAGAIN错误码,对于GNU C库而言,EWOULDBLOCK与EAGAIN的含义完全相同,只是换了一个名字而已,不过对于早期的版本可能存在差异。因此稳妥的做法就是同时检测EAGAIN和EWOULDBLOCK错误码。
一般下面的两种情况可能返回这两个错误码:
(1)、对非阻塞模式的对象进行某个会阻塞的操作可能会返回该错误码,再次做同样的操作就会阻塞直到某种条件使它可以读写。
(2)、某个资源上的故障使操作不能进行。例如fork有可能返回着个错误,这也表示这个故障可以被克服,所以你的程序可以以后尝试这个操作。停几秒让其他进程释放资源然后再试也许是个好主意。这种故障可能很严重并会影响整个系统,所以通常交互式的程序会报告用户这个错误并返回命令循环。
如果apr_file_t结构中设置了超时时间timeout,同时发现必须重新读取(返回码为EAGAIN或者EWOULDBLOCK),那么Apache将调用apr_wait_for_io_or_timeout函数等待重新读取文件。apr_wait_for_io_or_timeout函数内部使用了I/O的多路复用技术poll,具体的细节我们在网络I/O章节描述。如果在给定的超时时间内,文件还是不允许进行读取操作,那么此时函数将直接返回,否则函数将重新调用下面的语句:
do {
    rv = read(thefile->filedes, buf, *nbytes);
} while (rv == -1 && errno == EINTR);
由于此时文件的状态处于肯定允许进行操作状态,因此不再需要进行额外的异常处理,唯一的就是防止被信号无意打断。
到达文件末尾(rv==0),见代码w
如果read函数返回0,此时意味着已经读取到整个文件,此时设置文件的eof_hit=1,至此整个文件读取结束。
读取非空字节(rv>0),见代码x
此时累计读取的总字节数目。
上面的几个文件读取的处理步骤是大多数文件读取的标准的读取操作,因此非常的好理解。
事实上,对于文件读取分析的重点并不是上面的普通的读取,而是使用缓存的读取。一般情况下I/O操作是相当耗费时间的,因此仅仅一次从文件中直接读取数据保存到缓冲区中所花的时间可能允许忽略不计,但是如果文件读取操作非常的频繁的话,那么这将无疑是一个不小的时间耗费,甚至可能是性能瓶颈。因此为了有效地提高读写性能,Apache提供了缓存读取的策略。所谓缓存读取,就是先把文件中的数据读取到一个缓存中,然后以后再次需要读取数据的时候,不再从文件本身去读取,而是从缓存中去读取。通过这种策略使文件I/O读取变成内存读取,从而提高了读取速度。而写入时候也是类似,先写入到缓存中,然后在一次写入磁盘中,从而将多次磁盘写入变为多次内存写入。apr_file_t结构中的buffer结构的作用正是这个目的。缓存读取的策略可以用下面的示意图描述:

使用了缓冲区后,文件操作者将通过缓冲区与磁盘文件打交道。整个缓冲区的实现机制,我们给出下面的一个更详细的图片,通过图示,我们可以理解apr_file_t中一些很晦涩的成员变量,事实上这些成员变量仅仅是配合缓冲区机制而使用的,而且仅仅使用缓冲区的时候才起作用。

上面的图示被我们分为了三个层次:最底层的是进行文件读写的用户,它拥有自定义的缓冲区,我们称之为用户缓冲区;中间的是apr_file_t结构内的缓冲区,它用以保存读写缓存数据。事实上用户总是跟这个层次的缓冲区打交道;最上层的则是磁盘文件。在各个层次中我们用”////////”表示模拟当前的缓冲区大小。
从图示中我们可以看到至少存在四种缓冲区长度:
1)、磁盘文件的实际长度。当使用read在文件中读写的时候,文件内部会维护一个内部指针指示当前的读取位置,apr_file_t结构中使用filePtr模拟该内部指针,因此filePtr总是指向实际文件内部的当前读取位置。
2)、文件缓冲区中现有数据的长度,它的大小由apr_file_t结构内的dataRead指示。通常情况下,dataRead的大小与filePtr指向的位置偏移相等。
3)、最终用户在文件缓冲区中读取的数据的当前指针,由apr_file_t结构内的bufpos指针指示。
4)、用户缓冲区的长度,其最新读写位置由pos指示。
基于缓冲区,整个读取操作的流程发生了根本的变化。任何读取首先尝试从文件缓冲区中读取,如果请求读取的长度在文件缓冲区的长度范围之内,那么直接返回数据。如果需要读取的内容超出了文件缓冲区的范围,那么我们还必须再去实际的磁盘文件中去读取,并返回,同时更新缓存区中的数据。
    if (thefile->buffered) {
        char *pos = (char *)buf;
        apr_uint64_t blocksize;
        apr_uint64_t size = *nbytes;
 
#if APR_HAS_THREADS
        if (thefile->thlock) {
            apr_thread_mutex_lock(thefile->thlock);
        }
#endif
如果支持多线程的操作,那么在对文件进行操作之前必须互斥量锁定,确保操作的安全性。同样在读取结束后还必须是unlock该互斥变量。
        if (thefile->direction == 1) {
            apr_file_flush(thefile);
            thefile->bufpos = 0;
            thefile->direction = 0;
            thefile->dataRead = 0;
        }
 
        rv = 0;
        if (thefile->ungetchar != -1) {
            *pos = (char)thefile->ungetchar;
            ++pos;
            --size;
            thefile->ungetchar = -1;
        }
        while (rv == 0 && size > 0) {
            if (thefile->bufpos >= thefile->dataRead) {
                int bytesread = read(thefile->filedes, thefile->buffer, APR_FILE_BUFSIZE);
                if (bytesread == 0) {
                    thefile->eof_hit = TRUE;
                    rv = APR_EOF;
                    break;
                }
                else if (bytesread == -1) {
                    rv = errno;
                    break;
                }
                thefile->dataRead = bytesread;
                thefile->filePtr += thefile->dataRead;
                thefile->bufpos = 0;
            }
 
            blocksize = size > thefile->dataRead - thefile->bufpos ? thefile->dataRead - thefile->bufpos : size;
            memcpy(pos, thefile->buffer + thefile->bufpos, blocksize);
            thefile->bufpos += blocksize;
            pos += blocksize;
            size -= blocksize;
        }
while循环读取的核心代码就位于while循环中。dataRead是实际读取到缓冲区中的数据的长度,当然它肯定小于或者等于实际的文件的总长度。bufpos则是用户读取的缓冲区中的实际字节数目,当然bufpos肯定也是小于或者等于dataRead的。它们的关系如上图所示。用户如果从缓冲区中读取数据的话它最多只能读取到dataRead字节的长度。当用户从缓冲区中读取数据的时候,缓冲区的内部的指针变量bufpos不断往后移动。
函数将根据bufpos的位置做不同的策略:
(1)、起始的时候,bufpos=0,缓冲区中的数据为dataRead,用户请求的数据为size大小。此时将开始尝试读取缓冲区中的数据。如果请求的字节小于缓冲区的dataRead长度,那么直接将缓冲区中size大小的数据拷贝到输出缓冲区pos中。这种情况是最简单的一种。
由于filepos为0,这时候执行的代码将演变为如下:
            blocksize = size;//size > thefile->dataRead -0 ? thefile->dataRead: size;
            memcpy(pos, thefile->buffer + 0, blocksize);
            thefile->bufpos += blocksize;
            pos += size;
            size -= size;
(2)、当bufpos=0,即开始读取的时候,如果用户请求的数据长度超出了dataRead的长度,那么此时用户第一次读取只能读取到dataRead的数据,还剩余size-dataRead需要从文件中读取。因此,第一次的读取演变为如下的代码:
            blocksize = thefile->dataRead;//size > thefile->dataRead - 0 ? thefile->dataRead - 0 : size;
            memcpy(pos, thefile->buffer + 0, blocksize);
            thefile->bufpos += blocksize;
            pos += thefile->dataRead;
            size -= thefile->dataRead;
此时各个指针的位置如下图所示意

从上图可以看到,第一次读取之后,各个指针都指向相应的缓冲区的末尾,pos指向用户缓冲区,随后的数据直接从pos位置往后拷贝;bufpos指向文件缓冲区的末尾。由于此时尚有size-dataRead大小的数据尚未读取,因此,函数将从thefile->filedes中去读取:
            if (thefile->bufpos >= thefile->dataRead) {
                int bytesread = read(thefile->filedes, thefile->buffer, APR_FILE_BUFSIZE);
                if (bytesread == 0) {
                    thefile->eof_hit = TRUE;
                    rv = APR_EOF;
                    break;
                }
                else if (bytesread == -1) {
                    rv = errno;
                    break;
                }
                thefile->dataRead = bytesread;
                thefile->filePtr += thefile->dataRead;
                thefile->bufpos = 0;
            }
但实际上,当Apache再次到磁盘文件中去读取的时候,它并不会吝啬的仅读取size-dataRead大小,相反它会调用read函数一次性的从文件中读取APR_FILE_BUFSIZE(4K)大小的数据到文件缓冲区中,然后设置dataRead为新的实际的读取字节长度。
        *nbytes = pos - (char *)buf;
        if (*nbytes) {
            rv = 0;
        }
#if APR_HAS_THREADS
        if (thefile->thlock) {
            apr_thread_mutex_unlock(thefile->thlock);
        }
#endif
        return rv;
    }
 
在apr_file_read函数的基础之上,APR提供了额外的几个辅助函数:
APR_DECLARE(apr_status_t) apr_file_getc(char *ch, apr_file_t *thefile);
用以从文件中获取一个字符
■ APR_DECLARE(apr_status_t) apr_file_read_full(apr_file_t *thefile, void *buf,
                                             apr_size_t nbytes,
                                             apr_size_t *bytes_read)
apr_file_read函数通常用于读取指定字节的数据,并且永远不会超过这个指定值,但是实际的读取字节数则可以少于这个值。
而apr_file_read_full与apr_file_read非常类似,主要的区别就是,对于指定的字节数nbytes,函数必须全部读取完毕才肯罢休,任何时候如果发现读取得字节数小于nbytes,函数都将继续等待。这种读取方式我们称之为“全字节读取方式”。
4.5.2字符串读取
 
4.5.3文件写入
文件写入通过函数apr_file_write实现,与标准的写入函数相同,它也具有三个参数:
APR_DECLARE(apr_status_t) apr_file_write(apr_file_t *thefile, const void *buf, apr_size_t *nbytes)
thefile是写入的文件描述符,buf是写入的源目标字符串,nbytes是需要写入的字节总数目。
与读取类似,写入也分为缓冲写入和非缓冲写入两种。对于非缓冲写入,所有的数据是直接写入到文件中,而对于缓冲写入,所有的数据先写入到文件缓冲区中,然后再从缓冲区中写入到文件中。
对于非缓冲写入的核心代码如下所示:
        apr_size_t rv;
 
        do {
            rv = write(thefile->filedes, buf, *nbytes);
        } while (rv == (apr_size_t)-1 && errno == EINTR);
#ifdef USE_WAIT_FOR_IO
        if (rv == (apr_size_t)-1 &&
            (errno == EAGAIN || errno == EWOULDBLOCK) &&
            thefile->timeout != 0) {
            apr_status_t arv = apr_wait_for_io_or_timeout(thefile, NULL, 0);
            if (arv != APR_SUCCESS) {
                *nbytes = 0;
                return arv;
            }
            else {
                do {
                    do {
                        rv = write(thefile->filedes, buf, *nbytes);
                    } while (rv == (apr_size_t)-1 && errno == EINTR);
                    if (rv == (apr_size_t)-1 &&
                        (errno == EAGAIN || errno == EWOULDBLOCK)) {
                        *nbytes /= 2;
                    }
                    else {
                        break;
                    }
                } while (1);
            }
        } 
#endif
        if (rv == (apr_size_t)-1) {
            (*nbytes) = 0;
           return errno;
        }
        *nbytes = rv;
        return APR_SUCCESS;
 
对于缓冲写入,其实现代码如下所示:
    apr_size_t rv;
 
    if (thefile->buffered) {
        char *pos = (char *)buf;
        int blocksize;
        int size = *nbytes;
 
        if ( thefile->direction == 0 ) {
            apr_int64_t offset = thefile->filePtr - thefile->dataRead + thefile->bufpos;
            if (offset != thefile->filePtr)
                lseek(thefile->filedes, offset, SEEK_SET);                  u
            thefile->bufpos = thefile->dataRead = 0;
            thefile->direction = 1;
        }
 
        rv = 0;
        while (rv == 0 && size > 0) {
            if (thefile->bufpos == thefile->bufsize)   /* write buffer is full*/
                rv = apr_file_flush(thefile);                v
 
            blocksize = size > thefile->bufsize - thefile->bufpos ?
                        thefile->bufsize - thefile->bufpos : size;
            memcpy(thefile->buffer + thefile->bufpos, pos, blocksize);                     
         

[1] [2] [3] [4] [5] [6] [7] [8] [9]

编辑 webmaster

 
 
 
评论更多>>
 
 
发表
 
姓名: QQ:
性别: MSN:
E-mail: 主页:
评分: 1 2 3 4 5
评论内容:
验证码:
  
  • 请遵守《互联网电子公告服务管理规定》及中华人民共和国其他各项有关法律法规。
  • 严禁发表危害国家安全、损害国家利益、破坏民族团结、破坏国家宗教政策、破坏社会稳定、侮辱、诽谤、教唆、淫秽等内容的评论 。
  • 用户需对自己在使用本站服务过程中的行为承担法律责任(直接或间接导致的)。
  • 本站管理员有权保留或删除评论内容。
  • 评论内容只代表网友个人观点,与本网站立场无关。
  •