VFP 愛用者社區

朱育興 · 註冊時間: 2003-08-25 文章: 661 來自: 台中市大里區 第 1 樓

各位，新年快樂，我有下列問題想要請教：

我要將 VFP 的資料一次整批新增到 SQL Server 中，我雖然新增資料是沒問題，但速度實在是太慢了，平均 1 分鐘才大約新增了 56 筆，這種龜速實在是無法忍受，我認為絕對是我的寫法很爛。但初次摸 SQL Server，所以想請教各位老經驗的狐友們，指點一下我這個初入 SQL Server 叢林中的菜鳥。我的程式碼如下：

* 假設
*
* TMP_VFPTable 是 VFP 的 Table
* 　欄位結構是 Field1 C(10), Field2 N(9), Field3 D ,Field4 M
*
* TMP_SQLTable 是 SQL Server 的 Table (裏面尚未有任何資料)
* 　欄位結構是 Field1 char(10), Field2 float(9), Field3 datetime, Field4 text
*
* 原則上上述兩個欄位結構是一致性的
*
* M_nConnectHandle 是一個已連接到 SQL Server 的連接控制碼
* TMP_SQLTable 所在的資料庫已設定為作用資料庫(SQL Server 中)
*
* SQL Server 是裝在本機上

M_eFieldValue1 = ""
M_eFieldValue2 = 0
M_eFieldValue3 = DATE()
M_eFieldValue4 = ""
=SQLPREPARE(M_nConnectHandle,"INSERT INTO TMP_SQLTable VALUES (?M_eFieldValue1, ?M_eFieldValue2, ?M_eFieldValue3, ?M_eFieldValue4)")
SELECT 0
USE TMP_VFPTable
SCAN ALL
M_eFieldValue1 = Field1
M_eFieldValue2 = Field2
M_eFieldValue3 = Field3
M_eFieldValue4 = Field4
=SQLEXEC(M_nConnectHandle)
ENDSCAN
USE IN TMP_VFPTable

---------------------------------------------------------------
上述類似這樣的寫法，同一批資料，在我的 NB (3 年多前買的，硬碟有 30 GB，剩餘空間只剩 2,85 GB) 上，329 筆資料跑了 5 分 52 秒

但在我公司使用的 PC (應該是 1 年內買的，硬碟的剩餘空間足夠)，跑同樣的筆數大約 1 秒 (但跑非常大量的資料，感覺上也是要跑很久)

我的想法是，就算我的 NB 再慢，但也不應該慢成這樣，是不是我還要設定一些相關的環境，例如像：異動交動、緩衝處理 ... 等等的設定。

pingoleo · 註冊時間: 2004-04-12 文章: 92 第 2 樓

很少看到狐友用 remote view 我用remote view 跑 msde
速度是可以接受的幾萬筆資料幾分鐘就OK 了
我的 RAM 512MB CPU 賽揚 2.2G (4,5 年的老扣扣機了)

syntech · 發表於: 星期二二月 12, 2008 10:44 am 文章主題:

這種寫法是還好,
也不見得非得先 prepare 一下,
雖然書上都這樣說,
可能需要幾十萬筆才會感覺比較快.

sql server 的設計來說,
資料維護的速度比查詢資料的速度慢很多,
配置資料庫空間慢,配置table 也慢,
維護index 也慢.

如果你沒有設定tranction,
sql server 一般會進行隱含的交易處理,
也就是逐筆資料都做交易處理,
當然反應會稍微慢些.

你可以在sqlexec() 或 sqlprepare()前後加上 timer() 看看,
這兩個是後端sql 命令,
並不涉及本地端異動交易處理及緩衝處理,
所以時間差就是sql server 純粹執行命令的速度.

syntech · 發表於: 星期二二月 12, 2008 10:52 am 文章主題:

就硬體方面而言,
你NB 的30G 硬碟是多少轉的,
如果是 4200 轉,seek time 實在太長了,
嚴重拖累速度,

安裝了多少記憶體?
sqlserver 佔用的記憶體有多少?
會不會出現一直在虛擬記憶體 swap in/out 的動作.
剩下空間也可能不夠OS及sqlserver 運轉.

朱育興 · 發表於: 星期二二月 12, 2008 12:35 pm 文章主題:

謝謝各位回覆，這幾天在家一直測試，同樣的程式今天拿到公司來跑，速度上是可接受的；所以回家把 NB 裏的 SQL Server 重灌一次看看，因為好像當初裝 SQL Server 的過程中，不是很順利，也希望是此問題。因為參考過各種資料，原則上寫法應該沒有什麼大問題才對。

朱育興 · 發表於: 星期三二月 13, 2008 4:38 pm 文章主題:

今天在公司的電腦上，於本機中上傳 SQL Server，測試結果

232 個檔案(DBF)共 1,430,394 筆記錄需費時 00:42:01 完成，平均 34,057 筆記錄/min

這樣的速度是可以嗎？如果要再快，哪裏還可以再改良

garfield · 發表於: 星期三二月 13, 2008 5:41 pm 文章主題:

有沒有想要試看看 remote view
或許會快一點.

syntech · 發表於: 星期四二月 14, 2008 9:41 am 文章主題:

教科書上是說,
bulk insert 等大量複製函式或是 bcp 公用程式,
是用來做大量複製的.

傳統的 xbase 的作法,
先移除 index,
在append 完後,再加入index,
不知道成效如何.

cchvfp · 註冊時間: 2003-07-05 文章: 18 第 9 樓

怎麼不用sql的匯入

朱育興 · 發表於: 星期四二月 14, 2008 2:16 pm 文章主題:

這是微軟提供的，看樣子要研究研究一下 bcp，因為還不太了解怎麼用 bcp

http://support.microsoft.com/kb/153199/zh-tw

如何使用 SQL Server 大量複製程式，從 Visual FoxPro 大量的資料移動到 SQL Server

文章編號 : 153199
上次校閱 : 2007年2月12日
版次 : 4.1

結論
本文告訴您如何使用大量複製程式 (BCP)，獨立的公用程式隨附的 Microsoft SQL Server。如果您必須同時移動大量的資料至 SQL Server，從 Microsoft Visual FoxPro 「 SQL 轉換精靈」可能會太慢。 Bulk Copy Program 公用程式只能傳送資料，它就不會建立資料表。您可以使用「 SQL 轉換精靈」來建立資料表或建立您自己在 ISQL / W。為了要準備 SQL 伺服器，以接受 (Accept) 使用「快速」版本的 BCP，資料您必須執行 sp_dboption 系統程序並將 select into / bulkcopy 選項，則為 True

逐步說明範例
以下是範例步驟使用 BCP 公用程式，將資料從一個 ASCII 檔案傳送至 SQL Server：
1. 從 SQL Server 執行：
sp_dboption Mydatabase,bulkcopy,true

2. 從 Visual FoxPro 資料表建立定位點分隔 ASCII 檔案。舉例來說，請使用低階的常式，以輸出到文字檔的欄位：
=FPUTS(fhandle, emp_id + CHR(9) + ;
last_name + CHR(9) + ;
first_name + CHR(9) + ;
title + CHR(9) + ;
PADR(DTOC(birth_date)+' '+'12:00AM',16,' ') + CHR(9) + ;
PADR(DTOC(hire_date)+' '+ '12:00AM',16,' ') + CHR(9) + ;
address + CHR(9) + ;
city + CHR(9) + ;
region + CHR(9) + ;
postalcode + CHR(9) + ;
STR(salary,12,2) )

3. 建立 bcp 格式檔案才能傳送資料。例如，從 SQL Server 下 bin 目錄：
bcp mydatabase.dbo.employee 出 c:\temp\emp.txt /Sservename /Usa /Ppassword
注意：這個命令應該是在同一行。

4. 請遵循提示，和型別 \t 如為每個欄位欄位終端子。

5. 出現提示時，使用有意義的名稱，例如 employee.fmt 儲存格式檔案。

6. 使用 MS - DOS 編輯器來編輯 . 格式檔。

7. 在下列範例使用 employee.fmt 為變更為每個資料列第二欄為 SYBCHAR：
6.0
11
1 SYBCHAR 0 6 "\t" 1 emp_id
2 SYBCHAR 0 20 "\t" 2 last_name
3 SYBCHAR 0 10 "\t" 3 first_name
4 SYBCHAR 0 30 "\t" 4 title
5 SYBCHAR 0 16 "\t" 5 birth_date
6 SYBCHAR 0 16 "\t" 6 hire_date
7 SYBCHAR 0 60 "\t" 7 address
8 SYBCHAR 0 15 "\t" 8 city
9 SYBCHAR 0 15 "\t" 9 region
10 SYBCHAR 0 10 "\t" 10 postalcode
11 SYBCHAR 0 8 "\r\n" 11 salary

8. 檔案結尾 (EOF) 標記為變更第五資料行中的最後一列為 "\ \ n "。

9. 將 ASCII 檔案傳輸至 SQL Server 使用 BCP 如下所示：
在 c:\temp\employ.txt /femployee.fmt /Sservernamec /Usa / P bcp mydatabase.dbo.employee " "

10. 回為使用步驟 1 以 FALSE 參數 FALSE，完成時設定 Bulkcopy 選項。

�考
如需詳細資訊，請參閱 SQL Server Administrator ' s 系統 Guide。

--------------------------------------------------------------------------------

這篇文章中的資訊適用於:
• Microsoft Visual FoxPro 3.0 Standard Edition
• Microsoft Visual FoxPro 3.0b Standard Edition
• Microsoft Visual FoxPro 6.0 Professional Edition
• Microsoft Visual FoxPro 7.0 Professional Edition
• Microsoft Visual FoxPro 8.0 Professional Edition
• Microsoft Visual FoxPro 9.0 Professional Edition

關鍵字： kb3rdparty kbhowto kbinterop KB153199 KbMtzh kbmt