MiniJudgeJava 使用說明
Version 0.9.9++ - 前次更新:2007年五月16日

MiniJudge是什麼?

略過簡介


MiniJudgeJava 是一個讓句法學家可以以盡可能簡單的方式完成句法實驗的軟體。它能以最簡單並強大的方式幫助你設計、執行並分析可接受度實驗。

簡潔性: 若你已經有現成的受試者,你將可以藉由電子郵件或是紙本問卷的方式來收集語料,並在數小時到數日之間獲得有統計資料證實的結果。這套軟體簡化了一般心理語 言學實驗步驟並加快了收集語料的程序,讓傳統的句法學家不需太多的程序也能收集到有力的證據。

權威性:MiniJudgeJS 能收集多位受試者對於相似句型判斷的資料 ,並使用精密的統計工具來分析這些資料以求找出其中的通則。如此一來你將能夠知道是否某些通則的確是受到句法因素的影響,抑或只是肇因於理論偏見、單一語 言使用者或句子的特殊表現、或是語言處理所造成的影響。


軟體需求: MiniJudgeJava 本身是個以Java語言寫成的可執行檔。只要你的電腦安裝了Java虛擬機器,就可以點選並開啟它。若你不確定你的電腦是否已經安裝了Java虛擬機器, 可以至測試網頁測 試已安裝與否。MiniJudgeJava的主要程式由陳宗穎及楊振宗完成,使用說明則主要由柯昱光編寫。MiniJudgeJava和 MiniJudgeJS在外表及使用方式上不盡相同,但所得出的結果(產生問卷及統計分析)則沒有太大的差異。目前我們仍然在測試 MiniJudgeJava是否能通用於不同的作業系統,若你發現任何相容性及軟體本身的問題、功能上的建議、或是對於MiniJudgeJS和 MiniJudgeJava的使用方法或運作模式有問題, 歡迎你聯絡我們。

和使用MiniJudgeJS的時候一樣,為了要分析MiniJudgeJava所收集到的結果,你必須要安裝統計軟體 R。有關 R 的資訊你可以上(www.r-project.org)瀏覽。 R 是個免費軟體,若你想下載 R 來分析MiniJudge的結果,請按這裡。


更多基本資訊: 要是你是首次使用MiniJudgeJava,你可能必須要仔細閱讀以下資訊來瞭解MiniJudgeJava的 運作。若有需要,你也可以將本網頁列印閱讀(大約20頁長)。

MiniJudgeJava的使用包含了一系列的 ,有些步驟會自動完成,而有些步驟你必須根據程式的指示來完成。這些步驟主要 分為三部份:設計、執行實驗並分析結果。請盡量空出足夠的時間來完成每個部份,並在存檔功能出現時儲存備份檔案。 

MiniJudgeJava的著作權受到GNU 通用公共授權保護。 基本上,你可以自由散佈這個軟體(如架設鏡像站)或根據自己的需求修改程式碼,甚至將它整合進商用軟體中。但是MiniJudgeJava的貢獻必須被提 及, 而這部分的程式碼必須保持公開。有關這部分的資訊請參考網頁來源的部分。

MiniJudgeJava目前仍有許多需要改進的地方。若在使用中有不明問題發生或您有任何對軟體改善的建議,請 聯絡MiniJudge的作者並 附上相關訊息如:您使用的作業系統、瀏覽器及問題發生時的情況 。我們的目標是改善所有問題,但若有迫切需要,你也可以加入修改MiniJudgeJava的行列。

要是你的研究中使用了MiniJudgeJava,請將它列入你 的參考資料中。

若你需要更多有關實驗句法學、極簡化句法學實驗、MiniJudge和 R的資訊,請按這裡


步 驟

MiniJudgeJava 的使用包含了以下步驟。(或你想完成未完成的實驗,請略過已完成的步驟繼續。)



設計實驗

MiniJudgeJava使用變因設計來獨立出想探討的句法變因並排除掉不相 關的因素。為了盡量簡化設計過程,所有的出現在實驗中的句組都從一組原型句組衍生而來。


製作實驗句 (Make sentences)

選擇實驗變因

選擇並命名一個或兩個二元變因。這些變因可以代表一個句法、詞彙或任何用以區分你原型句組的變因。你可以 選擇一個與語言能力有關的變因(例如"AdjunctExtract"代表原型句組和adjunct island的實驗相關),或是一個和語言表現有關的變因(例如"CenterEmbed"代表實驗和句中關係句有關)。

注意: 若是你有兩個變因,你 必須使用兩個不同字母開頭的字串作為變因名稱,因為之後MiniJudgeJava將會取它們的字首作為變因的簡稱。此外,變因名稱不得 包含空白,否則使用 R分析實驗結果時將會碰到問題。

若你的實驗使用兩個變因MiniJudgeJava除了檢定變 因本身的效應之外,也會測試變 因的交互關係。  舉例來說,你可能會預期"AdjunctExtract"和"CenterEmbed"兩個變因都對受試者的判斷有顯著地影響,但你可能預期這兩個變因之 間不會有顯著的交互關係(因為這兩個變因可能分別屬於語言能力和語言表現兩個獨立的模組)。 但相反地,若實驗的變因是"Adjunct"和"WhMove",則可能這兩個變因本身不會有顯著的影響力(因為adjunct和wh-movement 兩者都是合語法的),但兩個變因的互動卻對受試者的判斷有顯著地影響(因為移出adjunct的wh-movement是不合語法的,但來自non- adjunct字串的wh-movement則相反)。

輸入變因的名稱,並按下"Approve Factors"。若你需要重設變因名稱,請按  "Clear All"

若你已經有完整的實驗句列表,而只想使用 MiniJudge 替你產生問卷,請按這 裡


選擇原型句組

如同在句法學文獻中常見的例句,在同一句組中,你只能在關鍵處對各個句子做出變動。其他不相關的部份(例如:句組中使用的字彙)必須盡量要求一致。也就是 說,你 只能根據變因值的變動來改變同屬原型句組的句子的內容。

舉例來說,一個使用"Adjunct"和"WhMove"作為實驗變因的實驗將會包含以下的原型句組: 原型句組範例:

+A

+W

  Who did you know because I saw?

+A

-W

  You knew because I saw him.

-A

+W

  Who did you know I saw?

-A

-W

  You knew I saw him.

請根據變因值在下面標示的空格處輸入句子作為你的原型句組。請注意,為了節省空間,變因名稱將只以第一個字母表示。

MS-TC

當你輸入你所需要的句子之後,請按"Approve Prototype Sentences"來確認原型句組。若有需要,你還是可以修正並重新確認。若你想重新輸入一組原型句 組, 請按"Clear All"。


原 型句組 (Protoset)

將原 型句組分段  略過到實驗句列表

在原型句組的部份,MiniJudgeJava會幫助你使用產生一組以上的句子。但由於這個程式並非真的能解讀或處理人類語言,有 時在使用上可能會碰上一點問題。若你想要自己製作實驗句,請按這裡。無論 使用那種方法,辭典都可以加快你想出結構相同的相似句的速度。(辭典可藉由搜尋網際網路找到)若你想了解相關資訊,請按這 裡。 

增的句組將會根據原型句組 的結構產生。要是你已經完成先前的步驟,MiniJudgeJava應該已經將你的原型句組分段成原型 字串。將原型句組分段成字串的目的是讓你可以根據原型字串的句法性質來填入具有相同性質的字串。(或是讓字串在所有的句組中都保持不變)

    分段完成的原型字串(MiniJudgeJava格式): who did%you%know%because%I saw%knew%him

以下的列表是包含了分段的字串和原型句組。你可以比較 分段後的字串和原型句組來了解MiniJudgeJava分段的規則。

who did
you
know
because
I saw
knew
him

Who did you know because I saw?
You knew because I saw him.
Who did you know I saw?
You knew I saw him.

由於MiniJudgeJava並不了解你所感興趣 的題目或語言,有時候你可能會需要自行修改原型句組分段的結果。要修改分段的結果,你可以直接刪除不需要的字串或是加上"%"來增加字串或修改字串的邊 界。若你覺得字串的分段已經符合你的需求時,請按"Approve Protosegments"


輸入其他句組

為了要讓MiniJudgeJava產生除了原型句組之外 的句組, 你必須輸入和原型字串有相同句法性質的字串。首先,你可以將"Parsed Protoset"中的文字複製到"Input Other Sets"下的空格中, 並逐一取代兩個"%"符號之間的字串。若你需要兩組以上的句子,只要以同樣的方法重複操作即可。根據先前原型句組範例的分段結果,以下提供了可產生一組額 外句組的範例:

   which person does%Mary%suspect%because%Mom hates%suspects%him 

請注意,在這個階段已經無法再修改原型字串。每組新輸 入的字串的格式必須和原型字串相符,否則程式將無法繼續進行。若你認為已經輸入足夠的新字串,請按 "Approve Sets"繼續。

PS-TC


實驗句列表 (Master List)

確 認實驗句列表

請仔細確認由MiniJudgeJava自動產生,出現在"Ordered Master List" 下方的空格的句子,並在必要的時候重新編輯。(請注意,列表中每一行的第一個數字是項目編號,而第二個數字則是句組編號。 請不要修改這些數字以及出現在句首的變因名稱。).

若你想自己製 作實驗句列表,請以以下的格式製作,否則MiniJudgeJava將無法閱讀。

Sample Description
Factor 1: Adjunct
Factor 2: Wh-movement
01,01+A+W: Who did you know because I saw?
02,01+A-W: You knew because I saw him.
03,01-A+W: Who did you know I saw?
04,01-A-W: You knew I saw him.
Factor 1: (required factor name)
Factor 2: (optional factor name)*
Item num,Set num, factor value*: (Sentence)
Item num,Set num, factor value: (Sentence)
Item num,Set num, factor value: (Sentence)
Item num,Set num, factor value: (Sentence)
* use when necessary
*MiniJudgeJava uses +/- to represent binary factor values and the first letter of factor name(s) to represent factor(s) in master list.

選 擇受試者人數並儲存實驗句列表

單單一個受試者可能不足以提供統計上足以信賴的結果。除此之外,受試者本身可能有無法預測的個人特質。因此,理想的實驗人數大約為 十人到二十五人。請在"How many surveys do you need:"輸入代表受試者人數的數字並按下"Approve Master List"確認。

確認實驗句列表之後,請按 "Saving Master List as..."將 實驗句列表儲存為一個文字檔案你可以任意命名這個檔案並存在電腦中的任何地方,但你將會在接下來的步驟 中需要這個檔案。要是你不得不停止實驗設計,請在此停止並在下次要重新開始時由此開始。當你要重新開始時,請將儲存的實驗句列表貼回視窗中,並再次按下"Approve Master List"確認。

ML-TC


MiniJudgeJava 並不能直接替你執行實驗而是產生問卷讓你可以將問卷散發給受試者填寫。你可以將整份問卷複製到一個文字處理軟體並列印出問卷,或是以電子郵件散發問卷。

重要:若你想繼續先前為完成的工作你必須將實驗句列表貼回視窗中並重新確認。


執行實驗

製作問卷 (Survey Forms)

編 寫實驗指導語

在目前的版本中,MiniJudgeJava只提供受試者兩種選項:是和 否。 (有關受試者可使用的選項的說明,請看這 裡) 若是受試者是藉由電子郵件的方式收到問卷的話,他們必須填上"1"來代表"是(可接受)"或"0"來代表"否(不可接受)"。而受試者必須在句首的句子編 號前面填上答案。這些使用上的規定必須要在實驗指導語中清楚說明。

MiniJudgeJava提供一組預設的實驗指導 語,這份指導語適用於一個以英語為母語的人作為受試者的實驗。你可以根據實驗的目的、語言來修改或重新編寫實驗指導語。

當你完成編寫實驗指導語後,請按 "Generate Surveys"來產生問卷。問卷產生後,你可以選擇按"Save Generated Surveys as..." 將問卷存檔,或按"Copy Generated Surveys to Clipboard"將問卷內容複製到剪貼簿。

sf

複製問卷並列印或以電子郵件散發

你在上一個步驟所儲存的檔案包含了所有要散發給受試者的問卷。請注意,問卷和問卷之間將會用線分隔,而每份問卷都各自 包含了實驗指導語、受試者編號(以##開頭)以及以數字標明順序的實驗句。

若你要印出問卷,請以文字處理軟體開 啟儲存問卷的檔案,並將分隔問卷的分隔線以分頁取代。若你要使用電子郵件散發問卷,請將問卷一 份一份複製到 電子郵件中。以電子郵件散發可以省去重新輸入結果的步驟,但它同時也有某些缺點:例如,你無法確定受試者是否有確實遵照實驗指導語的步驟來完成實驗。另 外,某些受試者可能會對不請自來的電子郵件感到困擾。


儲存問卷資訊

若你已經完 成以上的步驟,代表藉由執行 MiniJudgeJava,你已經完成了所有所有實驗句以及實驗指 導語,並已經產生了一定份數的問卷。在每一份問卷 中,實驗句出現的順序都被MiniJudgeJava隨機打散。選擇讓實驗句以隨機順序出現的原因部分是 因為 要讓各種句型的實驗句平均的出現在問卷中(更多有關隨機順序出現的方法的資訊請按這裡。此外,隨機順序和平均分配還有另一個優點, 請按這裡參考說明。

在問卷上,使用者將看不到有關變因以及句組的資訊,因為這些資訊可能會干擾受試者作答。但是MiniJudgeJava仍然需要這 些資訊來完成統計分析。下面列表中的資訊代表了MiniJudgeJava需要的問卷資訊以及編排的格式:

01 01 01 12 +Adjunct -WhMove
問 卷編號 實 驗句編號 實 驗句組編號 順 序 變 因一 變 因二(非必須)

從以下圖示中的視窗 複製並儲存問卷資訊 和儲存問卷內容的方式一樣,你可以按下 "Copy Schematic Data to Clipboard" 來將問卷資訊複製到剪貼簿,或選擇"Save Schematic Data as..."來將問卷資訊存檔。

sd


分析實驗

MiniJudgeJava passes on the job of statistical analysis to R. MiniJudgeJava will talk to R for you, and have R give a nontechnical summary of the statistical findings.


下載並安裝 R  略過

藉由MiniJudgeJava所得到的資料是重複測量的二分類別資料(受試者針對各類型的數個實驗句做出是或否的判斷),而這類型的資 料需要一種高度複雜的統計分析方式GLMM來分析。

由於MiniJudgeJava本身並不具備統計分析的功能,我們改用 R 完成這部分的工作。 你 必須在進入下一步之前先下載並安裝 RR是目前最好的免費統計軟體,若你想從事任何量化研究,我們認為 R是一套值得擁有的軟體。 有 關 R 的軟體資訊以及下載和安裝方法,請按這裡。
與R 溝通 (Talk to R)

輸入結果 略過簡介

MiniJudgeJava有兩種可能的結果檔案:一、在每個實驗句句首以"1""0"作答的電 子問卷。二、一份由你根 據受試者完 成的紙本問卷上"1""0"的回答輸 入在電腦上的文字檔案。

無論你使用以上哪種方法,MiniJudgeJava都需要知道有關問卷編號實驗句出現順序的 相關資訊。

以下方框的格式是MiniJudgeJava預期的實驗結果格式。開頭是以##標示的問卷編號,而接下來則是從該問卷得到的資料。受試 者 所做的判斷("1""0")必須在每一行的開頭,而之後是以括號括弧起來的句子編號。這個編號是這個句子在該份問卷中出現的順序。由於隨機 排 序的關係,在某份問卷中編號是(1)的句子不 一定在其他問卷上也是相同編號。這就是為什麼在這個階段我們需要問卷編號。除了這種格式之外,你也可以以自 己 覺得方便的方式來輸入實驗結果,如以下所示:

##02

1 > (1) This experiment is boring.
0 > (2) I fun am having.
> (3) Colorless green ideas sleep furiously.
1 > (4) When will this experiment be over?
...

##01

0 (1)
p0 (2)
...

##03

(1) Bananas are yummy. 1
(2) Bananas yummy are. 0
...

請注意,以上三份問卷的格式都是有問題的:二號受試者在回覆電子郵件時 並沒有刪除">"的 符號;實驗主試者不小心在 輸入一號受試者的資料 時 多打了一個"p";而三號 受試者沒有詳細閱讀實驗指導語而將答案輸入在句末而非句首的地方。雖然這三份資料都是有問題的,但MiniJudgeJava還是 可以處理它們。MiniJudgeJava搜尋受試者判斷的方式是尋找每個句子編號之前的"1""0'並將它當 作受試者對這個句子的判斷。要是在編號前無法 找到"0""1",它將會 跳到句末的位置搜尋可能的答案。除此之外的資料都將被忽略,所以無論是不小心輸入的字或是指導語及句子本身在搜尋判斷時都會被 MiniJudgeJava忽略。

此外,二號受試者忘了對編號(3)的句子做出判斷,但這也是MiniJudgeJava可以處理的。GLMM並不像某些統計方法一樣會 因 為缺少某部 分的資料而嚴重影響分析結果。因此除了缺少某些句子的判斷外,就算你無法找到預定數量的受試者也不會因此無法完 成實驗。然而,缺少太多資料或是有某些資料有系統性的缺漏仍然會造成問題,因此請還是要求受試者儘其所 能完成問卷。

最後,就算你無法完成預期的問卷數也沒關係(像是寄出20封只回收十封)。甚至你不小心重複輸入了同一份問卷兩次也沒關係, MiniJudgeJava將會自動跳過重複輸入的問卷。

MiniJudgeJava 提供兩種載入結果的方法:一、你可以將所有的問卷收集成一個檔案並選擇"Load the result from..."來載入結果檔案。二、一份一份的將問卷複製到剪貼簿並選擇"Paste the Result from Clipboard" 來將檔案從剪貼簿複製到MiniJudgeJava。

rr


產生資料檔案

為了要將輸入的結果轉換為R可以理解並分析的檔案,MiniJudgeJava必須將受試者做出的判斷對應到你所測試的變因。而完 成這個步驟的關鍵就是儲存著問卷資訊的檔案。你可以選擇"Load Schematic Data from..."來載入問卷資訊,並按下 "Generate TXT data file" 來產生與R相容的資料檔案。

LS


儲存資料檔案

請儲存在上個步驟中所產生的資料檔案。因為R無法直接存取MiniJudgeJava的內容,你必須將資料檔案另外儲存。你可以選 擇 "Copy the Organized Result to Clipboard"來將資料檔案的內容複製到剪貼簿,或選擇 "Save TXT data file as..."來 將資料檔案存成一個文字檔。 

sdf


R 程式碼 (R code)

產生R程式碼

R必須要知道包含副檔名的完整資料檔案名稱(例如: *.txt),然而在Windows的環境下的預設 值無法看到副檔名。所以若你是Windows的使用者,就算在資料夾中沒有看到副檔名也請你在輸 入檔名時記得在檔名後加上".txt"。(若你使用的是 Mac的作業系統則不需要擔心這個問題)

你也必需決 定是否要讓 R測試使用者是否對實驗句產生句法饜足感 句法饜足感是一種會讓受試者覺得對於可接受與不可接受的句子的 差異隨著時間減弱的心理語言學現象,這個現象被某些學者認為是一個可以用來探究語言能力、語 言 表現以及兩者之間的關係的新研究方向。然而在MiniJudgeJava中 測試這個現象可能會降低偵測其他變因的有效性的靈敏度。

請在 "Filename:"後 方的空格輸入完整的資料檔案名稱。若你需要R測試句法饜足感,請在該選項打勾。確定之後,請按下"Generate R Code"來產生R程式碼。

RC


將R程式碼貼上R的工作視窗

目前為止,MiniJudgeJava已經產生了分析實驗結果 所必須的R程式碼。請選擇"Copy R Code to Clipboard"並 將R程式碼貼至R的工作視窗。當你 將這個程式碼貼到R的視窗後,R將會自動開始測試實驗變因、變因之間的互動(若實驗 包含兩個變因)及實驗句出現順序的顯著性。若你決定測試句法饜足感R則會測試實驗 變因跟實驗句出現順 序之間的互動。

由於R產生的結果雖然比較詳盡,卻需要較多的統計知識才能理解,因此R所分析出來的結果將會以一個簡短易懂的概要報告呈現。R所產 生的結果分析將會自動儲存到存放資料檔案的資料夾。

要使用R的程式碼之前,你必須先啟動R並在工具列上" 檔案"的地方選擇"變更現行路徑"R指向資料檔案 的路徑改為放資料檔案的路徑。更 改路徑之後,你就可以將程式碼複製貼上到R的工作視窗 了。若你是第一次使用MiniJudgeJavaR 要求你下載幾個必要的R指令包,但在之後的使用你就可以略過此一步驟。無論你是否已經下載了指令包,R都將在寫入你電腦的記憶體時造成大約30秒的停頓。

在R執行完畢後,實驗結果的統計分析已經結束。

實 驗的顯著性可以分為顯著的正面 影響顯 著的負面影響 一個二分變因的正面影響代表這個變因的變因值為正的時候受試者 作出"1"的判斷的機率會增加,而變因值為負時則相反。例如當"順序"這個變因有正 面影響代 表隨著實驗的進行,受試者作出越來越多"可以接受"的判斷。相反的,若它有負面影響則代表隨著實驗的進行,"不能接受"的判斷越來越常出現。而若你設定的 實 驗變因和順序這個變因出現互動就表示受試者出現了句法饜足感:這代表受試者對於可接受與不可接受的句子之間差異的越來越低。而實際上如何解釋變因之間的 互 動或變因與順序之間的互動必須從最初對實驗變因的定義著手。(例如:屬於[+F]的句子是合於語法或不合於語法;或是包含[+F]的句子是否合於語法必 須 取決於變因[G]的值)

若需要幫助你理解統計結果的資訊, 請按這裡

版本資訊: MiniJudgeJava 0.9 是MiniJudge這個極度簡化句法實驗的軟體的Java版本。最早的MiniJudge是以Excel VBA 寫出。另外,MiniJudge還有一個以JavaScript寫成的版本。若你想嘗試看看,請按這 裡

要是任 何人有興趣購買附上 軟體金鑰的MiniJudgeJava 豪華 精裝版的話,請按這裡MiniJudgeJava豪 華版目前特價375美金。


將MiniJudgeJava列入參考書目(APA 格式): 

Chen, T.-Y., Yang, C.-T., & Myers, J. (2007). MiniJudgeJava (Version 0.9.9) [Computer software]. Retrieved from http://www.ccunix.ccu.edu.tw/~lngproc/MiniJudgeJava.htm


若有對本軟體的疑問及建議,請聯絡 James Myers